BERT_thum.png

2021.01.21

読了時間:3分

BERTとは

スクリーンショット 2021-01-07 8.56.27.png

金牧伸弥

BERTは2018年末頃にgoogleが発表した、自然言語処理における深層学習を用いた画期的なモデルです。(BERTはBidirectional Encoder Representations from Transformersの略)

何故注目されているのか?

自然言語処理の分野には、色々なタスクがあります。例えば、文章分類、質疑応答、文章要約、翻訳・・・各々のタスクを解くために、それぞれに設計されたモデルが存在していましたが、BERTはその一つのモデルを用いて、たくさんの自然言語処理のタスクで同時にSoTA(State of The Art: 簡単に言うとその時点でのハイスコア)を叩き出しました。BERT以前の自然言語処理のモデルは、タスクにより精度のバラツキが有るが、BERTは全てのタスク於いて精度が高いことがわかります。あらゆる自然言語処理タスクはこのBERTを土台にして取り組めるため、自然言語処理の汎用モデルとして使えるという気運が高まっています。

NLP_BERT_01.png

NLP_BERT_02.png

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018) より

BERTの仕組み

BERTの仕組みの基本は、TransformerのEncoder部分を複数重ねたものです。Transformer自体は、BERTから約1年前に登場した、NLPにおいてとても注目されているモデルになります。

NLP_BERT_03.png

Attention Is All You Need, Ashish, V. et al. (2017) より

BERTが自然言語処理のブレークスルーとなったポイントは?

BERTがブレークスルーとなったポイントをまとめると以下の3点です。

  • TransformerのAttentionを活用。Self Attention=文法の構造や単語同士の関係性、照応関係などの情報を獲得するために使用。
  • 事前学習としてMLM(=Masked Language Modeling)とNSP(Next Sentence Prediction)を学習させることで飛躍的に精度向上。
  • 様々なNLPタスクにファインチューニング可能なモデル。

BERT以前の言語モデルは前にある単語から後ろに続く単語を予測したり、文章の中で近い距離にある単語同士の関係を把握したりするだけでしたが、BERTは文章中の遠い距離にある単語同士の関係を把握したり、文脈を基に文章の各所にあるべき単語を予測したりできるようになり、自然言語処理精度が飛躍的に向上しました。

BERTや自然言語処理の活用にご興味のある方、詳しい説明が必要な方はこちらからお気軽にお問合せください。また、BERTを活用した事例をこちらでご紹介しています。

RELATED POST

GAN_thum14.png
  • Tech Blog
  • 技術説明

2023.11.17

Stable Diffusionでミロのヴィーナスを復元してみる

お久しぶりです!sodaエンジニアの國田です! 「ミロのヴィーナス」って不思議ですよね?両腕の無い像で、現在に至るまで、多くの芸術家や科学者が欠けた部分を補った姿を推定していますが、現在のところ、定説と呼べるようなものはありません。「どのようなポーズをとっていたのか?」想像は多岐に及びますが、これに...

SentimentSLDA_thum1.png
  • Tech Blog
  • 技術説明

2023.09.25

感情分析とSLDAで文章から感情係数付きトピックを抽出してみる

こんにちは! sodaの古橋です。 ブログ投稿の間隔が結構空いてしまいまして、気付けば世間では阪神タイガースが18年ぶりとなるリーグ優勝を決めていました。 久々の優勝ということで大いに盛り上がっていますが、我が敬愛する中日ドラゴンズは2年連続の最下位争いを繰り広げているという状態で、私は...