BERT論文公開、事前学習が言語処理の標準になる
Googleの研究者ジェイコブ・デヴリン、ミンウェイ・チャン、ケントン・リー、クリスティーナ・トウタノヴァが論文「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」を公開した。Transformerのエンコーダを使い、ラベルなしのテキストから左右両方向の文脈を同時に条件づけて表現を事前学習する手法で、GLUEのスコアを80.5%（7.7ポイント改善）、SQuAD v1.1のF1を93.2まで押し上げた。翌11月にはモデルとコードがオープンソース公開された。「大量のテキストで事前学習し、少量のデータでファインチューニングする」という型を自然言語処理の標準に据えた論文である。BERTはTransformerのうちエンコーダだけを使う、文章を書くのではなく読むことに向いた構造で、デコーダを使うGPT系とは設計が分かれている。