2020

1月、OpenAIがスケーリング則の論文を出す。モデルの大きさ・データ量・計算量を増やすほど性能が滑らかに上がることを式で示した。どこに資源を入れれば伸びるかが読めるようになる。

5月、その延長でGPT-3の論文が出た。1,750億パラメータで、追加の学習をせずに例をいくつか見せるだけで新しい課題をこなす。6月には初の商用製品としてOpenAI APIを公開。招待制で始まり、文章生成が他社の製品に組み込まれるようになった。9月、MicrosoftがGPT-3の独占ライセンスを取得する。5月には、OpenAI専用のスーパーコンピュータをAzure上に用意したことも発表していた。

11月、DeepMindのAlphaFold2がタンパク質の構造予測で実験に迫る精度を出す。50年来の課題が解かれたと評された。1月には対話モデルのMeenaも発表されている。

2月、MicrosoftがTuring-NLGとDeepSpeedを公開。170億パラメータで、当時最大の言語モデルだった。

年末に人の動きが重なる。12月2日、GoogleのEthical AIチームを率いていたティムニット・ゲブルが会社を去った。解雇か辞職かで主張が食い違う。29日には、OpenAIで研究を率いていたダリオ・アモデイらが退社した。