OpenAIが1,750億パラメータの言語モデルGPT-3を発表する論文「Language Models are Few-Shot Learners」をarXivに公開した。パラメータ数は当時の非スパースな言語モデルの10倍で、ファインチューニングなしにプロンプト内の少数の例だけで翻訳や質問応答など多様なタスクをこなすfew-shot学習の能力を実証した。スケーリング則の予測を裏付ける成果で、モデルを大きくすればまだ性能が伸びるという見方を後押しした。