2件
GPT-3が例を見るだけで課題をこなす
28日、OpenAIがGPT-3の論文を公開。1,750億パラメータで、追加の学習をせずに例をいくつか示すだけで新しい課題をこなす。翻訳、算数、文章の続き——ひとつのモデルが幅広くこなすことを示した。人が書いたものと見分けにくい文章が出てくることにも触れている。
19日、MicrosoftがBuildで、OpenAI専用に作ったスーパーコンピュータをAzure上に用意したと発表。285,000のCPUコアと10,000のGPUを備えるとした。前年の10億ドル出資が、計算資源という形をとる。
このブロックは編集部が書いた総括です。出典付きの記録とは分けて表示しています。
MicrosoftがBuild開発者会議で、OpenAIと共同で構築しOpenAI専用に提供するAzure上のAIスーパーコンピュータを発表した。CTOのケビン・スコットによれば、285,000以上のCPUコアと10,000基のGPU、GPUサーバーあたり毎秒400ギガビットのネットワーク接続を備え、公開されているスーパーコンピュータの上位5位に入る規模とされた。2019年の10億ドル出資提携の成果であり、GPT-3以降の大規模モデル学習を支える計算基盤となった。
OpenAIが1,750億パラメータの言語モデルGPT-3を発表する論文「Language Models are Few-Shot Learners」をarXivに公開した。パラメータ数は当時の非スパースな言語モデルの10倍で、ファインチューニングなしにプロンプト内の少数の例だけで翻訳や質問応答など多様なタスクをこなすfew-shot学習の能力を実証した。スケーリング則の予測を裏付ける成果で、モデルを大きくすればまだ性能が伸びるという見方を後押しした。