2件
大きくすれば伸びることが式になる
23日、OpenAIがスケーリング則の論文を発表。モデルの大きさ・データ量・計算量を増やすほど、損失が滑らかに下がることを示した。どこに資源を入れればどれだけ伸びるかが読めるようになり、大きくすること自体が戦略として扱えるようになる。
28日、Googleが対話モデルMeenaを発表。26億パラメータで、何についてでも話せることを目指した。人間らしさを測る独自の指標も提案している。ただし一般には公開しなかった。
このブロックは編集部が書いた総括です。出典付きの記録とは分けて表示しています。
OpenAIのジャレッド・カプラン、サム・マキャンドリッシュらが論文「Scaling Laws for Neural Language Models」をarXivに公開した。言語モデルの損失がモデルサイズ・データセットサイズ・計算量に対してべき乗則に従って改善することを、7桁以上に及ぶ範囲で実証。より大きなモデルほどサンプル効率が高いことも示し、「大きく作るほど良くなる」という経験則に定量的な根拠を与えた。この知見が同年のGPT-3をはじめとする大規模化路線を理論面で支えた。
Googleが26億パラメータの対話モデルMeenaを発表した。特定の話題に限らないオープンドメインの会話ができるよう端から端まで一括で学習させたモデルで、当時の最先端のチャットボットより「筋が通っていて具体的」な会話ができると報告した。評価には、当たり前だが重要な会話の性質を測る新しい指標Sensibleness and Specificity Average（SSA）を導入した。この研究は翌年のLaMDAへ引き継がれる。Googleが対話AIをChatGPTの3年近く前に研究として持っていたことを示す一方、当時は製品として公開されなかった。