3件
DALL·E 2とPaLMが並び、Anthropicに資金が集まる
6日、OpenAIがDALL·E 2を発表。拡散モデルに切り替え、前年のDALL·Eから解像度も忠実さも大きく上がった。当初は招待制で、悪用への懸念から渡す範囲を絞っている。
4日、Googleが5,400億パラメータのPaLMを発表。Pathwaysという新しい学習基盤で訓練し、途中の推論を書かせると難しい問題の成績が伸びることを示した。
29日、AnthropicがシリーズBで5億8,000万ドルを調達。設立から1年での大型調達である。
このブロックは編集部が書いた総括です。出典付きの記録とは分けて表示しています。
GoogleがPathways Language Model（PaLM）を発表した。5,400億パラメータのデコーダのみのTransformerで、複数のTPU v4 Podをまたいで1つのモデルを効率よく訓練するPathwaysという仕組みを用い、7,800億トークンの高品質なテキストで学習した。数百の言語理解・生成タスクで評価し、多くのタスクでfew-shotの最高性能を大きく更新したとした。ハードウェアFLOPs利用率57.8%はこの規模のモデルとして当時最高。段階を踏んで考えさせる思考の連鎖（chain of thought）によって推論タスクの成績が大きく伸びることを示した点も重要である。研究としては当時世界最先端だったが、一般向けの製品としては公開されなかった。後継のPaLM 2は、2023年5月にBardの基盤として使われる。
OpenAIが画像生成AI「DALL·E 2」を発表した。拡散モデル（diffusion）を用いて自然言語の記述からリアルな画像やアートを生成し、解像度は2021年の初代DALL·Eの4倍。既存画像の文脈を踏まえた編集や、元画像のバリエーション生成も可能になった。当初は安全対策の検証のためウェイトリスト制の限定リサーチプレビューとして公開され、同年の画像生成AIブームの火付け役の一つとなった。
Anthropicが5億8,000万ドルのシリーズB調達を発表した。ラウンドは暗号資産取引所FTXのCEOだったサム・バンクマン＝フリードがリードし、キャロライン・エリソン、ニシャド・シン、ジェームズ・マクレイブ、ヤーン・タリン、Center for Emerging Risk Researchが参加した。資金は、計算資源を大量に要するAIモデルの安全性を検証するための大規模な実験インフラ構築、モデル内部を調べるツールの開発、政策・社会的影響を扱うチームの立ち上げに充てるとされた。設立から1年での大型調達であり、この時点でAnthropicはまだ製品を公開していなかった。