2件
小型モデルに可能性、AI投資はさらに加熱
6月20日、Microsoftが「Textbooks Are All You Need」を発表。小型のLLMについても可能性を示す。
一方で、フランスのMistral AIが1億500万ユーロを調達。創業からわずか4週間、製品ゼロの状態だった。AIバブルは欧州でも起こっていた。
金は集まる。しかし動くものはまだ少ない。
このブロックは編集部が書いた総括です。出典付きの記録とは分けて表示しています。
設立からおよそ4週間のMistral AIが、1億500万ユーロ（約1億1,300万ドル）をシードラウンドで調達した。欧州のシードとしては当時最大で、企業価値は約2億6,000万ドルとされた。創業はアルチュール・メンシュ、ギヨーム・ランプル、ティモテ・ラクロワの3人。メンシュはGoogle DeepMind、ランプルとラクロワはMetaでLLaMAに関わった研究者である。出資にはLightspeed Venture Partnersのほか、Bpifrance、エリック・シュミット、グザヴィエ・ニールらが加わった。製品も論文も無い段階での金額で、米国の大手に対抗する欧州の拠点を作るという構想そのものに値段が付いた形になる。公開された重みで勝負するという路線は、この時点から掲げられていた。
Microsoft Researchが論文「Textbooks Are All You Need」を公開し、コード生成向けの小型モデルphi-1を示した。パラメータ数はわずか13億で、A100 GPU 8基・4日間の訓練にすぎないが、HumanEvalで50.6%、MBPPで55.5%（pass@1）を記録した。鍵は「教科書のような質」のデータを厳選して学習させたことで、ウェブから集めた大量の雑多なテキストの代わりに、教科書相当の文章とGPT-3.5に生成させた演習問題を用いた。規模を大きくすること以外に道がある——データの質でモデルサイズを補える——と示した点が重要で、以降の小型モデル（SLM: small language model）の潮流をつくった。同年12月には27億パラメータのPhi-2が公開され、複雑なベンチマークで最大25倍の規模のモデルに匹敵するとされた。Microsoftにとっては、OpenAIの大規模モデルに依存する一方で自社の小型モデル系統を育てるという二本立ての始まりでもあった。