Microsoft Researchが論文「Textbooks Are All You Need」を公開し、コード生成向けの小型モデルphi-1を示した。パラメータ数はわずか13億で、A100 GPU 8基・4日間の訓練にすぎないが、HumanEvalで50.6%、MBPPで55.5%（pass@1）を記録した。鍵は「教科書のような質」のデータを厳選して学習させたことで、ウェブから集めた大量の雑多なテキストの代わりに、教科書相当の文章とGPT-3.5に生成させた演習問題を用いた。規模を大きくすること以外に道がある——データの質でモデルサイズを補える——と示した点が重要で、以降の小型モデル（SLM: small language model）の潮流をつくった。同年12月には27億パラメータのPhi-2が公開され、複雑なベンチマークで最大25倍の規模のモデルに匹敵するとされた。Microsoftにとっては、OpenAIの大規模モデルに依存する一方で自社の小型モデル系統を育てるという二本立ての始まりでもあった。