Llama 4を公開、MoEへ移りベンチマークで批判も
MetaがLlama 4のScoutとMaverickを公開した。密なTransformerだった前世代から疎なMixture-of-Expertsへ移り、Scoutは総1,090億/1トークンあたり170億、Maverickは総4,000億/同170億という構成をとる。いずれも画像も扱い、Scoutは1,000万トークンという当時前例のない文脈長を掲げた。2兆パラメータのBehemothは教師モデルとして学習中とされ、公開されていない。公開は土曜日で、同月に予定されていた自社イベントLlamaConを待たずに出したことが奇異に受け止められた。加えて、LMArenaで高い評価を得た版が公開された重みと同一ではないという指摘が出て、評価の出し方をめぐる批判に発展する。オープンウェイトの旗手だったMetaが、他社の追い上げの中で足踏みした回として受け止められた。