Googleの研究者8人が論文「Attention Is All You Need」を公開し、Transformerと名付けた新しいネットワーク構造を提案した。再帰（RNN）も畳み込みも使わず、注意機構（attention）だけで系列を扱う構成で、機械翻訳の2つのタスクで従来手法より高い品質を出しながら、並列化しやすく学習時間も大幅に短いことを示した。著者はアシシュ・ヴァスワニ、ノーム・シャジール、ニキ・パルマー、ヤコブ・ウスコライト、リオン・ジョーンズ、エイダン・N・ゴメス、ウカシュ・カイザー、イリア・ポロスキン。当初は翻訳の改良を狙ったアーキテクチャだったが、この構造がGPT、BERT、そして今日のあらゆる大規模言語モデルの共通基盤となった。生成AIの歴史における最も重要な単一の論文であり、その成果をGoogleが公開したことが、結果として競合各社の台頭を可能にしたという逆説も伴う。なお著者8人は後年ほぼ全員がGoogleを離れ、それぞれAI企業を創業・参画していった。