GPT-2発表、段階的公開へ
OpenAIが15億パラメータの言語モデルGPT-2を発表した。800万のWebページ（40GB）で次の単語予測のみを学習し、タスク特化の訓練なしで文章生成・質問応答・要約などに幅広い能力を示した。悪用への懸念から完全版の公開を見送り、小型版のみを公開する「段階的公開」を実験として採用し、公開方針をめぐる業界の議論を呼んだ。
2019
OpenAIが公開を絞り、営利子会社と巨額出資へ
2月14日、OpenAIがGPT-2を発表。悪用の恐れがあるとして、最大のモデルは公開せず小さい版から順に出すとした。研究成果は全部出すという慣習への問題提起になり、賛否が分かれる。11月5日には15億パラメータの完全版を公開。懸念したほどの悪用は確認されなかったと説明した。
3月、OpenAIが営利子会社OpenAI LPを設立。出資者の利益を一定の倍率で頭打ちにするcapped-profitの形をとり、サム・アルトマンがCEOに就いた。7月22日にはMicrosoftが10億ドルを出資し、Azureを独占的なクラウドとする提携を結ぶ。非営利のままでは巨額の計算資源を賄えないという判断が、構造として形になった。
4月、OpenAI FiveがDota 2の世界王者OGに勝利。10月には片手でルービックキューブを解くロボットハンドを見せた。
Googleは10月、検索にBERTを導入。2015年以来最大の変更と説明した。前年の論文が製品に入る。4月に立ち上げたAI倫理委員会は、人選への批判を受けて10日で解散した。12月、サンダー・ピチャイがAlphabetのCEOを兼ねる。
このブロックは編集部が書いた総括です。出典付きの記録とは分けて表示しています。
記録9件
- 2/14
- 3/11
営利子会社OpenAI LP設立、サム・アルトマンがCEOに
OpenAIが「capped-profit（利益上限付き）」の営利企業OpenAI LPの設立を発表した。初回投資家のリターンを投資額の100倍に制限し、超過分は非営利のOpenAI Nonprofitに帰属する構造で、大規模な計算資源と人材への投資に必要な資金調達を可能にした。LPは非営利側の取締役会が統治し、サム・アルトマンがCEO、グレッグ・ブロックマンが会長兼CTO、イリヤ・サツケバーがチーフサイエンティストに就いた。
- 4/4
GoogleのAI倫理委員会が発足10日で解散
Googleが、AIの倫理を助言する外部委員会Advanced Technology External Advisory Council（ATEAC）を、発足からわずか10日ほどで解散した。保守系シンクタンクHeritage Foundation代表のケイ・コールズ・ジェームズが委員に入っていることに対し、約2,400人の従業員が撤回を求める署名を出したことが引き金となった。ドローン企業の幹部が含まれていたことも、AIの軍事利用への懸念を再燃させた。委員1名はすでに辞任していた。Googleは「現在の環境では、ATEACは我々が望んだように機能しえないことが明らかになった。委員会を終了し、出発点に戻る」とコメントした。AI企業が外部の監督機構をどう設計するかの難しさが露呈した事例である。
- 4/13
OpenAI FiveがDota 2世界王者OGに勝利
OpenAIの強化学習システムOpenAI Fiveが、イベント「OpenAI Five Finals」でDota 2の世界王者チームOGに2連勝した。eスポーツの世界王者にAIが公式戦形式で勝利したのは初。大規模なセルフプレイ強化学習のスケールアップが複雑なチーム対戦ゲームでも通用することを実証した。前年のThe Internationalでの敗北からの雪辱でもあった。
- 7/22
Microsoft、OpenAIに10億ドル出資し提携
MicrosoftがOpenAIに10億ドルを出資し、AGI（汎用人工知能）開発に向けた提携を発表した。両社はAzure上でAIスーパーコンピューティング技術を共同開発し、MicrosoftはOpenAIの独占クラウドプロバイダーとなり、AGI以前の技術の商用化における優先パートナーとなった。営利企業が、AGIを掲げる研究組織に単独でこの規模を出すのは、当時としては異例の額だった。
- 10/15
ロボットハンドがルービックキューブを解く
OpenAIが、人間の手を模したロボットハンドでルービックキューブを解く研究成果を発表した。ニューラルネットワークはシミュレーション内のみで訓練され、OpenAI Fiveと同じ強化学習コードと新手法ADR（自動ドメインランダム化）を用いて、訓練で見たことのない外乱にも対応した。強化学習が高度な器用さを要する物理世界のタスクにも適用できることを示した。
- 10/25
BERTを検索に導入、2015年以来最大の変更
Googleの検索担当VPパンドゥ・ナヤックが、検索にBERTを導入したと発表した。前置詞のような小さな語が意味を左右する長く会話的なクエリの理解を改善するもので、Googleは10件に1件のクエリに影響すると説明した。2015年のRankBrain以来最大の変更と位置づけられた。ブログでは「2019 brazil traveler to usa need a visa」という検索例を挙げ、これがブラジル人が米国へ渡る話であることを従来のアルゴリズムは捉えられなかったと説明している。前年に論文で公開した自社の研究成果を、1年で世界最大級のサービスに載せた形になる。
- 11/5
GPT-2フルモデル（15億パラメータ）公開
OpenAIが、段階的公開の最終段階としてGPT-2の最大版（15億パラメータ）のモデルウェイトとコードを公開した。2月の発表以降、小型版から段階的に公開範囲を広げながら悪用リスクを検証してきたもので、生成文の検出を助けるモデルもあわせて公開。強力なモデルの責任ある公開プロセスのテストケースと位置づけた。
- 12/3
サンダー・ピチャイがAlphabet CEOに就任
Googleの共同創業者ラリー・ペイジがAlphabetのCEOを退き、Google CEOのサンダー・ピチャイがAlphabet CEOを兼任することになった。もう一人の共同創業者セルゲイ・ブリンもAlphabetのプレジデントを退き、同職は廃止された。2人は取締役にはとどまるが、親会社の日常業務からは離れた。ペイジとブリンはブログで「経営体制を簡素化する自然なタイミングだ」と述べている。創業者2人が日常業務から離れ、GoogleとAlphabetの経営判断がピチャイ一人に集約される体制になった。