Sentiment Neuron研究を発表
OpenAIのアレック・ラドフォードらが、Amazonレビューの次の文字を予測するだけの教師なし学習で感情表現の優れた特徴が獲得されることを示す研究を発表した。学習したモデル内には感情の情報をほぼ一手に担う「sentiment neuron」が見つかり、Stanford Sentiment Treebankで当時最高の精度91.8%を達成した。教師なしの次トークン予測が事前学習として使えるのではないか、という見方を後押しする結果だった。
2017
Transformerが世に出て、AlphaGoは碁を去る
6月12日、Googleの研究者らがTransformerの論文を公開。再帰も畳み込みも使わず、注意機構だけで組み立てる構造を示した。翻訳の成績を上げながら学習を並列化できる点が要点である。
5月、AlphaGoが世界1位の柯潔に3連勝し、囲碁から引退した。10月にはAlphaGo Zeroが、人間の対局データを一切使わず自己対戦だけで前の版を上回る。人間の打ち方を手本にしない学習が成り立つことを見せた。
OpenAIは強化学習を進める。6月13日、人間がどちらの振る舞いを好むかを示すだけで学習させる研究をGoogleと共同で発表。7月にはPPOを公開し、扱いやすい学習アルゴリズムとして広く使われるようになる。8月にはDota 2の1対1でプロに勝った。4月には、文章を教師なしで学習させたモデルの中に感情を表す部分が自然にできていたという研究も出している。
6月20日、アンドレイ・カルパシーがOpenAIを離れ、TeslaのAI責任者に就いた。
このブロックは編集部が書いた総括です。出典付きの記録とは分けて表示しています。
記録8件
- 4/6
- 5/27
AlphaGoが世界1位の柯潔に3連勝し引退
中国・烏鎮で開かれたFuture of Go Summit（5月23〜27日）で、DeepMindのAlphaGo Masterが世界ランキング1位の柯潔との3局勝負に3連勝した。第1局は半目差というきわどい内容で、柯潔は対局後に涙を見せた。あわせてDeepMindのデミス・ハサビスが、この大会をもってAlphaGoの対局イベントを終えると発表。開発チームは今後、病気の治療法の探索やエネルギー消費の削減、新素材の発明といった科学の問題に取り組む汎用的なアルゴリズムの開発へ移ると説明した。囲碁で人間の最上位に勝てるかという問いは、これで決着がついた。
- 6/12
Transformer論文「Attention Is All You Need」公開
Googleの研究者8人が論文「Attention Is All You Need」を公開し、Transformerと名付けた新しいネットワーク構造を提案した。再帰（RNN）も畳み込みも使わず、注意機構（attention）だけで系列を扱う構成で、機械翻訳の2つのタスクで従来手法より高い品質を出しながら、並列化しやすく学習時間も大幅に短いことを示した。著者はアシシュ・ヴァスワニ、ノーム・シャジール、ニキ・パルマー、ヤコブ・ウスコライト、リオン・ジョーンズ、エイダン・N・ゴメス、ウカシュ・カイザー、イリア・ポロスキン。当初は翻訳の改良を狙ったアーキテクチャだったが、この構造がGPT、BERT、そして今日のあらゆる大規模言語モデルの共通基盤となった。生成AIの歴史における最も重要な単一の論文であり、その成果をGoogleが公開したことが、結果として競合各社の台頭を可能にしたという逆説も伴う。なお著者8人は後年ほぼ全員がGoogleを離れ、それぞれAI企業を創業・参画していった。
- 6/13
人間の選好から学ぶ強化学習の研究を発表
OpenAIがDeepMindの安全性チームとの共同研究として、論文「Deep reinforcement learning from human preferences」を発表した。人間が2つの行動のどちらが良いかを選ぶだけでエージェントが目標を推定して学習する手法で、約900回のフィードバックでバク宙を学習させるデモを示した。人間のフィードバックによる強化学習（RLHF）の初期の論文で、報酬を書き下しにくい課題を人間の選好で置き換える手法として示された。
- 6/20
アンドレイ・カルパシーがOpenAIを離れTeslaのAI責任者に
OpenAIの創設メンバーで研究者のアンドレイ・カルパシーが、TeslaのDirector of AI（AI・Autopilot Vision担当）に就任した。本人がXで移籍を発表し、Teslaも声明で確認。イーロン・マスクが自身の支援するOpenAIから人材を引き抜いた形となり、両組織の関係を象徴する出来事として注目された。
- 7/20
強化学習アルゴリズムPPOを発表
OpenAIのジョン・シュルマンらが強化学習アルゴリズムProximal Policy Optimization（PPO）を論文と実装とともに公開した。従来手法と同等以上の性能を保ちながら実装と調整が大幅に簡単で、発表時点でOpenAI社内の標準アルゴリズムになっていた。その後も強化学習の定番手法として広く普及し、後にRLHFによる言語モデルの調整でも中核的な役割を果たした。
- 8/11
Dota 2ボットがThe Internationalでプロに勝利
OpenAIのセルフプレイのみで学習したボットが、Dota 2の世界大会The InternationalのメインステージでプロプレイヤーのDendiと1v1で対戦し勝利した。模倣学習や木探索を使わずゼロから学習したボットは、直前の1週間でSumaiLら複数のトッププロにも無敗だった。囲碁やチェスのようなターン制ではなく、リアルタイムに進み、状況が絶えず変わる複雑なゲームでもここまで届いたことは、当時としては大きな成果だった。
- 10/19
AlphaGo Zeroが人間の対局データなしで最強に
DeepMindが論文「Mastering the game of Go without human knowledge」をNature誌に発表し、AlphaGo Zeroを公開した。人間の棋譜をいっさい使わず、ルールだけを与えて自己対戦（セルフプレイ）による強化学習を行うもので、ランダムな手から始めて数日・500万局の自己対戦で人間を超える水準に到達し、イ・セドルを破った版よりも強くなった。人間の棋譜を与えないほうが強くなるという結果は、驚きをもって受け止められた。