2件
Googleがコードレッド、Anthropicは原則で躾ける手法を出す
21日、ChatGPTを受けてGoogleが社内に「コードレッド」を出したとNew York Timesが報じた。サンダー・ピチャイが自らAI戦略の会議に加わり、日常業務を離れていた共同創業者のラリー・ペイジとセルゲイ・ブリンも製品会議に戻ったとされる。検索に対話を足す計画が前倒しされた。Transformerを生み、LaMDAを持ちながら製品化を控えてきた側が、外から出てきた製品に動かされる形になった。Googleは公式には認めていない。
15日、AnthropicがConstitutional AIの論文を公開。人が一つひとつ評価するのではなく、原則を書いた文書をもとにAI自身のフィードバックで無害化する方法を示した。
このブロックは編集部が書いた総括です。出典付きの記録とは分けて表示しています。
Anthropicが論文「Constitutional AI: Harmlessness from AI Feedback」を公開した。有害な出力を避ける訓練を、人間によるラベル付けに頼らず、あらかじめ定めた原則リスト（constitution=憲法）に従ってモデル自身が自己批判と修正を行う形で実現する手法。教師あり学習で自己修正させた応答を学ばせ、続いてモデルが生成した選好データを報酬信号に使う強化学習（RLAIF）を行う2段構成をとる。有害な質問を単に拒否するのではなく、なぜ応じられないかを説明するアシスタントが得られたと報告した。この手法はClaudeの訓練の中核となり、Anthropicの技術的な独自性を示すものとなった。
ChatGPTの急速な普及を受けて、サンダー・ピチャイが社内に「code red（コードレッド）」を発令し、AI戦略を定めるための一連の会議に自ら加わっているとNew York Timesが報じた。ChatGPTは検索事業への存立に関わる脅威と受け止められたとされる。報道によれば、長く日常業務を離れていた共同創業者のラリー・ペイジとセルゲイ・ブリンが製品会議に復帰し、検索に対話機能を加える計画が前倒しされ、20以上のAI製品の投入計画とチャットボット版検索のデモを含む社内資料が用意された。Transformerを生み、LaMDAを持ちながら製品化を控えてきたGoogleが、外部の製品によって方針転換を強いられた局面である。翌年2月のBard発表、4月のGoogle DeepMind統合、12月のGeminiはいずれもこの延長線上にある。