InstructGPT発表、RLHF調整モデルがAPIの標準に
OpenAIが、人間のフィードバックによる強化学習(RLHF)でGPT-3を指示追従向けにファインチューニングした「InstructGPT」を発表し、APIのデフォルト言語モデルとして展開した。評価者は13億パラメータのInstructGPTの出力を、100倍以上大きい1750億パラメータのGPT-3の出力より好むと判定。アラインメント研究の初の大規模な実運用化であり、同年末のChatGPTの技術的土台となった。
1件
小さくても好まれるモデル、OpenAIが調整で示す
27日、OpenAIがInstructGPTを発表。人の評価をもとに調整したモデルで、指示に沿った答えを返しやすくなったとする。パラメータ数が100分の1でも、元のGPT-3より人に好まれたという結果を示した。APIの既定モデルもこちらに切り替えている。
モデルを大きくする以外に手を入れる余地があることを見せた発表で、人の評価で調整するやり方が各社に広がっていく。
28日、Googleの研究者らが思考の連鎖(chain of thought)の論文を公開。答えだけを示す例ではなく、途中の考え方を書き下した例をいくつか見せるだけで、算数や常識問題の正答率が上がるという内容だった。モデルには手を入れず、渡す文章の書き方だけを変えるやり方である。
このブロックは編集部が書いた総括です。出典付きの記録とは分けて表示しています。
OpenAIが、人間のフィードバックによる強化学習(RLHF)でGPT-3を指示追従向けにファインチューニングした「InstructGPT」を発表し、APIのデフォルト言語モデルとして展開した。評価者は13億パラメータのInstructGPTの出力を、100倍以上大きい1750億パラメータのGPT-3の出力より好むと判定。アラインメント研究の初の大規模な実運用化であり、同年末のChatGPTの技術的土台となった。