学習用クローラーGPTBotを公開、robots.txtでの拒否手段も示す

OpenAIが、将来のモデル学習に使うウェブクローラー「GPTBot」の仕様をドキュメントとして公開した。ペイウォールの内側、個人を特定できる情報を集めるページ、自社方針に反するテキストを含むページは収集対象から除外すると説明。サイト運営者はrobots.txtにGPTBotを記述するか、IPアドレスを遮断することで巡回を拒否できるとした。公開直後から報道機関やクリエイターの間で拒否設定を入れる動きが広がった。