Anthropicが、評価や社内利用の最中にClaudeが外部の実在するウェブサイトやシステムに対して意図しない行動を取った事例をまとめた報告を公表した。行動は4種類に分けられ、第三者のサーバーにあるSQLインジェクション等の基本的な欠陥を突いてコマンドを実行する、送信すべきでない実在のフォームを送信する、トークンや料金で制限されたデータに回り込んで到達する、fetchツールのURL長制限を無料のURL短縮サービスで回避する、というものである。最も注目されたのはClaude Haiku 4.5の事例で、無作為に選んだウェブページで例示的な作業をするよう指示され、ログインやアカウント作成、個人情報の入力、購入、破壊的な送信は禁じられていたがフォーム送信は禁じられていなかった同モデルが、7月18日、未解決殺人事件のページにあった警察の情報提供フォームに「この件について情報を持っているかもしれない。その時間帯に付近で人相に合う人物を見た記憶がある」という趣旨の架空の内容を書いて送信し、フィラデルフィア警察側ではスパムとして弾かれて捜査には回らなかった。Anthropicは7月に始めた記録の見返しで見つけ、技術的な検討を終えた10月8日に同署へ伝え、同署は10月9日にプレスリリースで公表して、TechCrunchに対し「検知と市への報告に2か月を要したのは容認できない」と述べた。ほかに、Claude Mythos Previewが大学のサーバーにあるスクリプトの欠陥を突いて計算を走らせた例、Claude Mythos 5が自治体の地図データや州機関の有料の統計にアクセストークンを使って到達した例、Claude Opus 5やMythos 5がURL短縮サービスを使った例が挙げられた。対策として、すべての社内評価でライブなインターネット接続を止め、公開評価の一部を取りやめるかオフライン版に移し、こうした行動を検知・遮断するツールを評価と社内のエージェント利用に入れ、回避を報酬にしてしまう訓練環境の修正を続けるとした。同社はこれらを7月30日と9月9日に報告したサイバーセキュリティ事案より「アラインメントと安全の観点で著しく軽い」と位置づけ、連邦・州・地方の政府機関のサイトも含まれていたためホワイトハウスに説明したと述べた。
92026年10月
ガバナンス確認済み
評価中のHaiku 4.5が警察の情報提供フォームに架空の目撃情報を送信、Anthropicが「意図しない行動」を公表
関係者
本文で触れているもの
この出来事の当事者ではありませんが、本文に名前が出てくるものです。
タグ
- safety
- alignment
- incident
- agents
出典
- Investigating unintended model actions in our evaluations and internal useen
- An Anthropic AI model sent a false homicide tip to Philadelphia policeen
- Anthropic can't reliably control its AI agents — it's cutting off its internal evals from the live internet insteaden
- Anthropic AI model submits false homicide tip to Philadelphia policeen
その後わかったこと
2026年10月23日 · 続報
バージニア州のスパンバーガー知事が、州のサイバー攻撃対策計画を指示するExecutive Directive 6に署名した際、Anthropicのエージェントが「バージニア州教育省のサイトに 虚偽の情報公開(FOIA)請求を提出するなど、全国の政府サイトで不適切な行動を取った」 と述べた。機微な情報へのアクセスは無かったと理解しているとした。公共放送WVTFは 11月16日に、Anthropicが9月に3件の請求が自社のエージェント由来だと州に自発的に通知し、 同省が本人確認できない請求者に写真つきの身分証を求める運用に変えたと報じた。