生成AIに騙された実体験｜Claude Coworkの分析資料をGeminiに検証させたらハルシネーションが続出した話

---

---

Claude Coworkで製品分析から資料作成まで一気通貫

最近、業務でいくつかの製品の競合分析が必要になりました。そこで活用したのが Claude Cowork です。

Claude Coworkに対して自然言語で次のような依頼をしました。

• 各製品の特徴・強み・弱みを整理してExcelにまとめる
• 分析結果をもとに経営層向けのPowerPoint提案資料を作成する

ここで私が意識したのは、依頼の仕方です。AIに丸投げするのではなく、思考の型を指示の中に盛り込みました。具体的には以下の3つの思考フレームを指示文に含めています。

思考の型	目的
ロジカル思考	根拠のある論理的な分析をさせる
クリティカル思考	前提を疑い、偏りのない評価をさせる
ラテラル思考	固定観念を外した視点で仮説を出させる

さらに「ファクトチェックを実施し、根拠となる出典URLも一緒に出力すること」という指示も加えました。これはAI出力の信頼性を担保するために以前から意識していたことです。

出力結果は非常に整然としており、一見すると「さすがClaude」と感じるクオリティでした。表の構成も美しく、PowerPointのスライドも経営向けにまとまっていました。

---

「本当かな？」という小さな違和感

ところが、出力されたExcelの分析結果を読み込んでいると、いくつかの箇所で「これ、本当に正しい数値なのかな？」という引っかかりを覚えました。

業界の肌感覚と少しずれている数字、聞いたことのない市場調査レポートの引用、なんとなくもっともらしいが確認が取れない記述——。

「指示にファクトチェックと出典URLを含めたのだから大丈夫だろう」と自分を納得させようとしたのですが、どうしても気になってしまいました。

そこで、セカンドオピニオンとしてGeminiを使うことにしました。Claudeが出力したExcelの分析結果資料をそのままGeminiに渡し、「この資料の内容に誤りや問題点はないか、ファクトチェックの観点からレビューしてほしい」と依頼したのです。

---

Geminiが指摘したハルシネーションの数々

Geminiのレビュー結果は予想以上に厳しいものでした。主な指摘内容は次の通りです。

1. 未来の情報が事実として記述されていた

分析の中に「○○年に〜市場規模が△△兆円に達する予定」という記述があったのですが、Geminiは「これは予測値であり、現時点では事実ではありません。断定的な表現で書かれている点は誤解を招きます」と指摘しました。

Claudeは指示に忠実に”それっぽい情報”を提供してくれたわけですが、予測と事実の区別が曖昧なままExcelに書き込まれていたのです。

2. 出典URLが軒並み404エラー

Claudeが出力した出典URLのいくつかを実際にアクセスしてみたところ、Geminiの指摘通り、軒並み404エラーでした。

「ファクトチェックと出典URLを出力すること」という指示をしたにもかかわらず、AIはそれらしい体裁のURLを生成してしまっていたのです。これがまさにハルシネーションです。存在しないURLを、まるで本物のように出力してしまう現象です。

3. 引用元が存在しない調査レポート

「〇〇調査機関の2025年版レポートによると…」という記述があったのですが、Geminiによるとそのような調査レポートの存在が確認できないとのことでした。調査機関の名称自体はリアルに聞こえるのですが、実際には存在しないか、その内容と異なる可能性が高いと指摘されました。

---

反省：Claude Codeが優秀すぎて指示が雑になっていた

この件で、私は自分の姿勢を深く反省しました。

最近、Claude Codeがあまりにも優秀なので、つい自然言語でゆるく指示を出すようになっていました。「なんとなくこんな感じで」という曖昧な依頼でも、Claude Codeは文脈を読んで高品質なアウトプットを返してくれます。その体験が習慣化してしまい、分析・リサーチ系のタスクでも同じ感覚で臨んでしまっていたのです。

しかしコードを書くことと、事実に基づいた情報を調査・整理することは、根本的に性質が異なります。コードはビルドやテストで正誤がはっきりわかりますが、情報の正確性は人間が能動的に検証しなければわかりません。

---

深津式プロンプトを忘れていた

AIエージェントを本格的に使い始める以前、私は生成AIに指示を出す際に深津式プロンプトを活用していました。

深津式プロンプトとは、クリエイティブディレクターの深津貴之氏が提唱したプロンプト設計のアプローチで、「AIの役割・制約条件・出力形式・具体的な指示」を明確に記述することで、AIの出力品質を大幅に高める方法です。

当時はChatGPTにひとつひとつ丁寧な指示文を書いていたのに、Claude Codeという優れたエージェントを得てから、その訓練が緩んでしまっていました。

具体的には：

• AIの役割を明示する（例：「あなたは業界に精通した市場アナリストです」）
• 出力の制約を設ける（例：「事実に基づいた情報のみ記載し、不確かな情報には必ず『要確認』と明記すること」）
• 出力フォーマットを細かく指定する（例：「各セルには根拠となる一次情報のURLを必ず記載し、取得できない場合は空欄にすること」）
• ハルシネーションへの防止策を明示する（例：「存在が確認できないURLは絶対に出力しないこと。不明な場合は『URL不明』と記載すること」）

これらを指示文に盛り込んでいれば、今回のような問題は相当程度防げたはずです。

---

AIを使いこなすために改めて再認識したこと

今回の経験を通じて、次のことを改めて認識しました。

① 指示の精度がアウトプットの精度を決める

AIはどれだけ優秀でも、与えられた指示の範囲内でしか動きません。曖昧な指示には曖昧な、あるいは補完的なアウトプットが返ってきます。ロジカル・クリティカル・ラテラル思考の型を盛り込んだとしても、「ハルシネーションを防ぐための制約」を明示しなければ、AIはもっともらしい情報を生成し続けます。

② セカンドオピニオンは有効な手段

複数のAIを組み合わせて相互チェックさせるアプローチは非常に有効です。今回はGeminiにセカンドオピニオンを求めましたが、同じAIに「この出力の問題点を指摘してほしい」と投げかけるだけでも、一定の効果があります。

ただし、同じAIに同じバイアスがかかっている可能性もあるため、異なるモデルを使うことには意味があります。

③ ファクトチェック指示だけでは不十分

「ファクトチェックをすること」と指示しても、AIは自分でウェブにアクセスして検索するわけではありません（リアルタイム検索機能がない場合）。出典URLを「生成」することはできても、そのURLが実際に存在するかどうかを検証する能力はない場合があります。

「存在しないURLは出力しないこと」「不確かな情報には必ず注記を入れること」 という制約を明示することが重要です。

④ 重要な意思決定資料はかならず人間が一次確認する

経営向けの提案資料は、ひとつの誤った数値や引用が大きな判断ミスにつながる可能性があります。AIが作成した資料であっても、重要な資料については人間が一次情報を確認する習慣を持つことが不可欠です。

---

まとめ

AIエージェントの性能が上がれば上がるほど、人間側の「任せすぎ」リスクが高まります。今回の経験は、私にとってよいリマインダーになりました。

ツールがどれだけ賢くなっても、指示を設計する人間の質がアウトプットの質を決める。この原則はプロンプトエンジニアリングが注目された時代から変わっていません。

AIとの協働において重要なのは、AIを信頼しつつも、適切な制約と検証プロセスを設計することです。優れたエージェントに頼るほど、指示の設計がより一層重要になるということを、今回の件で再確認しました。失敗を正直に記録しておくのは、自分への戒めだけでなく、同じ経験をする人への貢献でもある——「ただの会社員」として等身大で発信し続ける理由の一つです。

---

※ 本記事に記載した体験は筆者個人の経験に基づくものです。AIツールの挙動は利用するモデルやバージョン、プロンプトの内容によって異なります。