Gemini 4 Hydrogen・Claude Sonnet・GPT Terraを比較。126ページのPDFでハルシネーションは起きるのか試してみた

矢野 哲平

目次

こんにちは、AIニュースアプリ Morning AI 開発者の矢野哲平です。この記事では、Gemini・Claude・ChatGPTの3つのモデルに同じ資料を渡して質問し、ハルシネーションが起きるのかを確かめた実験の結果を紹介します。

きっかけは、Googleの新しいモデル Gemini 4 Hydrogen です。Googleは、Hydrogenのハルシネーション(AIが誤った答えをそれらしく出力してしまうこと)が前のモデルの5分の1以下に減ったと 発表 しています。これは本当なのか、気になったので試してみました。

比べたのは、次の3つのモデルです。

  • GoogleのGemini 4 Hydrogen
  • ClaudeのSonnet
  • ChatGPTのGPT Terra

先に結論:ハルシネーションは3つとも起きなかった

先に結論を言うと、確かにHydrogenではハルシネーションは起きませんでした。ただ、他の2つのモデルでも、ハルシネーションは起きませんでした。

ひっかけ問題を含めて、意図的にハルシネーションを起こそうとしたのですが、どのモデルも優秀でした。100ページちょっとのPDFであれば、どのモデルでも問題なさそうです。

もちろん、これが500ページ、1000ページになってくると話は変わってくると思います。ただ、このくらいのボリュームのタスクであれば、モデルによる違いはあまりないかな、というのが正直な感想です。

一方で、差が出た部分もありました。それが、速さ・費用・答え方のクセの3つです。

実験の方法

どんな実験をしたのか、簡単に説明します。

まず、架空の会社の資料を作りました。就業規則、経費精算、出張の旅費の処理などの内容が入った、126ページのPDFです。文字数にすると、だいたい12万文字くらいです。

架空の会社にしたのは、AIが元々持っている知識で答えられないようにするためです。

126ページ
架空の会社の資料(PDF)
約12万文字
資料の文字数
15問
出張に関する質問
実験の規模。15問の中に、資料に書いていないことを混ぜた

このPDFを渡して、出張に関する質問を15個しました。その中に、わざと資料に書いていないことを混ぜました。例えば、「海外出張の日当はいくらか」という質問です。

架空の会社のPDF126ページ
3つのモデル同じ資料を渡す
質問15個ひっかけを混ぜる
回答と引用中身を確認
実験の流れ。同じPDFを3つのモデルに渡し、同じ質問をして回答と引用を確かめた

結果としては、どのモデルも、書いていないことは「資料には書いていません」と正直に答えました。勝手に推測をして、回答をでっち上げるようなこともありませんでした。

回答に添付された引用部分も確認しましたが、こちらも問題ありませんでした。

各モデルのクセ

では、どこで差が出たのか。それぞれのモデルのクセを紹介します。

GPT Terra
速さと安さ
一番速くて一番安い
推測を足さない
答えは短め
Gemini 4 Hydrogen
丁寧さ
答えが一番長く丁寧
回答のブレが少ない
推測で言い切る
Claude Sonnet
細かさ
細かい条文まで拾う
例外の質問に強い
時間と費用は最大
3つのモデルのクセ。ハルシネーションはどれも起きなかった

GPT Terra:一番速くて、一番安い。慎重でそっけない

まずChatGPTのGPT Terraです。3つの中で一番速くて、一番安かったです。

書いていないことを聞かれると、「定めはありません。担当部署に確認してください」で止めます。推測で答えを足さない、一番慎重なタイプでした。

その分、答えは短めで、そっけない印象もありました。

Gemini 4 Hydrogen:一番丁寧。ただし推測で言い切るクセがある

次に、Hydrogenです。答えは一番長くて、一番丁寧でした。聞いていない例外のルールまで、補足してくれます。

3回聞いて、3回とも同じ答え方をしていて、回答のブレも少なかったです。

ただ、Hydrogenにはクセが1つありました。書いていないことを聞かれても、他の条文から推測して、結論まで言い切るというものです。

例えば、「出張中に週末だけ家に帰りたい。交通費は出るか」という例外的な質問です。資料には書いていないので、「書いていない」と答えるのが正解です。

しかしHydrogenは、「書いていない」と断った上で、「支給されません」と言い切りました。例外的な内容なので、こういった場面では「規程には書いていません。担当部署に確認してください」と答えるのが理想的かなと思います。

Hydrogenの答え
「支給されません」
書いていないと断った上で言い切る
他の条文から推測する
結論まで出してしまう
理想の答え
「担当部署に確認を」
書いていないことは書いていないで止める
規程に定めが無いと伝える
確認先を案内する
資料に書いていない例外の質問への答え方。週末の帰宅の交通費を聞いた場合

ただ、こういった部分はプロンプトで吸収できるかなとは思います。指示の出し方の基本は プロンプトの書き方と回答精度を上げるテクニック にまとめています。

Claude Sonnet:細かい条文までよく拾う。時間と費用は一番かかる

最後に、ClaudeのSonnetです。このモデルは、資料の奥にある細かい条文までよく拾ってくると感じました。

ひっかけ問題のような例外的な質問への対応力は、他のモデルより優れていると感じました。

ただ、3つのモデルの中では一番時間がかかって、費用も一番高かった、という側面があります。資料にない質問への答えも、慎重に回答する場合と、言い切る場合があって、回答によるブレが一番大きいとも感じました。

速さ・費用・答え方の違い

3つのモデルの違いを表にまとめます。

GPT Terra Gemini 4 Hydrogen Claude Sonnet
ハルシネーション 起きなかった 起きなかった 起きなかった
速さ 一番速い(約30秒) Terraの倍くらい(約1分) 一番時間がかかった
費用 一番安い 中間 一番高い
答え方 短め。推測を足さない 一番長くて丁寧。推測で言い切ることがある 細かい条文まで拾う

速さが売りのHydrogenは、Terraの倍の時間がかかった

意外だったのが、速さです。Hydrogenは、速さが売りのモデルとGoogleは説明しています。ですが、私が試した環境では、GPT Terraの倍くらいの時間がかかりました。Terraが約30秒、Hydrogenは約1分です。

これは処理速度がどうこうと言うより、考える時間を長く取っていたからだと思います。

Hydrogenの処理速度は確かに速いのですが、長い資料をじっくり読ませるような使い方では、必ずしも速いわけではない、ということかもしれません。

まとめ

私の限定的な条件での実験ですが、結果をまとめます。

  1. ハルシネーションを起こさないという点では、3つのモデルとも問題なかった。100ページちょっとのPDFなら、どのモデルでも大丈夫そう
  2. 速さと安さならGPT Terra。丁寧さならGemini 4 Hydrogen。細かさならClaude Sonnet
  3. Hydrogenは、書いていないことを推測で言い切るクセがある。大事なところは根拠の条文を確認する

社内の資料に質問する使い方は、どのモデルでも安心して試せる段階に来ていると感じました。手元の資料で、ぜひ試してみてください。

Hydrogenそのものの特徴や日本での使い方は Gemini 4 Hydrogenの記事 に、同じ時期に出たClaudeの最上位モデルについては Claude Fable 5.2の記事 にまとめています。以前のモデルでの比較は Gemini 4 ArgonとChatGPT・Claudeの比較記事 もあわせてどうぞ。

関連記事

  1. Gemini 4 Hydrogenとは?速くてハルシネーションが少ないGoogleの軽量モデルを解説。日本での使い方も

    Googleが発表した速くて安い軽量モデル「Gemini 4 Hydrogen」を整理します。得意な2つのこと(速さとハルシネーションの少なさ)、日本で使えるプラン、無料で使う方法、外部評価での順位、仕事での3つの使い分けをわかりやすくまとめました。

  2. Claude Fable 5.2とは?5.1から変わった3つの点と、使える人・指示のコツをわかりやすく解説

    Anthropicが発表した最上位モデル「Claude Fable 5.2」を整理します。5.1から変わった3つの点、BoxやUberの事例、使えるプラン、Fableに指示を出すときの2つのコツ、Anthropic公式のモデルの使い分け、外部評価での順位までをまとめました。

  3. Gemini 4 ArgonはChatGPTやClaudeと比べてどうなのか?公式比較・外部評価・得意不得意を解説

    Googleの最上位モデルGemini 4 Argonを、ChatGPT(GPT-6 Astra)やClaude(Fable 5.1・Opus 5.5)と比較。Googleの公式比較、Artificial AnalysisやVals AIなど外部の評価、実際に使った感想から、Argonの得意なこと・不得意なことを整理します。

新着記事

  1. AIエージェントにブラウザを操作させるには?始め方・活用例・注意点をわかりやすく解説

    ChatGPTのWorkモードやClaudeのChrome拡張機能で、AIにブラウザを操作させる方法を解説します。調べ物やレポート取得の活用例、セキュリティの考え方、定期タスクを手順書で効率化するコツまでまとめました。

  2. Gemini 4 Carbonとは?Argonを上回るGoogleの最上位モデルの特徴と、いつ使えるのかをわかりやすく解説

    Googleが10月28日(現地時間)に発表した新モデル「Gemini 4 Carbon」を整理します。軽量版ではなくArgonを上回る最上位モデルで、特にサイバーセキュリティと長時間のエージェント作業に強いのが特徴です。今は審査済みの専門家向けの限定公開で、一般公開の時期と導入価格もあわせて解説します。

  3. Claude Codeのultrathinkが変更

    Claude Codeのultrathinkが、2.1.311からそのターンのeffortを実際にxhighへ引き上げるようになりました。今の仕様、効く条件と虹色の表示、31,999トークンの時代からの変遷、よくある誤解、/effortとの使い分けを解説します。

  4. Grok Botの活用アイデアまとめ

    AIエージェント「Grok Bot」の活用アイデアまとめ。公式が紹介する営業・採用・サポートなどのビジネス向けと、Cursorと組み合わせるエンジニア向けの使い方に加え、筆者が実際にやっているX連携・ダイエットの記録・勉強・他社のAIエージェントとの連携などを紹介します。

  5. Grok Botの始め方と使い方

    AIエージェント「Grok Bot」の始め方と使い方を実体験から解説。料金と使えるプラン、Xと連携した情報収集やAIポッドキャストなどおすすめの使い方、記憶の整理でミスを減らすコツ、買い物の自動化がまだ難しい理由までまとめます。

  6. Claude Duetとは?Anthropicのクラウド型AIエージェントと、各社の動きをまとめて解説

    Anthropicが発表した先回り型のAIエージェント「Claude Duet」の仕組み、承認の仕組み、誰がいつ使えるのかを整理します。あわせてGrok Bot・Muse・dots・Gemini agentと続くクラウド型AIエージェントの流れと、今試すならどれかを解説します。

  7. Gemini NotebookはGoogleドライブのどこまで参照する?フォルダとファイルの参照範囲を解説

    Gemini Notebook(旧NotebookLM)とGoogleドライブを連携した時、AIはどこまで情報を参照するのか。指定していないフォルダまで読まれることはあるのか、連携の単位から整理します。

  8. Google AI Studioで作ったAndroidアプリを自分のスマホに入れられるように|開発者アカウント不要

    10月13日のGoogle Playの発表で、Google AI Studioで作ったAndroidアプリを自分のスマホにインストールして使えるようになりました。開発者アカウントは不要で、アプリは非公開。何が嬉しいのか、在庫チェックや日報など自分専用の業務アプリの例と、地域・年齢の注意点を解説します。

  9. SynthIDとは?TIMEの「Best Inventions 2026」に選ばれたGoogleの電子透かしをわかりやすく解説

    GoogleのSynthIDが、TIME誌の「Best Inventions 2026」に選ばれました。AIが作った画像・音声・動画・テキストに目に見えない電子透かしを入れる技術で、これまでに1,800億件以上に適用されています。何ができるのか、私たちユーザーにとって何が大事なのかを解説します。

  10. MetaのMuseとは?モデルのMuse Spark・Muse Wonderと、パーソナルAIアプリのMuseをわかりやすく解説

    Metaが今年から本格展開しているAI「Muse」を整理します。Museはモデルの名前でもあり、アプリの名前でもあります。Muse SparkとMuse Wonderの違い、アメリカでStore1位になったパーソナルAIアプリのMuse、日本で使えるのはどこまでか、中小企業での活用事例、キーマンのアレクサンダー・ワン氏まで解説します。

AIニュースの最新情報を毎日チェック