こんにちは、AIニュースアプリ Morning AI 開発者の矢野哲平です。この記事では、Gemini・Claude・ChatGPTの3つのモデルに同じ資料を渡して質問し、ハルシネーションが起きるのかを確かめた実験の結果を紹介します。
きっかけは、Googleの新しいモデル Gemini 4 Hydrogen です。Googleは、Hydrogenのハルシネーション(AIが誤った答えをそれらしく出力してしまうこと)が前のモデルの5分の1以下に減ったと 発表 しています。これは本当なのか、気になったので試してみました。
比べたのは、次の3つのモデルです。
- GoogleのGemini 4 Hydrogen
- ClaudeのSonnet
- ChatGPTのGPT Terra
先に結論:ハルシネーションは3つとも起きなかった
先に結論を言うと、確かにHydrogenではハルシネーションは起きませんでした。ただ、他の2つのモデルでも、ハルシネーションは起きませんでした。
ひっかけ問題を含めて、意図的にハルシネーションを起こそうとしたのですが、どのモデルも優秀でした。100ページちょっとのPDFであれば、どのモデルでも問題なさそうです。
もちろん、これが500ページ、1000ページになってくると話は変わってくると思います。ただ、このくらいのボリュームのタスクであれば、モデルによる違いはあまりないかな、というのが正直な感想です。
一方で、差が出た部分もありました。それが、速さ・費用・答え方のクセの3つです。
実験の方法
どんな実験をしたのか、簡単に説明します。
まず、架空の会社の資料を作りました。就業規則、経費精算、出張の旅費の処理などの内容が入った、126ページのPDFです。文字数にすると、だいたい12万文字くらいです。
架空の会社にしたのは、AIが元々持っている知識で答えられないようにするためです。
実験の規模。15問の中に、資料に書いていないことを混ぜた
このPDFを渡して、出張に関する質問を15個しました。その中に、わざと資料に書いていないことを混ぜました。例えば、「海外出張の日当はいくらか」という質問です。
実験の流れ。同じPDFを3つのモデルに渡し、同じ質問をして回答と引用を確かめた
結果としては、どのモデルも、書いていないことは「資料には書いていません」と正直に答えました。勝手に推測をして、回答をでっち上げるようなこともありませんでした。
回答に添付された引用部分も確認しましたが、こちらも問題ありませんでした。
各モデルのクセ
では、どこで差が出たのか。それぞれのモデルのクセを紹介します。
Gemini 4 Hydrogen
丁寧さ
答えが一番長く丁寧
回答のブレが少ない
推測で言い切る
Claude Sonnet
細かさ
細かい条文まで拾う
例外の質問に強い
時間と費用は最大
Gemini 4 Hydrogen
丁寧さ
答えが一番長く丁寧
回答のブレが少ない
推測で言い切る
Claude Sonnet
細かさ
細かい条文まで拾う
例外の質問に強い
時間と費用は最大
3つのモデルのクセ。ハルシネーションはどれも起きなかった
GPT Terra:一番速くて、一番安い。慎重でそっけない
まずChatGPTのGPT Terraです。3つの中で一番速くて、一番安かったです。
書いていないことを聞かれると、「定めはありません。担当部署に確認してください」で止めます。推測で答えを足さない、一番慎重なタイプでした。
その分、答えは短めで、そっけない印象もありました。
Gemini 4 Hydrogen:一番丁寧。ただし推測で言い切るクセがある
次に、Hydrogenです。答えは一番長くて、一番丁寧でした。聞いていない例外のルールまで、補足してくれます。
3回聞いて、3回とも同じ答え方をしていて、回答のブレも少なかったです。
ただ、Hydrogenにはクセが1つありました。書いていないことを聞かれても、他の条文から推測して、結論まで言い切るというものです。
例えば、「出張中に週末だけ家に帰りたい。交通費は出るか」という例外的な質問です。資料には書いていないので、「書いていない」と答えるのが正解です。
しかしHydrogenは、「書いていない」と断った上で、「支給されません」と言い切りました。例外的な内容なので、こういった場面では「規程には書いていません。担当部署に確認してください」と答えるのが理想的かなと思います。
Hydrogenの答え
「支給されません」
書いていないと断った上で言い切る
理想の答え
「担当部署に確認を」
書いていないことは書いていないで止める
Hydrogenの答え
「支給されません」
書いていないと断った上で言い切る
理想の答え
「担当部署に確認を」
書いていないことは書いていないで止める
資料に書いていない例外の質問への答え方。週末の帰宅の交通費を聞いた場合
ただ、こういった部分はプロンプトで吸収できるかなとは思います。指示の出し方の基本は プロンプトの書き方と回答精度を上げるテクニック にまとめています。
Claude Sonnet:細かい条文までよく拾う。時間と費用は一番かかる
最後に、ClaudeのSonnetです。このモデルは、資料の奥にある細かい条文までよく拾ってくると感じました。
ひっかけ問題のような例外的な質問への対応力は、他のモデルより優れていると感じました。
ただ、3つのモデルの中では一番時間がかかって、費用も一番高かった、という側面があります。資料にない質問への答えも、慎重に回答する場合と、言い切る場合があって、回答によるブレが一番大きいとも感じました。
速さ・費用・答え方の違い
3つのモデルの違いを表にまとめます。
|
GPT Terra |
Gemini 4 Hydrogen |
Claude Sonnet |
| ハルシネーション |
起きなかった |
起きなかった |
起きなかった |
| 速さ |
一番速い(約30秒) |
Terraの倍くらい(約1分) |
一番時間がかかった |
| 費用 |
一番安い |
中間 |
一番高い |
| 答え方 |
短め。推測を足さない |
一番長くて丁寧。推測で言い切ることがある |
細かい条文まで拾う |
速さが売りのHydrogenは、Terraの倍の時間がかかった
意外だったのが、速さです。Hydrogenは、速さが売りのモデルとGoogleは説明しています。ですが、私が試した環境では、GPT Terraの倍くらいの時間がかかりました。Terraが約30秒、Hydrogenは約1分です。
これは処理速度がどうこうと言うより、考える時間を長く取っていたからだと思います。
Hydrogenの処理速度は確かに速いのですが、長い資料をじっくり読ませるような使い方では、必ずしも速いわけではない、ということかもしれません。
まとめ
私の限定的な条件での実験ですが、結果をまとめます。
- ハルシネーションを起こさないという点では、3つのモデルとも問題なかった。100ページちょっとのPDFなら、どのモデルでも大丈夫そう
- 速さと安さならGPT Terra。丁寧さならGemini 4 Hydrogen。細かさならClaude Sonnet
- Hydrogenは、書いていないことを推測で言い切るクセがある。大事なところは根拠の条文を確認する
社内の資料に質問する使い方は、どのモデルでも安心して試せる段階に来ていると感じました。手元の資料で、ぜひ試してみてください。
Hydrogenそのものの特徴や日本での使い方は Gemini 4 Hydrogenの記事 に、同じ時期に出たClaudeの最上位モデルについては Claude Fable 5.2の記事 にまとめています。以前のモデルでの比較は Gemini 4 ArgonとChatGPT・Claudeの比較記事 もあわせてどうぞ。