結論、検証ありならClaude Fable 5.1、直接参照ならGPT-6 Astra

こんにちは。夏休み明けのテストが返ってくる頃ですね。今回は AI の答案の、点数ではなく「間違え方」を見比べる話です。

Claude Fable 5.1 と GPT-6 Astra は、知識の確かさを測る AA-Omniscience Index でどちらも43点です。数字だけなら「好きな方でいい」と思いそうですが、中身を割ると、間違え方の性質がかなり違います。人間が必ず中身を確かめる工程なら、正答率67%の Fable 5.1 が向いています。答えが社内FAQや一次回答としてそのまま読まれる工程なら、非ハルシネーション率49%の Astra のほうがリスクを抑えやすい。

ただし、49%でも、正解できなかった回答の半分以上ではハルシネーション（もっともらしい作り話）が起こり得ます。どちらを選んでも、確認の工程は外せません。

Artificial Analysis（AA、AI モデルを第三者として計測している比較サイト）の AA-Omniscience Index は、知識の信頼性とハルシネーションを測る指標です。正解には加点し、ハルシネーションには減点します。一方で、「分かりません」と答えを控えること自体には減点しません。スコアは-100から100までで、0は正解と不正解が同数、マイナスは不正解のほうが多い状態です。

つまりこの一つの数字には、「たくさん正解できること」と「分からないときに作り話をしないこと」が一緒に入っています。AA の表示では、Claude Fable 5.1（max with fallback）、GPT-6 Astra（max）、Claude Fable 5（with fallback）の3モデルが43で並び、4位の Claude Opus 5（max）は37でした。

知識の信頼性を -100〜100 で表した指標。左から3本が同じ高さで並び、それが Claude Fable 5.1・GPT-6 Astra・Claude Fable 5 の43。右へ行くとゼロを割り、最右は -49（出典 https://artificialanalysis.ai/ 、2026-09-05 取得）

Fable 5.1 は Astra より正答率が4ポイント高く、知識量としては上です。ところが非ハルシネーション率は、Astra のほうが22ポイント高い。正解できる問題を多く持つ Fable 5.1 と、分からない問題で答えを作り上げずに済む割合が高い Astra。この差が、合成スコアの中でちょうど打ち消し合っています。

もう一つ見落としやすいのが設定の違いです。Astra は AA のmax、Fable 5.1 はmax with fallbackという別の設定で載っています。推論の強さを下げたときにこの2つの数字がどう動くかは、確認できていません。

最初に引っかかるのは、たぶんここです。「67%も正解するのに、作り話を避けられたのは27%だけ？」と。

これは分母が違うからです。正答率67%は、評価された回答全体のうち正しく答えられた割合。一方の非ハルシネーション率は、AA の定義では「1 − ハルシネーション率」で、分母は正解しなかった回答だけです。全回答のうち何割が正確だったか、という数字ではありません。Fable 5.1 は、正解できなかった残りの回答のうち、答えを控えたり保留したりして作り話をせずに済んだのが27%でした。Astra は正答率63%で知識量では Fable 5.1 に届きませんが、正解できなかった回答のうち作り話にならなかった割合は49%あります。

同じ評価を2成分に割った左右2枚。左の正答率では茶色の Claude Fable 5.1 が67%で先頭、GPT-6 Astra は3本目の63%。右の非ハルシネーション率では順序が入れ替わり、GPT-6 Astra が49%、Claude Fable 5.1 は27%まで下がる（出典 https://artificialanalysis.ai/ 、2026-09-05 取得）

OpenRouter（複数の AI モデルを一つの窓口から使えるサービス）の表示でも、Astra は正答率62.6%、非ハルシネーション率48.7%です。AA の棒グラフの63%と49%とは、丸め方が違うだけです。

迷うとしたら、「分かる問題を増やしたい」のか、「分からない問題で余計な答えを出してほしくない」のか、という一点だと思います。正答率は知識の量、非ハルシネーション率は間違えそうなときの振る舞い。同じ正確さを別の角度から見た数字ではありません。

同点の2モデルだけを見ていると、この2つの数字が独立していることは見えにくいです。両端のモデルを並べると、はっきりします。

MiniMax-M3 は正答率27%ですが、非ハルシネーション率は82%で全体1位です。分かる問題は少ない代わりに、分からない問題で取り繕わずに済む割合が高い。反対に、GPT-5.6 Solは正答率59%と高いのに、非ハルシネーション率は8%です。GPT-5.6 Luna も正答率43%に対して非ハルシネーション率7%でした。知識問題に答えられることと、答えられない問題で安全側に倒れることは、同じ能力としては扱えません。

ひとつ注意しておきたいのが、非ハルシネーション率のグラフの読み違いです。数値の近いモデルが詰まって並んでいて、Claude Fable 5.1 は27%、すぐ隣の32%は Inkling の値です。ここを取り違えると、Fable 5.1 の性質を逆に読んでしまいます。

コードレビューを前提にした実装、調査メモの下書き、専門文書を読ませて人間が根拠を確かめる作業。こうした工程では、正答率67%が効きます。最終判断を人間がするなら、最初から正しい候補が返ってくる回数が多いほど、確認と修正の手数が減るからです。

とはいえ、Fable 5.1 が間違えないわけではありません。非ハルシネーション率は27%なので、正解できなかったときに安全側へ倒れる割合は Astra より低い。コードの差分や資料の引用元を確かめずに採用すれば、もっともらしい誤りがそのまま通る余地があります。

個人開発や小さなチームで、レビュー担当が必ず画面を見る運用なら、Fable 5.1 の「分かる範囲の広さ」を優先する判断は成り立ちます。ただ、確認する側が疲れているときほど確認を飛ばしがちなので、確認を省かない手順まで一緒に決めておいてください。

社内FAQ、事実確認の一次回答、要約をそのまま共有する工程では、知識量の差より、分からないときの振る舞いのほうが大事になります。間違った説明が確定情報として出回ると、後から訂正するコストがかかるからです。

この場面では、Astra の非ハルシネーション率49%のほうが、Fable 5.1 の27%より向いた材料になります。正答率は63%で Fable 5.1 より4ポイント低いものの、正解できなかった回答のうち作り話にならずに済む割合は高い。直接読まれる工程では、この差が選ぶ理由になります。

ただし、49%を「ほぼ安全」と読んではいけません。正解できなかった回答の半分以上では、なおハルシネーションが起こり得るという意味です。Astra を使う場合でも、重要な情報には出典の確認や人間の承認を残す必要があります。

AA-Omniscience だけでモデル全体の優劣は決められません。ほかの評価を並べると、Astra が上の項目と Fable 5.1 が上の項目に分かれます。

専門文書を読んで推論する GDP.pdf（All-pass）では、Astra が33%で1位、Fable 5.1 は26%です。物理推論の CritPt でも Astra が32%、Fable 5.1 が30%。GPQA Diamond では Astra が96%、Fable 5.1 が94%でした。文書や科学系の一発勝負では、Astra の数字が上回ります。

一方、エージェント作業（AI が複数の手順を自分で進める作業）やコード寄りの評価では、Fable 5.1 が優位です。AA-Briefcase Elo は Fable 5.1 が1666で1位、Astra は1566。Terminal-Bench v2.1 は91%対88%、SciCode は63%対56%、Humanity's Last Exam は59%対55%です。長い文章を読ませる推論の AA-LCR v1.1 でも、Fable 5.1 が85%、Astra が81%でした。

専門文書推論と物理推論の2枚。左端の黒い棒が GPT-6 Astra で、GDP.pdf では33%と先頭に立つ。右の物理推論では GPT-5.6 Sol と並ぶ32%（出典 https://artificialanalysis.ai/ 、2026-09-05 取得）

この入れ替わりも、Omniscience の同点が「総合的に同じ」という意味ではないことを裏付けています。測っているのが知識の信頼性なのか、長い作業をやり切る力なのかで、見るべきモデルが変わります。

費用の面では、両モデルとも OpenRouter 上で入力が100万トークンあたり10ドル、出力が50ドル、一度に読める量（コンテキスト）はどちらも1Mと表示されています。同じ2モデルの料金とタスク単価まで見たい場合は、GPT-6 AstraとClaude Fable 5.1のタスク単価を比較した記事も合わせて確認できます。ただし OpenRouter は、同じモデルでも提供元によって実効価格とエラー率が変わります。実際に回す前にAstraを5経路で実測した記事も見ておくと安心です。

モデル名を決める前に、出力がどこで止まり、誰が確かめ、誤りがどこへ流れるのかを見てください。リーダーボードの43だけでは、この運用上の違いまでは見えません。

• 出力を人間が必ず確認するか。確認なしで公開・参照されるか。
• 間違いのコストは、修正の手数か、誤情報の拡散か。
• 評価対象は知識、専門文書、コード、エージェント作業のどれに近いか。
• Astraはmax、Fable 5.1はmax with fallbackという設定差を許容できるか。

確認ありの実装や下書きなら、Fable 5.1 の正答率67%を軸に選びます。回答がそのまま読まれる工程なら、Astra の非ハルシネーション率49%を重く見ます。どちらにしても、重要な事実やコードを採用する前の確認は残してください。

私がこの表を運用に持ち込むなら、AA-Omniscience Index の43は候補を残すために使い、最後の決め手には正答率と非ハルシネーション率を使います。レビューを前提にできるなら Fable 5.1、回答がそのまま読まれるなら Astra です。

ただし、これは AA の評価セットの上での判断です。AA-Omniscience は514モデル中22モデル分が表示されていて、Intelligence Index とは母集団も違います。また、Astra が載っていない評価は「まだ測られていない」だけで、弱さの証拠ではありません。

数字の読み方でいちばん避けたいのは、43という合成スコアを「どちらも同じ」と短絡することです。Fable 5.1 は知識量、Astra は間違えそうなときの抑え、と別々のリスクを抱えています。選ぶべきなのはランキングの勝者ではなく、間違いが起きたときに、誰がどの工程で止めるのかに合ったモデルだと私は考えています。

本稿の数値は、2026年9月5日時点で Artificial Analysis と OpenRouter の公式ページに表示されていた第三者の計測です。私が回した計測ではありません。ここに書いたのは確認できた事実で、工程ごとの向き不向きはまだ実測していない推測として分けています。ページが更新されれば数字は動きます。

• Artificial Analysis
• OpenRouter GPT-6 Astra
• OpenRouter Claude Fable 5.1

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！