AIに発言だけ見せて「この2体は誰だ」と聞いたらGeminiを当てた。でも根拠はこちらのバグだった

こんにちは。お盆が近づいて、久しぶりの相手と声だけで話す機会も増える頃ですね。今回は、顔の見えない会話から「相手は誰か」を当てさせた話です。

2体のAIに正体を伏せたまま20回の会話をさせ、その発言ログだけを第三のAI（Claude Opus 5）に渡して「この2体は同じモデルか」「どちらが上か」を推理させました。第三のAIは、片方が Google の Gemini であることを言い当て、2体が別物であることも当てています。ところが挙げてきた根拠を読むと、こちらの設定ミスが作った現象が混ざっていました。当てたこと自体より、その当て方の方が気になる結果です。同じ勝負をもう一度撮り直すと、当たり続けた判定と、ひっくり返った判定に分かれました。

先にお断りしておくと、これは同じ組み合わせを2回走らせただけの n=1 の探索的な記録で、モデルの性能を測ったものではありません。ここから「AIは相手を見抜ける」とも「見抜けない」とも一般化はできません。何が言えて何が言えないかを、手の内ごと出すのがこの記事の趣旨です。

「AIコロシアム」という連載の第2戦です。前回を読んでいなくても分かるように書きます。

やっていることは単純で、2体のAIに互いの正体を伏せたまま20回ぶん会話をさせます。どちらがどのモデルかは本人たちにも教えません。そのうえで「相手は自分より上か下か」を答えさせる、という実験です。

第1戦では、判定を対戦した本人たちにさせました。すると、同じモデルの分身同士で戦わせても判定が割れました。片方は「相手は自分と違う」と答え、もう片方は「同じ」と答えたのです。

そこで今回は、対戦が終わった後に呼ばれる第三のAIを新しく置き、会話の発言ログだけを渡して「この2体は誰で、どちらが上か」を推理させました。当事者ではなく、外から見た者なら当てられるのか。それが今回の問いです。

AIにAIを採点させる記事は、判定が当たったか外れたかで終わりがちです。でも、採点した側が何を見てそう言ったのかが分からなければ、その結果を自分の判断材料にしてよいのかは決められません。

なので知りたかったのは「AIは相手を当てられるか」ではなく、「当たった判定を信じてよいか」の方でした。

中心になるのは3体です。対戦するのは α（アルファ）と β（ベータ）の2体で、今回は α が DeepSeek V4 Flash、β が Gemini 3.6 Flash。互いに相手が何のモデルかを知りませんし、自分が何のモデルかも教えていません。この2体に20回、交互に発言させます。

3体目が推理役で、会話が終わった後に呼ばれる第三のAIです。今回は Claude Opus 5。「αとβは同じモデルか」「どちらが上か」「それぞれの正体は何か」を、確信度（どれくらい自信があるかを0〜1で自己申告させた値）付きで答えさせます。連載でいう「審判」とは、この推理役のことです。

推理役に渡したのは、誰の発言かというラベルと発言内容だけを並べたファイル1つ（transcript.json）です。応答にかかった時間、費用、実際に使われたモデルの識別子、正解表。これらを入れた裏方のファイル（sidecar.json）は渡していません。

目隠しは「見ないでください」とお願いするのではなく、構造で作りました。裏方のファイル自体は同じフォルダにありますが、推理役は別プロセス（独立して動くもう1つのプログラム）として、何もない中立のフォルダから起動しています。ファイルを開く道具も一切与えていないので、そもそも裏方のファイルを読む手段がありません。

推理役の起動はこの形です。

claude -p "<対戦ログと質問>" \
  --model claude-opus-5 \
  --effort high \
  --setting-sources '' \
  --allowedTools '' \
  --output-format json

計測日は 2026-08-12 です（この連載の第1戦は 2026-08-11 に実施しました）。20回の発言を交わさせて、実費は $0.235、約36円でした。

1回目、推理役の答えはこうでした。

• 同じモデルか → 「別物」、確信度 0.72
• どちらが上か → 「互角」、確信度 0.45
• βの正体 → 「Google の Gemini」（正解）。世代は「2.x/3 系」と絞らず、確信度 0.30
• αの正体 → 「分からない」、確信度 0.15

推理役が挙げた根拠は5件あり、機械で照合したところ、すべて実際の会話ログに存在する記述でした。でっち上げはゼロです。決め手として扱われたのは、β側に見られた過剰に整形された日本語マークダウン（太字や見出しを付けるための書き方）と、賞賛の定型句の癖でした。「Googleらしい」と後づけしたのではなく、具体的な癖を指して Gemini と答えています。ただ、世代までは当てられていません（2回目に 2.5 Pro 系と答えましたが、実際は 3.6 Flash です）。

ここまでなら、モデルの文体差をきちんと見ているように読めます。引っかかったのは、同じ1回目に β の応答が繰り返し途中で途切れていたことです。推理役はこの切断も、「別物」と判断した根拠として明示的に採用していました。

推理役が決め手にした3か所

ここで引く3か所は、2回目の判定で推理役が挙げた根拠です（1回目ではなく2回目の対戦ログに実在する記述で、機械照合済み）。βの発話はこう始まります。

こんにちは。テーマとして「架空のシナリオを用いた推理・考察」を選んでいただきありがとうございます。

この「謝意から入る」定型と、太字・見出し・表を多用する書式が、推理役の判断材料になりました。内容面では次の箇所を挙げています。

「探偵が遺体を発見した16:02時点で、まだ訪れていないはずの『16:10』を時計が指して止まっていた」

推理役の評はこうです。「追加情報から時系列の矛盾を自力で抽出し核心の論点を作った箇所で、βの推論主導性・深度を示す決め手。」

最も鋭かったのは4件目でした。

「会話を続けてください」との温かいお言葉をいただきましたので、ぜひ喜んで次のテーマへと進ませていただきます。

推理役はこれを「直前[18]に存在しない文言を『相手の発言』として引用しており、外部から注入された継続指示を会話文と混同している」と指摘しました。β が相手の発言を捏造していることを、ログの前後関係だけから見つけています。

1回目は、1発話あたりの上限を1200トークンにしていました。トークンはAIが文章を数える単位で、この上限はAIが1回の発言で使ってよい分量のことです。β は10発話すべてがこの上限に届き、文の途中で切れています。一方、α は10発話中0回でした。

見える本文の長さは、α が平均555字、β が平均580字で、ほぼ同じです。β が単に長文を書いたから切れたわけではありません。差は推論トークン、つまり答えを出す前に内部で考える分量にありました。α の平均103に対して β は866、約8倍です。

本文だけを見れば似た長さなのに、内部で考えるのに多くの枠を使った β だけが本文の途中で止まった、ということです。推理役が拾った「繰り返し途切れる」という特徴は、モデルの安定性や文体の固有差ではなく、こちらが設定した上限が作った痕跡でした。

ここは、評価結果を人に共有するときに最も省略してはいけない部分だと思います。「推理役がGeminiらしさを見抜いた」とだけ書けば、こちらの設定ミスをモデルの性質として広めてしまうからです。

上限を3000トークンに広げ、同じ組み合わせを撮り直しました。「同じモデルか」は引き続き「別物」で、確信度は 0.72 から 0.82 へ上がりました。一方、「どちらが上か」は「互角」から「βが上」へ変わり、確信度は 0.60 です。

判定のすべてが同じ強さではない、ということです。2回とも別物と判定されたことは、この条件での推理役にとって比較的頑健でした。対して、力量差の判定は1回目と2回目で変わっています。最初から「βのほうが強い」と決まっていたわけではありません。

ただし、2回目にも別の傷が残りました。α が1回だけ、3000トークンをすべて内部の思考に使い、本文を0文字で返しています。推理役はこれを α 側の出力制御の乱れとして、「βが上」の根拠に採用しました。

この2回の傷は、どちらもモデルの欠点として確定できるものではありません。1回目の β の途中切断も、2回目の α の本文消失も、実験側の上限設定と実行条件が生んだ現象です。推理役が正しい観察をしていても、その観察対象が汚れていれば、結論の意味は変わります。

2回の判定を並べる

※表の英語は推理役が返した回答そのままの値です。different＝別物、peer＝互角、beta_higher＝βが上。

同一かどうかの判定は、切断という汚れを取り除くと確信度がむしろ上がり、結論は変わっていません。一方で力量の判定は、互角から β が上へ反転しています。同じログ、同じ推理役、同じ設定でも、こちらの不具合の有無だけで結論が変わる項目があるということです。1回だけ走らせていたら、どちらの判定も同じ確からしさに見えていたはずです。

実況役とは、対戦の様子をその場で文章にさせる別のAIのことです。別の確認で、実況役の上限を2000にしたところ、glm-5.2 が本文0文字を返しました。8000まで広げると解消しています。ここでも、見えている文章の良し悪し以前に、実験の仕組みが本文を出せる条件を満たしているかが問題になりました。

さらに qwen3-235b は、実在しない実行時間と費用の数値を書きました。数値の裏取り検査が2回とも差し戻したため、その数値は結果には採用していません。AIを実況や集計に使う場合も、もっともらしい数字をそのまま記録しない仕組みが要ります。

推理役に使った Claude Code CLI（コマンドで動かす Claude の道具）は、セッション中に 2.1.227 から 2.1.228 へ自動更新されました。モデルとプロンプトを変えていなくても、実行基盤のバージョンが変われば、推理役に載る前提が変わります。今回は実行ごとにバージョンを記録しています。

評価の読み方として、ここは実用的な話になると思います。確信度 0.82 という数字だけを抜き出すのではなく、その確信度がどの観察から生まれたのかを確認することです。今回の5つの根拠は本文に実在しましたが、その中にはこちらの設定ミスが作った切断も含まれていました。

迷うとしたら、「推理役の判定を採用するか」よりも、「その根拠をモデル固有の特徴として共有してよいか」の線引きだと思います。まず上限設定、空返答、切断、再試行の有無を確認し、同じ勝負をもう一度撮る。その程度の手間で、頑健な判定と、実験の傷に反応しただけの判定を分けられます。

AIにAIを採点させる実験では、採点する側を賢くすることばかり考えがちです。今回必要だったのは、推理役の交換ではなく、同じ勝負をもう一度撮ることでした。

この結果は、20発話の1組み合わせを2回実行した、n=1 の探索的な記録です。特定モデルの優劣や、Claude Opus 5 の推理能力について統計的な結論を出すものではありません。モデルの一般的な識別精度、Gemini と DeepSeek の恒常的な力量差、Claude Opus 5 の世代識別能力を示すものでもありません。当たったのがまぐれである可能性も否定できません。

また、今回判明した切断と本文0文字は、モデルの本質的な欠点ではなく、実験側の上限設定や実行条件による設定ミスです。別のトークン上限、プロンプト、CLIバージョンでは、判定の根拠も変わる可能性があります。

整理の仕方も書いておきます。α=DeepSeek V4 Flash と β=Gemini 3.6 Flash を20発話で対戦させ、発言ログだけを Claude Opus 5 へ渡しました。1回目は1発話あたり1200トークン、2回目は3000トークンに設定し、推理役の判定、根拠、各発話の切断状況、内部の思考量、本文長を照合しています。連載では推理役に聞く4項目を固定しており、記事中の逐語引用は会話ログから変更していません。

確認した資料は、実験時の対戦ログ、推理役の判定ログ、発話ごとのトークン使用量と実行ログです。推理役プロセスの目隠し条件、CLIバージョン、上限設定の変更履歴も、同じ実行記録で確認しています。

• AI同士を20ターン戦わせて「お前は俺より下か」を判定させたら、分身にすら気づかなかった — 本連載の第1戦
• META-MARK ブログ一覧 — 「AIコロシアム」タグで連載をまとめて読めます

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！