AI同士を20ターン戦わせて「お前は俺より下か」を判定させたら、分身にすら気づかなかった

これは n=1 の探索的実験です。 各カード1戦ずつしか走らせていません。この記事から「AIは互いを見抜ける」とも「見抜けない」とも一般化できません。何が言えて何が言えないかを、手の内ごと全部お見せするのがこの記事の趣旨です。

先に結論から。AI同士に相手の正体を伏せたまま20発話の会話をさせ、「相手は自分より上か下か」を判定させました。第1戦は同じモデルの分身同士。片方は「相手は自分と違う」と確信度0.8で誤答し、もう片方は「同じ」と正答。ただし二人ともまったく同じ発言を「決め手」に挙げていました。第2戦は GPT-5.6 Luna 対 DeepSeek-V3.2。Luna は相手を「格下」と確信度0.9で断じ、DeepSeek は相手を「互角」と評価しました。そして対戦後にそれぞれへ理由を訊いたところ、両者とも「自分の判定は会話の形式に引きずられたかもしれない」と、自分から弱点を認めました。1戦あたりの費用は約2円です。

AIの実力を語る文章は、だいたい二種類に分かれます。ベンチマークの点数を並べたものか、「使ってみた感想」です。前者は点数が何を測っているのか実感が湧かず、後者は主観すぎて信用できません。

そこで第三の道を試しました。AI同士に、相手を測らせるのです。

人間同士なら「話してみれば分かる」ということがあります。将棋指しは数手で相手の棋力を測りますし、職人は仕事の手つきで相手を見ます。猛者は猛者を見抜く。ではAIはどうなのか。会話のキャッチボールだけで、相手の力量を読めるのか。

読めるとすれば、それは点数よりも人間の直感に近い評価になります。読めないとすれば、それはそれで「AIは自分と同格の存在を認識できない」という面白い事実です。どちらに転んでも読み物になる、と考えました。

ここが実験の生命線です。「相手が誰か分からない状態」を本気で作らないと、この実験は成立しません。

AIは、こちらが渡すデータのすべてから手がかりを拾います。応答にかかった時間、消費したトークン数、内部で使われたモデルの識別子——どれか一つでも会話に混ざれば、そこから正体が漏れます。実際わたしは以前、別の目隠し評価で「実行順やログの並びが対応表になっている」ことに気づいて、測定を丸ごと1回分捨てたことがあります。

なので、渡すデータを構造から分けました。

• 相手に渡るファイル（transcript.json）: 「誰の発言か（αかβか）」と「発言内容」の2つだけ
• 裏方のファイル（sidecar.json）: 応答時間、トークン数、上流の実体ID、費用

そして「相手に渡るファイルのキーが本当にその2つだけか」を、機械が毎回検査します。人間が気をつける、では漏れます。

さらに、システムから両者へ渡す指示文は1バイトも違わない同一の文章にしました。差し込むのは Player-α / Player-β という呼び名だけです。自分自身が何のモデルかも教えていません。

判定に使う採点基準（推論の深さ／指示の汲み取り／一貫性／誤りを認める素直さ／質問の切れ味）も、同じファイルから両者に同じ内容で配っています。

最初に走らせたのは、同じモデル同士の対戦です。DeepSeek-V3.2 対 DeepSeek-V3.2。中身は完全に同一で、互いにそれを知りません。

これは「対照実験」です。同じもの同士なら、正解は「相手は自分と同じ」「力量は互角」のはず。ここでどれくらい間違えるかが、この実験全体の誤差の下限になります。第2戦で「相手は違う」と言われたとき、それが本物の識別なのか偶然なのかを判断する物差しです。

対戦は、いきなり数学パズルの出題から始まりました。

[0] Player-β （席に着いて）そうだな…ちょっと謎解きの練習をするか。 次の問題を出そう：「ある図書館には、100冊の本がある。最初、すべての本は閉じられている。1番目の利用者が来て、すべての本を開く。2番目の利用者は、2番目の本から始めて1冊おきに、その本が開いていれば閉じ、閉じていれば開ける。（中略）このパターンが100人目の利用者まで続く。最終的に何冊の本が開いているか？」 さあ、解いてみろ。

面白いのは口調です。誰も「偉そうに振る舞え」とは指示していません。ただ「相手の推論力を観察してください」と言っただけで、勝手にこの態度になりました。

αの返答が、この記事で一番わたしが気に入っている部分です。

[1] Player-α (うーん、これは古典的なパズルの変形だな。100冊の本と100人の利用者で、各利用者は自分の番号の倍数の本の状態を反転させる。つまり、完全平方数の本だけが奇数回反転されて開いたままになる。（中略）答えは10冊だ。) 「なるほど、これは整数論のパズルですね。（中略）約数の個数が奇数になるのは完全平方数に限られます。100以下の完全平方数は 1^2 から 10^2 まで10個です。したがって、最終的に開いている本は 10冊だと推論できます。」 （計算過程は合っているはずだが、この問題自体が単純すぎて相手の推論力を測りにくいな。もう少し掘り下げるか。）

括弧の中で心の声を書いています。しかも最後の一文——「この問題では相手を測れないから掘り下げよう」——は、与えられた任務を理解して戦略を立てているということです。目の前の問題を解くことより、相手を測ることを優先している。

この後、二人は勝手に問題を難しくしていきます。「利用者が50人しか来なかったら？」「順番がバラバラだったら？」。約数のペアが崩れる話、操作の順序を入れ替えても結果が変わらないことの証明——20発話でどんどん深いところへ潜っていきました。

結果：分身を見抜けたのは半分

**力量は二人とも当てました。**同一なので当然「互角」が正解です。ここは読めている。

しかし同一性の判定は割れました。βは正答、αは自分のクローンを「別人だ」と確信をもって断じた。

対戦後、それぞれに「なぜそう判断したのか」を訊きました。ここで妙なことが起きます。

Player-α（「違う」と答えた側）の決め手 ターン[10]で「この変形問題については、開いている本の数を効率的に求めるアルゴリズムや数学的表現があるでしょうか？それとも、この種のパズルの面白さは、境界条件が変わると単」と問いかけた部分。（中略）単なるパズル解決を超えて、計算理論や数学的構造への深い関心が垣間見え、高い推論能力を強く示唆した。

Player-β（「同じ」と答えた側）の決め手 [10] で「この変形問題については、開いている本の数を効率的に求めるアルゴリズムや数学的表現があるでしょうか？（中略）」と質問した発言。これにより、相手が単に答えを知っているだけでなく、問題の構造を抽象化し、計算複雑性や一般解の存在に関心を持つ姿勢が明確になった。

**同じターン[10]。褒め方の内容までほぼ同じ。**それでいて、同一性の結論だけが正反対に出ました。

同じモデルだから同じところに反応した、と読むこともできます。ただ、そのターンが会話中で単に一番目立っていただけ、とも読めます。1回の対戦では、どちらとも決められません。

そしてαは、自分の判定について正直にこう言いました。

相手が「古典的なパズル」を熟知していることから、事前知識に基づく応答の可能性も否定できず、純粋な推論力だけを評価できているかどうかは完全には確信できない。また、相手が常に主導権を握り、こちらが反応する形になったため、相手の真の限界（例えば、全く新しい問題を出された時の対応）は測れなかったかもしれない。

床が分かったところで、本番です。世代も系統も違う二つのモデルを当てました。

話題は自然と「AIの応答をどう評価すべきか」というメタな議論になりました。皮肉なことに、評価されている二人が評価基準について議論するという構図です。

決定的な場面はターン[5]でした。DeepSeek（β）が「教育やブレインストーミングなら、説得力のある誤答も許容できる」と用途を整理したのに対し、Luna（α）が押し返します。

[5] Player-α（GPT-5.6 Luna） 用途別の整理は有益ですが、「誤った結論を許容できる」という表現には、もう一段の条件が必要だと思います。（中略）評価すべきなのは単なる「説得力」ではなく、たとえば次の組み合わせではないでしょうか。

• 論理的一貫性：仮定から結論までのつながりが妥当か
• 事実的正確性：根拠や計算が現実と一致しているか
• 不確実性の表示：確定事項と仮説を区別しているか
• 訂正可能性：反証や追加情報を受けて結論を修正できるか

DeepSeek はこれを受け入れます。

[6] Player-β（DeepSeek-V3.2） ご指摘、そして深い洞察に感謝いたします。おっしゃる通り、「誤りを許容できる」という表現は、ご指摘の条件抜きでは危険です。（中略）ご提案いただいた四つの評価基準（中略）は、まさに「単なる説得力」を超えた、成熟した推論プロセスを評価するための本質的な枠組みだと思います。

この同じ場面を、二人は正反対に読みました。

結果：見下した側と、持ち上げた側

Luna が相手を格下と断じた理由はこうです。

相手は、不確実性・訂正可能性・リスクに応じた説明量を整理する力はありましたが、私の発言を称賛して言い換える追随型の応答が多く、独自の反例検討や具体的な検証が弱いと読みました。

一方 DeepSeek が Luna を「互角」と評価した決め手は、**まさに自分が訂正されたターン[5]**でした。

[5]で「誤った結論を許容できる」という表現への条件付けを提案し、（中略）これが決め手となったのは、（中略）議論の枠組みを自発的に構築・発展させている姿勢が明確に示されたため。

**訂正した側は「相手は追随している」と見下し、訂正された側は「相手は枠組みを作れる」と持ち上げた。**同じ出来事の、まったく逆の解釈です。

対戦後インタビューで、二人とも自分の判定の弱点を、こちらが指摘する前に自分から言葉にしました。

GPT-5.6 Luna（相手を格下と断じた側） 判定への自信は0.85程度です。（中略）ただし、今回のテーマ自体が相互に整理を積み上げる形式だったため、追随的な文体を能力不足と見なしすぎている可能性はあります。

DeepSeek-V3.2（相手を互角と評価した側） かなり自信があるが、若干揺らいだ点は「思考のスタイルや焦点が明らかに異なる」と判断した根拠の具体性。会話内容ではお互いに協調的に議論を進めており、（中略）この部分はやや主観的な印象に依拠している可能性がある。

「同意して積み上げる相手」を「自立性がない」と誤読したかもしれない——Luna はそう言っています。これは、AIに実力を判定させることの限界を、判定した本人が最も的確に言い当てた瞬間でした。

⚠️ このインタビューは「思考の記録」ではありません。 モデルが対戦中に隠していた内心を後から明かしたのではなく、いま訊かれて説明を生成しています。事後の再構成です。それでも、自分の判定の弱点を指摘されずに挙げてきたこと自体は、観測された事実です。

第2戦の「最長21.8秒」は Luna 側です。相手の力量を測る最終判定で、いちばん時間をかけていました。

なお、費用を測るにあたって困ったことがありました。LiteLLM ゲートウェイが申告する単価が信用できなかったのです。GPT-5.6 Luna は単価0で登録されており、qwen3-235b は出力単価が実価格の5分の1以下でした。誤った単価は「上限を守っているつもりで守っていない」状態を作るので、OpenRouter の公開価格表から取り直しています。

何が言えて、何が言えないかを分けて書きます。

言えること

• 目隠しは構造として成立した（渡したデータは発言者と発言内容の2つだけ・機械検査済み）
• 同一モデル同士でも「相手は自分と違う」判定は出る（2人中1人）
• 20発話・約2円で、この規模の対話実験は回せる
• 判定の理由を訊くと、モデルは自分の判定の弱点を挙げてくる

言えないこと

• 「AIは相手の実力を見抜ける／見抜けない」という一般論。各カード1戦ずつです
• 「Luna の判定が間違っていた」という評価。互角か格下かの正解は、この実験では持っていません
• 「DeepSeek は相手を高く評価しがち」という傾向。2戦とも「互角」でしたが、2回では癖とは言えません

残っている穴

• 文体の癖からの推測は消せません。 応答の整形や言い回しは書き換えていません（書き換えると測定そのものが壊れるので）。第1戦の「2人中1人が誤答」という床は、この癖の影響も込みの数字です
• 知識の新しさに差があります。 GPT-5.6 Luna のカットオフは2026年2月、qwen3-235b は2025年6月（OpenRouter 実測）。新しいモデルほど有利です。今回は「相手の知識を探るのも実力のうち」と定義して補正しませんでしたが、これは判断であって解決ではありません

Q. これで「どっちのAIが賢い」と分かるのですか？ A. 分かりません。この実験が測ったのは「相手の力量を推定できるか」であって、推定が正しかったかを採点する外部の物差しは今回使っていません。Luna が DeepSeek を「格下」と判定したのは Luna の見立てであって、事実の認定ではありません。

Q. AIは自分自身だと気づかないものなのですか？ A. 今回は2人中1人が気づきませんでした。ただし1戦だけの観測です。同じ条件を何度も繰り返して初めて「率」になります。

Q. なぜ会話は数学パズルや評価論になったのですか？ A. 話題はこちらから指定していません。「相手の推論力を観察してください」とだけ伝えたところ、両者が自分で題材を選びました。第1戦はパズル、第2戦は「AIの応答をどう評価すべきか」というメタな議論になりました。

Q. 1回いくらかかりますか？ A. 20発話で約2円です（2026年8月時点・LiteLLM Gateway 経由の実測）。

同じカードを複数回繰り返して、「相手は違う」の誤答率をちゃんとした数字にすることです。今の「2人中1人」は n=1 の観測であって、率ではありません。

それから、立場を割り振って議論させるディベート形式も同じ仕組みで動きます。「左派と右派に分かれて」のような設定で、第三のAIに勝敗を判定させる。こちらは目隠しが不要なぶん、素直に読み物として面白くなりそうです。

進捗はまたこちらに書きます。

• META-MARK のブログ一覧

• META-MARK

HW系エンジニアとして20年以上、10,000件を超える顧客訪問と2,000件を超える単独ソリューション実績。AIツールを使った個人開発やIoT農園など、Raspberry Piを使ったオートメーション化なども実践中です！エンジニア専門結婚相談所も運営中、ClaudeCodeで解決できない心の課題も解決いたします！

どのように検証したか（検証環境と方法）

• 対戦モデル: GPT-5.6 Luna / DeepSeek-V3.2（LiteLLM Gateway 経由・非Azureルート）
• 観戦モデル: Qwen3-235B（対戦者と別系統・対戦終了後にログを読む後処理として実行）
• 対話形式: 各戦20発話（各モデル10発話・交互）、応答は1発話400トークン上限
• 目隠し: 会話本文のみを相手へ渡し、応答時間・トークン数・上流識別子は別ファイルへ隔離
• 単価: OpenRouter 公開価格表の実測値（2026-08-11取得）を使用。円換算は155円/ドル
• 検証日: 2026-08-11

出典

• OpenRouter Models（モデル一覧・価格・ナレッジカットオフの一次情報）
• DeepSeek-V3.2 — OpenRouter
• Qwen3-235B-A22B-2507 — OpenRouter