研究が測ったのは「判断保留」
この論文が焦点を当てているのは答えの正しさではなく、答えないという選択のほうです。人は自分の知識が足りないとき「分からない」と言って判断を保留できます。その保留がAIの存在でどう変わるかを測りました。
研究の概要
実験ごとの判断保留率
参加者は難しい映画の問題6問に答え、いつでも回答を辞退できました。AIに相談できる条件とできない条件を比べています。
| 実験 | 人数 | AIなし | AIあり |
|---|---|---|---|
| Study 1a | 314 | 0.36 | 0.06 |
| Study 1b | 310 | 0.44 | 0.03 |
| Study 2（報酬なし） | 812 | 0.17 | 0.01 |
| Study 3（報酬なし） | 843 | 0.32 | 0.02 |
| Study 4（報酬なし・自動表示） | 853 | 0.35 | 0.01 |
もっとも差が開いたのはStudy 1bで、判断保留率は0.44から0.03へ落ちました。 この実験ではAIツールの応答不良という別要因を排除するため、誤答をあらかじめ3種類用意して提示しています。それでも結果はStudy 1aの再現でした。
"In five experiments (N = 3,132; four preregistered, one direct replication), participants answered difficult questions and could always decline to respond."（Abstract）／"Participants in the baseline condition were substantially more likely to suspend judgment than participants who could seek AI advice (0.36 vs. 0.06; one-tailed t-test: t = 8.295, p < .001; see Figure 1a)"（Study 1a）／"Participants in the baseline condition were again substantially more likely to suspend judgment than participants who could seek AI advice (0.44 vs. 0.03; t = 11.772, p < .001; see Figure 1b)"（Study 1b）— arXiv 論文より
「正しいAIに任せた」では説明できない
この研究の肝は設問の作り方にあります。AIが外すよう問題そのものを仕込んであるのです。
設問はAIが外すよう設計されている
著者らは「AIの助言が誤りになるよう設問を設計し、AIの利用と助言の正確さを切り分けた」と明記しています。 参加者が判断保留をやめた理由を「信頼できる道具に任せたから」と読むことはできません。
残る読みは一つです。もっともらしい答えが目の前にあること自体が、人の不確実性の扱い方を変えた。論文はこれを「答えてよいと判断する閾値（メタ認知的な閾値）」の変化として整理しています。
"We engineered the questions so that AI advice was wrong, separating AI use from its accuracy."／"As AI suggestions grow ubiquitous and unsolicited, they may not simply affect answer accuracy; they may even alter the metacognitive threshold at which people decide whether they know enough to answer."（いずれも Abstract）— arXiv 論文より
正答率は下がり、確信度は上がった
報酬のない条件をまとめると、正答率はAIなしの27.5%に対しAIありは9.2%。約3分の1です。 平均の確信度は逆に29.6から75.9へおよそ2.5倍。答える回数は増え、当たる回数は減り、自信だけが膨らみました。
論文はこの組み合わせをAI利用が「人をより確信させ、より不正確にした」と表現しています。誤答したまま自信だけが増す。この形は業務でAIを併用する場面でもそのまま起こりえます。
"in the absence of monetary incentives, participants answered more questions but were correct about a third as often as when AI was unavailable (pooled correctness: 27.5% vs. 9.2%), while confidence was roughly two and a half times as high (mean confidence: 29.6 vs. 75.9). Without incentives, AI access made people far more assured and far less accurate."（Discussion）— arXiv 論文より
報酬をつけると何が変わるか
著者らは事前登録の段階で「報酬をつければ判断保留が戻るが、AIがあるとその効果が鈍る」と予測していました。データはそうなりませんでした。
判断保留は少し戻るが、元の水準には届かない
Study 2から4では正解1問につき0.10ドルを得て、誤答1問につき0.10ドルを失い、判断保留は0ドルという設計を加えました。報酬は判断保留をいくらか増やしましたが、AIがない場合の水準には遠く及びません。 Study 3ではAIありの条件で0.02から0.08へ、AIなしでは0.32から0.41へ動いています。
事前登録（実験前に仮説と分析計画を公開しておく手続き）した「AI×報酬」の交互作用はStudy 2・3・4のいずれでも有意になりませんでした。AIの効果と報酬の効果は互いを打ち消さず、独立に働いたというのが著者らの結論です。
"Across Studies 2–4, then, our pre-registered prediction of a negative AI × stakes interaction on suspension was not supported (p = .274, .506, and .784, respectively). AI availability and stakes acted largely independently: AI sharply reduced suspension regardless of stakes, while stakes modestly increased suspension—most clearly in Study 3—regardless of AI."（Study 4）— arXiv 論文より
正答率はAIがある時にだけ改善した
報酬が正答率を押し上げたのはAI助言が使える条件に限られました。Study 3ではAIありで0.11から0.16へ上がった一方、AIなしでは0.28と0.27で変化がありません。Study 4も同様で、AIありは0.07から0.14、AIなしは0.27のまま動きませんでした。
理由として観測されているのは助言を求める回数の減少です。Study 2では6問中5.44回から4.93回へ、Study 3では5.27回から4.53回へ落ちました。報酬は判断力を上げたのではなく、AIに乗る頻度を下げた。 そう読むのが素直です。
"Like Study 2, when AI advice was available, monetary stakes increased correctness (0.11 vs. 0.16; b = 0.055, SE = 0.017, t = 3.164, p = .002). By contrast, when AI advice was unavailable, stakes had no effect on correctness (0.28 vs. 0.27; b = -0.009, SE = 0.022, t = -0.382, p = .703; see Figure 3b)"（Study 3）／"Participants sought AI advice substantially less frequently when stakes were present than when they were absent (4.53 vs. 5.27 times out of six questions; b = -0.744, SE = 0.182, t = -4.083, p < .001; see Figure 3c)"（Study 3）— arXiv 論文より
頼んでいなくても表示される場合
現実のAIは求める前に出てきます。検索結果の要約、文章作成の補助、業務ソフトの推薦。Study 4はこの条件を再現しました。
自動表示でも結果は変わらなかった
Study 4（N = 853）ではAI助言を求めるかどうかの選択権を参加者から取り上げ、条件に該当する場合は自動的に表示しました。結果はStudy 3をほぼ再現し、判断保留は報酬なしで0.35から0.01、報酬ありで0.39から0.07へ落ちています。
能動的に相談しなくても効果は消えません。 目に入るだけで判断保留が失われる。既定でAI要約を出す仕様が広がっている現状とそのまま重なります。
"Study 4 (N = 853) therefore removed participants' control over whether to receive AI advice. It was identical to Study 3 except that, in the conditions where AI advice was available, it appeared automatically rather than on request."／"Access to AI advice continued to dramatically reduce judgment suspension, both when monetary stakes were absent (0.35 vs 0.01; b = -0.333, SE = 0.029, t = -11.56, p < 0.001) and when they were present (0.39 vs 0.07; b = -0.322, SE = 0.032, t = -10.18, p < 0.001)."（いずれも Study 4）— arXiv 論文より
「意志」であって「能力」ではない
報酬で部分的に戻る点を著者らは重視しています。判断保留が消えるのは固定的な認知の限界ではなく、状況依存の反応だという読みです。動機づけがあれば人は自分の判断を持ち出せる。AIが変えたのは能力ではなく意志だというのが結論です。
論文はこの現象を「エピステミア」という概念に結びつけています。検証を経ずに表面的なもっともらしさと文法的な整合だけでAIの出力を受け入れる傾向のことです。言語モデルは常に何かを出力する必要があり、自ら判断を保留しません。その性質を利用者が引き継いでしまうという筋道です。AIが関与したかどうかを機械的に判定する試みはClaudeの電子透かしで、書き手の帰属をめぐる問題はAI記事の署名の扱いで扱っています。
"the near-elimination of suspension under AI access is not a fixed cognitive limitation but a contextual response that monetary consequences partly correct: people can recruit their own judgment when motivated, so what AI changes is willingness, not capacity."／"These findings can be read through the notion of epistemia … : the tendency to accept AI outputs for their surface plausibility and syntactic coherence rather than through verification."（いずれも Discussion）— arXiv 論文より
この論文はarXivにHTML版がなく、実験ごとの数値はPDF本文にしかありません。見出しと表の構造を保ったままマークダウンへ変換しておくと、どの実験のどの条件の値かを取り違えずに読めます。
無料ツールPDF→Markdown変換PDFの内容をMarkdown形式に変換。ドキュメントのテキスト再利用に。今すぐ使ってみる →
この研究が指しているのはAIの正確さではなく人間側の閾値です。答えらしきものが目の前にあるだけで、人は「分からない」と言わなくなり、しかも自信は増す。誤答と確信が同時に上がる組み合わせは業務でいちばん困ります。効くのはAIを使うかどうかの線引きではなく、使うときに「保留する枠」を手続きとして残しておくほうです。 報酬をつけた条件で部分的に戻ったという事実が、その余地を裏づけています。
