人とAIを組ませると平均で「単独の強い方」に負ける — 106実験メタ分析が示す判断業務と生成業務の分岐

サマリ

「人がAIを使えば、人だけよりも、AIだけよりも良くなる」。この前提で業務を設計している会社は少なくありません。

MITのVaccaro、Almaatouq、Maloneによるメタ分析（Nature Human Behaviour、2024年）は、この前提を106の実験で確かめました。結果は二重構造です。人とAIの組み合わせは、人単独よりは確かに優れる（効果量g=+0.64）。しかし、人単独とAI単独のうち良い方と比べると、平均で劣る（g=−0.23）。370の効果量のうち58%で、組み合わせは「良い方」に負けていました。

分かれ目は2つあります。判断する業務か、生成する業務か。そして、その業務で人とAIのどちらが単独で強いか。本稿ではこの2軸を、AIへの任せ方の原則に落とします。

論文の整理：何を統合したのか

106実験・370効果量

対象は、2020年1月1日から2023年6月30日までに公開された研究です（Methods）。ACM Digital Library、Web of Science、AIS eLibraryを検索した5,126件から、人単独・AI単独・人+AIの3条件すべての成績を報告している原著実験74論文を採択し、106実験・370の効果量を得ています。効果量はHedges’ gで、三水準のランダム効果モデルで統合しています。

比較の定義が本稿の要です。論文は「人+AIが、人単独とAI単独のうち良い方を上回るか」を相乗効果（synergy）、「人+AIが人単独を上回るか」を人の増強（augmentation）と呼び分けています。

比較	効果量g	95%信頼区間	読み方
人+AI vs 良い方（相乗効果）	−0.23	−0.39〜−0.07	平均で良い方に劣る
人+AI vs 人単独（増強）	+0.64	0.53〜0.74	人単独よりは優れる
人+AI vs AI単独	+0.30	−0.03〜0.62	有意差なし

出典はResults、Figure 1、補足資料Table S3です。頑健性の確認（論文単位のクラスタ化、外れ値除外、1件抜き）でも相乗効果はいずれも負でした。相乗効果については出版バイアスの証拠が見られない一方、人単独との比較（増強）では、組み合わせが優れる結果が出版されやすい偏りの兆候が検出されています（Methods）。

判断業務は劣り、生成業務は上回る傾向

タスクの種類で結果が分かれます。有限の選択肢から選ぶ「判断」業務（効果量の91%、336件）では、組み合わせは良い方より劣りました（g=−0.27）。自由記述で作る「生成」業務（9%、34件）では上回る傾向でしたが（g=+0.19）、件数が少なく、単独では有意ではありません。それでも両者の差は統計的に有意でした（p=0.006）。件数の内訳は補足資料のFigure S2とTable S7によります。本文の記述は「約85%」「約10%」と丸められています。

生成業務に含まれるのは、SNS投稿の要約、チャット応答、画像やコンテンツの作成です。論文は仮説として、生成業務には「人が得意な創造や洞察」と「AIが人と同等以上にこなせる定型的な肉付け」の両方が含まれるためではないか、と述べています。判断業務では、人もAIもそれぞれ完全な判断を出したうえで、たいてい人が最終決定をしています。

決め手は「どちらが単独で強いか」

もっとも大きく結果を分けたのが、人とAIの単独成績の関係です（Results、Figure 2）。

• 人がAIより強い業務（33%）では、組み合わせは良い方を上回る（g=+0.46）
• AIが人より強い業務（67%）では、組み合わせは良い方に劣る（g=−0.54）

論文のDiscussionは、元になった研究の具体例を挙げています。

0%50%100%

偽のホテルレビューの検出

• AI単独AIが人より強い業務
  73%
• 人単独
  55%
• 人+AIAI単独に届かない
  69%

鳥の画像の分類

• AI単独
  73%
• 人単独人がAIより強い業務
  81%
• 人+AI両方を上回る
  90%

※出典：Vaccaroら（2024）Discussionが引用するCabreraら（2023）の実験。2つの業務は課題が異なるため（参加者プールとAIの精度は同じ設計）、業務どうしの高さを比べる図ではありません。各業務の中で、人+AIが単独の強い方を上回ったかどうかを見る図です。

論文は、対象研究の95%超が「AIの助言を受けて人が最終決定する」設計だったと述べています。人がAIより強い業務では、人はAIをいつ信じるべきかも上手に判断できる。逆にAIが強い業務では、人が最終決定に介在すること自体が精度を下げる、という解釈です。

有意な関係が見られなかった要因と、今後の検証課題

論文は、AIが根拠を説明するか、信頼度を表示するか、参加者が専門家かクラウドワーカーか、といった要因も検証しました。これらは相乗効果にも増強にも統計的に有意な関係がありませんでした（Results）。

一方、人とAIの役割を事前に分ける「分業」の設計は、わずか4効果量（3実験）しかなく、統合値は有意ではありません。それでも著者らは、説明や信頼度表示の研究より、単独成績・業務の種類・分業の設計に研究の焦点を移すべきだと提案しています。

論文が示す限界と、時点の問題

Discussionの限界節は、対象が研究者の選んだ課題と参加者に限られること、参加者や測定の混在、未説明の異質性の高さ（I²=97.7%）などを挙げています。「人単独でもAI単独でもできないが、組めばできる」種類の課題は、設計上この分析に含まれません。

時点にも注意が要ります。対象は2023年6月までの研究です。論文は生成AIか否かで研究を分類していませんが、期間からみて、私たちは生成AIの業務利用が広がる前の研究が多く含まれていると見ています。公開年別では2020年のg=−0.56から2023年の+0.11へ改善の兆しがありますが、後の2年は有意ではなく、著者らも補足資料で、進歩があるとしても速くはないと述べています（S2.7）。2026年9月時点で、著者らによるLLM時代の再分析は確認できませんでした。

岡崎の分析

「AIを使わせる」と「AIに任せる」を分ける

私たちがこの論文から受け取るのは、AIをどう使わせるかより先に、その業務でAIと人のどちらが正確かを測るべきだ、という順序です。

多くの会社で、AI導入は「担当者がAIの助言を見て最終判断する」形で始まります。それは安心感がある設計です。しかしこの論文が示すのは、AIの方が正確な判断業務でその形を取ると、AI単独より悪い結果に落ち着く可能性です。人の確認を残すこと自体が悪いのではなく、確認の役割が「精度を上げる」ではなく「責任を持つ」に変わることを認識しておく必要があります。

逆に、人の方が正確な業務では、この分析ではAIを助言役に置く組み合わせが、平均で良い方を上回りました。どちらの業務かは、業務名では分かりません。自社のデータで、人だけ、AIだけ、人+AIの3通りを実際に測ってはじめて分かります。この3条件の比較は、論文の採択基準そのものでもあります。

生成業務は「人が仕上げる」で成立しやすい

生成業務で組み合わせが上回りやすい理由として、論文は人が得意な部分とAIがこなせる部分の両方が含まれるという仮説を置いています。私たちの実感では、この2つは実務で分担に置き換わります。提案書や報告書の作成では、AIが構成案と下書きを出し、人が事実確認と相手に合わせた調整を行う形が定着しやすい。この形では、人はAIの出力を「採点」するのではなく、「続きを書く」役割になります。

判断業務では、この分担が起きにくい。AIが「Aです」と言い、人も「Aだと思う」と判断して、どちらかを採用する。両者が同じ仕事を二重にしているため、単独の弱い方が結果を引き下げます。判断業務でAIを使うなら、人とAIで見る観点や案件を分ける設計（論文でいう分業）を検討する価値があります。ただし、この設計の効果を支持する研究は現時点で少数です。

提言 — どう付き合っていくか

1. 1判断か、生成か有限の選択肢から選ぶ業務か、文章や案を作る業務かを分ける。生成業務はAIが下書きし人が仕上げる形から始める。→↓
2. 2単独でどちらが強いか判断業務は、人だけ・AIだけ・人+AIの3通りを自社データで測る。AIが強ければ人の確認は精度ではなく責任の役割と位置づける。→↓
3. 3役割を分ける人とAIが同じ判断を二重にしない。見る観点や案件を分け、結果を継続して測る。

✓組ませれば良くなる、ではない。単独の強弱を測ってから、任せ方を決める。

判断業務でAIの精度が人を上回っていても、誤りの責任や例外対応は人に残ります。AIに最終判断を委ねる範囲は、精度だけでなく、誤ったときの影響と是正の手段を含めて決めてください。これは論文の結論ではなく、本稿の実務上の提言です。

フィールフロウでは、自社の業務で人だけ・AIだけ・人+AIの成績を比べる検証の設計や、生成業務での分担の作り方についてご相談いただけます。まず、AIの導入を検討している業務が判断なのか生成なのかを分けるところから、一緒に整理します。任せ方の設計について相談する