自己申告とRCTはなぜずれるのか — METR調査の「価値1.4〜2倍」と熟練OSS開発者の「完了時間19%増」

サマリ

「AIを入れてから、開発チームが体感で2倍速くなりました」——この報告をどこまで信じてよいのか。本レポートは、AI評価機関 METR の2つの研究を突き合わせて、この問いに答えます。

METR が2026年5月に公開した技術職349名の調査では、AIツールによる仕事の価値（value of work）の変化は自己申告（self-reported）で中央値1.4〜2倍、作業速度の変化は中央値3倍でした。数字だけ見れば「AIで生産性2倍」という見出しの裏付けに使えそうですが、重要なのは、METR 自身がこの数字の大きさに懐疑的になる理由を同じレポートの中で列挙していることです。回答率約2%の便宜的標本による選択バイアス、そして自己申告と実測が過去に大きく乖離した経験——その経験の出所が、METR が2025年7月に公開したランダム化比較試験（RCT）です。

その RCT では、経験豊富なオープンソース（OSS）開発者がAIツールを使うと、タスク完了時間が19%増加しました（95%信頼区間: 1〜39%増）。これは、参加者が各 issue に費やした総実装時間を記録・申告したデータに基づく RCT 推定であり、全246件の自動計時値ではありません。ただし、録画のある同一サブセットでも、録画長ベース25%増、参加者記録時間ベース24%増と方向は整合しました。本人たちは、事前に「24%速くなるはず」と予想し、実際に遅くなった後ですら「20%速くなった」と体感していたのです。体感と完了時間の推定差は約40ポイント。この「体感は作業時間データの代わりにならない」という発見が、METR 研究の系譜を貫く軸です。

だからといって「AIは役に立たない」と読むのも誤りです。RCT の対象は「経験豊富な開発者×熟知した大規模コードベース」という限定条件であり、METR 自身が一般化できない範囲を限界として明記しています。私たちは、この2研究が示すのは「AIの効果の有無」ではなく、体感 ROI だけで意思決定してはいけないという測定論の教訓だと見ています。

本レポートの実務提案として、体感を聞き、実時間を測り、両者の乖離からAIの使いどころを見直す3段階の測定フロー

論文の整理: 2つの研究を横に並べる

まず、本レポートで扱う METR の2研究の設計を比較します。同じ機関の研究でありながら、測っているものが根本的に異なる点が出発点です。

項目	RCT（2025年7月）	自己申告調査（2026年5月）
正式名称	Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity	Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity
手法	ランダム化比較試験（RCT）	自己申告（self-reported）による調査
対象	経験豊富な OSS 開発者16名	技術職349名（生データ359名から10名を除外）
タスク / 期間	実タスク246件（平均約2時間）	2026年2〜4月に回答
測定指標	タスクごとの総実装時間（主分析は参加者記録、録画サブセットで検証）	仕事の価値・速度の変化（本人の見積もり）
主要結果	AI利用で19%遅延（体感は+20%）	価値変化の中央値1.4〜2倍、速度3倍
主な限界	熟練者×熟知した大規模コードベースに限定	選択バイアス・自己申告バイアス

2研究を混ぜずに読むための3段階

RCTと自己申告調査は測定対象が異なります。数値を直接比較するのではなく、実測と自己申告の役割を分けて読みます。

RCTで実時間を測る熟練OSS開発者16名・246タスクで、AI利用可否を無作為に割り当てる
調査で体感を聞く技術職349名の便宜的標本に、価値と速度の変化を自己申告してもらう
乖離を観測する自己申告を実測の代替にせず、差そのものを判断材料にする

RCTは限定条件での実測、自己申告調査は便宜的標本での回答です。2研究は同じ母集団の経年比較ではありません。

RCT は「実測」、自己申告調査は「体感」を測っています。以降、それぞれを詳しく見ていきます。

論文の整理: RCT — 実測では19%遅く、体感では20%速い

まず実測側の研究です。METR が2025年7月に公開した「Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity」（Becker, Rush, Barnes, Rein）は、AI開発ツールの効果をランダム化比較試験（RCT）で測定した数少ない研究です。

設計は次のとおりです（METR ブログおよび arXiv 論文より）。

対象は経験豊富なオープンソース開発者16名。自身が複数年コントリビュートしてきた大規模・成熟リポジトリ（平均で22,000スター超・100万行超）で作業する
各開発者が自分のプロジェクトから実際のバグ修正・機能追加・リファクタリングの issue を持ち寄り、計246タスク（平均約2時間）を実施
タスクごとに「AI利用可」「AI利用不可」をランダムに割り当てる。AI利用可の場合、主に Cursor Pro + Claude 3.5/3.7 Sonnet（研究時点のフロンティアモデル）が使われた

この設計には2つの美点があります。第一に、ベンチマークの合成タスクではなく、実際のプロジェクトの実際の issue を測っていること。第二に、同一人物の中でAI利用可否をランダムに割り当てているため、「AIを使いたがる人はもともと生産性が高い（低い）」といった個人差の交絡を抑えやすいことです。AI開発ツールの効果測定でこの水準の設計を持つ研究は、現時点でも希少だと私たちは見ています。

結果は、事前の大方の予想を裏切るものでした。AI利用を許可されたタスクは、許可されないタスクより完了までの時間が19%長くなりました（95%信頼区間: 1〜39%増）。主分析は参加者自身が記録・申告した総実装時間による回帰推定です。全246件を自動計時した値ではありませんが、録画のある同一サブセットでも、録画長ベース25%増、参加者記録時間ベース24%増と方向は整合しました。そして本レポートの核心はその先にあります。

測定点	数値
開発者の事前予想（AIでどれだけ速くなるか）	+24%
実測結果（RCT）	−19%（遅くなった）
実験後の開発者の体感	+20%（速くなったと回答）

高速化の予想・体感と、実測された遅延の大きさ

同じRCT参加者について、速くなる方向の予想・体感と、遅くなる方向の実測結果を並べています。

事前予想AI利用前の見積もり
24%高速化
実験後の体感AI利用後の自己申告
20%高速化
RCTの実測完了時間は増加
19%遅延

棒の長さは変化率の絶対値です。事前予想と事後体感は高速化方向、RCT推定は遅延方向であり、同じ向きの効果を示すグラフではありません。19%は参加者が記録・申告した総実装時間に基づく推定（95%信頼区間: 1〜39%増）です。出典: METR 2025年RCT。

実際に遅くなった当事者が、実験を終えた後でも「AIのおかげで20%速くなった」と体感していた——体感と実測の差は約40ポイントに達します。「使っていて気持ちよく進む」感覚と「実際に速く完了する」ことは、少なくともこの条件下ではまったく別物でした。

研究の限界も METR は明確に述べています。METR はこの結果が根拠にならないことを、次のように明示的に列挙しています。

AIが多くの・大半のソフトウェア開発者を助けない、という主張の根拠にはならない
ソフトウェア開発以外の領域への一般化の根拠にはならない
より良い使い方（プロンプトやワークフローの工夫）をしても効果が出ない、という主張の根拠にはならない
モデルが今後改善しても結果が変わらない、という主張の根拠にはならない

加えて、対象が「熟知したコードベースを持つ熟練者」であること、AIツールの利用経験が比較的浅い時期（Cursor の利用時間が数十時間程度）の測定であることも考慮点です。つまりこの RCT は「AI無効論」の武器ではなく、体感と実測が真逆になり得ることの実証として読むべき研究です。

論文の整理: 自己申告調査 — 中央値1.4〜2倍と、METR自身の注意書き

次に自己申告側の研究です。METR が2026年5月に公開した「Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity」（Joel Becker）は、2026年2〜4月に技術職349名を対象に実施された調査です。

設計は次のとおりです（METR ブログより）。

回答者はソフトウェアエンジニア、研究者、アカデミア（博士課程学生含む）、創業者・マネージャーの4グループで構成。平均プログラミング経験は12年
GitHub、学術機関・カンファレンスの名簿、METR スタッフのネットワーク、X（旧Twitter）経由で募集した便宜的標本（convenience sample）。メール経由の回答率は約2%
約70%の参加者には謝礼が支払われた。359名の生データから品質上の問題が多い10名を除外し、分析対象は349名となった

主要な結果（METR ブログより）は次のとおりです。

指標	自己申告の中央値
仕事の価値（value）の変化	1.4〜2倍（3つの測定方法の中央値の幅）
作業速度（speed）の変化	3倍
2025年3月時点の価値変化（回顧）	1.3倍
2026年3月時点の価値変化（現在）	2倍
2027年3月時点の価値変化（予想）	2.5倍

一回の調査で聞いた回顧・現在・予測

2026年調査の回答者が、AIによる仕事の価値変化を過去・現在・未来について自己申告した値です。

2025年3月2026年調査での回顧
1.3倍
2026年3月調査時点の自己申告
2倍
2027年3月回答者による予測
2.5倍

棒は仕事の価値の総倍率を0倍から描画しています。破線の1倍がAIなしと同等（変化なし）です。同じ対象を3年間追跡した実測ではなく、2026年の一回の調査で得た回顧値・現在値・予測値です。出典: METR 2026年自己申告調査。

METR は「価値」と「速度」を意図的に分けて質問しています。速度の向上分がそのまま価値になるわけではない（浮いた時間が必ずしも高価値な仕事に振り向けられない）ことを織り込んだ設計で、実際に速度3倍に対して価値は1.4〜2倍と、速度の方が大きく出ています。価値の測定も単一の設問に頼らず、次の3通りの聞き方の中央値の幅として報告されています。

仕事の価値のうちAIが寄与した割合を問う設問
AIなしなら同じ成果にどれだけ時間がかかったかを問う設問
同じ成果を出すのに「自分が何人分」必要だったかを問う設問

そして繰り返しになりますが、この調査の最も誠実な部分はMETR 自身が結果への注意書きを添えていることです。挙げられている懐疑の理由は次のとおりです。

選択バイアス（selection bias）: メール経由の回答率は約2%程度の便宜的標本（convenience sample）であり、AIに好意的・熱心な層が過剰に含まれている可能性がある
自己申告バイアス: 前述の RCT では、体感と実測が約40ポイント乖離した。自己申告調査一般でも、生産性の自己申告はフィールド実験の実測より大きく出る傾向があると METR は指摘している
内部の傍証: METR のスタッフ自身の回答は全サブグループ中で最も低い価値変化を報告した。METR は、過去研究への知識が回答を控えめにした可能性を挙げている

「AIで価値2倍」という数字と「その数字を信じすぎるな」という注記が同じ一次ソースに同居している——この構造ごと引用することが、この調査の正しい使い方だと私たちは考えています。逆に言えば、注記を切り落として中央値だけを流通させた瞬間に、この調査は METR の意図から最も遠い使われ方をすることになります。

岡崎の分析

この2つの研究を並べたとき、私が最も重要だと考えるのは「どちらが正しいか」ではありません。RCT は限定条件で体感と実測が逆向きになった事例を示し、自己申告調査は別の便宜的標本における回答値の分布を示しています。両者は母集団も時点も異なり、数値を直接比較できません。METR 自身が自己申告調査に注意書きを添えているのは、自分たちの RCT で自己申告と実測の乖離を観測しているからです。研究機関が自らの調査結果に懐疑の理由を併記する姿勢に、METR の測定機関としての価値があります。

経営の現場に引きつけると、この構造はたびたび目にします。私たちが接した複数の開発チームでも、AIツール導入後に「速くなった」という報告がありました。このとき METR の RCT が教えてくれるのは、その報告が嘘だという話ではなく、本人が誠実に申告しても実測とは逆向きになり得るという事実です。実際に19%遅くなった熟練開発者が、悪意なく「20%速くなった」と答えたのです。現場の体感報告を握りつぶす必要はありませんが、それを ROI の数字としてそのまま稟議に載せるのは、測定として成立していません。

では、なぜ体感はここまで実測とズレるのか。一次データで確定できる話ではありませんが、私たちは現場観察から次の3つの構造が効いていると見ています。第一に、AIとの作業は「待ち時間」と「検証時間」が細切れに挟まるため、手を動かしている感覚の密度が上がり、認知的な負荷は下がる一方で、経過時間の見積もりが甘くなること。第二に、AIが書いたコードのレビュー・手直しに費やした時間が「自分の作業時間」として認識されにくいこと。第三に、「AIで速くなるはず」という事前の期待（RCT でも事前予想は+24%でした）が、事後の体感を同じ方向に引っ張ることです。体感のズレは怠慢や虚偽ではなく、構造的に発生するものとして扱う必要があります。

一方で、「METR の RCT でAIは遅くなると証明された」とAI投資を止める材料に使うのも、同じくらい雑な読み方です。RCT の条件は、自分が何年も触ってきた100万行級のコードベースで働く熟練者に限定されています。暗黙知が頭に入っている領域では、AIへの指示と出力の検証コストが効果へ影響する可能性があります。一方、慣れないコードベース、定型的な実装、経験の浅いメンバーの支援といった局面での効果は、この RCT では測られていません。METR 自身が「多くの開発者にAIが役立たないという主張の根拠にはならない」と明記している以上、この研究は「効果はタスクと人の条件に依存し得る。だから自社で測れ」と読むのが正確だと私たちは見ています。

もうひとつ見落とせないのは自己申告調査の時間軸データです。2026年の一回の調査で、回答者は2025年3月を1.3倍と回顧し、2026年3月の現在値を2倍、2027年3月の予測を2.5倍と答えました。これは経年実測ではなく、回答者の回顧値と予測では基準線が上昇していることを示すにとどまります。だからこそ、体感に依存しない自社の測定基盤を持ち、期待と実測を分けて判断する必要があります。

提言 — どう付き合っていくか

経営者・開発責任者が明日から使える判断軸に落とします。全体像は「体感・実測・乖離」の3層で観測する構えです。

役割	指標の例	位置づけ
体感（自己申告）	「AIで何%速くなったか」のアンケート	モチベーション・定着の指標。ROI 根拠にはしない
実測（客観データ）	PR サイクルタイム、issue の着手〜完了時間、リリース頻度	投資判断の一次指標。タスク種別を揃えて比較
乖離の観測	上記2つの差分の推移	AIの使いどころを見直すシグナル

「体感で◯倍」を ROI の根拠にしない。ただし体感報告を却下もしない。 METR の RCT が示すとおり、誠実な自己申告でも実測と逆向きになり得ます。体感は「モチベーションと定着の指標」として扱い、投資判断は別の実測指標で行う、と役割を分けてください
実測は「同じ種類のタスクの前後比較」から始める。 RCT を自社でやる必要はありません。まずは PR のサイクルタイム、issue の着手から完了までの時間など、既に記録されている客観データを、AI導入前後・利用者と非利用者で比較することです。ただし観察比較だけでは因果を確定できません。そのうえで、METR の RCT に倣って「タスクの種類と難易度」を揃えることが最低条件です
体感と実測を並べて記録し、乖離そのものを観測対象にする。 四半期ごとに「体感の速度向上」と「実測のサイクルタイム変化」を併記するだけで、自社の乖離幅が見えてきます。乖離が大きい領域は、AIの使い方（検証コストの高いタスクに使っていないか）を見直すシグナルです
効果を「どこで」期待するかを条件で言語化する。 METR の RCT が測った「熟練者×熟知したコード」と、慣れないコード・定型実装・立ち上がり支援のような未測定条件を分け、それぞれ小さく検証してください。一律の「全社で◯倍」という目標設定が、いちばん測定を壊します
外部調査の引用時は、注意書きごと引用する。 「METR 調査で価値2倍」とだけ切り取るのは、当の METR の意図に反します。自己申告か実測か、母集団は誰か、調査主体自身がどんな限界を付けているか——この3点を添えられない数字は、社内資料でも使わないことをおすすめします

「開発者は本当に速くなったのか」という問いに、現時点の一次データが与える最も誠実な答えは「この便宜的標本では体感上の高速化が自己申告された一方、実測では限定条件下で遅延も観測された」です。この宙吊りの状態を根拠の弱い数字で埋めるのではなく、自社の実測で埋めにいく——それが METR の2研究から引き出せる、いちばん実用的な結論だと私たちは考えています。

本レポートは公開データのみに基づく分析です。各数値の調査設計・母集団の詳細は、末尾の出典から一次情報をご確認ください。