AIは調査できても投資判断は当てない。MentoのSABが示す任せる範囲

Mento VCは2026年10月、スタートアップ調査向けベンチマーク「SAB」を公開しました。14モデルを960件の調査タスクと101のランキングコホートで評価すると、調査では高得点でも、企業の成長ランキングでは単純な過去の人員増加ルールを上回りませんでした。AIに調査を任せることと、投資や事業の判断を任せることは、分けて考える必要があります。

調査タスクと予測タスクは別物です

SABは、文書を検索して答えと根拠を返す「調査」と、100社の将来成長を順位づけする「ランキング」を別の課題として測りました。調査の点数は回答内容と証拠を採点し、ランキングはWebトラフィックや従業員数の実績との相関で採点しています。どちらもAIの評価に見えますが、必要な能力と失敗の意味は同じではありません。

高得点でも、判断まで任せてよいとは限らない

公式結果では、調査の最高スコアはClaude Opus 5.5の97.2点でした。一方、ランキングを完了した13モデルは、過去の従業員増加を使う単純な基準を下回りました。調査でも、根拠が欠けた事実に値を返してしまう割合はモデルごとに9〜33％ありました。これはSABの条件での結果であり、すべての業務や投資判断へ一般化できません。

AIには証拠集め、人には判断を残す

企業の市場調査であれば、AIには候補企業の情報検索、比較表の下書き、出典IDの整理を任せます。人は、出典が本当に主張を支えるか、情報が古くないか、欠けた事実を「不明」として扱えているかを確認し、投資や事業の判断を行います。これはSABの結果を自社業務へ当てはめた提案であり、Mentoの導入実績を示すものではありません。

最初の検証では、回答の正しさだけでなく、出典の追跡、欠損時の不明回答、判断者の差し戻しを記録します。調査の速度が上がっても、最終判断の根拠が追えなければ任せる範囲は広げません。

SABが示すのは、AIを使うか否かの二択ではありません。証拠を集める仕事と、証拠から将来を決める仕事を分け、別々の基準で検証することです。