データ分析はスカウトの偏りを消せるか――『かくて行動経済学は生まれり』を読む 第1章「専門家はなぜ判断を誤るのか?」
統計モデルを導入すれば、専門家の判断の誤りは解消されるのか。
この問いに対する素朴な答えは「イエス」である。人間の直感は誤りやすく、データは嘘をつかない。しかし、同書の第1章が描くのは、より複雑な現実である。モデルそのものにも誤りがあり、さらに厄介なことに、モデルの出力を受け取る人間の側の偏りは、データを手にしても消えなかった。
本稿では、第1章の記述を確認したうえで、統計的予測と専門家判断の比較をめぐる研究を整理し、人間の判断とアルゴリズムをどう組み合わせるべきかという制度設計の問題として、この章を読み直す。
問題の所在――「データか、直感か」という二者択一の限界
意思決定へのデータ活用をめぐる議論は、しばしば「データか、専門家の直感か」という対立として語られる。
しかし、実際の組織で問われているのは、どちらか一方を選ぶことではない。データによる予測と人間の判断を、どの段階で、どのように組み合わせるかである。データを導入しても、それを解釈し、最終的な決定を下すのは人間である以上、人間の判断の偏りをどう扱うかという問題は残り続ける。
第1章は、この問題を、プロバスケットボールの選手選抜という具体的な場面で示している。
原著の記述――ロケッツにおけるモデルと人間
第1章で取り上げられるのは、NBA球団ヒューストン・ロケッツの編成責任者(ゼネラルマネージャー)として、選手の選抜に統計モデルを持ち込んだダリル・モーリーの試みである。
モーリーは競技者としての経歴を持たない。少年期に野球の統計分析に触れたことから、数字による予測に関心を抱き、ビジネススクールやコンサルティング会社を経て、NBAのボストン・セルティックスで働いた。経験と勘に頼る人事に不満を持っていたロケッツのオーナーは、データに基づいて選手を評価できる人材として、モーリーを招いた。
モーリーは、大学時代の成績データから、NBAでの活躍を予測するモデルを構築した。その過程で、試合ごとの数字よりも出場時間あたりの数字に予測力があること、身長よりも腕の長さが重要であることなどが明らかになった。
モデルは2007年のドラフトで成果を上げた一方、翌年には高く評価した選手が伸び悩み、逆に低く評価した選手が他球団で主力となる事例も生じた。モーリーは、年齢や対戦相手の水準の扱いなど、モデルの修正を重ねていく。
第1章の記述の重心は、むしろモデルの外側にある。2007年、モデルが高く評価していたスペイン出身のマルク・ガソルについて、ロケッツのスタッフはその体型を揶揄するあだ名で呼び、指名を見送った。そのガソルが、のちにリーグ屈指のセンターへと成長し、2013年の最優秀守備選手賞を受けたことは周知のとおりである。
モーリーはこの経験を受けて、組織の運用を変えた。選手のあだ名の使用を禁じ、選手を過去の選手と比較する際に、同じ人種の選手との比較を禁じた。さらに、自球団の選手を過大評価する傾向に対しては、各選手の価値をトレードで交換できる指名順位に置き換えて、事前に評価させる仕組みを導入した。
研究の整理――統計的予測と専門家判断をめぐる70年の議論
以下では原著から離れ、この章の問題設定を支える研究の流れを確認する。
・1954年、心理学者ポール・ミールは、臨床的な予測と統計的な予測を比較した研究を検討し、単純な統計式が専門家と同等以上の精度を示す例が多いことを報告した。
・1979年、心理学者ロビン・ドーズは、変数の重みを厳密に推定しない「粗い」線形モデルであっても、専門家の総合判断を上回る場合があることを示した。重要なのは重みの精度ではなく、どの変数を一貫して使うかである、という指摘である。
・2000年、ウィリアム・グローブらは136の比較研究を統合したメタ分析を発表し、統計的予測が専門家判断と同等以上である研究が大半を占めることを確認した。
・2015年、バークリー・ディートボルストらは、人がアルゴリズムの誤りを一度目にすると、それが人間より正確であっても使用を避ける「アルゴリズム回避」を実験で示した。
さらに、法制度の文脈で注目される研究として、2018年に経済学誌『クォータリー・ジャーナル・オブ・エコノミクス』に掲載された、ジョン・クラインバーグ、センディル・ムライナタンらの論文がある。同論文は、米国の刑事手続における保釈判断について、機械学習による予測と裁判官の判断を比較し、予測モデルを用いれば、再犯や逃亡の発生を増やすことなく、勾留される人の数を大幅に減らせる可能性を示した。裁判官の判断には、被告人の外見や直前の事件の印象といった、予測に寄与しない情報が入り込んでいることも指摘されている。
評価――問題はモデルの精度ではなく、人間との接点にある
第1章と上記の研究を合わせて読むと、論点はモデルの精度そのものよりも、モデルと人間の判断の接点にあることがわかる。
第一に、モデルは誤る。モーリーの事例が示すとおり、モデルは測定できる変数しか扱えず、意欲や成長の余地といった要素を取りこぼす。モデルの誤りが目立つと、組織はアルゴリズム回避に陥りやすい。
第二に、人間の偏りは、モデルの出力を受け取る段階で入り込む。ガソルの事例では、モデルは正しい評価を示していたにもかかわらず、最終判断の段階で、体型の印象がそれを覆した。
第三に、モーリーが講じた対策は、個人の心がけではなく、組織の手続きの変更だった。あだ名の禁止、比較の対象の制限、事前の価値評価の義務づけは、いずれも、判断の偏りが入り込む経路を、ルールによって遮断する試みである。
この点は、ゲーリー・ベッカーらの合理的選択理論に対する一つの応答として読むことができる。合理的選択理論は、競争にさらされた組織は誤りから学び、合理的な判断に近づくと考える。ロケッツの事例は、競争の激しいプロスポーツの世界でさえ、学習は自然には起こらず、意識的な制度設計を必要としたことを示している。
一方で、第1章が描くのはスポーツという限られた領域であり、ここでの知見をそのまま他の市場に適用することには慎重であるべきである。選手の成績のように結果が数値で明確に観察できる領域と、結果の評価そのものが争われる領域とでは、モデルの有効性は大きく異なりうる。
含意――非上場株式の評価における「判断の接点」
非上場株式の価値評価は、まさにモデルと人間の判断が交わる領域である。
評価には、純資産、収益、配当、類似企業の株価などを用いた複数の算定方法がある。これらは一種のモデルである。しかし、どの方法を採用するか、複数の方法をどの割合で組み合わせるか、将来の収益をどう見通すか、市場性の欠如や少数持分であることを理由にどの程度の減額を行うかといった点は、評価者の判断に委ねられている。
この判断の段階に、第1章で見たような偏りが入り込む余地がある。経営者の印象、会社の歴史や評判、評価を依頼した当事者の意向が、数値とは別の経路で評価額に影響しうる。
ロケッツの対策から導かれる示唆は、評価の手続きの側に、偏りの経路を遮断する仕組みを組み込むことである。
・採用する算定方法と、その組み合わせの理由を、評価の前に明示すること
・減額の項目と、その根拠となるデータを個別に開示すること
・評価者と、評価を依頼した当事者との利害関係を明らかにすること
・異なる立場から独立した評価を行い、その差異の理由を検証できるようにすること
保釈判断の研究が示したように、判断の透明性を高め、予測に寄与しない情報の影響を減らすことは、公正さと正確さの双方を改善しうる。非上場株式の価格をめぐる判断においても、同じ発想が求められる。
次回は第2章を取り上げ、カーネマンの生い立ちとイスラエル軍での経験から、彼が自らの直感を疑う研究姿勢をどのように形成したのかを検討する。
データは偏りを消さない。偏りが入り込む経路を、手続きによって塞ぐことで、はじめて判断は改善される。
※原著の記述に関する部分は、原著の目次、出版社による内容紹介、および公開されている第1章の英語版抜粋や書評に基づく。
関連URL・参考資料
・マイケル・ルイス著、渡会圭子訳『かくて行動経済学は生まれり』(文藝春秋、2017年7月)
https://books.bunshun.jp/ud/book/num/9784163906836
・Michael Lewis「How Daryl Morey used behavioral economics to revolutionize the art of NBA drafting」(Slate、2016年12月、原著の抜粋)
・Paul E. Meehl『Clinical versus Statistical Prediction』(University of Minnesota Press、1954年)
・Robyn M. Dawes「The robust beauty of improper linear models in decision making」(American Psychologist、1979年)
・William M. Grove ほか「Clinical versus mechanical prediction: A meta-analysis」(Psychological Assessment、2000年)
・Berkeley J. Dietvorst, Joseph P. Simmons, Cade Massey「Algorithm aversion: People erroneously avoid algorithms after seeing them err」(Journal of Experimental Psychology: General、2015年)
・Jon Kleinberg, Himabindu Lakkaraju, Jure Leskovec, Jens Ludwig, Sendhil Mullainathan「Human Decisions and Machine Predictions」(Quarterly Journal of Economics、2018年)