どうもニコイチです。データ分析の世界で成功するためには、モデルの性能を正確に評価することが不可欠です。なぜなら、実際に作成した予測モデルがどれくらい正しいか評価することができないからです。正しく評価できれば、ROIの算出などにも役立てることができます。本記事では、初心者の方向けに評価関数の基礎を解説します。
目次
1. 評価関数とは
評価関数は、機械学習モデルの「腕前」を数字で表すものです。例えるなら、学校のテストの点数のようなものです。
なぜ評価関数が重要か
- ビジネス価値の定量化
- 例：予測精度が70%から80%に改善した場合、1%の誤判定で100万円の損失があるビジネスでは、1000万円の価値を生み出せます。
- 過学習の発見
- 例：テストで90点なのに、本番で60点しか取れないような状況です。これは「丸暗記」してしまっている状態かもしれません。
- 適切なモデル選択のガイド
- 状況に応じて最適な評価指標を選ぶことで、より良いモデルを作れます。
主な評価関数
回帰問題の場合
- MAE（Mean Absolute Error）
- わかりやすさ：🌟🌟🌟
- 特徴：家賃予測などの誤差を「そのまま」評価
- RMSE（Root Mean Square Error）
- わかりやすさ：🌟🌟
- 特徴：株価予測など、大きな外れ値を厳しく評価したい場合に使用
分類問題の場合
- Accuracy（正解率）
- わかりやすさ：🌟🌟🌟
- 特徴：100個中何個当たったか？という単純な指標
- AUC
- わかりやすさ：🌟
- 特徴：スパム判定などの2値分類で重宝
- ※詳細は次回解説
- Logloss
- わかりやすさ：🌟
- 特徴：多値分類（3つ以上のカテゴリを判別）で使用
2. 混同行列を理解する
わかりやすい例：スパムメール判定
以下の状況を想像してみましょう：
- スパムを正しくスパムと判定：30件（TP）
- スパムを誤って普通のメールと判定：10件（FN）
- 普通のメールを誤ってスパムと判定：5件（FP）
- 普通のメールを正しく普通と判定：55件（TN）
各指標の計算方法
- 正解率（Accuracy）
- 計算式：(TP + TN) / (全体)
- 例：(30 + 55) / (30 + 10 + 5 + 55) = 85%
- 適合率（Precision）
- 計算式：TP / (TP + FP)
- 例：30 / (30 + 5) = 86%
- 再現率（Recall）
- 計算式：TP / (TP + FN)
- 例：30 / (30 + 10) = 75%
注意点：高い正解率に騙されない
95%の正解率でも、実は全てのメールを「スパムではない」と判定しただけかもしれません。状況に応じて適切な指標を選ぶことが重要です。
業界別の重要指標
- スパム判定：適合率重視
- 理由：重要なメールをスパム判定してしまう方が問題
- がん検査：再現率重視
- 理由：見逃しを防ぐことが最優先
まとめ
- 評価関数は「モデルの実力」を測る重要なツール
- 目的に応じて適切な評価指標を選ぶことが成功の鍵
- 単一の指標だけでなく、複数の視点で評価することが重要
次回は、AUCについてより詳しく解説します。
コメント