YDK / INSIGHTS
売上予測の「精度」は、どう確かめる？
LAITの評価設計では、未来の情報を混ぜずに期間を分け、簡単な基準と予測誤差を比べ、業務で許容できるかを確かめます。
予測を学習したデータに合わせることと、これから使う予測を評価することは別の工程です。売上予測では「何週先を、どの単位で予測するか」を先に固定します。
1週先と、8週先を混同しない
毎週更新して来週を予測する運用と、現在から8週間をまとめて予測する運用では、使える情報が異なります。後者では途中の実績を使えません。評価でも、実際に使う場面と同じ予測時点にそろえます。
時系列を守って、学習と検証を分ける
時間に沿ったデータでは、未来側の情報が学習に入らない分割を選びます。特徴量の作成や欠損の補完も、検証対象の未来値を見て決めないようにします。必要に応じ、複数の区切りで結果を確認します。
誤差の数字を、判断する単位に戻す
| 指標 | 意味 | 注意点 |
|---|---|---|
| MAE | 予測と実績の絶対差の平均 | 金額・数量など元の単位で読む |
| WAPE | 絶対差の合計 ÷ 実績の合計 | 実績合計が0なら定義できない。集計対象で値が変わる |
| 過大・過小の偏り | 予測が上振れ・下振れする傾向 | 平均だけで打ち消し合う場合がある |
| 業務上の負担 | 欠品・過剰・機会損失等 | 誤差の小ささだけでは決めない |
MAE等の回帰指標の定義は scikit-learn公式のモデル評価 も参照できます。業務に合う指標と基準は依頼側とすり合わせます。
複雑なモデルの前に、基準を置く
前週値、移動平均、前年同時期など、現場で説明できる基準を用意します。新しいモデルが基準を上回らなければ、データを見直す、用途を狭める、基準を使い続けるといった判断ができます。
YDKの 架空データの分析デモ では、40週中8週の評価と再計算用ファイルを公開しています。実顧客での性能を示したものではありません。
よくある質問
精度90%という説明だけで判断できますか？
判断できません。何を正解としたか、対象期間、比較基準、件数、業務上の許容範囲が必要です。売上の数値予測に分類の正解率をそのまま当てはめないようにします。