YDK / INSIGHTS
機械学習にはどのくらいのデータが必要?
機械学習に必要なデータ量は、目的・記録の粒度・季節性・正解の数・許容誤差で変わります。LAITでは一律の件数より、学習と評価に必要な条件がそろうかを先に整理します。
行数が多いことと、判断に使える材料が多いことは同じではありません。売上予測と顧客離反予測では、見るべき「量」も変わります。
データ量は、件数だけでは表せない
一行が一件の取引なのか、一日分の合計なのかで、同じ行数でも持っている情報は異なります。学習したい変動をどのくらい含むか、目的とする結果が十分に記録されているか、後から評価する期間を残せるかを合わせて考えます。
重複行を増やしても、新しい独立した経験が増えるわけではありません。
売上予測と離反予測では、足りない情報が違う
売上予測では、季節の変化、販促、休業、欠品といった条件をどれだけ記録しているかが関わります。短い期間の細かい記録だけでは、季節ごとの変化を学べない場合があります。
顧客離反予測では、顧客数だけでなく、定義した期間に離反した例と継続した例が必要です。顧客の観測を始めて間もない段階では、将来離反するかをまだ確定できない記録もあります。
必要な量を考えるための五つの条件
- 対象:売上額、販売数、離反など、何を予測するか。
- 単位:商品・店舗・顧客と、日・週・月の粒度。
- 期間:季節性や業務変更をどこまで含むか。
- 正解:予測後の結果が、同じ定義で記録されているか。
- 評価:学習に使わない期間や対象を残せるか。
同じ顧客の近い時期の記録を学習側と評価側に分けるだけでは、未知の顧客への性能を正しく測れないことがあります。実際に使う場面に合わせて分け方を設計します。
少ないデータで始める方法
記録の確認、可視化、単純な平均や前週値との比較は、複雑なモデルに進む前から役立ちます。予測対象を商品別からカテゴリ別へまとめる方法もありますが、細かい判断に使えなくなる点を考慮します。
LAITでは、使える履歴を少しずつ増やしたときに評価がどう変わるかも判断材料にし、量を増やす価値と、列の定義を直す価値を分けます。
モデルの比較へ進めやすいケース
結果の定義が安定し、判断に使う時点の情報が残り、学習とは別に評価できる記録がある場合は比較へ進めやすくなります。必要な精度も「担当者の判断をどこまで支えるか」という業務条件で表せると、モデルの採否を決めやすくなります。
データを増やす前に立ち止まるケース
誤った結果ラベル、日付の欠落、定義が違う表の混在、予測時点では知り得ない情報の混入は、行を追加するだけでは解決しません。また、過去と今で商品や事業の仕組みが大きく変われば、古い記録をすべて使うことが適切とは限りません。
モデルごとに見るデータの量
| 目的 | 件数と合わせて見るもの | 不足すると起こること |
|---|---|---|
| 売上・需要予測 | 期間、季節、販促・欠品の履歴 | 経験していない変動への対応が難しい |
| 顧客離反予測 | 離反例と継続例、観測期間 | 少数の結果へ偏る・正解が未確定 |
| 成約予測 | 商談段階、失注を含む結果 | 成約した例だけでは比較できない |
| 異常検知 | 通常状態の幅、異常の定義 | 珍しいだけの状態を異常と扱いやすい |
LAITでは「何件から」より先に、評価を設計する
時間順の分け方は売上予測モデルの評価方法で詳しく説明しています。