機械学習理論研究室
← AI体験の一覧
来客数が12日ぶん並んでいます。「だいたい何人のお店か」を1つの数で言うなら、どこを選びますか。何を「ズレ」と見なすかで、答えは平均にも中央値にもなります。自分で動かして確かめてみましょう。
あるお店の、12日ぶんの来客数です。この12個の数を「だいたい何人のお店です」と1つの数で言い表すなら、どこを選べばよいでしょうか。
a を左端から右端まで動かしたときに、合計がどう変わるかを描いたものです。2本は大きさの単位がちがうので、それぞれ自分のいちばん大きい値を 1 として重ねています。形のちがいに注目してください。
二乗のほうは、谷が1点だけはっきり決まります。絶対値のほうはデータ点のところで折れ曲がり、谷の底が平らになることもあります(データが偶数個のとき、真ん中の2つにはさまれた区間はどこでも同じ値です)。
Σ(x − a)² を最小にする a = 平均
Σ|x − a| を最小にする a = 中央値
平均と中央値は、べつべつに用意された2つの計算方法ではありません。「ズレ」を何で測るかを決めた結果として出てくる、同じ問いの2つの答えです。
データの点を1つつまんで、右のほうへぐっと引っぱってみてください。平均はどこまでもついてきますが、中央値はほとんど動きません。この「一部の変な値に引きずられにくさ」を頑健性(ロバストネス)といいます。
図の何もないところをタップすると、その位置に点が増えます。「点を消すモード」のあいだは、点をタップすると消えます。
ズレを二乗して足すと、遠くの1点のズレが 10 倍になったとき、その点の効き目は 100 倍になります。だから平均は、遠くの点に強く引っぱられます。
ズレを絶対値で足すと、10 倍遠い点の効き目はちょうど 10 倍のままです。しかも、中央値を少し右へずらしても「右側の点の数」と「左側の点の数」しか効かないので、外れ値がどれだけ遠いかは結果に影響しません。
世の中のデータには、入力ミス・機械の故障・めったに起きない出来事による極端な値が必ずまじります。どちらの測り方を使うかは、その汚れをどう扱いたいかの選択でもあります。
待ち合わせに遅刻はしたくありません。かといって、30分も早く着いて待つのは退屈です。家を何分前に出ればよいでしょうか。
遅刻の痛さと、待たされる退屈さは同じ重さではありません。ここまでは右にズレても左にズレても同じだけ損をするとしてきましたが、この場面ではそうなりません。
下は、その道のりに実際にかかった時間の記録(12日ぶん)です。これを見て「何分を見込んで家を出るか」を先に決めます。
見込みが足りなかった(遅刻した)→ 損 = c下 ×(かかった時間 − 見込み)
見込みが多すぎた(早く着いて待った)→ 損 = c上 ×(見込み − かかった時間)
| ズレの測り方 | 最小にする点 | こんなとき |
|---|---|---|
| ズレの二乗の合計 | 平均 | 大きなズレを特別に嫌うとき |
| ズレの絶対値の合計 | 中央値 | 外れ値に引きずられたくないとき |
| 非対称なズレ(上と下で重みがちがう) | 分位点 | 足りない損と余る損が釣り合わないとき |
3段目の「上と下で重みがちがう」損は、絶対値の合計を左右で別の重みにしただけのものです。重みの比を 1 : 1 に戻すと中央値に戻ります。つまり中央値も分位点の仲間で、ちょうど真ん中(50%)の分位点にあたります。
「見込みが足りない損」と「多すぎる損」が釣り合わない、という形の問題は、身のまわりにたくさんあります。仕入れた数が足りなければ売り逃し、多すぎれば売れ残りです。工場の部品も、病院のベッドも、サーバーの台数も同じ形をしています。
この考え方をいちばん素朴な形にしたものが、新聞売り子モデルと呼ばれる有名な問題です。売れ残りの損と売り逃しの損の比から、仕入れるべき数が分位点として決まります。
ここでは、ズレをどう測るかを変えると、答えにする一点が平均から中央値へ、さらに分位点へと動くことを見ました。次の陽性の読み方は、測り方ではなく割合の読み方で答えが変わる話です。検査の結果はまったく同じなのに、何を分母に取るかで「陽性です」の重みが10倍ちがってきます。