包丁一本さらしに巻いて

数値感

数値感ってのが自分の中にある。これは実験計画を立てる際に必要なサンプルサイズを算定し、対照群/介入群の前提を整理して複数ある手法から適切な効果検証方法を選択し実施する、というような統計的知識の活用といった類のものではなく、より原始的なものだと認識している。原始的ではあるが、数字を扱いながら仕事をする上で自分が大事だなぁと思っている事。しかし誰かに伝えようとすると結構ぼんやりしているので一度書き出してみる事で自分の中でも整理したい。

なんとなく「正しく数字を比較できる」という要素かなぁと思ったのでコレについて書く。

正しく数字を比較できる

こう表現するとかなり原始的に見えるんだけど、実は結構難しいと思うし自分もまだまだできていないタイミングがあると思う。

何かを決める際に行う数字比較は、こと商売を運営していく際、様々な場所で行われる所作。もちろん気合で決める場合もあるといえばあるんだけど、数字AとBのどちらが大きい為aを行う、数字CとDを見るとDの方が小さい為dの優先度を下げる、など、何か重要な事を決める前には意識無意識問わず何かを比較をしている。この際、比較するAとBは本当に比較可能なのか?という事を意識して数字を取得、比較に臨む力というのがあると思う。以下、上手く出来ていない時のパターンを書き出してみる(これが全てではないはずなのでもっとパターンあれば知りたい)。

決めたい事を決めれない数字

何を決める為にどの数字を取るのか、という設計が曖昧なケースがある。頑張ってデータを取得して最後に「あれ、良い感じで数値取れたけどこれ比較しても結論出ないのでは」という経験、自分はある。そういうケースは「そもそも何を決めたいのか」が曖昧になっている事が多いと感じている。当たり前なんだけど最初に目的を明確化+文章化し、可能ならチームメンバーにレビューをもらい、本当にこの比較で結論が出るのかを確認するのが良い。

異なる集団から出力された数字

性年代別、利用パターン別、継続月数等の前提が揃ってない集団から出力された数字は比較する際に解釈が難しい。最初に目的を定めたら、その目的に適うような集団を選択して比較対象の数字を取得するのが良い。

季節/イベント要因の混入

数字の挙動に季節性がある場合や、例えば近隣に競合店舗が出来た、この時期はキャンペーンやってた等のイベントがある場合、その数値変動の差分を考慮しないと正しく比較するのが難しい。データ取得する前にこういった変動がどこかで発生していないかを確認する必要がある。

分母と分子による目眩まし

割合は2つ以上の要素の関係性を1つの数字で表せるので便利なんだけど、その割合の裏にある複数の要素の明確さが弱まるので本当に比較して良いのか見えにくくなるケースがある。割合を比較する場合、分母と分子の定義までキッチリ明文化して意図した通りに比較できるかを確認するのが良い。

そもそも正しく比較できない場合の仮定の精度

正しく比較する為の数字を現実的なコスト(時間/お金)で取得できない場合がある。そんな場合でも、どうしてもここから一歩先に進む為には一定妥当性を持った比較が必要というタイミングもある。こういうケースでは実績等から妥当と思われる仮定を置いて比較するんだけど、その仮定を明確にできていない、もしくは強い仮定を置いてしまうと比較の結果の解釈が曖昧になってしまう。また、その後明らかになっていく数字が予想と乖離した際に原因探索が困難になってしまう。

この辺までくると信頼区間をどの程度取るのか等の統計的な知識を用いる事で確からしさを担保しながら幅を持たせた比較をする、という選択肢も出てくるが、どのような手法を取るにしろ仮定は明記されているべき。

まとめ

“意外に”正確に何かを比較するというのは難しい。無菌室を用意できない現実世界を解釈する際は特にだ。この”意外に”ってところがポイントで、意外に難しいけどなんとなくできてしまう(と思ってる)のでヌルっと進んでしまう事が多い。当たり前なのだけど、重要な決定のインプットとなるような分析の前には、比較の目的、集計対象者/期間、集計方法、利用する割合の定義、結論を出す前の仮定、これらを文章として書き下して自分で検証し、他のチームメンバーにレビューを貰ってからデータを取得するという事を意識していきたい。

参考文献