Rによる統計的仮説検定(ABテスト)
最近、検定を使う機会があったため復習とRの練習を兼ねてABテストを行いました。
※このブログの内容は個人の意見・見解となります。また、記事の内容の正確性については保証いたしません。本ブログの目的は分析結果をアウトプットしていくことによる自身のデータ分析力向上を主としています。誤りや違うアプローチの方が良いという事も多分にあると思います。後学のため、「もっとこうしたらいい」や誤りを見つけた場合はコメント欄などでお知らせいただけると有難いです。
○例 顧客の来店率向上のため施策実施を予定している。施策効果があったか判断できるように検証設計及び検証を行いたい
1.帰無仮説と対立仮説の設定
帰無仮説とは本来主張したいことの反対の仮説となります。今回の場合では介入群と対照群の来店率に「差がない」という仮説を設けます。帰無仮説を棄却したときに採択される仮説が対立仮説といいます。今回では介入群と対照群に「差がある」というものです。
帰無仮説：介入群と対照群の来店率に差がない
対立仮説：介入群と対照群の来店率に差がある
2. 検定方法を選択
今回は介入することにより来店率に差が出るのかを検定したいのでx2検定を行います。
3.有意水準を選択
今回は5%の両側検定とします。
4. サンプルサイズを決める
検定力に基づいてサンプルサイズを決めます。
Rにはサンプルサイズを計算する便利なパッケージ(pwr)を使用することで簡単にサンプルサイズを求めることができます。
今回はカイ二乗検定を使用するためpwr.chisq.test()を利用します。引数で使用しているwは効果の大きさ、dfは自由度、powerは検出力になります。有意水準はデフォルトで0.05となります。今回はw=0.1、df=1、power=0.8に設定します。サンプルサイズは出力結果のN=で記載されています。今回は784.8861のため、n=785あれば母集団に0.1程度の効果があるときに少なくとも0.8以上の検出力を確保できます。相関係数の検定の場合はpwr.r.test()を利用します。その他にも一元分散分析など各種検定に対応しています。
5. 定めたサンプルサイズに基づいて施策を実施
今回の場合はn=785以上であれば0.8以上の検出力を確保できます。そのため、介入群393,対照群393に分け、介入群に対して施策を実施します。この時、なるべく介入群と対象群のセグメントが同じになるようにしましょう。例えば、介入群には女性のみ、対照群には男性のみなどで施策を行なった場合、施策による効果なのかセグメントの違いによるものなのか判断ができなくなってしまいます。
6.検定統計量の実現値を求める
chisq.test()でカイ2乗検定を実施します。デフォルトでは連続性の補正を実施するため補正をしない場合はcorrect = FALSEとします。
今回は介入群と対照群で来店率に差があるという結果になります。
○注意点
検定の結果はあくまで検定した事象が発生する確率が小さい。といった事を示しているに過ぎません。そのため、本来は母平均に差がないのに母平均に差があるように見えてしまうこともあります。有意水準5%で棄却した場合は100回中5回未満の発生率だったということです。言い換えると100回やれば4回とかは同じ事象が起こる可能性があるということになります。
○まとめ
検定では検証したい内容に応じた適切な検証設計をたて、適した検定方法・サンプルサイズを選択することが重要です。誤った判断をしないように、今後も継続して勉強をしていきたいと思います。
○最後に
このような形で分析した結果や試してみたことを週に1回（目標）ペースで掲載しています。データ分析のキャリアを歩み始めたのですが、データの解釈、分析力が低いと感じ今回、このような形でアウトプットをしていくことにしたため、ぜひ、アドバイスやご指摘をいただけると幸いです。
コメントを残す