ABテストは地道なPDCAとチームづくりが最重要！ABテストの壁を乗り越えてサイトの成長速度を最大化しよう
こんにちは、編集部のジェシカです。
みなさん、ABテストできちんと成果を出せていますか?
ABテストというと施策内容や結果ばかりに注目しがちですが、運用体制を整えておかなくては、せっかく手間ひまかけて実施したのに何の効果や知見も得られなかった….という状況に陥ります。
今回は、ABテストで成果を出すために大切なポイントをご紹介します。
そもそも、ABテストとは
ABテストとは、バナーやキャッチコピーから、画面レイアウトや遷移まで、課題になっている部分を改善する複数案を同時期に同条件で配信し、どのパターンが優れているか検証するテストのことです。
ABテストでよく使われるツールには以下のようなものがあります。
- Optimizely（オプティマイズリ－）
- KAIZEN PLATFORM（カイゼン プラットフォーム）
- Visual Website Optimizer（ビジュアル ウェブサイト オプティマイザー）
- Google Analytics（グーグルアナリティクス）
Google Analyticsは無料でテストが作成できるので、ひとまずABテストを始めてみたい方におすすめです。
ABテストで絶対に必要なPDCAサイクル
ABテストは、施策策定→ABテスト実装→結果検証→サイトへの実装というPDCAをしっかり回すことが大切 です。
思いつきでテストを始めたものの、結局何が知りたかったのかわからなくなることも多々あります。
ここでは、ABテストで押さえておきたいPDCAをご紹介します。
Plan / 施策策定
(テスト施策、改善指標、工数見積もり、スケジュール等)
サイトの課題を洗い出し、どの部分にどんな効果を見込むか、仮説を立てることが大切です。
仮説が曖昧なABテストは害悪と言っても過言ではありません。
テスト箇所は、ユーザーがアクションを起こす箇所（問い合わせ・会員登録ボタン等）に近い部分から始めるのがよいでしょう。
改善指標（KPI）を決め、各KPIでどれくらいの効果（例：ボタンクリック数2倍）が見込めるか予測しま す。
また、この段階でABテストの工数見積もりやスケジュールを把握しておきましょう。
スケジュールは、ツールへの実装・検証期間、テスト運用期間、結果検証期間を加味して作成します。
テスト運用期間をどれくらいにするかの判断は難しいところです。
トラフィックの多いサイトは「統計的有意性」（差の優位性等ともいます）が現れやすく、テストの決着がつきやすい場合がありますが、トラフィックが集まりにくい場合は、長い目での運用が必要になるからです。
統計的有意性がはっきり現れず、管理画面にあるグラフの動きが落ち着いているようでしたら、最長2週間でストップするのがオススメです。
私の経験上、2週間以上テストをして結果が逆転した！ということはあまりありませんでした。
ですから、テスト運用期間を最長2週間に設定しておけば余裕を持ったテスト運用ができると考えています。
テストの施策を立てたけど、実装できないということのないように、実現可能か確認しておくことも 大切です。
Do / テストの実装、公開
施策が決まれば、次はテストの実装です。
複雑なシステムで作られたサイトの場合、実装や検証に意外と時間がかかることがあるので、その点も考慮しておきましょう。
検証は、動作確認だけでなく取得したいデータが取れているかも合わせて確認します。
ABテストツールはJSで処理しますので、既存のサイトのJSと競合してうまくデータが取得できなかったり、単純に設定ミスをしている場合があるので、すべてのKPIが取得できているのかを必ず確認しま しょう。
Check / ABテスト結果検証
テストが終了したら結果を元に、仮説と比較してどうだったか確認し、サイトに実装するかしないかの判断をします。
やってはいけないのは、コンバージョンに設定した指標の差が小さいのに、無理やり勝ち負けをつけてしまうことです。
結果は、統計的有意性を見て判断しましょう。優位性が低ければ、中間指標を元に判断するのもひとつの方法です。
仮説を見直して再テストという結論になることもあります。
経験上、単発で様々な箇所のテストを繰り返すよりは、１つの仮説に対して地道に別の角度からアプ ローチを続けるほうが、根本的な解決の近道になると思います。
アプローチを継続してもダメだったら、「その箇所は今後やらない」と判断できます。
テスト結果は、プロジェクト管理ツールやエクセルで管理しておきましょう。
何度もテストしていると何をやったか忘れてしまいがちです。
また、勝ちパターンや負けパターンをそれぞれソートして一覧化すると何かの法則が見えてくるかもしれません。
Action / サイトへの実装
テスト結果をサイトに実装する場合は、改めてサイト実装の工数を確認しましょう。
ABテストツールへの実装と、サイトへの実装は手法が異なります。
テストでよい結果が出ればすぐにサイトに反映できるとも限らず、もどかしい思いをするかもしれませ んが、その点も留意しておきましょう。
PDCAのサイクルは、早いほどサイト改善に直結します。
テストスケジュールをきちんと管理しながらテンポよく進めていきましょう。
ABテストの理想的なチームとは
上述したように、ABテストで成果を出すにはたくさんのプロセスがあります。
これを１人ですべて担当するのは難しく、チームでの役割分担が不可欠です。
最低限、プランナー兼ディレクター、エンジニア、デザイナーの3職種でチームを組むようにしましょう。
また、あまり肩書に偏って運用すると、エンジニアやデザイナーは「言われたことだけをやる」とい うスタンスになってしまいがちです。
せっかくのチームですから、施策策定や効果検証ではみんなで意見を出しあい、よりよいテストがで きるような関係性になれるとよいですね。
社内リソースが確保できない場合は、外部パートナーに参加してもらうことも検討するとよいでしょう。
※宣伝になり恐縮ですが、当社でもABテスト運用の支援をしていますので、ご興味ありましたらお気軽 にお問い合わせください。
■お問い合わせ先 → coach4pm@riso-labo.com
ABテストの壁
気軽にABテストを始めたけれど、行き詰まってしまった経験はないでしょうか。
- サイトの負荷、不具合の発生を危惧してテスト配信を嫌がられる
- 思いつきでテストの実装要望が集まり、収拾がつかない
- テストの結果に有意差が出ない
ABテストは、うまく結果が出るテストばかりではありませんし、テスト自体を好意的に思っていない 人も中にはいます。
でも、サイトの成長速度を最大化したいなら、ABテストはとても効果的な手法です。
大変かもしれませんが、サイトをよくしたい！という志を強く持って周りを巻き込み、ABテスト っていいね！という空気感を作ってみましょう。
やりたい施策がたくさん集まってどうしたらいいかわからない時は、仮説や優先度（最終コンバージョンへの影響度）によって整理する、 テストの結果がうまく出ない場合は、テスト設計を仮説から見直す・中間CVを設けるなど、幅広い角度からアプローチし続けることが大切です。
PDCAの、特に「P」と「C」の部分に重点を置いて運用してみてください。
▼チームづくりに参考になる、おすすめのコラムはこちら▼
