材
採
用
向
け
サ
|
ビ
ス
動画ありとなしのABテスト|設計・期間・判定のしかた

LPに動画を入れたあと、「動画の効果があったのか」を確かめたい場面は多くあります。導入の前後で数字を比べるだけでは、季節や広告の変更の影響が混ざり、動画の効果かどうか分かりません。同じ期間に、動画ありのLPとなしのLPを並べて比べるのが、動画ありとなしのABテストです。
この記事は、動画ありとなしを比べるときに限って、テストの設計、期間と判定の決め方、結果を次につなげる方法を説明します。施策の優先順位の付け方や、仮説づくりを含むABテスト一般の進め方は「LPO施策の優先順位をどう決める?仮説づくりとABテストの進め方」に任せます。LPO全体の流れは動画を活用したLPOを参照してください。
この記事の要点
- 動画あり・なしの比較では、変える点を動画の有無の1つに絞る。見出しやボタンも同時に変えると、結果の理由が分からなくなる
- 訪問者を2つのLPに無作為に振り分け、同じ期間に比べる。期間と判定の基準は、始める前に決める
- 結果は、仮説、変更点、期間、数字、判定を記録し、次のテストの仮説につなげる
- KINSは、ABテストで勝ちパターンを特定している。事例ページには「すべてのケースで同様の成果を保証するものではありません」という注記がある
前後比較ではなくABテストにする理由
導入前と導入後の数字を比べる前後比較は、手軽ですが、次の要因が混ざります。
- 広告の出稿量や内容の変更
- 季節、曜日、キャンペーン
- 流入元の割合の変化
ABテストは、同じ期間に、訪問者をランダムに2つのLPへ振り分けて比べます。条件がそろうため、数字の差を、変えた点の影響として読みやすくなります。ただし、数字の差が偶然によるものかどうかには、訪問者数が関わります。
前後比較が使えないわけではありません。訪問者が少なくてABテストができないときは、前後比較に頼ることもあります。その場合は、広告や季節の変化が混ざることを前提に読みます。
設計:変える点を動画の有無の1つに絞る
動画あり・なしを比べるときは、A(動画なし)とB(動画あり)で、動画以外を同じにします。
| 同じにするもの | 理由 |
|---|---|
| 見出し・画像・本文 | 変えると、動画の効果かどうか分からない |
| ボタンの文言・位置 | 同上 |
| 流入元・広告 | 振り分けでそろえる。広告をABで別にしない |
| 計測のしかた | 同じイベント・同じCVの定義で数える |
動画を置く場所と内容を決める
テストの前に、次の点を決めておきます。
- 動画を置く場所(ファーストビュー、説明の途中、申込みボタンの前)
- 動画で答える疑問(1つの疑問に1つの答え)
- 動画の起動のしかた(通常起動型か、離脱防止型か)
置く場所の考え方は、動画を活用したLPOの「LPのどこで動画を使うか」で説明しています。
仮説の書き方
仮説は、「何を変えると、どの数字が、なぜ動くか」を1文にします。
申込みボタンの前に、解約方法を動画で答えると、フォームへの到達率が上がる。申込み前に解約の条件が分からず、止まっている訪問者がいるため。
この仮説には、変える点(動画)、見る数字(フォームへの到達率)、理由(条件が分からない)が入っています。
実施:振り分け・期間・判定
振り分け
訪問者を、無作為にAとBに振り分けます。VideoChooseの動画チャットボットは、LPにタグを設置して使うため、動画ありのBは、タグを設置したLP、動画なしのAは設置しないLPとして用意します。振り分けは、ABテスト用のツールや、サイト側の仕組みを使います。
振り分けるときの注意点は次のとおりです。
- 同じ訪問者が、AとBの両方を見ないようにする
- AとBに同じ割合で振り分ける。流入元の偏りがないか確認する
- テスト中に、広告やLPの別の部分を変えない
期間
期間は、始める前に決めます。決め方の考え方は次のとおりです。
- 曜日による違いを含めるため、1週間の整数倍にする
- 訪問者が少ないLPでは、数字が安定するまでに長くかかる。期間は訪問者数と、CV数を見て決める
- 結果を見ながら、途中で止めたり延ばしたりしない。途中で数字がよく見えたときに止めると、偶然の差を成果と誤解しやすい
何日が適切かは、訪問者数とCVRによって変わります。決まった日数の目安は、この記事では示しません。
判定
判定の基準も、始める前に決めます。
| 決めること | 例 |
|---|---|
| 主に見る数字 | CVR、フォーム到達率 |
| 補助的に見る数字 | スクロール、ボタンのクリック |
| 判定のしかた | 事前に決めた期間が終わった時点で、主に見る数字で比べる |
| 差が小さいとき | 「差がない」と判断し、動画の置き方や内容を変えて次のテストをする |
統計的に有意かどうかの確認には、ABテストツールの判定機能を使うことが多くあります。ツールの表示は、ツールごとに仕組みが違うため、使う前に仕様を確認してください。
動画チャットボットの数字を併せて見る
VideoChooseで計測できるのは、選ばれた選択肢、動画・選択肢のクリック数、動画を見てCVした数です。これを、GA4のLP全体の数字と見比べます。
- GA4: A・B全体のCV数、CVR
- VideoChoose: 動画を見てCVした数、どの選択肢が選ばれたか
Bで動画を見てCVした人数が少ないのに、全体のCVRが上がっているとしたら、動画以外の要因を疑います。計測の整え方は、GA4でLPを計測する記事で説明しています。
結果を次のテストにつなげる
テストが終わったら、結果を記録します。記録する項目は次のとおりです。
| 項目 | 内容 |
|---|---|
| 仮説 | 何を変えると、どの数字が、なぜ動くか |
| 変更点 | 動画の有無、置いた場所、動画の内容 |
| 期間・訪問者数 | 開始日と終了日、A・Bそれぞれの訪問者数 |
| 結果 | 主に見る数字のA・Bの値 |
| 判定 | 動画ありが良い、差がない、動画なしが良い |
| 次の一手 | 次に変える点 |
結果ごとの次の一手
- 動画ありが良かった場合: 動画の置き場所や内容を変えて、さらに別のテストをする(例: 動画の長さ、答える疑問の違い)
- 差がなかった場合: 動画を置いた場所に、疑問が残っていなかった可能性がある。ヒートマップやスクロールで、離れている場所を確かめ直す
- 動画なしが良かった場合: 表示が遅くなっていないか、動画が見る邪魔になっていないかを確認する
事例:KINS はABテストで勝ちパターンを特定
腸内フローラ検査つきの高単価サブスクを扱うヘルステックのKINS(KINS PRIME)の導入事例では、LPで説明しきれない「なぜ検査が必要か」を代表が動画で補足し、ABテストで勝ちパターンを特定しています。発言として、「コンバージョンレートが導入前と比べて150%向上が見えています」と紹介されています(導入企業の実感)。
何をテストしたのかの詳細は、事例ページには書かれていません。ここで参考になるのは、動画を一度置いて終わりにせず、ABテストで改善を続けている点です。
※事例ページには「すべてのケースで同様の成果を保証するものではありません」という注記があります。
事例:エース不動産もABテストで改善を続けている
新宿区の不動産仲介、エース不動産の導入事例では、問い合わせ数が「導入前比で142.3%向上」と記載されています。ABテストで改善を続けています。何を比べたかは、事例ページに書かれていません。
よくある質問
動画あり・なしのABテストは、訪問者が少なくてもできますか?
できますが、数字が安定するまで長くかかります。期間を長くするか、見る数字を、CVではなく、スクロールやボタンのクリックなど、発生回数の多い数字にする方法があります。
テストの期間は、どのくらいにすればよいですか?
決まった日数はありません。曜日の影響を含めるため1週間の整数倍にし、訪問者数とCV数に応じて決めます。始める前に決め、途中で変えないでください。
動画ありのほうが数字が低かった場合、動画をやめたほうがよいですか?
すぐにやめず、原因を確認します。表示が遅くなっていないか、置いた場所と内容が合っているかを確認し、条件を変えて再テストします。
ABテストの優先順位は、どう決めますか?
「LPO施策の優先順位をどう決める?仮説づくりとABテストの進め方」で説明しています。この記事は、動画あり・なしの比較に限っています。
動画の中身を変えるテストもできますか?
できます。動画ありの2案(A案とB案)を比べる形です。この場合も、変える点は動画の中身の1つに絞ります。
まとめ
- 動画の効果は、前後比較より、同じ期間に動画あり・なしを比べるABテストのほうが確かめやすい
- 変える点は動画の有無の1つに絞り、振り分け・期間・判定の基準は、始める前に決める
- 結果は、仮説・変更点・期間・結果・次の一手を記録する。KINSは、ABテストで勝ちパターンを特定している
自社のLPで、動画あり・なしのテストをどう設計できるかは、資料請求・お問い合わせからご相談ください。
関連記事:動画を活用したLPO/LPO施策の優先順位をどう決める?/動画チャットボットとは
テーマ別の記事一覧:動画チャットボット
ブログ記事一覧へ