人
材
採
用
向
け
サ
|
ビ
ス

動画ありとなしのABテスト|設計・期間・判定のしかた

LPに動画を入れたあと、「動画の効果があったのか」を確かめたい場面は多くあります。導入の前後で数字を比べるだけでは、季節や広告の変更の影響が混ざり、動画の効果かどうか分かりません。同じ期間に、動画ありのLPとなしのLPを並べて比べるのが、動画ありとなしのABテストです。

この記事は、動画ありとなしを比べるときに限って、テストの設計、期間と判定の決め方、結果を次につなげる方法を説明します。施策の優先順位の付け方や、仮説づくりを含むABテスト一般の進め方は「LPO施策の優先順位をどう決める?仮説づくりとABテストの進め方」に任せます。LPO全体の流れは動画を活用したLPOを参照してください。

この記事の要点

  • 動画あり・なしの比較では、変える点を動画の有無の1つに絞る。見出しやボタンも同時に変えると、結果の理由が分からなくなる
  • 訪問者を2つのLPに無作為に振り分け、同じ期間に比べる。期間と判定の基準は、始める前に決める
  • 結果は、仮説、変更点、期間、数字、判定を記録し、次のテストの仮説につなげる
  • KINSは、ABテストで勝ちパターンを特定している。事例ページには「すべてのケースで同様の成果を保証するものではありません」という注記がある

前後比較ではなくABテストにする理由

導入前と導入後の数字を比べる前後比較は、手軽ですが、次の要因が混ざります。

  • 広告の出稿量や内容の変更
  • 季節、曜日、キャンペーン
  • 流入元の割合の変化

ABテストは、同じ期間に、訪問者をランダムに2つのLPへ振り分けて比べます。条件がそろうため、数字の差を、変えた点の影響として読みやすくなります。ただし、数字の差が偶然によるものかどうかには、訪問者数が関わります。

前後比較が使えないわけではありません。訪問者が少なくてABテストができないときは、前後比較に頼ることもあります。その場合は、広告や季節の変化が混ざることを前提に読みます。

設計:変える点を動画の有無の1つに絞る

動画あり・なしを比べるときは、A(動画なし)とB(動画あり)で、動画以外を同じにします。

同じにするもの理由
見出し・画像・本文変えると、動画の効果かどうか分からない
ボタンの文言・位置同上
流入元・広告振り分けでそろえる。広告をABで別にしない
計測のしかた同じイベント・同じCVの定義で数える

動画を置く場所と内容を決める

テストの前に、次の点を決めておきます。

  • 動画を置く場所(ファーストビュー、説明の途中、申込みボタンの前)
  • 動画で答える疑問(1つの疑問に1つの答え)
  • 動画の起動のしかた(通常起動型か、離脱防止型か)

置く場所の考え方は、動画を活用したLPOの「LPのどこで動画を使うか」で説明しています。

仮説の書き方

仮説は、「何を変えると、どの数字が、なぜ動くか」を1文にします。

申込みボタンの前に、解約方法を動画で答えると、フォームへの到達率が上がる。申込み前に解約の条件が分からず、止まっている訪問者がいるため。

この仮説には、変える点(動画)、見る数字(フォームへの到達率)、理由(条件が分からない)が入っています。

実施:振り分け・期間・判定

振り分け

訪問者を、無作為にAとBに振り分けます。VideoChooseの動画チャットボットは、LPにタグを設置して使うため、動画ありのBは、タグを設置したLP、動画なしのAは設置しないLPとして用意します。振り分けは、ABテスト用のツールや、サイト側の仕組みを使います。

振り分けるときの注意点は次のとおりです。

  • 同じ訪問者が、AとBの両方を見ないようにする
  • AとBに同じ割合で振り分ける。流入元の偏りがないか確認する
  • テスト中に、広告やLPの別の部分を変えない

期間

期間は、始める前に決めます。決め方の考え方は次のとおりです。

  • 曜日による違いを含めるため、1週間の整数倍にする
  • 訪問者が少ないLPでは、数字が安定するまでに長くかかる。期間は訪問者数と、CV数を見て決める
  • 結果を見ながら、途中で止めたり延ばしたりしない。途中で数字がよく見えたときに止めると、偶然の差を成果と誤解しやすい

何日が適切かは、訪問者数とCVRによって変わります。決まった日数の目安は、この記事では示しません。

判定

判定の基準も、始める前に決めます。

決めること例
主に見る数字CVR、フォーム到達率
補助的に見る数字スクロール、ボタンのクリック
判定のしかた事前に決めた期間が終わった時点で、主に見る数字で比べる
差が小さいとき「差がない」と判断し、動画の置き方や内容を変えて次のテストをする

統計的に有意かどうかの確認には、ABテストツールの判定機能を使うことが多くあります。ツールの表示は、ツールごとに仕組みが違うため、使う前に仕様を確認してください。

動画チャットボットの数字を併せて見る

VideoChooseで計測できるのは、選ばれた選択肢、動画・選択肢のクリック数、動画を見てCVした数です。これを、GA4のLP全体の数字と見比べます。

  • GA4: A・B全体のCV数、CVR
  • VideoChoose: 動画を見てCVした数、どの選択肢が選ばれたか

Bで動画を見てCVした人数が少ないのに、全体のCVRが上がっているとしたら、動画以外の要因を疑います。計測の整え方は、GA4でLPを計測する記事で説明しています。

結果を次のテストにつなげる

テストが終わったら、結果を記録します。記録する項目は次のとおりです。

項目内容
仮説何を変えると、どの数字が、なぜ動くか
変更点動画の有無、置いた場所、動画の内容
期間・訪問者数開始日と終了日、A・Bそれぞれの訪問者数
結果主に見る数字のA・Bの値
判定動画ありが良い、差がない、動画なしが良い
次の一手次に変える点

結果ごとの次の一手

  • 動画ありが良かった場合: 動画の置き場所や内容を変えて、さらに別のテストをする(例: 動画の長さ、答える疑問の違い)
  • 差がなかった場合: 動画を置いた場所に、疑問が残っていなかった可能性がある。ヒートマップやスクロールで、離れている場所を確かめ直す
  • 動画なしが良かった場合: 表示が遅くなっていないか、動画が見る邪魔になっていないかを確認する

事例:KINS はABテストで勝ちパターンを特定

腸内フローラ検査つきの高単価サブスクを扱うヘルステックのKINS(KINS PRIME)の導入事例では、LPで説明しきれない「なぜ検査が必要か」を代表が動画で補足し、ABテストで勝ちパターンを特定しています。発言として、「コンバージョンレートが導入前と比べて150%向上が見えています」と紹介されています(導入企業の実感)。

何をテストしたのかの詳細は、事例ページには書かれていません。ここで参考になるのは、動画を一度置いて終わりにせず、ABテストで改善を続けている点です。

※事例ページには「すべてのケースで同様の成果を保証するものではありません」という注記があります。

事例:エース不動産もABテストで改善を続けている

新宿区の不動産仲介、エース不動産の導入事例では、問い合わせ数が「導入前比で142.3%向上」と記載されています。ABテストで改善を続けています。何を比べたかは、事例ページに書かれていません。

よくある質問

動画あり・なしのABテストは、訪問者が少なくてもできますか?

できますが、数字が安定するまで長くかかります。期間を長くするか、見る数字を、CVではなく、スクロールやボタンのクリックなど、発生回数の多い数字にする方法があります。

テストの期間は、どのくらいにすればよいですか?

決まった日数はありません。曜日の影響を含めるため1週間の整数倍にし、訪問者数とCV数に応じて決めます。始める前に決め、途中で変えないでください。

動画ありのほうが数字が低かった場合、動画をやめたほうがよいですか?

すぐにやめず、原因を確認します。表示が遅くなっていないか、置いた場所と内容が合っているかを確認し、条件を変えて再テストします。

ABテストの優先順位は、どう決めますか?

「LPO施策の優先順位をどう決める?仮説づくりとABテストの進め方」で説明しています。この記事は、動画あり・なしの比較に限っています。

動画の中身を変えるテストもできますか?

できます。動画ありの2案(A案とB案)を比べる形です。この場合も、変える点は動画の中身の1つに絞ります。

まとめ

  • 動画の効果は、前後比較より、同じ期間に動画あり・なしを比べるABテストのほうが確かめやすい
  • 変える点は動画の有無の1つに絞り、振り分け・期間・判定の基準は、始める前に決める
  • 結果は、仮説・変更点・期間・結果・次の一手を記録する。KINSは、ABテストで勝ちパターンを特定している

自社のLPで、動画あり・なしのテストをどう設計できるかは、資料請求・お問い合わせからご相談ください。

関連記事:動画を活用したLPO/LPO施策の優先順位をどう決める?/動画チャットボットとは

テーマ別の記事一覧:動画チャットボット

ブログ記事一覧へ

まずは無料で相談する

今すぐVideoChooseで
新しいマーケティングを始めましょう。