お問い合わせ
運用・グロース

AIショートドラマのABテスト|AIだから試せる比較の進め方

AIショートドラマのABテスト|AIだから試せる比較の進め方

ABテストは、2つ以上の版を同じ条件で配信し、どちらが目的に近い結果を出すかを比べる方法です。AIショートドラマは版の作り分けがしやすいため、実写では難しかった比較も試しやすくなります。

この記事の要点

  • AIショートドラマは撮影の手配なしに冒頭やオチだけを差し替えた版を作れるため、ABテストと相性の良い制作方法です。
  • ABテストでは一度に変える要素を一つに絞り、変えた要素が影響しそうな箇所の指標を選んで比べることが大切です。
  • 媒体、期間、配信対象、予算、尺などの条件をそろえ、厳密に確かめたい比較は広告配信で行う方が判断しやすくなります。
  • 判断に必要な量を始める前に決め、勝った版の理由を仮説として言葉にして、次の話の脚本に活かします。

AIショートドラマはABテストと相性が良い

ABテストとは、一つの要素だけを変えた複数の版を用意し、同じ条件で配信して結果を比べる方法です。感覚や好みではなく、視聴者の実際の反応で判断できるのが利点です。

実写のショートドラマでは、比較用に別の版を作ろうとすると、別のカットを撮影するための時間と費用がかかります。撮影の段階で比較を計画していなければ、後から版を増やすのは難しいのが実情です。

AIショートドラマは脚本から映像を生成するため、冒頭のカットだけを差し替えた版や、オチだけを変えた版を、撮影の手配なしに用意できます。比較のための版を作りやすいことは、AI制作の大きな利点の一つです。ただし、版を増やせばそのぶん制作と確認の工数はかかるため、何を比べるかを絞ることが大切です。

比べる要素を一つに絞る

ABテストで最も大切な原則は、一度に変える要素を一つにすることです。冒頭とBGMを同時に変えた版を比べても、結果の差がどちらによるものか分かりません。

ショートドラマで比較しやすい要素

要素比較の例主に見る指標
冒頭の数秒問いから始める版と、結末の一部から始める版冒頭の維持率、視聴完了率
商品の出し方物語の序盤で出す版と、終盤で出す版商品が出る場面の維持率、サイトへの移動
主人公の設定年代や立場の異なる主人公視聴完了率、コメントの内容
オチ・終わり方結末を見せる版と、次の話への引きで終わる版終盤の維持率、プロフィールへの移動
テロップ多めの版と、要点だけの版全体の維持率
誘導の文言動画の最後の呼びかけを変えた版クリック率、コンバージョン率

主に見る指標は、変えた要素が影響しそうな箇所を選びます。冒頭を変えたのに、コンバージョン率だけを見て判断すると、要素と指標がずれて結論を誤りやすくなります。各指標の定義はAIショートドラマの効果測定を参照してください。

条件をそろえるテスト設計

比べる版以外の条件が違うと、結果の差が要素によるものか、条件によるものかが分からなくなります。

そろえておきたい条件は次のとおりです。

  • 同じ媒体で配信する
  • 同じ期間、できれば同時に配信する
  • 広告の場合は、配信対象、予算、入札の設定をそろえる
  • 尺をそろえる(尺が違うと完了率や平均視聴時間が変わる)
  • 変える要素以外の映像、音、テロップを同じにする

オーガニック投稿では、投稿日時や配信のされ方を完全にそろえることができません。そのため、オーガニックでの比較は傾向をつかむための参考と考え、確かめたい場合は広告配信で条件をそろえて比べる方が判断しやすくなります。媒体によっては、広告の管理画面に比較のための機能が用意されている場合もあります。使える機能や条件は変わるため、公式の最新情報で確認してください。

結果の読み方で気をつけること

少ない数値で結論を出さない

再生数やクリック数が少ない段階では、偶然のばらつきで差が出ることがあります。わずかな差で「Aの方が良い」と決めると、次に同じことをしても再現しない場合があります。どの程度の量が集まれば判断するかを、テストを始める前に決めておくと、結果を見てから都合よく判断を変えることを防げます。統計的な判断に不安がある場合は、分析に詳しい担当者や外部の専門家に相談してください。

勝った版の「理由」を言葉にする

結果が出たら、なぜその版が良かったのかを仮説として言葉にしておきます。「冒頭で結末の一部を見せると、続きを知りたくなって残る」のように理由を残しておくと、次の話の脚本にも応用できます。理由を言葉にせず、勝った版だけを残すと、次の企画に知見が引き継がれません。

一度の結果を絶対視しない

ある話で効いた冒頭の型が、別の話でも効くとは限りません。勝った型は「次の標準候補」として扱い、別の話でも試して確かめてください。

結果は関係者と同じ形で共有する

テストの結果は、運用担当だけでなく、企画や脚本に関わる人、制作会社とも共有します。共有するときは、勝った版と負けた版を並べ、変えた要素、見た指標、差の大きさ、理由の仮説を一枚にまとめておくと、議論が数値の解釈から次の打ち手へと進みやすくなります。結果をためていくと、自社のショートドラマで効きやすい型と、効きにくい型が少しずつ見えてきます。

テスト計画シートを作ってから始める

ABテストは、始める前に計画を書き出しておくと、判断がぶれにくくなります。次の項目を表計算ソフトなどにまとめ、制作会社とも共有してください。

テスト計画シートの項目

  1. テストの目的(何を知りたいか)
  2. 仮説(どちらの版が、なぜ良いと考えるか)
  3. 変える要素(一つだけ)
  4. A版とB版の内容の違い
  5. 主に見る指標と、補助として見る指標
  6. 配信の条件(媒体、期間、配信対象、予算)
  7. 判断に必要な量の目安と、判断する日
  8. 結果と、そこから言える理由の仮説
  9. 次の話への反映内容

制作会社に比較用の版を依頼するときは、修正の回数や範囲に含まれるのか、別の費用になるのかを事前に確認しておきます。この点はAIショートドラマで追加費用が発生しやすい場面と事前の確認方法でも扱っています。また、比較のために主人公の見た目を大きく変えるとシリーズとしての一貫性が崩れることがあるため、継続して使う人物の設定は変えない範囲で比べるのが無難です。

まとめ

ABテストは、一つの要素だけを変えた版を同じ条件で配信し、目的に近い指標で比べる方法です。AIショートドラマは撮影の手配なしに比較用の版を作れるため、冒頭、商品の出し方、オチなどの比較を試しやすくなります。条件をそろえ、判断に必要な量を事前に決め、勝った版の理由を言葉にして次の脚本に活かすことが、比較を積み重ねるうえで大切です。ことばピクチャーズでは、脚本を制作チームが書き下ろし、公開前に御社と内容を確認したうえで納品しています。

よくある質問

一度に3つ以上の版を比べてもよいですか。
可能ですが、版が増えるほど1つあたりの配信量が少なくなり、判断に時間がかかります。最初は2つの版の比較から始める方が、結果を読みやすくなります。
オーガニック投稿でもABテストはできますか。
投稿日時や配信のされ方をそろえにくいため、厳密な比較は難しくなります。傾向をつかむ参考として使い、確かめたい比較は広告配信で条件をそろえて行う方法がおすすめです。
テストの結果、どちらの版も差がなかった場合はどうすればよいですか。
その要素は今回の条件では結果に大きく影響しなかった、と記録しておくことにも意味があります。別の要素を次のテストの対象にしてください。

お役立ち資料

おすすめの記事

新着記事

+強み +効果 +選ばれる理由 +業種別の活用 +制作フロー +よくある質問 +コラム +資料ダウンロード +お問い合わせ