データに基づいた広告運用をするのであれば、データを適切に扱うための技術（方法論）に則る必要がある。データドリブンな運用に必要な技術を、使われる文脈とコアとなるキーワードととともに紹介する。データに基づいた最適化のプロセスは手動運用、自動運用ともに基本は同じであり、自動運用は機械がそれを行っているだけである。データドリブンで手動運用する際のポイントと、自動運用がそれをいかにして効率化しているかを紹介する。最適化の裏側で何が行われているか、自動運用との付き合い方においても参考になるだろう。
目次
データドリブンな運用とは？
「いろいろやって効果のいいものに寄せる」
が基本。ただし制約条件はいろいろある（予算など）。
「いろいろやっていいものを見つける」が統計／機械学習の役割で、「（予算制約の中で）いいものに寄せる」すなわちコストアロケーションが数理計画の仕事である。昨今、統計や機械学習がもてはやされているが、数理計画というのはこれとは別の概念である。
データ収集とコスト
データドリブンな運用で重要なのが、「いろいろやっていいものを見つける」ためにコストがかかるということ。いろいろやる段階では効率的な配信は期待できない。この段階での配信コストは調査のためのコストになる。
有意差と必要なデータ量
たとえばABテスト。2個のクリエイティブからABテストで有意にいい（CTRが高い）ものに絞り込む場合、有意差の出るデータ量が必要になる。両側検定で有意水準5%の場合
| creative | imp | click |
|---|---|---|
| A | 10,000 | 9 |
| B | 10,000 | 6 |
→有意差なし
このペースでクリック数の差がついていったとき
| creative | imp | click |
|---|---|---|
| A | 56,000 | 45 |
| B | 56,000 | 28 |
で有意差が付く。統計的に正しい手順でクリエイティブを選択しようとすると11万インプレッション分のコストが必要ということである。
ここまで極端でないにしても、「クリエイティブAもBも大差ないのにたまたまその結果が出た」だけなのか、それとも「本当にAとBに違いがあるゆえにその結果が出た」のか、判定するためにはそれなりのデータ量が必要となる。データ収集期間中は効率が悪くても我慢しなければならない。途中で諦めたら結局データドリブンでない運用ということになってしまう。ちなみに有意差というのは、「クリエイティブAもBも大差ないのにたまたまそのような結果（それ以上極端な結果）が出る」確率が5％未満になるような「差」のことである。
これはクリエイティブに限らず他の変数（オーディエンス、配信面など）でも共通である。
配信パターンと分析の粒度
そしてこれらを数多くのクリエイティブに対して、数多くのオーディエンスに対して、無限の配信面に対して実現する必要がある。
- 訴求の種類を5個にするのか、20個にするのか
- リマーケティングのリーセンシーの分け方を1日単位にするのか、3日単位にするのか
- 訪問したページ単位で見るとどうか
を細かくするほど、より多くのデータが必要になる。データが集まるまで効率が悪くなる。データ収集のためにかけられるコストに上限があるのであれば、細かさを追求せずある程度の粒度で程度丸めて対象となる群を作り、群ごとの評価をするのがいい。ちなみにその群の作り方など、正しい手法を提供するのが実験計画法になる。
ここで適度な粒度というのが重要で、細かさが仇となることもある。細かくすればするほど多くのデータが必要になるため、予算がないと十分なデータを得ることができず、結局「いいものを見つけ」られないままキャンペーンが終了してしまう。
人間の限界と機械学習
多くの配信パターンを人間が手作業で作り、結果を検証するには限界がある。まず入稿や設定等の物理的なオペレーションにも限界がある。これを自動で機械が実現してくれるのが最近のプラットフォームの自動最適化である。
また手動運用でクリエイティブを絞り込む場合には、ABテストの手順を踏まないと絞り込む（BをやめてAだけにする）ことができない。各パターンにおいて検証のためそれなりのデータ量が必要になり、非効率な配信にかかるコストが大きくなってしまう。ここで機械学習に基づく自動運用を使うと「BをやめてAだけにする」ではなく少しずつAに寄せていくという運用ができる、つまりデータ収集コストを小さくしながら配信を継続できるメリットがある。
必ずしも有意差にとらわれず、少ないデータでも効率的に検証を回す。必要に応じて自動的にコンバージョンと相関のある行動パターンを発見し、マイクロコンバージョンとして教師データを増やしてくれる。場合によって自アカウントだけでなくプラットフォーム全体が扱うデータも参考にするところは手動運用では見ることのできないデータを使うメリットである。
平均への回帰
スプリットラン、複数のクリエイティブを同時に配信していると、当初は効果に違いがあった（ように見えた）のに、長くやると効果の違いが見えなくなることがある。依然として有意差を超えた違いが残る場合もあれば、残らない場合（有意差がない状態）もある。また有意差も、試行回数が増えると
- 違いはれっきとしてあるけど＝有意差あり
- 違い自体は小さい＝係数は小さい
ということになる。有意差はあるけどインパクトは小さいということである。
統計的には「平均への回帰」といわれる現象で、何らかの施策によって、施策によらなくても数字的に跳ねたもの（よくなった、逆に悪化する場合も同じ）は結局は落ち着く傾向がある。実は闇雲にやっているABテストの結果にはそんなものも多い。
また平均への回帰とは別の問題として、ABテストの結果効果がよかったクリエイティブも、長期間配信していると飽きる・慣れることで効果が悪化する。もう一歩のクリエイティブと効果が変わらなくなるということもある。
ボリュームゾーンに合わせた最適化か、パーソナライズか
全オーディエンスに対して共通のクリエイティブでABテストをするとクリエイティブAのほうがトータルのパフォーマンスがいいから全体に対してAをクリエイティブ表示するということがある。これは実はBのほうが適しているはずのオーディエンスに対しても、多数がそうだからという理由でクリエイティブAを表示するということである。つまり全体に対するABテストは多数決であり、ターゲットのボリュームゾーンに合わせた最適化にすぎない。
セグメントを分けてクリエイティブを出し分ける、パーソナライズのほうが重要ではないかという考え方が有力になっている。つまりオーディエンスとクリエイティブ、配信面などを掛け合わせた多変量テストになる。そしてAがいい人にはクリエイティブAを、Bがいい人にはクリエイティブBを見せる、…というものである。これはボリュームゾーンに合わせた最適化とは逆のアプローチになる。
多変量テストの設計とそれに応じたクリエイティブの配信、結果の（次なる配信への）反映は手動だと大きな工数がかかり、継続は苦行を極める。
データドリブンとヒューリスティック
経験と勘に基づいた先入観で臨むやり方をヒューリスティックという。たとえばバナーの背景色を4パターン試すのではなく、経験的にこの商材の場合は水色がいいから背景色は水色だけにする、などという考え方である。言うならば「経験と勘に基づいたセンスのいいやり方」であり、そういう意味ではこれも案外重要なのである
データドリブンとヒューリスティックは真逆の姿勢である。実際にはあらゆる施策の決定は、ヒューリスティックな度合いとデータドリブンな度合いのバランスに基づいて行うことになる。施策を考えるときはそのバランスを意識し、データドリブンな文脈でヒューリスティックな考え方を混在させるということはしないように。
状況によってはデータドリブンを諦めてヒューリスティックに施策を決めることも重要。いろいろやらない、最初から結果のよさそうな施策に当たりをつけてあまり動かさないやり方である。意外な発見はないかもしれないが、それと引き換えにコストを節約できるというのは小規模アカウントでは重宝されるべき方法である。あるいはキャンペーンまでにデータを集めている時間がなく、データ収集による機会損失が馬鹿にならない規模のキャンペーンでもヒューリスティックな方法をとらざるを得ない。
ヒューリスティックを排除し、100%データドリブンで進めるなら今では自動運用一択になる。その場合はコンピュータに学習させやすい、データを蓄積しやすいアカウント構造（媒体推奨の方法）が優先され、ヒューリスティックな部分を反映させやすいアカウントであったり、手動でコントロールしやすいアカウント構造とは全く異なる。
探索と活用
データドリブンな運用では最終的には「いい配信のやり方」に寄せていくのだが、寄せきった（収束した）状態では、
- さらにコンバージョンを獲得すべく予算を追加した時に、どのような配信をすればいいか分からない
- マーケットの状況は変わるので、半年前の最適配信ポートフォリオが今の最適配信になっているとは限らない
という問題がある。
長期的にはその最適化されたコストの下で獲得できるCVも減少していく。どこかで新しいセグメントのCVを取りにいかなければならない。また、半年前にABテストの結果生き残ったクリエイティブの効率が悪化してきた。当時停止したクリエイティブを配信再開したら、逆に高効率になっているかもしれない。こういうこともある。
こういった問題に立ち向かうためには、常に一定の予算は非効率を覚悟の上でテストに使い続けるというやり方が必要である。これもデータドリブン。そしてABテストの最大の問題がここにある。ABテストの考え方では敗れた施策は永遠に停止され、市場の変化により敗れた施策が効果的になっているかもしれない、そういった事態に対応できないのである。
データから得られた最適な施策を行うことを、学習の言葉で活用（exploration）という。最適化するためにデータを得ることを探索（exploitation）という。探索と活用は真逆の姿勢であり、実際の運用は探索の度合いと活用の度合いのバランスに基づいて行うことになる。データドリブンな運用を進める際はそのバランスを意識し、探索の文脈で活用の考え方を混在させるということはしないように。
機械学習の一種であるバンディットアルゴリズムを使えば常にある程度の配信量を探索に割きつつ、ABテストのように最終結果を待たずに活用をリアルタイムで進めることができる。非効率な運用に伴って発生する損失と、探索しないことによる機会損失の想定値、その合計を小さくする…人間の手動の運用では不可能で、これこそが自動最適化の領域である。
絞り込む、コストを削減するのが比較的単純な作業であるのに比べて、広げるほうが難しい。
広告運用とテクノロジー の記事一覧
