最適化テストのベストプラクティス


– これまでのエントリ –
A/Bテストの結果をどのように解釈するか?
MVT(多変量テスト: MultiVariate Test)を本当に理解する:Part1
MVTを本当に理解する:Part2 MVTの分析方法
MVTを本当に理解するPart3 : タグチメソッド

4回に渡って最適化テストのデータ分析手法について書いてきましたが、言うまでもなく最適化テストにおいて一番重要なものはテスト設計です。しかし、こう言うこともできるでしょう。

「分析方法を知らずに設計できるわけがない。」

テスト設計をする時には当然、どのように分析するのかを知っておく必要があります。逆に言うと、分析方法がわからないのであれば、その手法は使うべきではないということです。前々回前回のエントリを読んで、何を言っているのか全くわからない、というのであれば、MVTを行うのは止めた方がいいでしょう。自分で計算できないにしても、理屈くらいは抑えておく必要があります。ダメなツールベンダーに乗せられて、タグチメソッドなんて採用したら最悪です(広告代理店もたち悪いですけど)。どうしてもMVTを行う必要があるのであれば、できるだけパターン数を絞った上で、総当り方式のテストを実施すべきです。

今回は、A/Bテスト・MVTのデータ分析方法について理解したという前提で、テスト設計について少し書いていきます。テスト設計は、数学とは違って、コレっていう方法はありません。ただし、おおよそのケースで適用できる大原則のようなものはあると思っています。このような大原則を全部網羅するつもりはないですが、思いついたものをいくつか挙げていこうと思います。

1. それでもやはりA/Bテスト

MVTの有効性は、これまでの記事に書いた通りです。非常に豊富なデータが得られる優れた手法です。しかし、それでもやはり大部分のテストにおいて、A/Bテストの方が望ましいと思います。なぜか。それは「シンプルさ」の一言に尽きます。
「ある事柄を説明するためには、必要以上に多くの実体を仮定するべきでない」
という「オッカムの剃刀」を引くまでもなく、「シンプルさ」に所以する「わかりやすさ」は強力な武器となります。
「わかりやすさ」はチームをドライブします。PDCAを高速化します。逆に、「わかりにくさ」は不信感を産みます。チームを停滞させます。A/Bテストのわかりやすさは、経営層やデザイナーなど、普段分析に携わっていない人にも直感的に理解させることが可能です。PDCAを回すには、彼らにも結果を理解してもらう必要があります。
MVTを利用するのを避けた方が良いというわけではありません。当然、目的によっては、MVTの方が適している場合もあります。大目的で言うと、以下の2つが該当します。

  • ページ内のどの要素がCVに効いているのか知りたい
  • 要素間の交互作用まで考慮したページを作成したい

この2つの目的が無い場合は、わざわざMVTを使う必要はないでしょう。

2.全ては仮説ありき

どのようなテストを行うのかは、仮説を立てた上で検証します。「ボタンが目立っていないのではないだろうか」、「ナビゲーションのテキストがわかりにくいのではないだろうか」などの仮説を立て、オリジナルバージョンと改善バージョンを比べて検証します。
では、どうやって仮説を立てるのか。その第一歩はユーザーを理解することから始まります。ログ分析でザーッとデータを見るだけでは充分とは言えません。「仮説を立てる」という点では、ログ分析は向いている手法とは言えません。可能であれば、何らかの定性調査を行なった方が良いでしょう。単純に身近にいるユーザーに話を聞くだけでも全然違います。
最後にものを言うのは直感です。これまでの経験とユーザー理解、そしてインスピレーション。これらに基づいた直感こそが最終的に優れた仮説を作り出します。データは万能ではありません。ここでは、ユーザー理解の手助けになるくらいにしか役立たないでしょう。

3.ターゲティングとセグメンテーション

ここで言うターゲティングには2段階あります。

  • A.できるだけ公平な実験環境を作るためのターゲティング
  • B.より効率的にCVRを上げるためのセグメント別での出し分け

「A」のターゲティングでは、あくまでもより正確なデータを得るためにターゲティングするのに対して、「B」のターゲティングはより効果を上げるために実施するターゲティングです。
まず、「A」から見ていきます。

A.できるだけ公平な実験環境を作るためのターゲティング

「実験」を行う上では、対象以外の要因はできるだけ同一にすべきと考えます。つまり出来る限り、実験に関係のない要因は除外すべきということです。実際、最適化テストを行う上でどのような外部要因が考えられるかというと、

  • 新規ユーザーと再訪問ユーザー
  • 平日と休日、季節要因
  • キャンペーンや広告などサイト内外での施策

などなど、非常に多くの要因が考えられます。ただし、考え出したらキリが無いので、どこかで割り切りも必要です。再訪問ユーザーは前回アクセス時の印象が影響してしまうため、理想的には除外すべきで、新規ユーザーだけに対してテストを行うべきです。ただ、そこまで厳密にする必要があるかどうかは微妙です。かかる工数ほどの価値はないかもしれません。大きなキャンペーンを行っている時期は避けた方が無難だとは思いますが、それ以外はさほど気にしなくても良いような気がします。

B.より効率的にCVRを上げるためのセグメント別での出し分け

これは「ユーザー行動は特定のセグメントによって異なる」という仮説に基づいています。例えば、ある特定のキーワードでランディングした人に対して、「通常のクリエイティブ」と「キーワードの内容に則したクリエイティブ」の2パターンでテストを行うといった手法です。リコメンデーションに近い考え方です。
検索キーワードの他にも、出稿広告や参照元サイトなどの「外部サイト施策」、ランディングページ・サイト滞在時間などの「サイト内行動」、PC環境や地理データ、過去に入力した個人情報や購入履歴などの「ユーザー属性」などでターゲティングを行います。これらのターゲティングを行うことで、当然テスト設計は複雑になりますが、かなりの効果が期待できます。
(GWOがダメなのは、タグチメソッドを提供していないからではなく、ターゲティング機能を提供していないからです。JSだけでやろうとすると、中々難しいのはわかりますが)

4.コンバージョンに影響のある箇所をテストする

コンバージョンに対して、何も影響を与えない箇所でテストをやっても何の意味もありません。コンバージョンに影響を与える箇所を重点的に改善するようにしましょう(「コンバージョンに影響する要素」について、まとまった記事を昔見た記憶があるのですが、見つからないです。手元にコピーしたものはあるんですけど、そのまま載せるのもどうかと思うので止めときます)。
もし、コンバージョンに影響する箇所が、どこかわからないという場合は、MVTを実施して、影響の大きい箇所を特定するのも一つの手かと思います。

最後は常識的な話だけになってしまいましたが、最適化テストシリーズ5連作は終了します。ネタと余裕があれば、続きを書くこともあるかもしれないですけど、たぶん書かないと思います。きっと。

Leave a Reply