デザイナー主導でPtengineを導入！

• ABテストとPtengineを組み合わせて、詳細な分析が可能に
• チームメンバーの間で共通認識を持ちやすくなった
• デザイナーにデータによる検証からの改善という意識が根付いた

コーポレートプロフィール

株式会社ドワンゴ
会員数6000万人を抱える日本最大級の動画サービス『niconico』をはじめ、ニコニコ超会議や闘会議などのイベント、モバイル向け音楽配信サービス、ゲームソフトおよびオンラインゲームの企画開発などを手がける株式会社ドワンゴ。 アイデアと技術力をベースに成長し、毎年いくつもの新しいサービスをリリースしています。

これまでの課題

• ABテストツールを先に導入していたが、仮説と検証のためにヒートマップが必要だった
• データ分析のためにサーバーログを使っていたが、データ取得に時間がかかる上に、担当者によって集計方法に違いが有ったりなどした

Ptengineを選定した理由

• 必要十分な機能と導入しやすい価格
• すでに利用しているABテストツールとの連携

Ptengineへの評価

• ABテストとPtengineを組み合わせて、詳細な分析が可能に
• チームメンバーの間で共通認識を持ちやすくなった
• デザイナーにデータによる検証からの改善という意識が根付いた

インタビュー

既存のABテストツールをもっと活用するためにヒートマップを導入

株式会社ドワンゴ 企画開発本部 第二企画開発部 チャンネル企画セクション デザイナーグループ井口智志氏に、Ptengineの導入の背景、活用状況、今後の期待などについてお話をうかがいました。

Q: Ptengineを導入した経緯を教えてください。

井口氏：
サービスプラットフォーム事業では、売上に直結する有料会員の入会数を、デザインにおいても重要な指標としています。サイトデザインのリニューアルでは、変更前後の効果測定をするのですが、以前はサーバーのログから解析をしており、時間がかかり、また手作業であることが課題でした。推測を元に次のデザインをして、効果を検証しますが、仮説の精度がどうしても上がりません。

ABテストのツールを導入したものの、この部分は解決できませんでした。具体的には、ABテストを実施するには、まずはどのページをABテストするのか、どう改善するかを、アクセスログなどから仮説を立てて実施しますが、この仮設立ての根拠を得るのが上記の理由でハイコストでした。またABテストの結果に対しても、なぜ勝ったのか、負けたのか、明確に理由を証明することができませんでした。

こうした課題に対して、ユーザーのクリック操作や注視点がある程度把握できるヒートマップが助けになるのではということで、現在利用中のABテストツールと連携できるヒートマップツールの導入を検討する事にしました。

Q: 導入にあたって他のツールとの比較検討はされましたか？

井口氏:
はい、いくつかのツールを比較しました。ヒートマップを本格的に使うのは初めてだったので、多機能過ぎるものは使いこなせないだろうということで、必要最低限の機能が揃い、価格も安価なPtengineを採用することになりました。検討時に、管理画面を見せていただいたのですが、非常にわかりやすいUIになっており、すぐに使えるなと感じました。

事前申請と利用後のレポート作成を運用ルールに

Q: Ptengineをどのように活用していますか？

井口氏：
契約が月間PVに応じた契約なので、必要な時にスポット的に利用しています。ドワンゴ社内での運用ルールとして、niconicoの関連サイトであれば利用申請が可能としています。利用したい人が、利用規模、目的、計測する内容などをフォームに入力し、私に申請することになっています。

例えば、リニューアルするのでログイン画面、新規会員登録フォームの検証に使う、あるいは新規サービスをリリースするのでトップページの導線をチェックするというように、必要なタイミングに必要な箇所に導入しています。

利用申請した人には、Ptengineを導入した結果わかったことを1ページのレポートにまとめてもらっています。Ptengineの場合、過去のヒートマップのデータを保持しませんし、デザインを変更すると上書きされてしまいますので、レポートにはその時のヒートマップのスクリーンショットを貼り付けてもらいます。その上で、どの部分がクリックされているのか、それについての考察を書いてもらいます。

Q: 申請から、利用後のレポートまでの運用ルールを決めたのは井口さんですか？

井口氏:
はい。デザイナー主導で入れたツールなので、きちんと活用するべくこういうルールを設けました。そうでないと、ツールで結果を見るだけ、計測するだけで終わってしまうからです。そのレポートを元に、後日チームメンバーでディスカッションをして今後の改善案を考えるようにしています。この運用は、以前他のツールを使っていたときの反省もあって決めました。面倒ではありますが、ツールを活用し続けるためには必要なルールです。

また、社内のチャットツールでヒートマップのスクリーンショットを流して、デザイナー以外のメンバーも含めて議論することもあります。実際にヒートマップ画面を見ることにより、Ptengineを使ったことのないメンバーも興味を持ってくれるようになりました。単なるABテストでは、結果についての考察が人によって異なることがありますが、ヒートマップはビジュアルでわかるので、共通認識が持ちやすいのがいいですね。例えば、「このボタンは下の方にあるが、上にしたほうがさらにクリックされる」ということが、デザイナーと非デザイナーの間でも同じ感覚として共有できます。

デザインするときの仮説の答え合わせをヒートマップでできる

Q: Ptengineの活用でわかったユーザーの行動などはありますか？

井口氏：
そうですね、なんとなく配置したパーツが予想以上に押されていたり、その逆もありますね。

利用事例としては、有料チャンネルの「入会ボタン」の隣に「お気に入り登録ボタン」を配置したときのABテストで活用しました。リニューアルの目的は、お気に入りの登録数を増加させることでしたが、一方で入会率を必要以上に下げたくない、という思いもありました。というのも、もともと入会しようと思っていた人が、お気に入り登録をクリックすることで、入会が減るのではないかという懸念があったからです。

結果として、あるパターンでは、お気に入りの登録がクリックされても、入会が必要以上に下がることはない、ということをPtengineを通して証明できました。入会は売上につながる部分ですから、数字できちんと状況を説明することで、決済者である上司を説得することができました。

また、デザインをする時に考えた仮説の答え合わせをPtengineを使ってできるようになりました。新しいサービスをリリースするときは、必ずPtengineでテストするというのが根付いてきました。タグを設置するだけで計測できるので、開発者の手を煩わせずに、デザイナーだけで使えるというところも、使いやすい理由ですね。

Q: Ptengineを使うときは、ABテストと並行して行っていますか。

井口氏：
私は組み合わせて使っています。そもそもABテストは実施から結果がわかるまで時間がかかりますし、比較パターンを作るにもノウハウが必要です。ですから、まずはPtengineで材料を揃えて、その仮説を証明するためにABテストを実施しています。そしてそのABテストの結果に対し、なぜそうなったのかという理由をヒートマップでさらに分析しています。

デザイナーに、仮説と検証の意識が根付いた

Q: 先日は、Ptengineが主催する勉強会を開催しましたが、いかがでしたか？

井口氏：
社内で、私がいくらPtengineはすごい、と説明してもなかなか全員には伝わりません。しかし、専門の人が来て説明してくれるとなると、勉強会の集まりも良いですし、関心が高まりました。勉強会では、私はあえて突っ込んだ質問をしましたが、それはわかりやすいツールだということだけでなく、ツールとしての奥深さ、ポテンシャルを参加者に感じてもらいたいと思ったからです。

Q: Ptengineは、先日リニューアルをしましたが、いかがでしょうか？

井口氏：
使いやすくなりましたし、レスポンスが早くなりましたね。今後は、ユーザーセグメントごとにセグメントを分けてヒートマップを見ていくということを実施したいです。例えば、ログインしている人、していない人、会員であれば年齢や所有ポイント数、有料会員向けのコンテンツが有料会員にどう見られたか、といったことを見ていきたいですね。

Q: Ptengineを使って最もよかったと感じるところはどこですか？

井口氏：
デザイナーがデザインの改善のてがかりをつかめるようになりましたね。根拠がないのに、変更するのはよくない、という認識を職種を超えて皆が手に入れることができたと思います。

Ptengineというツールを通して、客観的なデータを計測してから改善をするということがデザイナー皆に普及し、意識を変えることができたのは大きな成果です。

Q: 今後、どのような活用をしていきたいですか？

井口氏：
もっと皆に活用してもらうために、まずは新しいサービスをリリースするときは、Ptengineで計測することが当たり前になるようにしたいですね。

その次のステップとしては、ABテストを実施する時にPtengineを活用できる人を増やしたいですね。そうすると、デザイナーが仮説、実証、検証、改善の一連の流れを完結できるようになります。