脳波と表情の組み合わせが深い洞察を可能にする

山口：気持センシングラボでは、脳波や視線などのバイタルデータ（生体情報）の分析に取り組んでいます。バイタルデータと、エイベックスの手掛ける表情解析データを組み合わせると、非常に深い洞察が可能になるのではないかと僕は考えています。エイベックスが参加してくださったことで、プロジェクトの可能性は格段に広がったと思います。山田さんがこのプロジェクトへの参画を決めた理由は何だったのですか。

山田：僕たちが気持センシングラボに参加させていただいた理由の一つは、自分たち自身をもっと成長させることができると考えたことです。一社でできることは限られているし、自分たちだけでソリューションづくりに取り組んでいると視野も限定されてしまいます。しかし、いろいろな分野のプレーヤーの皆さんと一緒にこのプロジェクトを進めていけば、多様な考え方を吸収して、成長していける。そう思いました。
また、エイベックスはコンテンツ会社なのでソリューション販売の経験は豊富ではないため、このプロジェクトの中で、ぜひソリューション拡張の視点や、販売のノウハウなども学ばせていただきたいと考えています。

山口：例えばですが、脳波と表情の相関関係を法則化して、表情の微妙な動きで本心を把握できるような仕組みをつくることができれば、本当におかしくて笑っているのか、つくり笑いなのかがわかるかもしれませんよね。

山田：おっしゃるとおりですね。表情には表面的な感情はあらわれますが、その裏にはもしかしたら、別の感情があるかもしれません。顔は笑っているけれど、内心怒っているとか。さすがにライブ会場で音楽を聴いている最中に意識的に表情をつくる人はいないと思いますが、例えば講演会などでは、講師の冗談があまり面白くなくても、無理に笑顔をつくるといったケースはあるように思います。その場合は、別のデータを組み合わせないと、その人の本心はわかりません。

山口：表情解析のメリットは、簡単な設備で多くのデータを収集できるところにあると思います。一方、脳波や視線のデータはそれよりも大がかりな設備が必要になるし、取集できるデータの量も限られますが、よりリアルな感情が捉えられるというメリットがあります。先ほどの繰り返しになりますが、その二つのデータを組み合わせれば、かなり面白いことができるはずです。
気持センシングラボは「動画」という軸で始まったプロジェクトですが、取り組みはいろいろな方向に拡大していっていいと僕は思っています。それぞれのプレーヤーが得意とする技術やノウハウを持ち寄って、新しいアイデアを紡いで、新しい試みにチャレンジする。そんな動きが次々に起るのが理想です。エイベックスの皆さんとは、人間の根源的な感情を明らかにする取り組みをぜひ進めていきたいですね。

オーディエンスの感情の動きを解析する

山口：山田さんが所属しているデジタルクリエイティヴグループは、どのような仕事をする部署なのですか。

山田：現在二つのチームがあり、一つはエイベックスに所属するアーティストのサイト制作・運用やアプリ開発などを行うチーム、もう一つが「マーケティング・アナリティクスユニット」というグループ横断のマーケティングを行うことをミッションにしているチームがいます。
弊社ではこれまで、ECやファンクラブなど事業ごとに、個別にマーケティングを行っていました。しかし、オーディエンスは共通しているわけですから、事業部を横断して共通するオーディエンスデータをもとにマーケティングを行うのが正しいあり方です。そこで、事業部横断的なデータ分析とマーケティングに特化したチームとして一昨年4月に立ち上がったのがマーケティング・アナリティクスユニットです。

山口：組織を貫くデータ連携が多くの企業で課題になっていますが、まさにそれを実行しているチームということですね。「来場者分析システム」もこのチームで手掛けたものなのですか。

山田：そうです。今までなかったオーディエンスデータを取ろうということで、マイクロソフト社の「Microsoft Cognitive Services」というソリューションを使って、ライブ会場のオーディエンスの表情を解析しました。

山口：きっかけは何だったのですか。

山田：以前、マイクロソフトのシアトル本社を訪問して、Cognitive Servicesのさまざまな活用事例を見せてもらったのですが、その中にとても興味深いケースがありました。集客に悩んでいるコメディの劇場で行われた試みです。その劇場では、客席に座る一人ひとりのオーディエンスの表情を撮影し、笑った回数に応じてお金をもらうことにしたのだそうです。一律の入場料ではなく、満足度に応じて料金をもらうという仕組みです。この話を聞いて、ライブ会場のオーディエンスの表情を継続的に撮影して、感情の動きを解析したら面白いのではないかと考えたわけです。

山口：なるほど。どういう仕組みで解析を行ったのでしょうか。

山田：ステージ上に設置したカメラで、ホールのオーディエンス数十人の映像を撮影し、そこから顔の静止画を切り取ってクラウドに送って、AIで分析するという仕組みです。最初に実験を行ったのは、lol（エルオーエル）というアーティストのツアー最終日で、MCを聞いて笑顔になったり、「次が最後の曲」という言葉で悲しい顔になったりと、オーディエンスの反応がリアルタイムでわかりました。この結果を関係者に見せたら、みんな「こんなことができるんですか」と驚いていましたね。これまでは感覚値でしかなかった「会場の雰囲気」を可視化したことで、「みんなこういうことを知りたがっていたんだ」ということがわかって、かなりの手ごたえを感じました。

表情解析ソリューションの多様な活用法

山口：同じ仕組みで、入場時の調査も行ったそうですね。

山田：ライブのチケットの大部分は直販ではなくプレイガイドでの販売なので、どういう人がチケットを買ってライブに来ているのかを把握しづらいという問題が以前からありました。プレイガイドから属性情報をいただけたとしても、それはあくまでも「購買者」の情報であり、「来場者」の情報ではありません。

山口：チケットを買った人とライブに行く人が同じとは限りませんからね。

山田：そうなんです。お父さんが高校生の娘のためにチケットを買ったのかもしれません。それから、ライブには多くの場合複数人で行きますよね。でもチケットはそのうちの1人がまとめて買うので、例えば4枚売れたチケットのうち3枚分は誰のものかを把握できないわけです。だとすれば、「チケットの購買」ではなく、「来場」をトラッキングすべきだろう。そう考えたのが入場時調査を始めたきっかけです。Cognitive Servicesを使うと、カメラで表情を捉えることで年齢や性別などを判定し、オーディエンス属性を詳細に把握することができます。

山口：商品の「購買者」と「利用者」を分けて考えるという点では、ショッパーマーケティングの概念と共通していますね。それらの取り組みの成果についてもお聞かせいただけますか。

山田：入場者調査に関しては、お客さまの属性を把握して、自分たちの認識と合っているかどうかを確認することができました。これは、今後のマーケティング施策に生きてくると思います。
オーディエンスの表情分析は、まだ具体的な施策に結びついているわけではありませんが、今後ぜひやりたいと思っているのが、ステージ演出との連動です。オーディエンスの反応をリアルタイムで確認しながら、それに合わせて曲順を変えて、盛り上がりをつくっていく。そんなことができたら面白いと思います。その場で変えることが難しいとしても、ツアー前半のオーディエンスの反応を分析して、ツアー後半のステージの演出を変えるといったことは、比較的簡単にできるのではないかと考えています。

山口：先日話題になった「HUMANOID DJ」は、それに近い試みと言えそうですね。

山田：「FLOWERS BY NAKED 2019」というアートイベントでのDJのトライアルでしたね。オーディエンスの反応を分析して、その場で流れる音楽に変化を加えていくというもので、DJがいつもやっていることをAIにやらせてみるとどうなるかということを試しました。

山口：表情解析の仕組みには、音楽イベントだけでなく、さまざまな領域で活用できる可能性があるのではないでしょうか。

山田：ええ。すでにソリューションの外販も始めています。現在のところはイベントの企画制作会社や、施設運営者などにアプローチしていますが、ゆくゆくは、例えば小売店の店頭でレジに並ぶ購買者の表情を解析する、あるいは逆に、店舗スタッフの接客時の表情を解析するといった使い方も提案してきたいと思っています。いずれも、解析結果をオーディエンス満足度の向上につなげていくことができるはずです。

「感情」の分析がビジネスを成長させる

山田：コンテンツ企業のビジネスモデルはどんどん変わってきています。音楽ビジネスの場合、グローバルではサブスクリプション（定額制）が主軸になりつつあります。日本では現在のところCDなどのパッケージの売上が多くを占めていますが、いずれサブスクリプションに移行していくことは間違いないと思います。しかし、このモデルで勝ち抜く方程式はグローバルでもまだ確立されていません。今後、マーケティングの方法を駆使して、サブスクリプションモデルの勝ち筋をつくっていくことも大きなテーマの一つです。サブスクリプションに限らずデータはたくさんあるが、どこにフォーカスすればいいのか、答えが見えないという状況は多くの場面で起きています。そうした課題に取り組む際に、ぜひ気持センシングラボの皆さんと議論を重ねていきたいと思っています。

山口：広告会社にもまさしく同じ課題がありますね。面白い広告をつくることだけが広告会社の役割ではもはやなくなっているし、データがどれだけあっても、それがすぐに価値につながるわけではありません。今後、データ活用を含め、いろいろな方法を組み合わせながら新しいモデルをつくり出していかなければなりません。しかし、それを広告会社だけで行うのには限界があります。いろいろなパートナーと連携をして、それぞれの強みを生かして新しい領域にチャレンジするのは自然な流れだし、時代に対する正しい呼応の仕方だと僕は考えています。

山田：コンテンツ会社と広告会社は、「人」を軸としたビジネスをしているという点に共通性がありますよね。コンテンツには、世の中を便利にしたり、部屋を暖めたり、清潔にしたりするといった実用的な効能はありません。人の感情に訴えることで、心を豊かにするのがコンテンツの役割です。広告も、人の感情に訴えるという点で一種のコンテンツだと考えれば、「感情」を分析することはお互いのビジネスを成長させるうえで非常に理に適っていると思います。

山口：まさに「気持をセンシングする」ということですよね。だからこそ、このプロジェクトへのエイベックスの参画は必然だと僕は思うんです。今後、このプロジェクトに取り組む意義とは何か、この取り組みによってそれぞれのプレーヤーがどう成長していこうとしているのか、そのために果たすべきそれぞれの役割とは何か、といったことをディスカッションしながら、目的意識を明確にして、これまで誰も成し遂げられなかったことを世の中に示していきたいと思います。これからの取り組みが本当に楽しみです。

“生活者データ・ドリブン” マーケティング通信
http://seikatsusha-ddm.com/
『博報堂ＤＹグループ “生活者データ・ドリブン” マーケティング通信』は、グループ横断の“生活者データ・ドリブン”マーケティング領域における情報発信サイト。
博報堂ＤＹグループの各事業会社が連携し、“生活者データ・ドリブン”マーケティングに関するソリューションの情報や、生活者データの活用実績のある現場社員の知見やノウハウ、当該領域の最新ニュース等を発信。