English

 
ツイート

発表?掲載日:2019/08/30

音楽印象分析?音楽推薦を駆使して楽曲と出會える音楽発掘サービス「Kiite」を公開

-視聴者の音楽への関心と音楽情報処理技術の力を結びつけて好みの楽曲を見つけ出せる-

ポイント

  • 膨大な歌聲合成楽曲の中から好みの楽曲を効率よく探索して出會うことができる音楽発掘サービス
  • 産総研の音楽印象分析?音楽推薦技術を用いて、楽曲の多様で柔軟な探索?絞り込み?推薦を実現
  • 視聴者が複數の推薦エンジンを作成して使い分け、他の視聴者が作成した推薦エンジンも利用可能


概要

クリプトン?フューチャー?メディア株式会社【代表取締役 伊藤 博之】(以下「クリプトン」という)音声チーム 佐々木 渉 マネージャー、佐藤 浩輔 テクニカルスタッフらと、国立研究開発法人 産業技術総合研究所【理事長 中鉢 良治】(以下「産総研」という)情報技術研究部門【研究部門長 田中 良夫】後藤 真孝 首席研究員、メディアインタラクション研究グループ 濱崎 雅弘 研究グループ長、佃 洸摂 研究員、石田 啓介 テクニカルスタッフらは共同で、音楽印象分析技術や音楽推薦技術を用いることで膨大な楽曲の中から視聴者が興味のある楽曲を見つけることができる音楽発掘サービス「Kiite(キイテ)」(https://kiite.jp)を開発した。無料で利用できるサービスとしてクリプトンが運営し、2019年8月30日に一般に公開する。

Kiiteは、歌聲合成技術による歌唱を含む膨大な楽曲(動畫共有サービスによってインターネット上で公開されている約30萬曲の音楽動畫)を、「軽快」「激しい」などの自動分析された音楽の印象で視聴者が絞り込み、自動検出されたサビ區間を効率よく試聴することで、次々と新たな楽曲に出會うことができるサービスである。そうして発掘した好みの楽曲をプレイリストにボタン一押しで手軽に登録すると、お気に入りの楽曲が繰り返し鑑賞しやすくなるとともに、他の視聴者とも共有できる。また、音楽推薦エンジンが各視聴者の再生履歴やプレイリスト、楽曲の音響信號の自動解析結果などに基づいて日々自動生成する「お勧め楽曲のプレイリスト」を聴けば、幅広い音楽を楽しめる。さらに、視聴者自身が音楽推薦エンジンをカスタマイズして複數保存でき、気分に応じて使い分けられる高度な機能も備えている。

概要図のa   概要図のb
音楽発掘サービス「Kiite(キイテ)」(https://kiite.jp)


背景

歌聲合成ソフトウェア「初音ミク」が発売された2007年8月以降、アマチュアやプロを問わずさまざまなアーティストの貢獻によって、合成された歌聲がメインボーカルの楽曲(音楽動畫)が動畫共有サービスなどを中心に30萬曲以上公開され、日々増え続けている。視聴者も、好きな楽曲を見つけて聴いたり、それを他の人達に紹介して広めたりすることによって、この音楽文化の発展に貢獻してきた。しかし、膨大な楽曲の中から視聴者が好みの楽曲を見つけ出すことは容易でなく、その結果、新たな楽曲が公開されても、それが潛在的に好きなはずの視聴者に気づいてもらえずに埋もれてしまうことが多い。これは、アーティストにとっても視聴者にとっても損失であり、歌聲合成を使用しているかどうかに関わらずメディアコンテンツ全般に共通の問題である。

こうした問題を解決するには、膨大な楽曲の中から好みの楽曲を探して出會う「音楽発掘」に焦點を當てて、従來の受動的?個人的な音楽鑑賞だけでなく、より能動的?社會的な音楽発掘を可能にするサービスが必要となる。従來の多くの音楽視聴サービスでは、視聴者が再生する楽曲を指定するために、タイトルやアーティスト名、ジャンルなどのテキスト情報に基づく楽曲検索や、人気ランキング、プレイリスト、音楽推薦に基づく楽曲一覧表示などの手段が提供されてきた。しかし、視聴者が楽曲を鑑賞する機能が中心で、音楽発掘のための機能が不十分だった。

內容

クリプトンと産総研は、好みの楽曲を見つけて紹介する視聴者の音楽への関心や音楽発掘活動と、産総研の音楽印象分析?音楽推薦などの音楽情報処理技術の力を結びつけた新たな音楽発掘サービスを開発し、パソコンのウェブブラウザー上で無料で利用できるサービス「Kiite(キイテ)」(https://kiite.jp)として公開する。Kiiteでは、「楽曲を探す楽しさ」「楽曲に出會う喜び」を體験しやすくすることで、視聴者の音楽體験をより豊かにするとともに、アーティストにとっても楽曲を潛在的な視聴者に屆けやすくなることを目指している。Kiiteは、以下の3つの特長を持つ。

1.音楽発掘用プレーヤー機能:多數の楽曲を次々と試聴しながらプレイリストを作成?共有可能
音楽発掘では、通常の音楽鑑賞のようにすべての楽曲を先頭から最後まで聴くと視聴者が費やせる時間內に試聴できる曲數が少なくなってしまうため、數秒~數十秒程度を聴いて判斷して好みだったらプレイリストに追加する操作を、いかに効率よく繰り返せるかが重要となる。そこで、効率的な試聴を可能にする「音楽発掘用プレーヤー機能」を実現した(図1(a))。すべての楽曲のサビ區間を事前に自動検出しておくことで、音楽動畫の再生を開始するとサビから聴くことができ、再生中にキーボードのボタンを一押し(あるいはマウスをクリック)するだけで手軽にプレイリストへ追加できる。追加後は、ボタン一押しで次の楽曲に変更でき、次々とこうした試聴を繰り返せる。5秒早送り、5秒巻き戻し、一時停止?再開などの試聴に便利な操作もボタン一押しで可能なため効率がよい。

名前を付けて複數のプレイリストを別々に管理することができ、追加先のプレイリストは毎回選択操作をしなくてよいように、事前に選択して固定しておく。それとは別に、「お気に入り」という常に追加可能なリストが用意されており、一旦「お気に入り」リストに追加して、あとから再検討することもできる。プレイリストや「お気に入り」リストは、自らが繰り返し鑑賞しやすいだけでなく、他の視聴者にも共有されて全員の音楽発掘結果を楽しむことができる(図1(b))。

以上の「音楽発掘用プレーヤー機能」により、従來は困難だった多數の楽曲のサビを次々と試聴してプレイリストを作成?共有することが可能となった。

図1のa
(a) 効率的に試聴できる音楽動画再生プレーヤー画面
図1のb
(b) プレイリスト表示?再生画面
図1 音楽発掘用プレーヤー機能

2.音楽レーダー機能:音楽印象分析に基づく探索?絞り込みが可能
効率的に試聴ができても、膨大な楽曲のすべてを聴くことは不可能なので、試聴候補を柔軟に絞り込む操作が不可欠となる。そこで、歌聲合成の歌手名、投稿日、ジャンル、ソーシャルタグ、再生數などの屬性をフィルター條件として組み合わせて絞り込めるだけでなく、さらに、音楽印象分析技術によって楽曲の音響信號からその印象を自動分析し、その結果も組み合わせながら絞り込める「音楽レーダー機能」を実現した(図2(a))。すべての楽曲は分析した印象に基づいて2次元平面(以下「印象マップ」という)上に配置されている(図2(b))。この平面は、楽曲を探すためのレーダーとして機能し、「軽快」「激しい」「のんびり」のようなエリア毎の印象語を參考に視聴者がその1點をクリックすると、その周囲の楽曲群が試聴候補として選択される。これにより、聴きたい印象を絞り込んで試聴できる。

さらに、類似楽曲検索の機能も備えており、楽曲間の類似度をそれらの音響信號の曲調に基づいて事前に自動推定しておくことで、任意の楽曲からそれに似た楽曲一覧を表示して試聴することもできる。

以上の「音楽レーダー機能」により、従來は困難だった楽曲の音響信號の中身に基づいて探索的に音楽に出會うことが可能となった。

図2のa
(a) レーダーとなる印象マップと試聴候補の画面
図2のb
(b) 印象マップを拡大表示した画面
図2 音楽レーダー機能

3.音楽推薦エンジン選択機能:複數の音楽推薦エンジンを使い分けて新たな楽曲に出會うことが可能
試聴候補を柔軟に絞り込んで探索できるのは有用だが、視聴者が日々利用する上では、好みにあった試聴候補が自動的に提示されると、さらに効果的に幅広い楽曲と出會えるようになる。そこで、日々蓄積される視聴履歴や「お気に入り」リストと、それらの楽曲の音響信號を自動解析して得られる曲調などに基づいて、音楽推薦エンジンが視聴者毎に異なる「お勧め楽曲のプレイリスト」を自動生成する「音楽推薦エンジン選択機能」を実現した(図3(a))。一般的な音楽推薦技術では、各視聴者に個人適応した一つの推薦エンジンしか提供されないことが多い。Kiiteでも、そうした推薦エンジンが各視聴者に「デフォルト推薦エンジン」として用意されているが、それに加えて、視聴者が自分でカスタマイズ(改造)した「カスタム推薦エンジン」をいろいろと追加していくことができる(図3(b))。

カスタム推薦エンジンは、専門知識がなくても推薦の元になる楽曲を選択して追加するだけで手軽に作成でき、「明るい気分になりたいとき用」、「ゆったりしたいとき用」のように名前を付けて、気分に応じて選択して使い分けられる(図3(c))。推薦結果をより一層自分の意図通りにするために、自動生成されたプレイリストの各楽曲に善し悪しのフィードバックを與えるか、あるいは、推薦の元になる楽曲を追加することで推薦エンジンを「育てる」こともできる。しかも、すべての推薦エンジンはプレイリストと同様に他の視聴者にも共有されており、誰でも他の視聴者が作成した推薦エンジンを使うことができる。検索用のタグを付與しておくと、他の視聴者から自分の推薦エンジンを見つけてもらいやすくなる。このようにさまざまなカスタム推薦エンジンを視聴者自らが育て、他の視聴者が育てた推薦エンジンも利用できるサービスはこれまでになく、より能動的?社會的な音楽発掘を可能にしている。

以上の「音楽推薦エンジン選択機能」により、従來は困難だった複數の音楽推薦エンジンの振る舞いを視聴者が意図的にカスタマイズすることが可能となった。

図2のa
(a) 推薦エンジンによるお勧め楽曲のプレイリスト画面
図2のa
(b) カスタム推薦エンジンの作成画面
図2のb
(c) カスタム推薦エンジンの選択画面
図3 音楽推薦エンジン選択機能

Kiiteの研究開発は、国立研究開発法人 科学技術振興機構(JST) 戦略的創造研究推進事業 ACCELの研究開発課題「次世代メディアコンテンツ生態系技術の基盤構築と応用展開(JPMJAC1602)」(研究代表者:後藤 真孝(産総研 情報技術研究部門 首席研究員)、プログラムマネージャー:伊藤 博之(JST))の一環として行われた。クリプトンが基本機能と音楽発掘用プレーヤー機能などを、産総研が音楽発掘用プレーヤー機能、音楽レーダー機能、音楽推薦エンジン選択機能などを技術開発した。

今後の予定

クリプトンと産総研は、今後も引き続き両者で共同開発を進め、Kiiteの機能を向上させて利便性を高めていく。また、Kiiteの開発で培った技術を、他のメディアコンテンツを対象としたサービスなど、さまざまな応用に展開していく予定である。




お問い合わせ

お問い合わせフォーム

▲ ページトップへ

國立研究開発法人産業技術総合研究所