理化学研究所の公式ホームページはこちらです．
理化学研究所（理研）革新知能統合研究センター目的指向基盤技術研究グループ音楽情報知能チームの浜中雅俊チームリーダーらは、AI 技術を用いた五つの無料音楽アプリを公開しました。新型コロナウイルスの感染拡大により、日常生活におけるさまざまな活動が制限されるなか、アプリを通じて新しい音楽体験を提供します。
音楽情報知能チームではこれまで、音楽制作に関する技術システムの開発に取り組み、音楽の楽しみ方の幅を広げる作品を制作し、国際会議の場などで発表してきました。コロナ禍においては作品の現地展示が困難な状況にあるため、スマートフォンなどのアプリを用いた音楽とAI に関する技術の普及に取り組んでいます。
今回新しく公開したiPhone 用アプリ「サウンドスコープフォン」と「メロディスロットマシン」は、リスナーが自ら音楽をコントロールして楽しめる能動的な音楽鑑賞を実現します。また、「GTTM タイムスパンツリーエディタ」を使うことで、音楽理論GTTM に基づく音楽構造分析ができます。さらに、最新のOSに対応し、再公開したiPad、iPhone 用アプリ「バンドナビ」は、ミュージシャンのネットワークをたどることで、新たな音楽バンドや楽曲の発見につながります。
「サウンドスコープフォン」と「メロディスロットマシン」の紹介映像は、YouTube 上で公開しています。また、各アプリのダウンロードおよび紹介映像は、下記ウェブサイトから閲覧できます。
https://gttm.jp/hamanaka/news/
-2021年5月28日メディア掲載
「日経クロストレンド」上に掲載されました。
https://xtrend.nikkei.com/atcl/contents/watch/00013/01475/
-2021年5月28日メディア掲載
「科学新聞」上に掲載されました。
「自由に能動的に」新しい音楽体験提供 理研が５つのアプリ無料公開
サウンドスコープフォンによる楽曲再生のイメージ
サウンドスコープフォン（iPhone 用アプリ）
サウンドスコープフォン（Sound Scope Phone）は、曲の中で特に集中して聴きたいパートを自由に強調できます。パート数が増えると、個々のメロディーや音色を聴くのが難しくなりますが、サウンドスコープフォン使えば、聴きたいパートの方向へ耳を澄ませるようなポーズをとるだけで、そのパートのメロディーや音色を楽しめます。
ヘッドフォンもしくはイヤフォンを装着し、サウンドスコープフォンで曲を再生すると、10 人の奏者に取り囲まれたように演奏が始まります。顔を左に向けると左から聞こえていた楽器の音が正面に、右に向けると右から聞こえていた楽器の音が正面になり、強調されて聴こえてきます。さらに、耳を澄ますように手を耳の横に近づけると正面で聴こえている楽器の音がより強調されます。従来は頭の向きを検出するため、加速度センサーと手と頭部の距離を測定する距離センサーを搭載したヘッドフォンデバイス注1）を制作し、使用していました（図1 上）。専用デバイスを用いずにスマートフォンだけでこの技術を実現させるため、AI を使い、スマートフォンのインカメラの画像を解析します（図1下）。
カメラに対して頭の向きが90 度を超えると顔の半分以上がカメラに映らなくなるため検出が難しくなりますが、iPhone に搭載された加速度・ジャイロセンサが示すiPhone 本体の角度情報とインカメラ画像から得られたiPhone に対する顔の角度情報を統合することで、360 度全ての向きでの検出を可能としています注2）。
図1 従来のセンサー付きヘッドフォン(上)とスマートフォンのインカメラによる頭部方向検出
注1） 特許4295798 号, 米国US20090034766
注2） 特願2021-070745
メロディスロットマシン（iPhone 用アプリ）
メロディスロットマシン（Melody Slot Machine）は、縦に回転する横方向に並んだダイヤルを回転させることで、メロディーのバリエーションを変化させ、音楽をコントロールする体験ができるアプリケーションです。ダイヤル操作で複数のバリエーションメロディーから一つを選択していき、新しい組み合わせのメロディーを生成します（図2）。
スロットマシンのように並んだダイヤルを一つ回転させると、メロディーが他のバリエーションに変化します。iPhone を上下に振ると、全てのダイヤルが回転し、ランダムな組み合わせのメロディーが生成されます。ダイヤルを変化させたときに、メロディーが滑らかにつながるよう、最先端のAI 技術「メロディモーフィング手法」注3）を用いています。
メロディモーフィング手法は、GTTM という音楽理論に基づいて楽曲の構造を音楽家が分析し、得られたタイムスパンツリーを用いて行いますが、これにさらにAI の技術を用いることで、自動化を目指しています。この手法により、映画やゲームなど、シーンに合わせて少しずつ変化させたメロディーを作成する職業作曲の効率化が期待できます。
メロディスロットマシンは、コンピュータグラフィックスやインタラクティブ技術に関する国際カンファレンスSIGGRAPH で2019 年の審査員賞を受賞しました[4]。
図2 音楽構造を分析し、どんな組み合わせでも破綻しないメロディーを実現する
注3） 特許5051539 号、米国US 8,278,545 B2、ドイツ60 2009 040 927.1、中国ZL200980104200.9、韓国10-1217995
注4） 2019 年8 月6 日革新知能統合研究センターニュース「音楽情報知能チームがSIGGRAPH2019 にて審査員賞を受賞」https://aip.riken.jp/award/siggraph2019/?lang=ja
GTTM タイムスパンツリーエディタ（iPhone 用アプリ）
GTTM タイムスパンツリーディタ（GTTM Time-span Tree Editor）は、音楽理論GTTM（Generative Theory of Tonal Music）を用いた研究や、GTTM を学ぶための研究・教育用アプリで、GTTM 分析を行ったり、分析結果を確認することができます。
音楽理論GTTM に基づく音楽構造分析の自動化は、浜中雅俊チームリーダーが過去15 年にわたって継続しているプロジェクトです。GTTM での音楽構造の分析は、そのメロディーがどのように作曲されたかを解明します。近年AI を導入したことで、分析性能が急激に向上しています。今後、この構造分析が自動化されれば、作曲家が作曲するのと同じような方法で新たなメロディーの生成が可能になります。
バンドナビ （iPad、iPhone 用アプリ）
バンドナビ（BandNavi）は、ミュージシャン同士のネットワークを利用して、新たな音楽制作につなげるアプリです。バンドナビで音楽を再生すると、その楽曲を演奏しているミュージシャンが過去に所属していたバンドや、ライブでゲスト出演したバンドを知ることができます。さらに、見つけたバンドのYouTubeの動画観覧や、楽曲データの購入も可能です。
インターネット上の記録から、正式なバンドメンバーだけでなく、レコーディングへのゲスト参加やライブのサポートメンバーなどの情報を自動収集する際、浜中チームリーダーらが考案した共起判定を使ったミュージシャン候補の抽出と誤検出のフィルタリングを行っています。
バンドナビにはiPad 用の「BandNaviHD」とiPhone 用の「BandNavi」の二つのアプリがあり、iPad用ではミュージシャン同士のつながりを表示できます（図3）。
図3 バンドナビ（iPad 用）で表示されるミュージシャンのネットワークのイメージ
発表者・機関窓口
＜発表者＞
理化学研究所
革新知能統合研究センター 目的指向基盤技術研究グループ 音楽情報知能チーム
チームリーダー 浜中 雅俊（はまなか まさとし）
TEL：03-6225-2569 FAX：03-3271-7202
E-mail：masatoshi.hamanaka[at]riken.jp
https://gttm.jp/hamanaka/news/
浜中 雅俊
＜機関窓口＞
＊今般の新型コロナウイルス感染症対策として、理化学研究所では在宅勤務を実施しておりますので、メールにてお問い合わせ願います。
理化学研究所 広報室 報道担当
E-mail：ex-press[at]riken.jp
※上記の[at]は@に置き換えてください。
