説明
音楽情報知能チーム (https://aip.riken.jp/labs/goalorient_tech/music_inf_intell/) at RIKEN AIP
日本語での講演となります
Speaker 1: 浜中雅俊 (20min)
Title: 音楽情報知能チームの研究概要
Abstract: 本チームは、メディアデザインの操作を束演算の組み合わせで表現することによって、専門家の操作の事例を蓄積し、それを再利用することを可能とするシステムの構築を目指している。本講演では、チーム全体の研究目的および概要を紹介する。
Speaker 2: 三浦 寛也 (20min)
Title: メロディモーフィングと身体機能の融合によるアンサンブル演奏システムの開発
Abstract: 本発表では、演奏者の未来の演奏のコントロールを可能とするインタラクティブなアンサンブル演奏システムについて述べる。このシステムは、メロディモーフィング手法を用いて作編曲された楽曲を筋電気刺激 Electrical Muscle Stimulation (EMS) に変換し、手指や足に装着したデバイスによって複数の演奏者の身体動作を同期・制御し、アンサンブル演奏を達成するものである。演奏するメロディのバリエーションは、GTTM (Generative Theory of Tonal Music) に基づいて作曲されており、複数のメロディのセグメントを自由に操作することで、メロディの全体的な構造を保持したまま、装飾音のみを変化させることができる。
Speaker 3: 飯野なみ (20min)
Title: 楽器演奏における知識の構築と実践的な活用
Abstract: 本研究は、知識を必要とする指導や学習に関する基盤技術を提供することを目的として、楽器演奏領域における知識の構築と活用の実践を行ったものである。楽器演奏は個人の経験値や身体性といったさまざまな情報を含む。個人に適した指導や効率的な学習、分野の変化に応じた深い理解を実現するためには、知識の共有や利活用が必要である。本研究では、知識ベースによる楽器の指導・学習支援を目指して、次の二つの項目を実施した。一つ目は、楽器演奏における基礎的な知識の構築と手順化である。他楽器よりも奏法の種類が多いクラシックギターに着目し、演奏時の行為に関する知識の構築と情報システム化を行った。二つ目は、基礎的な知識に基づく実践的な知識の収集と分析である。個人や楽曲ごとの知識の違いを明らかにするために、音楽構造に対する基礎的な知識のアノテーションや楽曲分析を行った。
Speaker 4: 三浦寛也 (20min)
Title: 楽器演奏場面における指導知識のモデル化の試み
Abstract: 本研究の目的は、技能の実践現場における判断支援を行うための人工知能適用技術の開発である。我々は、楽器演奏場面における指導知識のモデル化の試みとして、技能のひとつであるクラシックギターに焦点を当て、楽譜に書かれた内容や音声・映像の記録を素材として活かし、指導者と学習者の発話に着目した分析を実施した。本発表では、楽器演奏の指導現場で記録された発話や演奏状況を効果的に記述するための枠組みについて議論するために、CNNベースのフレームワークを用いた音声区間検出、および深層学習プロセスを用いた自動書き起こしを実施した。さらに、そこで得られた結果を用いた意味分析によって、教授学習場面における発話パターンや指導内容の変化を明らかにし、指導知識のモデル化を試みる。
Speaker 5: 浜中雅俊 (20min)
Title: AIがかなえる未来の音楽体験
Abstract: 本チームではこれまで、音楽制作に関する技術システムの開発に取り組み、音楽の楽しみ方の幅を広げる作品を制作し、AI技術を用いた五つの無料音楽アプリを公開した。今回新しく公開したiPhone用アプリ「サウンドスコープフォン」と「メロディスロットマシン」は、リスナーが自ら音楽をコントロールして楽しめる能動的な音楽鑑賞を実現するす。また、「GTTM タイムスパンツリーエディタ」を使うことで、音楽理論GTTMに基づく音楽構造分析ができる。さらに、最新のOSに対応し、再公開したiPad、iPhone用アプリ「バンドナビ」は、ミュージシャンのネットワークをたどることで、新たな音楽バンドや楽曲の発見につながる。本発表では、これらの成果についての概要を紹介する。
Speaker 6: 三浦寛也 (20min)
Title: コロナ禍での音楽・芸術活動を支援する技術についての調査
Abstract: 新型コロナウイルスの感染拡大に伴う全国的な自粛要請の影響を受け、公演やイベントの延期・中止など、文化芸術活動にかかわる多くの文化芸術団体、アーティスト及び関係者が困難な状況にある。このような状況を踏まえ、本チームでは通常の活動が困難になった音楽・芸術関係者にアンケート・ヒアリングを進め、現状を正しく把握し、現下に求められる音楽情報技術を確認するための調査を実施してきた。本発表では、この調査から得られた成果の概要を紹介する。
