|
村瀬朱音さん（修士課程2回生 数理・情報科学講座 日置尋久研究室）が，2025年9月3日から3日間にわたって開催された第24回情報科学技術フォーラム(FIT2025)にてFIT奨励賞を受賞しました．FITは，電子情報通信学会の情報・システムソサイエティとヒューマンコミュニケーショングループ，および情報処理学会が協力して開催している大会で，「学生と若手研究者が夢と勇気を得られる」を大会の柱となるコンセプトの一つとしています．FIT奨励賞は発表セッションごとに1件までが選出されます．村瀬さんの研究題目と研究の概要は以下のとおりです．
研究題目: 「インタラクティブ性の高い音楽演出のための自然なトランジションのリアルタイム生成手法の検討」
研究概要: 近年のビデオゲームでは，ゲームの状況変化やプレイヤーの操作に応じたインタラクティブな音楽演出として，BGMがリアルタイムに変化することが一般的となっています．しかしBGMが唐突に切り替わったり，切り替わるタイミングが遅れたりするとゲーム体験が損なわれてしまうため，音楽を速やかにかつ自然に遷移させることが求められます．そのようなインタラクティブな音楽演出を実現するために，ゲーム開発の現場においては，さまざまな音楽素材を準備したり，BGMが遷移するタイミングを開発者が逐一指定するといったように高いコストがかけられているのが現状です．
そこで本研究では，遷移前と遷移後の楽曲に対して，その間を滑らかにつなぐ「トランジション」をリアルタイムで自動生成することを検討しました．そのために本研究では，画像生成モデルStyleGAN2を利用して，楽曲の素となる「潜在ベクトル」から楽曲を表現する画像を生成して，それをオーディオに変換するという枠組みを用いることにしました．遷移前と遷移後の楽曲に対応する潜在ベクトルがそれぞれ与えられたとして，StyleGAN2において，それらの潜在ベクトルを補間する「モーフィング」，あるいは潜在ベクトルから得られる特徴を混合する「スタイルミキシング」を用いることによって，遷移前後の楽曲の特徴をあわせもつようなトランジションが得られると期待できます．今回，本研究では，モーフィングとスタイルミキシングについて遷移前後の楽曲の補間比率も考慮しつつ，1小節のトランジションを生成する手法を4通り提案しました．それらの手法について実験で有効性を検証した結果，「分割ミキシング法」が他の手法と比較して滑らかなトランジションを十分高速に生成できることが示唆されました．
本研究は，インタラクティブな音楽演出におけるコスト削減と自然な音楽遷移の両立を目指すものであり，将来的にはより没入感の高いゲーム体験の実現に資することが期待されます．
|
