Resolume と UnrealEngine5を連携させてオーディオリアクティブな表現をしたい

気づいたら 2022年もあと10日弱。

自主制作においても様々な挑戦をする機会を頂くことができ、非常に充実した1年でした。

12月21日に予定していたイベントはやむを得ない事情で出演ができなかったことだけ悔いは残っておりますが、やり切った感は十分にあります！

さて、仕事も落ち着いてきたので、自主制作の振り返りをしたいと思います。

今年、挑戦したのは、 UnrealEngine の作品への活用です。

6月に出演させて頂いた Hyper geek #3 では、全て Unreal + Resolumeで制作をしていたのですが、どう制作していたのか聞かれることがありましたので、土台としていた技術部分について簡単に解説しておこうかと思います。

　（動画を見返して、映像がだいぶ白飛びしていたので、Post processing とかもっと考えないとなあと思ったり ….）

ResolumeとUE5の連携

今回、基本的な構成は以下のフロー図の流れで組んでいます。

音の解析とpost processing に Resolumeを使っており、映像のリアルタイムレンダリングは UE5を使ってます。

Resolumeと UE5間でのやり取りは、音関連はOSC、映像はNDIで連携しており、OSCでの連携は以下のチュートリアルを参考にしてます。

とりあえず、このチュートリアルを見ておけばいい感じに UE5内のアクターが持つパラメータをオーディオ連携でコントロールすることが可能に。 YouTubeとチュートリアルを公開頂いた方に大感謝です。

UE5内でのOSCを使ったパラメータの受け取りについて

基本的には、これも上記のチュートリアル動画に従い、 BluePrintを作っていけばOKですが、BluePrintの作成が面倒だと思うので、以下に一部を転記しておきたいと思います。

動画にも出てきますが、 ResolumeでFFT結果をOSCで送る際には、spxlLabelParams というプラグインを活用しており、自分の場合には、以下のような感じでFFT結果を高中低の領域に区切って、更に区切った帯域内で数分割してパラメータを設定してます。

　OSCの情報を受取るためのハンドラーを以下のような感じで作ります。

ResolumeのOSCパラメータを「Msg」に指定して情報を受け取れるようにしておきます。

こんな感じで簡単に連携できるので ResolumeとUEを連携させて、UEでオーディオリアクティブな表現をしたい方は、是非、試してみてください。