kiyasuの日記

ハッピーうれピーよろしく哀愁

MRAL(仮)のはなし

先日こういう動画をアップしました。

www.youtube.com

HoloLens2からMax経由でAbletonLiveのセッションビューを再生、録音できるようになりました。これでMixedReality作曲できる！

#HoloLens2​
#AbletonLive​
#maxforlive​
#maxmsp

仮ですがアプリ名はMRAL(Mixed Reality Ableton Live)です。このアプリについての説明と展望を書いておこうかと思います。

どういうアプリか

作曲ソフト、Ableton LiveのセッションビューをHoloLens2のMR空間から操作できるようになるアプリです。

Ableton LiveとMax

Ableton LiveはMax(名前がいろんなものと被るので一般的にはMax8やMax/Mspと呼ばれたりする)というプログラミング環境を使って作曲に使うエフェクトやプラグインを作ることができるのですが、MaxはLOM(Live Object Model)というAPIを使ってAbleton Live自体の情報を取得することもできます。Live上で現在どのクリップが再生されているのか取得したり、Liveに対して「特定のトラックで新規録音を開始させる」などの命令を送ることもできます。

MaxとHoloLens(Unity)

Maxはプログラミング環境としてUDPやOSCの送受信の機能を備えているので、これを使ってHoloLensアプリと通信を行います。HoloLensアプリはUnityで作ってます。

図にするとこんな感じです。

f:id:mojo_nobu:20210214204100p:plain
システム図

難しかった(現在進行形で難しい)ところ

Maxがとにかく曲者でした。ノードの中に流れるシーケンシャルなデータを逐次処理していく、というのが普通のプログラミングと違っていて慣れるまで大変でした。C#だと工場のオートメーションのところがMaxだと流しそうめんみたいな。データをプールするような作りになっていないというか。

Maxはちょくちょく触っていたんですが、久しぶりに触ると感覚も忘れてしまうので、定期的に触らなければ・・・という思いを強くしました。慣れると自分に必要なオブジェクトがわかってきて、それを探して使っていくのが面白いです。

あとは一連の処理の末端に複数のsendがあった場合その後のreceiveの実行順は未定義らしいとかあって、全体的に何かしらロジックを組むような用途には向いてないのかなという感触でした。Maxが悪いんじゃなく僕の使い方、アプローチが何か間違ってるのかも、という話です。シューゲイザーのエフェクト構成でクラシックを弾くんじゃない、みたいな。

それこそgenとか使えば良かったのかもしれない。今後の課題。

このアプリで何が嬉しいか

今のところ特にないんですよね。

実はこのプロジェクト自体は結構長くて、1年半くらい前にこういうのを作りました。

youtu.be

Ableton Liveにはclipのon/offを切り替えて曲の構造を変えながら作曲していくセッションビュー という機能があるんですが、それをHoloLensで叩く。スマホARでは手がふさがる、VRでは楽器が見えない、ということで考えたアプリです。 これで楽器を弾く手を止めることなく、曲の展開をどんどん変えていけるようになりました。

このときは「MRにより実空間での場所を取らないから嬉しい」「演奏の手を止めずにLiveを操作できるから嬉しい」そのあたりを考えていたんだと思います。しかし、

果たしてそうだろうか・・・？

あまりにも特定のシーンに限定しすぎではないか・・・？

演奏中に視線(正確にはhead gaze)でclip選択は難しすぎないか・・・？

機能にアクセスできるからって同じ見た目にする必要ないし、もっとMR特化のインタフェースがいいんじゃないか・・・？

などと頭を回る疑念。ここで手が止まるのが自分の悪いところである。先のことはわからないがとりあえず「Ableton Liveの機能をHoloLens上に再現する」にフォーカスし、手を動かしていくことにしました。なので現状これによって嬉しくなることはないです。書いていて思いましたがこれって技術デモみたいなものですね。

あと、あんまり頭の中でだけで作ったものを見せても、見た人は付いてきてくれないんじゃないかなという気持ちもあった。いきなり空中のCGを手でぐねぐねやるよりも、とりあえず技術デモから始めるのって悪くない気がしますね。

今後の展望・やりたいこと

自分は音楽が好きなので「新しい音楽を作りたい」というのが一番やりたいことですね。「新しい音楽」というのが新しい楽曲構造なのか、音色なのかリズムなのか、演奏表現なのか、というのは定かじゃないですが。

ソフトウェアの進化によって理屈の上ではどんな音も出せるはずなんですが、ウンウン頭を捻ってPCの画面と睨めっこして新しい音を出すだけでは面白くない。新しい道具、インタフェースから人間の反応を引き出すやり方っていうのは悪くないと思うんですよね。HoloLens単体だとフィジカルなフィードバックがないので、この場合は演奏表現よりも楽曲構造や音色、リズムの生成に影響が出るんじゃないかとか。

新しくなるのは音楽ではなく、体験なのかもしれないし。視点かもしれない。作曲風景って五線譜からPCの画面まで2Dなんだけど、3D空間で作られているというイメージが浸透すればリズムの捉え方も変わるかもしれない。その辺りは固執せずにやっていけたらいいな。

まあ、単に見た目にでも新しいパフォーマンスが生まれればそれも良しかな。