kiyasuの日記

ハッピーうれピーよろしく哀愁

Dolby Atmosの「Beyond Multichannel Audio 」をざっと訳

https://learning.dolby.com/hc/en-us/articles/360052744252

Introduction

概要。DAWDolby Atmos Renderer softwareなどを使った作業の前に知っておくべきページだよ、という話

Audio Beds

Dolby Atmosで使われるstereoから7.1.2chまでの物理スピーカーのことを、Dolby AtmosではBed, Audio Bedsなどと呼ぶ

Object Audio and Object Metadata

Object Audioもしくはaudio Objectsと呼ばれるコンセプト。これはチャンネルに直接割り当てられるのではなく、x,y,zの位置情報と共に記録される(zが高さ)。audioと共に記録されるx,y,z座標とオブジェクトのサイズ(?)をObject Audio Metadata(OAMD)と呼ぶ。OAMDはパンデータに連動して更新される?(OAMD is dynamic and is updated with every panning move as the Dolby Atmos Renderer is synchronized with the DAW.)

audio objectはその位置情報から、各Audio Bedsの位置に合わせて最適化されてミックスされる。どうやら7.1.2に関しては最初から各チャンネルに計算済みのオーディオトラックが記録されてそうな感じ。Dolby Atmosは最大128トラック記録可能で、そのうちの10トラックは7.1.2のbedに、残りの118トラックをObject Audioまたは追加のbedに割り当てられる。追加のBedはダイアログやチャンネルベースのstem?に使われる?とかなんとか。bed貼り付けで扱いたいオーディオを別個用意したい場合にどうぞ、くらいに理解しておこう。

Object Audio Renderer

BedとObject AudioをOAMDを使ってリアルのスピーカーに割り当てる設定方法はいくつかある。

ミキシングやDolby Atmos Master FileをプレイバックしているときにDolby Atmos Rendererを使っていれば、その時Object Audio Renderer (OAR)がBedを実際のスピーカーにレンダリングしている。これはDolby Atmosのキーコンセプト。

The recording of all Bed audio, Object audio, and OAMD, and the reproduction of Dolby Atmos audio with the OAR, are the essence of Dolby Atmos. (The recorded audio mix is sometimes called the Printmaster or Master File.)

BedオーディオとObject Audio、OAMDのレコーディング、OARを使ったDolby Atmos audioの再生はDolby Atmosのエッセンス、真髄。

The Difference Between Theatrical and Home Dolby Atmos

映画館ではDolby Atmos MasterはDigital Cinema ServerのDitigal Cinema Packageからプレイバックされる。最大64スピーカー。一般的なリスナーに対して128トラックをフルで提供するのは現実的ではない。またOARにフル機能のDolby Atmosをレンダリングさせるマシンパワーをホームリスナーが持つことも同様に現実的ではない。

ビットレート、ファイルサイズ、複雑さを抑制しつつ、芸術的な意味を損なわずに家庭に没入体験を届けるための二つのコンセプト。Spatial Codingとdelivery Codecs。

Spatial Coding

体験を損なわずにデータ量を減らす手法。最大128トラックだったものが12,14,16 elementsとOAMDになる。bedsとobjectsをラウドネスと位置情報でまとめてelement(ときにclusterとも呼ばれる)とする。bedとaudioはelements間を行ったり来たりする。128トラック全てが同時に再生されることはなく、spatial codingでelementに落とし込んでも没入感は変わらない

Spatial Coding Emulation

Spatial Codingはポストプロセッシング以降の作業で、エンコーディングの処理に含まれる。Spatial Coding EmulationはDolby Atmos Rendererの機能で、エンコードのプロセスより前にSpatial Codingがどう聞こえるか、のオーディションを行うことができる。最初のサウンドデザインの段階では必要ないが、ミックスがまとまってきたら使用することを推奨する。

最終的な配信方法を正しく理解して、element数を気にしておくべき。element数はcodecやビットレートによって変わってくる。

Spatial Codingはバイノーラルレンダリングには使用されない。

Re-renders

Dolby Atmos Rendererは従来の2ch配信のフォーマットで書き出すことが可能。このRe-renderはOARによって生成される。リアルタイムに再生することもできる。Re-rendersはStereoから9.1.6まで、またambisonicもサポートしています。

Re-renderでよく使われるコンテンツの変換はステレオから7.1.4チャンネル(Unityなどのゲームエンジンで使用)です。

Single and Multiple Bed Workflows

Dolby Atmosには"Master Once/Deliver Everywhere"という考えがあるらしく、この項はそれが念頭にあると理解しやすそう。

DAWではミキサーは似たようなオーディオをstemとしてグルーピングする。stemとはナレーションや効果音やエフェクトなど。音楽の場合はstemはドラム、ギター、キーボード、ボーカルのことを指す。Dolby Atmosにおいては、ミキシングエンジニアは各stemに1つまたは複数のBedトラックを割り当てることができる。

Bedトラックをまとめて1つのコンポジットBedにしてDAWから出力し、Rendererの1〜10のBed入力のうち1つに割り当て、残りのbedをAudio Object向けに使う、ということができる。 f:id:mojo_nobu:20220104201139p:plain

ミキシングエンジニアがDolby Atmosのミックスから非Atmosオーディオ用途(5.1chの音楽とエフェクトや、5.1のダイアログ)のためにチャンネルベースのstemを作ることを求められたら、DAWのトラックをいくつかミュートして、何度かマスタリング処理を繰り返す、といった処理が必要になります。

もう一つのやり方としてMultiple Bed Workflowを使う方法があります。このworkflowではDolby AtmosミックスにおけるBedが各stemに割り当てられ、この各Bedは(?)DAWからの出力と関連したRendererへの入力が紐づけられている。

f:id:mojo_nobu:20220104223406p:plain

Rendererの中で、stemに関連づけられたBedとObjectをグルーピングしてチャンネルベースのstemを生成することができる。これはわざわざDAWの中で特定のstem以外をミュートしてマスタリングして…といった作業を必要としないので大きな時間短縮になります。トレードオフとしてAudio ObjectのためのRendererの入力が少なくなります。

このアプローチは特定のstemに対して作業する複数のDAWにおけるワークフローにとって不可欠でもあります。

このRe-rendersと一緒に行うMultiple Bed WorkflowはDolby Atmosの「Master Once/Deliver Everywhere」を構成する一要素です。Dolby Atmosでミックスを行うことは非Dolby Atmos環境へ書き出すことに対しても強力です。

Loudness Measurement with Dolby Atmos

ラウドネス測定はDolby Atmosのフルミックスではなく、5.1 Re-renderで行われる。理由はAtmosのラウドネス測定の効果的な方法がないため、もっと重要な理由としてはこの方法によってDolby Atmosのものと非Atmosのものの間に連続性を保つためです。Dolby Atmosで映画を見たあと、5.1chのコンテンツに切り替えてもラウドネスの変化は感じないはずです。

ラウドネス測定はDolby Atmos Renderer内蔵の測定機能でリアルタイムとオフライン両方で可能です。5.1cnのRe-renderを生成してラウドネス測定アプリやDAWプラグインで測定することも可能です。

配布方法にもよるが、-23LUFS, -24LKFS, -27LKFSがよく設定されます。

DAWでリミッターを使ったとしても、Dolby AtmosコンテンツでTrue Peak(dBTP)ターゲットを設定するのは難しい。5.1chへのレンダリングは予想だにしないサミングが起こりうる。さらにTrue Peakの測定は補完的(interpolative)な性質があります。

(以下略!)

Dolby Atmos Master Formats

Dolby Atmos RendererはBedとobject audioが合わさった128トラックのインプットと、OAMD、バイノーラル、ダウンミックス、trimのメタデータとRe-renderの記録を含みます。これらはDolby Atmos Master File(DAMF)に記録されます。これはDolby Atmos Rendererのネイティブのフォーマットで、以下の3つのファイルセットから構成されます。

  • .atmos Dolby Atmosの機能や他のファイルのインデックスについての情報を含むXMLファイル。ベッドもしくはオブジェクトとして使われているインプットの数、フレームレート、ファイルの開始地点、アクションの最初のフレーム、spatial codingに使われるelementsの数、downmix, トリムのメタデータを含む。

  • .atmos.metadata 各オブジェクトにおけるダイナミックな位置情報、サイズ情報のOAMD。バイノーラルのメタデータ設定も含む。

  • .atmos.audo 128トラックのインターリーブされたオーディオファイル。Core Audio Format(CAF)

インターリーブ - Wikipedia

.atmosと.atmos.metadataはテキストエディタで開いてみて見ることはできますが、直接編集することは推奨しません。ファイルが壊れてしまうかも。

新規ファイルはDAMFとして記録されますが、配布、エンコーディング、更なる編集のために二つの別のフォーマットもあります。

  • ADM BWF これはすでに調べているから大体でいいか。ADM BWFでは.atmosと.atmos.metadataをwavのヘッダのデータチャンクに含む(ヘッダだっけ…ファイルの末尾だったような)。オーディオ部分は128トラックのインターリーブされたオーディオです。

    • ADMの利点

      • 本来3つのファイルが一つに纏まっているので取り扱いやすい
      • DAWにimportできる。すべてのBedとobjectをパンのmetadataとともに再構成できる。これによりリマスターに先駆けて言語差し替え、タイミング調整、検閲などの追加編集を行うことができる。
      • ADM BWFはDolby True HD、Dolby Digital Plus JOC, Dolby AC-4 IMSにエンコード可能で、ストリーミングエンジニアやブルーレイ作成用に配布するのに向いている
  • IMF.IAB Immersive Audio BitstreamはIMFのためのメザニンフォーマットです。OAMDがクオンタイズ・量子化されているように、IABはマスターと言うよりもメザニンです。IAB.mxfはDolby Atmosとビデオ(Dolby Visionを含む)の配信コンテナを作るためにサードパーティIMFパッケジングツールに使われます。

Dolby Atmos Rendererネイティブでは.atmosフォーマットに記録するだけだが、ADM BWFやIAB.XMFに変換・出力することができる。全体を出力することも、頭や終わりなどの特定の長さを編集することもできる。

Dolby Atmos RendererはADM BWFとIAB.MXFどちらもマスターファイルとして開いてプレイバッククオリティチェック、編集、相互変換、再書き出しが可能。しかしADM BWFとIAB.MXFを開くのにいくつか制限がある。パンチイン(?)とメタデータ編集は許可されていません。ADM BWFとIAB.MXFから.atmosへの変換は許可されていません。これにはDolby Atmos Rendererのコンパニオンアプリである無料のDolby Atmos Conversion Tool(DACT)が必要です。

Technical Delivery Specifications

Streamingサービスに要求される成果物は技術的な納品仕様書に記載されています。ラウドネス、ピークターゲット、いくつかのマスターファイルやチャンネルベース納品物のフォーマット、命名規則など項目は多岐に渡ります。いくつかの仕様はアーカイブ目的のためにADM BWFと一緒にPro Toolsのセッションを要求するものがあります。要求された納品物を把握することは効率的なワークフローを達成するために不可欠です。


とまあ、DeepLに頼りつつざっと訳したが、もっと細切れに更新して訳自体はもうちょっと綺麗にやればよかったな、と思ったりする。以後気をつけます