11月29日(土)に東京工芸大学 中野校舎で開催された、イマジカデジタルスケープ主催 映像匠塾～零～ Step3に行って来ました。
今回は「キーイング トラッキング VFXの基礎」のお話です。
まず東京工芸大学 木戸先生により、開催場所である中野キャンパスの4Kシアターの概要説明がありました。東京工芸大学の4Kシアターではデジタルシネマサーバー（DoremiおよびClipster）とBarcoの4Kデジタルシネマプロジェクター、立体音響のAuro 11.1chが採用されています。しっかりと設計され、温度湿度も管理されてるという事でシアター内は飲食禁止。当日は雨も降ってましたが、傘も中に持ち込めず徹底しています。
東京工芸大学
東京工芸大学はICAF（インターカレッジ・アニメーション・フェスティバル）幹事校でもあり、そのような催し物や、映像匠塾のよう企業協賛イベント、メーカーやプロダクションなどの映像関係団体との協業および学内での卒制やゼミなどでシアターを活用しているそうです。
Inter Collage Animation Festival公式サイト – ICAF
デモンストレーション映像では11月29日から全国ロードショーされているハローキティ40周年記念映画『くるみ割り人形』のトレーラーが4Kで上映されました。3D/2D映画として製作された『くるみ割り人形』は、1979年にサンリオが製作した人形アニメーション映画を35mmネガフィルムをスキャニングし、デジタル化したものをリマスター、再構成しリクリエイトされています。
制作プロダクションはキュー・テック。3D化や極彩色のグレーディング、ノイズリダクションを行なっており35年前の作品とは思えないほど鮮やかで新しい作品として蘇っています。
映画『くるみ割り人形』
「キーイング トラッキング VFXの基礎」Autodesk 川船 公雄 氏
映像匠塾は「あやふやな知識を確実な知識にする」ためのセミナーです。実作業を行なっていると、知っていて当然の事なのですが、いざ言葉や文章にすると体系付けて解説するのは難しいことが分かります。映像技術者や映像に興味がある人に受けていただくと新しい発見があるかもしれません。
VFX（Visual Effects）やSFX（Special Effects）と呼ばれる特殊効果は現代の映像制作では無くてはならないものになっています。新しい技術の応用はあっても実写合成の概念は昔からそれほど変わっていません。
良い合成とは？
馴染んでいること。合成である事が解らない事です。全ての構成要素がマッチしている必要があります。
そのためには合成編集を担当しているスタッフの作業だけではなく、撮影の段階からパースペクティブ、動き（マッチムーブ）、明るさやコントラスト、カメラの特性やS/N、レンズディストーション、被写界深度、フォーカス、レンズ収差、照明の種類や位置や強さなどを考慮に入れる必要があります。これらがマッチングしていなければ違和感を生み出します。
合成に携わる人は、現場に行きそれらのデータを拾い、撮影スタッフやDIT、DMと連携し、カメラのティルト角やF Stop、焦点距離、カメラ高、被写体からの距離などを計測することで合成の精度を上げることができます。また、照明の位置による影の出方や、どこから照明が当たっているか、どれくらいの強さで当たっているかを考慮することで全体の精度が変ってきます。
また、3Dオブジェクトやリライティングの要素として、HDRとして使用するためのミラーボールによる環境光の撮影や、カラーバランスを見るためのチャートやグレーボールの撮影も合成の精度を上げるための手段として利用されます。
クロマキー素材の注意点
まず、渡される素材の状態が良くなければ、仕上がりの状態はいくら努力しても上がりません。そのためにカメラの設定を考慮する必要があります。収録形態が何であるのか、RGBなのかYUVなのか、4:4:4か4:2:2か4:2:0なのか。色情報が少なくなればキーカラーの指定時にそれだけ情報が失われることになります。
特定のチャンネルにノイズが乗る場合もあるので、カメラによる撮像デバイスの特性にも注意し、時間がある場合はテストピースで撮影することが推奨されます。可能な限りエッジのディテールを維持することが良い合成を行う場合のポイントになります。撮影の時点でエッジエンハンスやシャープネス機能をオフにすること、可能な限りフィルターは使用しないことも重要な点です。
背景の照明はフラットに当てる必要があります。照明の特性を考慮することも重要な要素です。照明の種類や色特性、スペクトルによってはクロマキーに向かない照明も存在します。照明に関しては照明技師と話し合うことが不可欠です。
キーイング
実写合成をする場合、グリーンバックやブルーバックを使用しキーを作成し、作成されたキー情報と不要な部分を隠すマット処理をした後、バックグラウンドを切り抜き、前景と合成します。テロップを載せるのもキーイング処理の一つです。
キーを作成する種類には大きく分けて、明るさを元にする「ルミナンスキー」、色情報を用いて特定の色範囲を指定する「クロマキー」、差分を用いて生成する「ディファレンシャルキー」の3つが存在します。
「クロマキー」には様々な種類があります。キーを作成するプラグインではKeyLight、Primatte、Ultimatte、Robuskeyなどがありますが、それぞれアルゴリズムが違うのでキーヤーの特性を掴むことが重要です。
一つのアプリケーション内でも、使用するカラーモデルによって結果は異なります。AutodeskのFlameやSmokeではクロマキーヤーだけでも3Dキーヤー、マスターキーヤー、RGB、YUV、HLS、Channel、RGBCMYLなど様々なキーカラーを選択できます。
マットを作るときの注意事項
まずは最初に平均色をサンプルします。照明などのバランスが悪い時などはサンプリングする場所によっても抜け具合が変わります。圧縮素材に弱いキーヤーも存在するので、条件に合った最適なカラーモデルを選択します。
最初はそれほど気にせずソフトな感じでマットを見ながら調整していきます。1つの設定で全て上手く行くとは限りません。部分部分違うパラメーターで抜く必要があるケースも多く、地道に作業することがキー合成を上手く行うコツです。
髪の毛や液体、透明なオブジェクトなどはエッジのディテールが不明瞭なことが原因で、キー合成が難しくなります。マット調整時のディテールをどのように維持するかが鍵になります。
マットのエッジに顕著に現れる色かぶりを「スピルカラー」と呼びますが、このスピルカラーの除去をソフトウェアで自動で行う機能があります。ソフトウェアの自動機能では効果が強めにかかる傾向があり、全体的な色かぶりは手動で調整します。特にフェイストーンの色かぶりには注意が必要です。
Autodesk Flame、Smokeではトラッキング可能なガベージマスク、輪郭を検出する「エッジディテクト」や前景のエッジを引き延ばす「ピクセルスプレッド」、ガベージマスクの各ポイントエッジからキーを検出する「トレーサー」などのツールを組み合わせ細かく調整ができます。
トラッキング
「トラッキング」とは、対象物を追いかける追跡、追尾という意味です。動いている物体を追いかけ、反対の座標軸を与えることで物体を静止させることができます。これを「スタビライズ」と呼びます。
合成を行う場合、動きのマッチングは不可欠です。別々に撮影された要素の動きを合わせ合成することを「マッチムーブ」と呼び、2D、3D上で動きをマッチングさせます。トラッキングポイントの数により計算できるデータが変わります。
1ポイントトラック
2Dのトラッカーです。１点のみのトラッキングで、位置のみを検出します。
2ポイントトラック
2Dのトラッカーです。2ポイント間を計算します。それぞれの位置に加え、回転（傾き）やサイズ（XY）を検出しオブジェクトに割り当てることができます。
4ポイントのトラック
3Dで奥行きを計算できるようになります。4ポイントのトラックでは、画面の4隅を利用したコーナーピンとしてよく使用され、画面内へのはめ込み画像や看板の差し替えなどに利用されます。
シェイプトラッキング
ガベージマスクなどのポイントをトラッキングポイントとして計算します。マスキングやロトスコーピングなどの処理に有効です。
プラナートラキング
平面トラッキングです。特にポイントを指定するわけではなく、囲われた部分の平面の差異をみてトラッキングを行います。ポイントで指定するトラッキングよりも高速で正確な結果が得られます。
3Dカメラトラッキング
3Dカメラトラッキングでは画面内のマーカーやオブジェクトのトラッキングを行い、3D空間上のカメラの位置を自動的に算出します。画面内に多量のトラッキングポイントが検出されポイントクラウドが生成されますが、ほとんどのカメラトラッキングではカメラの設定や基準点、基準平面の指定以外は手動でアサインする事はできません。
カメラトラッキングの場合は、レンズのmm数や対象物までの距離、センサーサイズ、ティルト角などできる限りカメラの情報があったほうがカメラの設定を行いやすくなります。
トラッキングの専用ソフトウェアでは、boujou、PF-Track、SynthEyes、Mocha Pro、MatchMoverなどが有名ですが、最近ではAfterEffectsやCinema 4D、Blender、Nuke、Smoke、Flameなどソフトウェア内に3Dカメラトラッカーを内包するケースも多くなりました。
前記の場合はオブジェクトのトラッキング情報とカメラ情報などを含むFBX形式でコンポジットソフトウェアやCGソフトウェアに渡す場合が多く、ソフトウェア内で解析できる場合はトラッキングポイントやカメラデータがそのまま実データとして扱えることになります。解析アルゴリズムは多数ありソフトウェアごとに特徴を理解しておく必要があります。
マーカーの種類
画面内にあるオブジェクトをトラッキングポイントとして使用することはできますが、グリーンバックや対象とする物体が何もない場合はトラッキングが困難になります。
たとえマーカーを設置したとしても、ボケていたりマーカーの角が取れない状態、同じようなマーカーが隣接する場合など置き方や形によって検出のしやすさは変わります。トラッキングはリファレンスポイントの選択で全てが決まります。
トラッキングの今後
モーションキャプチャやARの技術が応用されると予想されます。プリビズで使用されているマーカーレスのトラッキングでは、天井など画面外にマーカーを設置し位置を検出する場合もあります。また、赤外線や超音波を利用し、奥行きの情報を同時に記録するZデプス情報を持つカメラも開発されています。
次回の開催
映像匠塾～零～ Step1ではカラーマネージメントやカラーコレクション、Step2では映像ファイルの取り扱いとデータコンフォームについてのセミナーでした。
映像匠塾～零～ Step4は「編集技術・実作業の勘所」として2015年1月に開催される予定です。
【映像セミナー】映像匠塾～零～｜イマジカデジタルスケープ
コメント