3Dスキャンデータでデジタルセット制作ワークフローを変革、 表現の自由度が広がりクオリティアップ

ツークン研究所は、東映株式会社の研究機関として、「バーチャルプロダクション」という概念のもと、映像文化へデジタル技術をどのように取り入れるかを研究している。なかでも撮影用スタジオセットやロケ地を、3DCG 技術を駆使して再構築した「デジタルセット」は、映像制作のワークフローを革新する重要な研究テーマだ。従来は、写真を用いるフォトグラメトリでデジタルセットを制作してきたが、2018年から 3Dレーザースキャナーを導入。ライカジオシステムズのイメージングレーザースキャナー Leica BLK360 を活用することで、デジタルセット制作に、正確さ、スピード感、自由度が加わり、ワークフローが効率化された。このような映像制作フローは、新しいエンターテインメントの創造にもつながる大きな可能性を持っている。

フォトグラメトリだけでは高度化するニーズに応えられない

映画、テレビドラマなど、多様な映像作品を制作する東映株式会社。東京都練馬区の東映東京撮影所内に、東映グループのポストプロダクション（撮影後作業）事業を集約している東映デジタルセンター、および研究機関であるツークン研究所がある。ツークン研究所は、「映像制作の未来をデザインする（DESIGN the FUTURE）」がミッションだ。同研究所が開発する「バーチャルプロダクション」には、撮影プロセスから時間や移動距離の制約を取り払い、表現の幅を広げる新技術としての強いニーズがある。

「たとえばロケ地の天候のコントロール。雨が降ると、監督、俳優すべてが足止めになったり、監督が望む形の雲が望む場所を流れるまで、カメラをセットして待ったりするロスを避けられます。サッカー場を埋め尽くす観衆をデジタルセットで作れば、大人数のエキストラを集めることなく、演技指示も的確にできます。体内を移動するミクロの旅や、炎上する城の中での斬り合いも、バーチャルプロダクション関連のさまざまな制作手法を使えば自由自在。爆破ロケのような危険な撮影も安全に行うことができます」と、ツークン研究所 VFXスーパーバイザーの小林真吾氏。従来型の制作手法から表現の制約を解き放つのが、「バーチャルプロダクション」なのだ。なかでも「デジタルセット」は、仮想の美術セットとして重要である。

デジタルセットの作り方は、 3段階で進化してきた。
まず、ツークン研究所が設立された 2009 ～ 2010 年ごろは、現場や小道具すべてをメジャーで計測し、その数値をパソコンに入力して、 CGでデジタルセットを作った。しかしこの手法では正確で高品質なモデルを作ろうとすると、大きな労力がかかる。
2014 ～ 2015年ごろ、デジタルカメラで撮影した写真を自動的に解析・合成して 3Dモデルを立ち上げるフォトグラメトリのソフトの活用を開始。デジタルセットの表現力、クオリティが向上し、制作にかかる手間と時間も大幅に短縮された。

「しかし写真には絶対座標がないため、正確なサイズをとれません。膨大な数の写真を合成して 3Dモデリングすると、どうしてもゆがみが生じるのが悩みでした」と小林氏。オーバーラップさせながら少しずつずらした写真を数百枚から数千枚撮影するのも手間がかかる。しかも解析精度は写真品質に左右されるため、光の具合やエッジの立て方など、撮影技術が求められる。

ぬいぐるみのような小さなものから、部屋全体、さらには街並みへ。デジタルセットのニーズは、小さなものから大きなものへと拡大している。フォトグラメトリだけでこの要求を満たしていくのはむずかしい。そこで、正確で、ゆがみの生じない、奥行きのある 3Dデータを取得する手段として、3Dレーザースキャナーに注目するようになった。
本格的な試用テストを始めたのは、2018年春である。

BLK360との出会いがデジタルセット制作を変えた

「まずは、同業他社から 3Dレーザースキャナーを借りて、動かしてみました。感想は、『遅い ! 重い !』」と小林氏は苦笑いする。
1カ所のスキャンに 15分はかかり、家屋 1軒の外観だけで丸一日かかった。確かに、得られるデータは高精度で、正確な 3Dモデルを生成できる。一方で、質感再現には不満があった。たとえば年月を経た瓦（かわら）屋根は、写真のほうが雰囲気を捉えやすい。つまり、3Dレーザースキャナーも写真も、片方だけでは不十分なのだ。両方を組み合わせたワークフローを模索して、「いいとこどり」を目指したという。

「進むべき方向性はつかめましたが、具体的にどうすればいいか、ビジュアライゼーション分野の前例がみつかりません。いろいろ探しているうちに、偶然、BLK360 を使っている人のブログ記事と写真に巡り合いました。『この黒くて小さいのは本当に 3Dレーザースキャナーなのか ?』。驚きながら調べて、ついに BLK360 にたどりついたのです」と小林氏。
さっそく、ライカジオシステムズから BLK360 と、3D点群データ処理ソフト「Leica Cyclone REGISTER 360」を借りて、京都の東映太秦映画村で試用した。
「以前にテストした 3Dレーザースキャナーは、わたしには持ち運びが大変でした。ところが BLK360 は、『軽い !、速い !』。カバン1 個で持ち運べて、組み立ても簡単。スキャンスピード重視の Low Densityモードにすれば 1スキャン 3 分未満、Middle Densityモードでも 5 分未満なので、『1カ所に置いて回す、移動してまた回す』の連続動作が非常に楽でした」と、ツークン研究所 CGデザイナーの辻夢加理氏。

フォトグラメトリは暗い場所では写真が撮れないが、3Dレーザースキャナーなら、ある程度暗くてもスキャンできるというのも強みだ。しかも、BLK360 は機動性とスキャンスピードがちょうどいい。低価格であるにもかかわらず、形状の取得精度が高い。iPad にWiFi 接続して、画像を確認しながらスキャン作業を進められる。

「ライカジオシステムズのより高精度な機種とも比べましたが、われわれの目標は構造物を正確に再現することではありません。監督が望む映像を作るためのクオリティを備えたデジタルセットへ、できるだけ短時間で行き着くことが主眼です。その意味で BLK360は、シネマティックなバーチャルプロダクションに最適な製品。控え目に言っても、2018年当時は『唯一無二の選択』でした」と小林氏。
各種ツールとの連携も良く、フォトグラメトリとの合成がスムーズにできることを確認したうえで、2018 年暮に購入した。

フォトグラメトリと 3Dスキャンの融合で表現力、クオリティが劇的に進化

BLK360 の活用例を 3つ紹介しよう。
第1 は、東映太秦映画村で、街並みのデジタルセット化に挑戦した。
広い映画村の中で、建物群 3 筋分、つまり3ブロックを、小さな路地まで含めてモデリングし、将来の映画村でのイベントや撮影シミュレーションなどに利用できる体制を整えたのである。
3Dスキャンは 30 ～ 40 カ所、写真撮影は 4000 ～ 5000 枚、一部は動画データも利用した。

東映太秦映画村の建物をBLK360でスキャンし、メッシュ化した画像

3Dスキャンデータと写真データを合成し、両者の「いいとこどり」をして、実在の建物を表現力豊かに再構築したデジタルセット

第2 は、福島県白河市の小峰城だ。

小峰城は、戊辰戦争で焼失し、その後廃城となって本丸周辺の石垣および堀の一部のみ残存している状態だったが、平成初期に、三重櫓・前御門が江戸時代の絵図や発掘調査に基づき木造で復元され、往時の姿をしのばせる。敷地内の小峰城歴史館では、デジタルセットで復元した江戸時代の小峰城の四季折々の姿や、武士の姿を VR 空間で鑑賞する「VR 望遠鏡」と、江戸時代の小峰城の広大さを臨場感あふれる 3 面スクリーンで体感できる「3 面VRシアター」を常設展示している。
また、城山公園内では「ARアプリ」で、スマホ画面上に小峰城の門や御殿を表示し、現在の姿とあわせて楽しむことができる。
「石垣がぐるりと囲む広い城跡を、9 人チームで撮影 &スキャンしました。BLK360 でスキャンしたのは 70 ～ 80カ所です」と辻氏。
3Dスキャンデータの活用により、形やサイズがひとつひとつ異なる石が組み上げられている広大な石垣部分を、効率よく正確にモデリングできた。石垣の上に位置する城郭部分は、資料を参考にモデリングし、歴史館の「3面VRシアター」と「VR望遠鏡」、「ARアプリ」の映像を作り上げたのである。

ここで、 3Dスキャンとフォトグラメトリを融合するデータ処理の大まかな流れを示しておく。写真群のほうは、フォトグラメトリソフト「RealityCapture」を使って、解析・合成・メッシュ化する。
BLK360 で取得したデータは、点群合成ソフト の「Leica Cyclone REGISTER 360」および「Autodesk ReCap Pro」で、複数の点群データを整理し、つなぎ合わせて合成する。合成した点群データと写真データを「RealityCapture」に取り込み、建物ごとに切り分けてパーツ化し、メッシュ化する。このデータを 3DCGソフト「Autodesk Maya」に取り込み、CGデザイナーがリモデリングし、軽い形にデータを整形する。
整形したモデルを再度「RealityCapture」でテクスチャリングし、最後に 3D ペイントツール「Substance Painter」で質感やテクスチャを修正すれば、デジタルセットの素材が完成する。
完成したデジタルセットのデータは、 PBR（physical based rendering）用のアセットとして出力し、バーチャルプロダクションに使用する。

デジタルセットのワークフロー、および活用例とバーチャルプロダクションの全体構想

「デジタルセット活用法のひとつとして、ツークン研究所のリアルタイム合成システム『LiveZ studio』（ライブズスタジオ）があります」と、ツークン研究所 CG デザイナーの市田俊介氏。
「LiveZ studio」は、実際のカメラの動きとバーチャル空間内に存在するカメラの動きを連動させて、演技者とデジタルセットの映像を同一画面上でリアルタイムに合成、表示する。俳優はモニター画面で背景に合成されたデジタルセットとの動きをチェックしながら演技できるし、スタッフは撮影現場で合成された CG 背景を確認しながらプランニングを行い、円滑に撮影を進めることができる。

この「LiveZ studio」は、2019年12月、パシフィコ横浜で開催された「お城 EXPO」に、江戸の街並みでの撮影を疑似体験するコーナーとして出展した。これが第3の活用例だ。来場者がグリーンバックの前で演技するのをカメラで撮影すると、江戸の街並みで桜の散るなか、刀を振りかぶっている合成動画がその場でモニター表示される。出来上がった合成動画は、持ち帰って自分の SNS に掲載できるサービスにしたため、来場者から大好評だった。

VR（仮 想 現 実）を楽しめる小 峰 城、および、AR（拡張現実）撮影を実現する「LiveZ studio」。こういったさまざまな手法を合わせたバーチャルプロダクションは、新しいエンターテインメントや集客手段を生み出す大きな可能性を持っているのである。

「LiveZ studio」は、実際のカメラの動きとバーチャル空間内に存在するカメラの動きを連動させる
俳優はモニター画面で合成された画像を見ながら動きをチェックできる

さらに高度化する映像クオリティの要求にも応えられる将来性

フォトグラメトリは、複数の写真をつなぎ合わせたときに形状やサイズにゆがみが生じるなどの弱点があるが、色・質感・雰囲気を再現できるという長所もある。
一方、 3Dスキャンは、正確な形状データを今すぐ取得でき、スピード感もあるが、色・質感・雰囲気の再現は苦手だ。ツークン研究所では、両者を組み合わせて利用することで、映画レベルのデジタルセットを短時間で制作し、活用するワークフローを作り上げつつある。

「3Dスキャンデータは誤差わずか数ミリ。圧倒的に正確ですから、 CG 処理を加えていくための基礎データ、プラットフォームとして利用していきます」と辻氏。

また市田氏は、「クリエーターの技量に左右されずに高品質なデータを制作するというクオリティコントロールにも 3Dスキャンは有効。初心者レベルの CG クリエーターでも、スキャンデータに合わせてモデリングすれば正確な CGモデルを作れます」と指摘する。

テレビ放送が 4K/8K と進化するなど、映像に求められるクオリティレベルはさらに高度化していくだろう。世界遺産や貴重な文化財のアーカイブ、海外からの観光客が喜ぶ新しいエンターテインメントの創造など、 VR/ARを駆使した 3D ビジュアライゼーションへの要求も高まるばかりだ。
デジタルセットは、何度でも使い回せる、データが劣化しない、美術的な応用や表現の選択肢が広がる、他の要素や新技術を合成できるなど、豊かな将来性でこうしたニーズに対応していける。

「ただし、バーチャルプロダクションを有効活用するためには、従来と異なる時間の使い方が必要です。プリプロダクション（撮影前作業）に従来よりも時間がかかるという認識が必要です」と小林氏。演出、俳優、美術、小道具、衣装などの取り組みも変わることで、時間とコストの配分、そして、ワークフロー全体が変化する。
「長期的に見れば必ずメリットが大きいデジタルセット技術をどう使い、どう広めていくか。業界の常識を変革するための働きかけも、われわれの重要な仕事だと思っています」と、小林氏は力を込めた。

※本記事（図を含む）に記載されている製品名、サービス名は、各社の商標または登録商標です。