リアルタイムカメラトラッキングシステム

StarTracker

天井や床にマーカーを貼るだけで
自在なカメラトラッキングを実現。
バーチャルプロダクションのカメラセンサーに最適。

バーチャルスタジオ運用において、自由度の高いカメラワークを提供。簡単な設定で精度の高いカメラトラッキングが可能。一度設定すれば、再キャリブレーション不要で電源投入後に自動でトラッキング可能な状態まで復旧。Unreal Engineにも対応可能で、インカメラVFXなど演出の幅が広がるXRに親和性の高いカメラトラッキングシステム。
 

マーカーは天井やトラスなどに設置。
コストパフォーマンスに優れたトラッキング環境を構築可能

  • 天井または床面にトラッキング用マーカー(反射ステッカー)を貼り付けるだけで、トラッキング環境を構築可能
  • マーカーには光を光源に向かって反射する再帰性反射材のステッカーを使用
  • 様々な固定構造物(天井パイプ、トラス、照明グリッドなど)に貼付可能
  • 構造物の高さは異なっていても問題なく、適切な間隔をあけてランダムにマーカーを貼るだけで大規模なスタジオ工事は不要のため、コストパフォーマンスに優れたシステム構築が可能。マーカー自体も安価なため、複数のスタジオに設置しての運用も低コストで実現

  

出演者の動きに対する制約や照明の影響がない
自由度の高いカメラトラッキングを実現

  • 光学式のセンサーで三脚が不要なため、ステディカムや手持ちでの運用にも最適
  • トラッキングカメラが十分な数のマーカーを認識する限り、スタジオ内のどの位置、角度からでも撮影することが可能
  • カメラトラッキングセンサーは、上を向いているので、人やオブジェクトの動き、背景セットの変更、照明や反射、グリーンスクリーンなどのスタジオ条件に影響されずにトラッキングが可能
  • マーカーは照明グリッドの上にランダムに配置でき、スタジオの照明に影響を与えず、照明からも影響を受けずに運用が可能
  • カメラトラッキングセンサーは下向きでの運用も可能。
    マーカーをカーペット等に貼ることで、持ち運びや収納といったフレキシブルな運用も可能

  


ワークフローイメージ

VP Pro PluginによりUnreal Engineへの対応が可能

VP Pro Plugin

StarTrackerのトラッキングデータをUnreal Engine上で直接受信可能とするプラグイン

StarTrackerとの連携

  • 専用プロトコル(mo-sys F4)を使用
  • レンズキャリブレーションの設定ファイルはStarTracker側が保持
  • トラッキングデータはネットワーク経由(UDP)で受信
  • トラッキングデータの記録とFBXファイルでの書き出しが可能
  • Unreal Engine上からStarTrackerを部分的に制御可能
 

簡易セットアップ

  • Blackmagic Design製などのビデオカードからの入出力が可能
    詳細はお問い合わせください。
  • Unreal Engineの入出力映像とStarTrackerのトラッキングデータの同期が可能
  • AR/フルバーチャル:ガベージマスク、Fill/Keyでの入出力が可能
  • インカメラVFXに対応したプリセットも用意

用途に合わせた合成モード

合成用途 合成モード
リアルタイムCG(RCG) AR Mode
フルバーチャル Post-Keyer Mode / Pre-Keyer Mode
PreViz VFX Mode
インカメラ VFX nDisplay Mode

それぞれのモードに合わせたプリセットマップがプラグインで用意されます。

一度設定すれば、再起動後もトラッキング状態を自動的に復元

  • センサーユニットと共に、リアルタイム・ポジション・データを算出する小型プロセッサーを搭載
  • 初期設定となるマーカーの記憶(マッピング)とカメラへの取り付け調整(キャリブレーション)は、約3時間程度で完了
  • キャリブレーション完了後は、電源を落とした状態からでも電源投入後1-2分で前回終了時のトラッキング状態まで自動的に復帰
  • 傾き検出では、センサーユニットに搭載されているジャイロセンサーによる補正も利用
  • 誤ってセンサーのレンズ部分を塞いでしまい、マーカーを見失ってしまった場合においても、ジャイロのみの動作にシームレスに切り替わることで、合成結果が不体裁な状態になることを防止
    (XYZ の位置情報は最後に検出した点で固定しておき、パン・チルト・ロールの回転情報はジャイロによって更新)

既存のカメラに取り付けるだけ。低コストでの導入が可能

  • 三脚やクレーン、レール、手持ちなど様々なカメラ運用の形態に対応し、ハイコストパフォーマンスを実現
  • Zoom/Focus の情報はバーチャル出力に対応しているレンズがあれば、そのまま使用可能
  • バーチャル出力に対応していないレンズの場合は、外付けのレンズエンコーダーを使用することで対応可能
  • ENGレンズであれば、ほとんどの機種で直接取り付けることが可能
    詳細はお問い合わせください。

活用事例
プロ麻雀リーグ「Mリーグ」様 Mリーグスタジオ

ライブ配信にStarTrackerとBrainstormによるAR表現を活用

Mリーグスタジオは、麻雀のプロスポーツ化を目指して2018年7月に設立された一般社団法人Mリーグ機構様が、プロ麻雀リーグ「Mリーグ」の試合を行うための専用スタジオとして運用されています。StarTrackerはスタジオ常設設備として導入され、ライブ配信時のAR表現に活用されています。

「リアルタイムカメラトラッキングシステムを組み合わせたAR技術を活用しながら、選手情報や試合情報のテロップ出しにデザイン性のあるグラフィックスを使っていくことで、麻雀を新しい競技スポーツとして楽しんでもらえるようにしました。毎日のCG 位置調整作業がいらないというメンテナンスのしやすさから、トラッキングセンサーはStarTracker の利用以外に考えられませんでした」
(株式会社サイバーエージェント スタジオ運営センターの近藤信輝様)

詳細はこちら