tomosatoのブログ一覧

前回記事の動画作成に伴う苦労話。

マルチカメラの映像でログ合成すると
いずれはこの悩みに突き当たります。




どうしても映像とログのタイミングが合わない！


現在のG-Bowlアプリは「測定開始」に先立って「ピッ♪」と鳴ります。これを含めて録画しておけば頭合わせは正確です。でも時間が経過するに従って徐々にズレてきます。

ズレの程度は約17分で1秒ほど。たったそれだけ？　でも時速60キロで走ると距離にして16メートル以上のズレです。交差点でコーナーの入口と出口くらい違う。５分以内の短い動画だったら無視しても良いでしょう。

でも30分以上記録した最後の５分を使うとしたら大問題。

ズレの累積を解消するにはビデオ映像とログキャプチャのフレームレートの違いに応じて一定時間間隔でフレームを間引く処理が必要。SONY ActionCamの場合ビデオ映像は59.94fps、ログキャプチャは60fps。わずか0.06fpsの違いを合わせるため、1分間隔でログキャプチャから4フレームを間引きます。（正確には変則的なルールがある）

このズレ問題はかなり前に解消する編集手順を確立して、今では当たり前のように機械的に作業してます。しかし面倒なのはフレームレートが異なる映像を複数合成する場合。

たとえば前回記事の動画編集画面です。

BlackVue（ドライブレコーダー）とActionCamの映像にデータを合成。


さらにデータは複数素材を合成してる。


右上が合成画面のレイアウト、下半分が合成する映像トラック。時間軸に沿ったフィルムのイメージ。このトラックを１分間隔でチョキチョキ切断して各端から4フレームを切り取ります。ちまちまと面倒ですが機械的に作業すれば悩むことなく同期がとれるので楽チン。

フレームレートは映像素材ごとにいろいろあって

　BlackVue：29.97fps（仕様には明記してないがたぶん）
　SONY ActionCam：59.94fps
　ログキャプチャ：60fps
　i-DMを撮影する Canon IXY：30fps
　リアルG-Bowlを撮影する iPhone 4：30fps

30fps素材は編集時は60fps相当にフレームが２倍になるので扱いはログキャプチャと同様。１分間隔で4フレームを切り取れば良い。

ここで問題になるのはBlackVue。ドライブレコーダーの特性として常時録画です。実際には3分単位で動画ファイルが作られる。そのため各動画ファイル間にわずかなギャップが生じる。仕様には0.1秒とあるがこれが曲者でフレーム数が一定でない。仕方なくコマ送りでギャップのフレーム数を調べ個別に不足フレームを挿入して辻褄合わせ。

さらに面倒なことに路面段差などで衝撃(G)が発生すると事故などイベントが発生したと捉え、３分単位とは無関係に動画ファイルが分断されイベント用動画ファイルが作られる。こうして動画はますます細切れに。

こうなると不規則にギャップが多数生じて辻褄合わせが大変。こうして慎重に各素材の同期をとった上で、信号停止などでログがオートポーズした区間を特定して映像をトリミングすれば完璧にタイミングが合うはず。

前回記事の動画もそう処理したのに なぜかタイミングが合わない不思議。

特に右サイドは対向車とすれ違うので、わずかなズレでも正面と右サイドですれ違うタイミングがズレて妙に気持ち悪い。例えば前走車のブレーキランプ点灯や信号機の赤→青タイミングが違ったり。気にしなければ気付かないけど、気付くとなんだか映像がうそっぽく見える。(´･_･`)

こうなると全編にわたってタイミングズレが許容できる程度に、フレームを足したり引いたり現物合わせで微調整するしかない。BlackVueのフレームレート変動に一定規則が見出せないから。だからドラレコ映像を使った合成動画はやたら手間と時間が掛かる。これを解決するにはドラレコ映像を使わずに済むように、ActionCamを買い増すしかなさそう。

ちなみにフレームレートは放送（NTSC）に由来する機材は29.97fpsとか59.94fps。デジカメ映像やPCモニターのキャプチャは30fpsや60fps。このデジタル全盛の時代なのに。過去のしがらみは捨てて30fpsや60fpsのきりの良い方に合わせて欲しいなあ。