tomosatoのブログ一覧

前回記事の動画作成に伴う苦労話。

マルチカメラの映像でログ合成すると
いずれはこの悩みに突き当たります。




どうしても映像とログのタイミングが合わない！


現在のG-Bowlアプリは「測定開始」に先立って「ピッ♪」と鳴ります。これを含めて録画しておけば頭合わせは正確です。でも時間が経過するに従って徐々にズレてきます。

ズレの程度は約17分で1秒ほど。たったそれだけ？　でも時速60キロで走ると距離にして16メートル以上のズレです。交差点でコーナーの入口と出口くらい違う。５分以内の短い動画だったら無視しても良いでしょう。

でも30分以上記録した最後の５分を使うとしたら大問題。

ズレの累積を解消するにはビデオ映像とログキャプチャのフレームレートの違いに応じて一定時間間隔でフレームを間引く処理が必要。SONY ActionCamの場合ビデオ映像は59.94fps、ログキャプチャは60fps。わずか0.06fpsの違いを合わせるため、1分間隔でログキャプチャから4フレームを間引きます。（正確には変則的なルールがある）

このズレ問題はかなり前に解消する編集手順を確立して、今では当たり前のように機械的に作業してます。しかし面倒なのはフレームレートが異なる映像を複数合成する場合。

たとえば前回記事の動画編集画面です。

BlackVue（ドライブレコーダー）とActionCamの映像にデータを合成。


さらにデータは複数素材を合成してる。


右上が合成画面のレイアウト、下半分が合成する映像トラック。時間軸に沿ったフィルムのイメージ。このトラックを１分間隔でチョキチョキ切断して各端から4フレームを切り取ります。ちまちまと面倒ですが機械的に作業すれば悩むことなく同期がとれるので楽チン。

フレームレートは映像素材ごとにいろいろあって

　BlackVue：29.97fps（仕様には明記してないがたぶん）
　SONY ActionCam：59.94fps
　ログキャプチャ：60fps
　i-DMを撮影する Canon IXY：30fps
　リアルG-Bowlを撮影する iPhone 4：30fps

30fps素材は編集時は60fps相当にフレームが２倍になるので扱いはログキャプチャと同様。１分間隔で4フレームを切り取れば良い。

ここで問題になるのはBlackVue。ドライブレコーダーの特性として常時録画です。実際には3分単位で動画ファイルが作られる。そのため各動画ファイル間にわずかなギャップが生じる。仕様には0.1秒とあるがこれが曲者でフレーム数が一定でない。仕方なくコマ送りでギャップのフレーム数を調べ個別に不足フレームを挿入して辻褄合わせ。

さらに面倒なことに路面段差などで衝撃(G)が発生すると事故などイベントが発生したと捉え、３分単位とは無関係に動画ファイルが分断されイベント用動画ファイルが作られる。こうして動画はますます細切れに。

こうなると不規則にギャップが多数生じて辻褄合わせが大変。こうして慎重に各素材の同期をとった上で、信号停止などでログがオートポーズした区間を特定して映像をトリミングすれば完璧にタイミングが合うはず。

前回記事の動画もそう処理したのに なぜかタイミングが合わない不思議。

特に右サイドは対向車とすれ違うので、わずかなズレでも正面と右サイドですれ違うタイミングがズレて妙に気持ち悪い。例えば前走車のブレーキランプ点灯や信号機の赤→青タイミングが違ったり。気にしなければ気付かないけど、気付くとなんだか映像がうそっぽく見える。(´･_･`)

こうなると全編にわたってタイミングズレが許容できる程度に、フレームを足したり引いたり現物合わせで微調整するしかない。BlackVueのフレームレート変動に一定規則が見出せないから。だからドラレコ映像を使った合成動画はやたら手間と時間が掛かる。これを解決するにはドラレコ映像を使わずに済むように、ActionCamを買い増すしかなさそう。

ちなみにフレームレートは放送（NTSC）に由来する機材は29.97fpsとか59.94fps。デジカメ映像やPCモニターのキャプチャは30fpsや60fps。このデジタル全盛の時代なのに。過去のしがらみは捨てて30fpsや60fpsのきりの良い方に合わせて欲しいなあ。
　

ドライブレコーダーとActionCamで確認しました。










右側（周回コースを左回り）



　たまに踏んでますね。(^^;



左側（周回コースを右回り）



　けっこう踏んでますね。(^^;;
　

自撮りの撮り方と編集方法を簡単に書いておきます。
これから紅葉の季節や景色の良い場所で試してみたい。


撮り方

先行車のトランクなど安定した場所・面にActionCamを設置。ただしリヤガラスやルーフは避けました。広角で撮るので撮影車の一部が写り込まないように。画角は120度。広いとコーナーでも後続車を捉えやすいが小さく写る。狭いと後続車を大きく写せるがコーナーで見失いがち。


編集方法

画角120度では後続車をしっかり捉えますが小さく写って迫力不足。そこで編集で後続車の動きを追って範囲を切り出します。この「動きを追う」のが編集によるカメラワーク。動きが激しいシーンは1秒単位で追います。後続車の動きに上手く合うと見た目が自然で気持ち良いが、変にずれると動きがギクシャクして不快。感覚でやってますがたまに変です。(^^;

撮影は1920x1080で、ここから切り出す範囲が1280x720。ただしフレームレートは60fpsでぬるぬる滑らかに動く。元の撮影が4Kなら切り出しても高画質が維持できる。4KのActionCamが欲しくなるなあ。




前回記事と同素材で編集を変えた別バージョン。








今回の方が画面構成がシンプルで見栄えがする。前回記事の Rear Camera / Front Camera の組み合わせは変態的に凝りすぎの感。(^^;　ログ無しにすれば運転ミスが目立たず安心して見せられる？


【追記】

撮影にご協力戴いたせーろーさんのBRZ自撮り動画も格好良くて見栄えがします。(^o^)
　

　

自車撮りの略。相互の自撮りから合成動画を作成しました。

着想は安直ですが実際にやるととてつもなく手間が掛かる。
カメラ4台の映像は全編に渡ってG-Bowlログと同期。
走りの分析にきっと役立つ... はず。

せーろーさん、撮影にご協力ありがとうございました。(^^)

　




コースマップ



根利〜下田沢 前編：登り区間



根利〜下田沢 後編：下り区間



沼田市側を走るのは今回が初めて。桐生市側は２回目。
こうして見ると下手なことしてるのが丸わかりです。(^^;
上達は下手に気付く（自覚する）ことから。なので恥晒しは気にしない。
安易に機械的なランプ判定、採点、軌跡やグラフの形を鵜呑みにしない。


今回からG-BowlアプリはiPhoneを助手席フロアの水平板に設置して測定。従来はセンターコンソールボックス内に設置でしたが、荒れた路面で振動の影響を抑えるため変更。


　

この夏に生活拠点が変わり、近場の赤城山周辺コースを巡回してます。

先週末は北面の県道251号線（大沼〜水源の森）を十数年ぶりに走る。
その途中、路面の凹凸で激しく上下に揺られる県道4号線を通過。

4号線は路面が新しく眺望も楽しめますが波乗り状態が不快で嫌い。
251号線は変な凹凸が無く交通量も少ないけど路面が少々荒れ気味。
緩いヘアピンコーナーが多くたまに走るには面白いコースでしょう。




県道251号線　大沼〜水源の森（下り）前景




県道251号線　大沼〜水源の森（下り）運転手視点


　前半は前走車プリウスに追従してゆったりペース。でも気を抜かないように。


その他のログ合成動画

県道251号線　水源の森〜大沼（登り）前景

県道251号線　水源の森〜大沼（登り）運転手視点


県道4号線　姫百合P〜新坂平（登り）前景

県道4号線　新坂平〜姫百合P（下り）前景