wizzのブログ一覧

dispmanxを使って h264の動画ファイルを作るソフトウェアがあった。これで、カメラ映像、文字描画、キャプチャまで、CPU負荷率 50%程度以下で実現できた。素晴らしい。dispmanx_vncと組み合わせると、WiFi経由で映像を飛ばすこともできた。素晴らしい。

https://github.com/DougGore/telepi


telepiをそのまま使うと、フレームレートがちょっとおかしくなる。

telepi.c 91行目に frame rateが 30fpsとして記述されているけれど、これを 60としてコンパイルする。生成された h264ファイルを MP4のコンテナ形式とするとき、MP4Boxで下記のようにする。

$ MP4Box -fps 60 -add src.h264 dst.mp4


このままだと、30fpsなら MP4Boxでも -fps 30を指定したら良いのではないかと思うかもしれないけど、どういうわけか 60fps以外ではフレームレートがおかしい。CPU負荷も低いし、これ以上の調査はメンドウなので、とりあえず 60fpsとして使うことにしよう。

dispmanx_vncを使用すると、HDMIに出力される内容を丸ごと VNCで出力できた。frame bufferも GPUも両方とも取得できた。RaspberryPi Zero Wを使用して、WiFi経由の 15fpsで、CPU負荷は 85%ぐらい。フレームレートは、ソースコード中に固定値が記載してあり、30fpsの転送もできた。

しかし、長時間の転送を行うと、画面が化ける。raspividと dispmanx_vncで同一メモリを読み書きしている影響か、それともソフトウェアの不具合か。single coreだから、今の段階ではソフトウェアの不具合か、GPUの send/recvあたりの不具合の可能性が高そう。

いずれにせよ、HDMI / NTSCに出力しながら、同時にVNCにも出力できれば、何かしらの手段で mp4も生成できそう。車両に取り付けた際には、適当な液晶モニタを取り付けて表示させることもできそう。

https://github.com/hanzelpeter/dispmanx_vnc

だんだん、仕事並になってきた。

RaspberryPi カメラの映像をキャプチャして、文字や映像をオーバーレイして、それを mp4に生成したい。なるべく高速に。RaspberryPiで CPUを介すと、どうにも速度が上がらないことが分かったので、GPUプログラミングが必要っぽい。

とりあえず、試したことリスト

OpenCV	遅すぎる
v4l2 & libjpeg-turbo	遅い
raspivid & ffmpeg	遅い

このスクリーンショットの通り、HDMI出力として動画を保存しないのなら、すでに十分に高速。CPU負荷率は、わずか 1%。問題は、RaspberryPi Zero単体で mp4まで生成したい、というところ。結構ハードル高いな。思い切り GPUプログラミングをやらないといけないかもしれない。

OpenCVを使ったビデオキャプチャと httpdサーバのサンプルを作ってみた。

/dev/video0のカメラをキャプチャして、画像に日付を入れて jpeg encodeして、その結果を httpによる Motion JPEGとしてブラウザに配信するというもの。マルチクライアントなので、録画は ffmpegに行わせて、同時に WiFi接続したブラウザからも参照できる。

とりあえず、640x480pxの解像度で、何もチューニングしないと 10fpsぐらい。CPU負荷はほぼ 100%。OpenCVのキャプチャに 30%、 jpeg encodeが 50%ぐらい。ffmpegは、jpegを mp4でコンテナして保存するだけなので、CPU負荷は低い。

これだと2020年代のソフトとしては恐らくイマイチだろうから、ここからどれだけ高速化できるか、ウデの見せ所でもある (^^;　大人しく RaspberryPi4を使うと、特段のチューニングを必要としないだろうなぁ...


Fig.1 make


Fig.2 ffmpeg


Fig.3 vmstat

なるべく秋月電子で購入できる部品で設計を見直して、回路図と基板図を作成した。なんとか収まった感じ？

なお、スタッキング方向が通常と逆になるので、RaspberryPi Zero WHだと取り付けができないのが難点。正規の方向だと、RaspberryPi Zeroの純正ケースが流用できない。う～む。


Fig.1 Schematic


Fig.2 PCB Component side


Fig.3 PCB Solder side