Downloaded 103 times
![OpenCVによる詳しいpng圧縮 21
void encodePNG(InputArray src, vector<uchar> buff)
{
vector<int> param(4);
param[0]=IMWRITE_PNG_COMPRESSION;
param[1]=9;//1-9
param[2]=IMWRITE_PNG_STRATEGY;
//DEFAULT, FILTERED, HUFFMAN_ONLY, FIXED
param[3]=IMWRITE_PNG_STRATEGY_RLE;
imencode(".png", src, buff, param);
}](https://image.slidesharecdn.com/multikinectv2-150320212051-conversion-gate01/75/KinectV2-21-2048.jpg)
![[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](https://cdn.slidesharecdn.com/ss_thumbnails/nerfdlseminar1-200327021512-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Neural Radiance Flow for 4D View Synthesis and Video Processing (NeRF...](https://cdn.slidesharecdn.com/ss_thumbnails/20210806journalclub-210806023711-thumbnail.jpg?width=640&height=640&fit=bounds)
![[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](https://cdn.slidesharecdn.com/ss_thumbnails/nerf20200327slideshare-200326131430-thumbnail.jpg?width=640&height=640&fit=bounds)
![[第2回3D勉強会 研究紹介] Neural 3D Mesh Renderer (CVPR 2018)](https://cdn.slidesharecdn.com/ss_thumbnails/201807263dv-180728060959-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss1ssii2022hkatoneural3drepresentationhiroharukato-220607054619-fadc6480-thumbnail.jpg?width=640&height=640&fit=bounds)
複数台のKinectV2の使い方
- 1. 複数台のKinectV2の使い方 福嶋 慶繁 名古屋工業大学 1 2015/3/21 第35回名古屋CV/PRML勉強会
- 2. 注意事項 2 Kinectは「ナチュラルユーザーインターフェース」 しかし，主な機能である • ジャスチャー認識したり •人を検出したり • ボーンとったり といった代表的な機能に私は 触ったことがほぼありません（笑）
- 3. Kinect V2 3 RGB 1920x1080 Depth 512x424 FPS 30 接続端子 USB3.0 TOF形式の安価なデプスセンサー
- 4. Kinect V2の通信容量と制限 4 接続台数上限は１PCに1台に制限？ 必要な大域幅は (1920ｘ1080ｘ24bit+ 512x424x16bit) x 30fps =1.597Gbps ※USB3.0は５Gbpsまで
- 5. 対策 5 たくさん接続するために，PCクラスタを構築し 高速なネットワークと符号化をうまく使いましょう • １０GbEのハブ10万円 • １０GbEのNIC 5万円 • 安めのPC 5万 • 手間隙 プライスレス ※通信機器だけでも本体よりも高い
- 6.
- 7.
- 8. システム構成イメージ 8 USB3.0 10GbE RGB:JPEG 8bit Depth:LZ4 16bit Clients Server Imaged decode (CPU) Rendering (GPU) 10GbE Hub Kinect V2(s)
- 9. PCクラスタ 9 システムは カメラ付でアシンメトリックなPCクラスタ 複数台のクライアントと中央のサーバで 効率的な負荷分散！ • 重たい処理はクライアントで並列処理 •符号化などの並列に不向きな処理はCPUで • レンダリングはGPUで
- 10.
- 11. Kinect V2の通信容量と制限（再掲） 11 デプスの符号量はたいしたことが無い？ 必要な大域幅は (1920ｘ1080ｘ24bit+ 512x424x16bit) x 30fps ＝1.493 Gbps + 0.104 Gbps =1.597Gbps ※USB3.0は５Gbpsまで
- 12.
- 13. 動画像の圧縮形式 13 Motion-JPEG：携帯 ＭＰＥＧ２：ＤＶＤ，テレビ ＡＶＣ：ブルーレイ，ワンセグ ＨＥＶＣ：次世代コーデック
- 14. モーションJPEG 高効率な非可逆圧縮 FullHDを13msでエンコード，11.2msでデコード 圧縮率 3.83％（品質80） 1493 Mbps→ 57.2 Mbps デプスマップは非圧縮で104Mbps RGB画像のM-JPEG圧縮 14
- 15.
- 16.
- 17. 代表的な画像の可逆圧縮フォーマット 予測変換（フィルタ）＋zip圧縮（RLE） フィルタの種類 • Sub：左，Up：上，Average：左と上の平均， Peath：左，上，左上との差分，None：なし 圧縮の種類（zipのオプション，OpenCVでも選択可能） • DEFAULT→Deflate •FILTERED • HUFFMAN_ONLY • RLE • FIXED PNG 17 http://optipng.sourceforge.net/pngtech/z_rle.html
- 18. Run Length Encoding(RLE) 18 A A A A A B B B B B B B B B A A A A 5 B 9 A 3 何個連続するかで短く符号化する方法 Run Length Encoding（ランレングス符号化）
- 19. RLEの特徴 19 FAXなどで使われる符号化方式 速い 必ずしも短くなるとは限らない （全く連続していない文字列は2倍の長さになる） ex １２３４５６７８→１１２１３１４１５１６１７１８１
- 20. RLE の派生 20 Zero RLE：ゼロが何個連続するかで符号化 ゼロに集中する変換を施し，ゼロの符号長だけ短く することで高い符号化効率を達成可能 Switched RLE：RLEを使うかどうかを切り替える ０が続かないときに得をする方法
- 21. OpenCVによる詳しいpng圧縮 21 void encodePNG(InputArraysrc, vector<uchar> buff) { vector<int> param(4); param[0]=IMWRITE_PNG_COMPRESSION; param[1]=9;//1-9 param[2]=IMWRITE_PNG_STRATEGY; //DEFAULT, FILTERED, HUFFMAN_ONLY, FIXED param[3]=IMWRITE_PNG_STRATEGY_RLE; imencode(".png", src, buff, param); }
- 22.
- 23.
- 24.
- 25. LZ4 -Extremely fastcompression- 25 https://code.google.com/p/lz4/ 極限まで高速な可逆圧縮符号化方式 zipよりも圧縮効率が少し悪いが，とにかく速い DPCM（前方予測）と組み合わせることで かなり高速な符号化が可能
- 26. PNG+Default 356ms, 36.8% 36.8 Mbps PNG+RLE 14ms,37.7% 36.8 Mbps JPEG-LS 9ms, 28.8％ 28.8bps DPCM＋LZ4 2.4ms, 66.7% 66.7 Mbps 可逆符号化まとめ 26
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41. センサとキャリブレーション結果のずれ 41 y =1.0261x + 2.5975 1000 1500 2000 2500 1000 1500 2000 2500 キャリブレーションのｚ値 センサのｚ値 オフセットと定数倍のずれ．
- 42.
- 43. 取得直後にレジストレーション XYZRGBを圧縮（24bit（色）+96bit（座標）の情報） • 符号化効率は最悪といって良い • PCLの圧縮はただのサブサンプル 通信後にレジストレーションとアップサンプル RGB画像とデプスマップを圧縮 •符号化効率は最大 • サーバでレジストレーションとアップサンプルをする必要性 取得後にレジストレーションだけ レジストレーション＋穴埋めをして符号化 サーバ側でアップサンプル • 上記よりも負荷分散に優れ符号化効率も問題ない レジストレーションと符号化効率 43
- 44. RGB画像 モーションJPEGで圧縮 デプスマップ 1. RGB視点にレジストレーション（後述） 2. 穴埋め 3.DPCM＋LZ4で圧縮 4. 高解像度ガイド情報付のアップサンプル ポイントクラウド符号化の手順 44
- 45. デプスマップの解像度をRGB画像の大きさに拡大 デプスマップの特性を失わないように拡大 輪郭がぼけない RGBの輪郭はエッジと一致 NN Upsampling ただの最近傍法．2ms．KinectV2のマッピングはこれ． Joint BilateralUpsampling RGB画像の情報をガイドにしてエッジ保持をした拡大 アップサンプル 45
- 46. Joint Bilateral Upsampling46 高解像度の色情報をガイド にして補間する値を決定 処理速度 40ms（CPU）
- 47.
- 48.
- 49.
- 50.
- 51. マウスとキーボードのネットワーク共有ソフト http://synergy-project.org/?hl=ja 2画面ディスプレイのように複数台のマシンを使用可能 隣の画面にマウスを持っていけば隣のマシンのウィン ドウを操作可能 いろんなOSを混ぜることも可能！ • クライアントWindows 8サーバーLinuxな環境も Synergy 51 左で右のマシン“も“操作可能 LAN
- 52.