空間を認識する - 取り込みから表示まで -
•Download as PPTX, PDF•
0 likes•227 views
XR関連で基礎的な知識になる、空間を認識するためのセンサーについてや、その用途などについて説明します。
Recommended
More Related Content
What's hot
What's hot (20)
More from 聡 大久保
More from 聡 大久保 (20)
Recently uploaded
Recently uploaded (8)
空間を認識する - 取り込みから表示まで -
- 2. 大久保 聡 Mail ovjang@gmail.com Twitter ＠followapp
- 3. 目次 前提知識 空間を認識するためのセンサーの種類 センサーの応用 あのポジショントラッキングは？ 3Dの表現()
- 4. 前提知識
- 5. イメージ内に見られるパターンや際立つ構造の こと 1. コーナー 2. ブロブ 特徴点 https://qiita.com/icoxfog417/items/adbbf445d357c924b8fc edge corner flat blob
- 6. イメージ(BGRA８)のデータ構造 http://neareal.com/470/ BGRA8・・・色の並びと、サイズ(分解能) B ：青 G ：緑 R ：赤 A ：透明度 （1画素）
- 8. TOFカメラ Time Of Flight 赤外線を照射、反射してかえって来るまでのずれで距離を計測する。反射を 利用しているので透明や鏡、黒などは苦手。赤外線の外乱を受ける。 https://www.tdk.com/ja/tech-mag/knowledge/159
- 9. LIDAR Light Detection and Ranging 紫外線、赤外線、近赤外線のレーザー光を対象物体に照射し、反射光を捉え て、往復時間から距離を算出する。前後左右方向の距離分解能が高い。また、 計測精度の距離依存性が低く、距離によって精度の変化が少ないという特徴 がある。 https://xtech.nikkei.com/atcl/nxt/column/18/00587/00002/
- 10. ステレオカメラ 対象物までの距離を求めるには，三角測量の原理を利用して算出しており。 同じ対象物を 2 つのカメラで撮像した際の撮像位置の視差を求める必要があ ります。視差を求めるには，2 つのカメラで同じ対象物を撮像した画素を抽 出する必要があり，これをステレオマッチングと呼んでいます。 https://www.zmp.co.jp/knowledge/adas_dev/adas_sensor/adas_camera/adas_stereo
- 11. IMU(慣性計測装置) Inertial Measurement Unit 3次元の慣性運動（直行3軸方向の並進運動および回転運動）を検出する装置 です。加速度センサ[m/s2]により並進運動を、角速度(ジャイロ)センサ [deg/sec]により回転運動を検出します。 https://www.marubun.co.jp/products/4590/
- 12. QUIZ 使われているセンサーは？ Intel Realsense T265 Microsoft Azure Kinect Hololens Intel Realsense D435 Ultra Leap Leap Motion Controller Apple iPhone13 Pro Magic Leap Controller Oculus Go Controller NrealLight
- 13. QUIZ 使われているセンサーの答え Realsense T265 Azure Kinect Realsense D435 Leap Motion Controller →TOF →TOF →ステレオ →LiDAR →ステレオ iPhone13 Pro Magic Leap Controller Oculus Go Controller NrealLight →IMU
- 14. センサーの応用
- 15. VISUAL SLAMとは カメラの画像をもとに現実世界の特徴を利用して空間認識と、自己位置推定 を行う。 ＲＧＢの単眼カメラ、ステレオカメラ、深度カメラなどで実現するため安価。
- 19. 特徴点による空間認識の特徴の答え 特徴点が変わるものは難しい ガラスやなどの映り込みのある素材 動くもの 暗所、照明の変化 特徴のない場所(もの) 白い部屋 大きなカメラ移動 前の画像の特徴とマッチングできないくらいカメラ映像が変わってしまうよ うな場合。 処理能力が必要 画像処理にはコンピューターリソースを消費する。
- 21. VIVE TRACKER ベースステーションで囲まれた領域 (最大10m×10m)内のTrackerの座標と姿勢 を知ることができる。 ベースステーション Tracker ベースステーション
- 22. LIGHTHOUSE • 同期パルスからの時間経過で、縦の走査光と横の走査光が届いた 時間でべースステーションからの角度を求める。(IMUで補完され る。) 同期パルス 横の走査光 縦の走査光 t t
- 23. 3Dの表現
- 25. POINT CLOUD 点の座標情報、それに付随する色情報などを含む。 表面なのか内部なのかわからない。
- 26. POINT CLOUD DATA形式 # .PCD v.7 - Point Cloud Data file format VERSION .7 FIELDS x y z rgb SIZE 4 4 4 4 TYPE F F F F COUNT 1 1 1 1 WIDTH 213 HEIGHT 1 VIEWPOINT 0 0 0 1 0 0 0 POINTS 213 DATA ascii 0.93773 0.33763 0 4.2108e+06 0.90805 0.35641 0 4.2108e+06 0.81915 0.32 0 4.2108e+06 0.97192 0.278 0 4.2108e+06 0.944 0.29474 0 4.2108e+06 0.98111 0.24247 0 4.2108e+06 0.93655 0.26143 0 4.2108e+06 0.91631 0.27442 0 4.2108e+06 0.97192 0.278 0 4.2108e+06 0.944 0.29474 0 4.2108e+06 0.98111 0.24247 0 4.2108e+06 0.81915 0.32 0 4.2108e+06 ply format ascii 1.0 comment author: Greg Turk comment object: another cube element vertex 8 property float x property float y property float z property uchar red property uchar green property uchar blue element face 7 property list uchar int vertex_index element edge 5 property int vertex1 property int vertex2 property uchar red property uchar green property uchar blue end_header 0 0 0 255 0 0 0 0 1 255 0 0 0 1 1 255 0 0 PCDファイル形式 PLYファイル形式
- 27. POINT CLOUD DATA形式 画像ファイルフォーマットを利用する場合 点の位置情報(Position Map)と色情報(Color Map)を２つの画像ファイル形式に 格納して扱う。 1Point分のデータ 16bit * 4 = 64bit(8Byte) Position Map(RGBA16) Color Map(RGBA8) 1Point分のデータ 8bit * 4 = 32bit(4Byte)
- 30. MESH 点の座標情報と、それに付随する色情報。Meshを構成する3つの点の組み合 わせの情報を持つ。 Meshには裏表がある。 表面に色情報以外にテクスチャーを張り付けることができる。 http://nakayasu.com/lecture/blender/3880
- 33. UVマッピングの仕組み ３Dのオブジェクトにテクスチャーをはるために、座標の対応付けをしてい る。 Y X Z U V (1,0,0) (1,0,1) (0,0,1) (0,0,0) (0.5,0) (1,0) (0.5, 0.5) (1, 0.5) (0.5,0.5) <-> (0,0,1) (1.0,0.5) <-> (1,0,1) (0.5,0.0) <-> (0,0,0) (1.0,0.0) <-> (1,0,0)
Editor's Notes
- 特徴点抽出はその名の通り、画像の中から“特徴的な”ポイントを抽出するアルゴリズムです。使われる特徴としては角 (コーナー) 、ブロブ、輝度の勾配なども使われる ※ブロブ（塊）とは、似た特徴を持った画像内の領域
- BGRA、RGBAなど色の並びと、データのサイズ