How to use Kinect V2 sensor

1. 【KinectV2の限界を突破する】
～自分で新機能を作る～
上田 智章 （KMCN）
NeoTechLab

2. 赤外線レーザー赤外線カメラRGBカメラ
【KinectV2の概略構造】
・３個の赤外線レーザーと赤外線カメラの組み合わせで
画素単位に距離を測定できるデプスカメラを構成。
・画面解像度は512×424画素、フレーム速度は30FPS、
距離分解能は1mm
・実用的な測定範囲は50cmから4m50cmまでの範囲
NeoTechLab

3. パルス光源
t
On On On
Off Off
距離L [m]受光素子 j
飛行時間
c
L
t
2

光速 ]/[103 8
smc 
測定対象
t
Off Off
飛行時間分だけ
信号が遅延する
On On On
t
【ToF方式デプスカメラ】
t
On On On
Off Off
受光素子 j
照射オンの
タイミング
G
A B
受光素子の出力電流を
ゲート（スイッチ）信号の
オンのタイミングで
コンデンサに蓄積する
On On On
Off Off t
ゲート通過オン
のタイミング
Time of Flight方式とは
レーザーで光パルスを照射して、物体で反射して戻ってくるまでの
時間遅れを測定して、画素単位に距離を求める。

4. 【ステップ①】
赤外線ブラスター照射オフで環境光だけの赤外線画像（環境光オフセット）を取得する
t
【ステップ②】
赤外線ブラスター照射連続オンで環境光＋照明光の照射時赤外線画像を取得する
t
【ステップ③】
赤外線ブラスターパルス照射時にオフ時の環境光＋反射パルス光の赤外線画像を
取得する
t
照射オンの
タイミング
t
蓄積ゲートオン
のタイミング
受光素子出力
と蓄積される
電荷量（赤線）
NeoTechLab

5. 環境光オフセット
アクティブ赤外線
環境光オフセット 環境光オフセット
遅延分
（ A ） （ B ） （ C ）
【ステップ①】 【ステップ②】 【ステップ③】
・３つのステップで取得できる情報は…
・B-Aで アクティブ赤外線
環境光オフセット
（ B ）
環境光オフセット
（ A ）
アクティブ赤外線
・C-Aで
環境光オフセット
遅延分
（ C ）
環境光オフセット
（ A ）
遅延分
（ D ）
（ E ）
・E/Dは距離に比例
遅延分（ E ）
アクティブ赤外線（ D ）
反射率に影響
を受けない
NeoTechLab

6. NeoTechLab【デプス画像のモノクロ表示とカラー表示】
256階調
深度に応じた色による
多階調表示が可能
テーブルで
定義した色
の割り当て
が行える

7. 【実際の距離精度】
1mで2～3mmのばらつき。
法線方向や吸光度によって精度は悪化。
最大50mmのばらつきが存在する。
このままでは３Ｄスキャンには適さない。

8. 8
【Kinect V2の限界を突破】
【DepthFusion】
①Depthデータを長時間露光(時間軸方向に加算平均)
②３次元座標に変換⇒法線ベクトル演算
③光源計算（環境光＋拡散反射光＋鏡面反射光）
100フレーム使えば、ToFノイズを抑制して０．３ｍｍ程度の解像度が得られる。
NeoTechLab

9. x
z


y
z


【Kinect V2の限界を突破】
隣接する画素のＺ値(デプス値)を使って
z
x
y
 jiz ,
 1, jiz
 1, jiz
 jiz ,1
 jiz ,1








y
z
10








x
z
01
1
1x
y
と を求め、








x
z
01 







y
z
10
法線ベクトルを求める。
２つの接線ベクトル と の外積から

10. 【Appendix A】『光源計算について』
【環境光】Ambient
実際の空間では光源以外の様々な構造物、雲、地面等から反射した光で満ちている。
そこで全方向から均質な光が入射して、一定の明るさで物体色が見えると考える。
【拡散反射】Diffuse
一般物質の表面は鏡面（つるつる）ではなく、乱反射が発生する。乱反射強度は光源の存在
する方向と物体の法線ベクトルのなす角で与えられ、物体色の明るさが変わると考える。
【鏡面反射】Specular
光源の存在する方向と法線ベクトルから
反射光の方向ベクトルを求める。
【発光】Emissive
自ら発光している部分の明るさを与える。
視線と反射光ベクトルのなす角のpower
乗nで反射強度を求める
10
NeoTechLab【Kinect V2の限界を突破】

11. 【Kinect V2の限界を突破】
・床面の法線ベクトルに基づいて、座標回転を行い、
センサの仰角を補正することができる。
（加速度センサ不要）
ここの法線ベクトルから
床面の法線方向を求める
NeoTechLab

12. 【Kinect V2の限界を突破】 NeoTechLab
【加速度センシング】
・骨格トラッキングで取得できる関節座標の時間履歴曲
線x(t), y(t), z(t)を放物線at2+bt+cで補間すれば、加速度
2aも得られる。

13. 【Kinect V2の限界を突破】 心拍センシング NeoTechLab
赤外線脈波センサによる計測事例
Kinect V2の赤外線カメラによる計測事例

14. 【Kinect V2の限界を突破】 心拍センシング NeoTechLab
毛細血管の動脈側は心拍に伴う圧力変動で赤外線吸収
率が1/200程度変化する。

15. 【Kinect V2の限界を突破】 呼吸センシング NeoTechLab
呼吸に伴って胸部までの距離が2mm
から10mm程度変化。さらに、心拍動
に伴って、0.3mm程度変化。
服の上からでも呼吸・心拍を測定可能
分厚い布団の上からでも呼吸を測定
可能