本セッションでは、骨格追跡だけではない Azure Kinect DK の様々な機能の活用法や適用可能な技術に関する Tips を紹介します。こちらを受講いただくことで Azure Kinect DK のポテンシャルを引き出すきっかけと、この先の展開に関する情報が得られます。

1. #decode20 #
*本資料の内容 (添付文書、リンク先などを含む) は de:code 2020 における公開日時点のものであり、予告なく変更される場合があります。
Azure Kinect DK テクニカル Tips
千葉 慎二 Ph.D.
日本マイクロソフト株式会社
技術統括室
X03

2. 本セッションについて
対象者
課題
ゴール
• Azure Kinect DK (AKDK) のアプリ開発者
• 骨格追跡だけじゃない、様々な機能を使い倒そう
• ポテンシャルを引き出すきっかけと情報を獲得する

3. セッションアジェンダ
• AKDK の基本機能
• IMU による姿勢推定
• 7ch マイクアレイによる音源推定
• Depth の圧縮
• 骨格追跡のポテンシャル
• その他のテクニックと注意点
• まとめ

4. • ビデオキャプチャー
(Color, Depth, IR, Body Index)
• 骨格追跡
• 音声などの認識
• Cognitive 連携
AKDK の基本機能
https://github.com/shinjich/

5. • デバイスの姿勢を把握
テクニカル Tips – IMU 編
温度 (摂氏) float
加速度データ (x, y, z) float[3]
加速度タイムスタンプ (µs) uint64
角速度データ (x, y, z) float[3]
角速度タイムスタンプ (µs) uint64

6. IMU デモ
> 姿勢推定

7. カルマンフィルター

8. マドウィックフィルター

9. IMU デモ
> 姿勢推定
> 環境推定

10. • マイク外周半径: 40mm
• sin 𝜃 = 𝑐Δ𝑡/𝑑𝑖𝑠𝑡
• ビームフォーミングベースの
テクニカル Tips – 7ch マイクアレイ

11. 7ch マイクアレイデモ
> 音源推定

12. • 1MP@15FPS, 16-bit
• 色相マッピング＋既存画像圧縮
• 𝑌 =
𝑋−1−𝑥 𝑚𝑎𝑥
−1
𝑥 𝑚𝑎𝑥−𝑥 𝑚𝑖𝑛
𝜃
• 推奨事項
• プリプロセス: クリッピング
• ポストプロセス: フィルタリング
テクニカル Tips – Depth データ

13. オリジナル 8%
4% 1%

14. オリジナル
1%4%
8%

15. Depth デモ
> 圧縮

16. • 非力な
テクニカル Tips – ポテンシャル

17. ポテンシャル
> Azure リモート骨格追跡

18. • 空間マップパラメータのテーブル化
• 複数デバイスの同時使用
• デバイスのタイムスタンプ
• レーザーの自動 OFF
テクニカル Tips – その他のテクニックと注意点

19. • AKDK の基本機能
• IMU による姿勢推定
• 7ch マイクアレイによる音源推定
• Depth の圧縮
• 骨格追跡のポテンシャル
• その他のテクニックと注意点
まとめ

20. Microsoft Docs – Azure Kinect DK ドキュメント
https://docs.microsoft.com/ja-jp/azure/kinect-dk/
Open Azure Kinect SDK
https://github.com/microsoft/Azure-Kinect-Sensor-SDK
de:code 2019 CM04 – Azure Kinect DK 徹底解説 (日本語)
https://www.microsoft.com/ja-jp/events/decode/2019session/detail.aspx?sid=CM04
(日本語)
https://github.com/shinjich/
参考

21. © 2018 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。
© 2020 Microsoft Corporation. All rights reserved.
本情報の内容 (添付文書、リンク先などを含む) は、公開日時点のものであり、予告なく変更される場合があります。
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。