Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
RealSense 活用した
猪鹿蝶アタック
増田 智明(@moonmile)
.NET ラボ Micorosft MVP .NET
Moonmile Solutions
自己紹介
 増田 智明 masdua@moonmile.net
 執筆業&プログラマ
 C#によるiOS, Android, Windowsアプリケーション開発入門
 逆引き大全 Visual C# 2013, Visual Basic...
Intel Realsense
 顔分析、ハンド認識など、カメラ機能と
ライブラリがワンセットで提供される。
 http://japan.intel.com/realsense/
 SDK は無償で使える
 https://softwa...
PXCMTracker クラス
 「Metaio Object Tracking and Recognition」を利用
 本来は 3D モデルのトラッキング用なのだが、2D にも利用できる
花札認識
 2D(写真)で花札を登録しておく。
 PXCMTracker クラスを使って認識する。
コードの抜粋(初期化)
// Realsense の初期化
PXCMSenseManager sm = PXCMSenseManager.CreateInstance();
// Tracker の初期化
sm.EnableTracker("M...
コードの抜粋(認識時)
// トラッキングデータ
PXCMTracker.TrackingValues trackData ;
// サンプリング
PXCMCapture.Sample sample = sm.QueryTrackerSampl...
フィードバックを付ける
 花札認識と Android, Arduino などと
連携させる。
 Realsense + PC で画像認識
 Android TV に結果を表示
 Raspberry Pi で LED を光らせる
Andr...
システム構成
 Realsenseで認識した結果を
HTTPプロトコルで Android と RasPi に送信
 通信は WiFi を使っている
Android TV App
Simple HTTP Server
Attach patte...
デモ
 デモビデオ
https://www.youtube.com/watch?v=efn3aSGfo1g
今後の予定
 Intel RealSense 3D Camera の取り込み
 OpenCV との組み合わせ(特徴量抽出、背景差分など)
 Bluetooth/RFCOMMを使った通信
 LED以外にフィードバック(サーボ、モータ制御、...
参考文献
 Intel Realsense
http://japan.intel.com/realsense/
https://software.intel.com/en-us/intel-realsense-sdk
 Xamarin.An...
Upcoming SlideShare
Loading in …5
×

Realsense を活用した猪鹿蝶アタック

1,306 views

Published on

Realsene の Object Tracking ライブラリを利用して花札を認識させます。
Android TV への画像転送や Raspberry Pi を使って LED も光らせます

Published in: Technology
  • Be the first to comment

Realsense を活用した猪鹿蝶アタック

  1. 1. RealSense 活用した 猪鹿蝶アタック 増田 智明(@moonmile) .NET ラボ Micorosft MVP .NET Moonmile Solutions
  2. 2. 自己紹介  増田 智明 masdua@moonmile.net  執筆業&プログラマ  C#によるiOS, Android, Windowsアプリケーション開発入門  逆引き大全 Visual C# 2013, Visual Basic 2013  逆引き大全 iPhone/iPad アプリ開発(iOS8版を近日発売)
  3. 3. Intel Realsense  顔分析、ハンド認識など、カメラ機能と ライブラリがワンセットで提供される。  http://japan.intel.com/realsense/  SDK は無償で使える  https://software.intel.com/en-us/intel-realsense-sdk  一部の機能(顔認識など)は普通のWebCamでも 利用できる。
  4. 4. PXCMTracker クラス  「Metaio Object Tracking and Recognition」を利用  本来は 3D モデルのトラッキング用なのだが、2D にも利用できる
  5. 5. 花札認識  2D(写真)で花札を登録しておく。  PXCMTracker クラスを使って認識する。
  6. 6. コードの抜粋(初期化) // Realsense の初期化 PXCMSenseManager sm = PXCMSenseManager.CreateInstance(); // Tracker の初期化 sm.EnableTracker("Metaio Object Tracking and Recognition"); PXCMTracker ft = sm.QueryTracker(); // 認識する2D画像の読み込み foreach (Model model in this.models) { model.cosIds.Clear(); var sts = ft.Set2DTrackFromFile(model.getFileName(), out firstID); model.AddCosID(firstID, name); }
  7. 7. コードの抜粋(認識時) // トラッキングデータ PXCMTracker.TrackingValues trackData ; // サンプリング PXCMCapture.Sample sample = sm.QueryTrackerSample(); foreach (Model model in this.models) { for (Int32 j = 0; j < model.cosIds.Count(); j++) { Model.TrackingState track = model.cosIds[j]; // 見つける cosID を指定するとここでカード数を絞れる ft.QueryTrackingValues(track.cosID, out trackData); if (PXCMTracker.IsTracking(trackData.state)) { // 見つかった場合の処理
  8. 8. フィードバックを付ける  花札認識と Android, Arduino などと 連携させる。  Realsense + PC で画像認識  Android TV に結果を表示  Raspberry Pi で LED を光らせる Android TV App Recognition App Figure and Cards LED App RealSense
  9. 9. システム構成  Realsenseで認識した結果を HTTPプロトコルで Android と RasPi に送信  通信は WiFi を使っている Android TV App Simple HTTP Server Attach pattern Figure Image Display Recognition App Detect Figure Detect Cards Command sendFigure and Cards LED App Simple HTTP Server LED pattern control RealSense HTTP protocol GET or POST
  10. 10. デモ  デモビデオ https://www.youtube.com/watch?v=efn3aSGfo1g
  11. 11. 今後の予定  Intel RealSense 3D Camera の取り込み  OpenCV との組み合わせ(特徴量抽出、背景差分など)  Bluetooth/RFCOMMを使った通信  LED以外にフィードバック(サーボ、モータ制御、音など)  Arduino, Netduinoの利用  Android TVアプリがチープなので、何とかする(苦笑)
  12. 12. 参考文献  Intel Realsense http://japan.intel.com/realsense/ https://software.intel.com/en-us/intel-realsense-sdk  Xamarin.Android http://Xamarin.com/  Raspberry pi http://www.raspberrypi.org/  Arduino http://www.arduino.cc/  Netduino http://www.netduino.com/  スイッチサイエンス https://www.switch-science.com/

×