Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20151124.会津大学 JINS MEME 概要 & Unity Plugin作成

2,621 views

Published on

20151124.会津大学 OALで実施した
「JINS MEME 概要 & Unity Plugin作成」
の資料。

Published in: Technology
  • Login to see the comments

20151124.会津大学 JINS MEME 概要 & Unity Plugin作成

  1. 1. OpenAppLab センサーコース JINS MEME 概要 一般社団法人T.M.C.N / 株式会社システムフレンド 前本 知志
  2. 2. ・システムフレンドという会社でセンサー&デバイス部長やってます! KINECT等のセンサーを使ったアプリ(イベント用コンテンツ、医療ヘルスケア系) スマフォのARアプリ(最近はやりのぬり絵してキャラに取り込めるやつとか) を作っています。 http://www.systemfriend.co.jp/kinect_nui ・エアー書道では何度かテレビ出演をしています 2013年1月6日 東京MX TV 「Tokyo, Boy」 新年スペシャル 2013年8月26日 日本テレビ 「NEWS ZERO」 などなど。 ・TMCN (Tokyo MotionControl Network) Co-founder(理事) https://www.facebook.com/TokyoMotioncontrolNetwork 自己紹介
  3. 3. こういうのを作ってます。 https://youtu.be/ZSXwhj8HqkE https://youtu.be/YxCGnmfChKk
  4. 4. 書籍執筆 https://www.shoeisha.co.jp/book/detail/9784798139630 Intel RealSense SDK センサープログラミング 2015/5/12発売 中村 薫, 前本 知志, 斎藤 裕佑, 谷口 直嗣, 初音 玲 (Tokyo MotionControl Network)
  5. 5. このセッションのながれ 1 • JINS MEMEとは 2 • JINS MEMEでの開発
  6. 6. JINS MEMEとは
  7. 7. JINS MEME • https://youtu.be/PyGLsBAcglI
  8. 8. JINS MEME • 今の疲れが見える。気分が見える。世界初、内 なる自分を知ることができるウェアラブルメガ ネ • 頭部の動きをセンシング (加速度センサー、ジャイロセンサー) • 目の動きをセンシング (3点式眼電位センサー)
  9. 9. 3点式眼電位センサー 人間の眼球は電荷を帯びており、その電位差を 眼電位と言います。 INS MEME に搭載されている三点式眼電位セン サーは、鼻パッドと眉 間部分から検出される眼 電位によって、眼球運動にともなう目の周りの 電位差を検出します。 それにより、8 方向の視線移動とまばたきをリ ア ルタイムに測定できます。
  10. 10. JINS MEMEでの開発
  11. 11. JINS MEME アプリ開発 https://developers.jins.com/ja/resource/docs/startup_guide/ios/ https://developers.jins.com/ja/resource/docs/datalist/ios/ 公式SDKが無償で公開されています。
  12. 12. ネイティブで作るのは考えただけで面倒なので MEMEの一般発売前日に思い立って作りました。 Unity Pluginを作りました https://goo.gl/IU2ugV
  13. 13. Unity Plugin ネイティブ SDK ネイティブ Plugin (ObjectiveC) ネイティブ Plugin (C#) アプリケー ション コード(C#) 必須 オプション
  14. 14. Unity Plugin ネイティブ側 - (void) memeRealTimeModeDataReceived: (MEMERealTimeData *) data { self.latestRealTimeData = data; } char* MEMEGetSensorValues() { NSString *value = [NSString stringWithFormat: @"%f,%f,%f,%d,%d,%d,%d,%d,%d,%d,%d,%d,%d,%d,%d", instance.latestRealTimeData.pitch, instance.latestRealTimeData.yaw, instance.latestRealTimeData.roll, : instance.latestRealTimeData.powerLeft ]; return MakeStringCopy([value UTF8String]); } ネイティブSDKからのコー ルバック データを文字列に変換して Unityへ返す
  15. 15. Unity Plugin C#側 [DllImport("__Internal")] private static extern string MEMEGetSensorValues(); public static string GetSensorValues() { if (Application.platform == RuntimePlatform.IPhonePlayer) { var values = MEMEGetSensorValues(); if (string.IsNullOrEmpty(values)) { return string.Empty; } return values; } return string.Empty; } ネイティブプラグイン関数 の宣言 ネイティブプラグイン関数 のラッパー iOS実機実行時のみネイティ ブ呼び出し 応用するとAndroidの時の処 理やPCで実行するときなど のケースを作れる。
  16. 16. スマホ系センサー と Unity • Unityに対応させると動きを3Dで可視化したり、 印象的なビジュアルを付けやすくなる • iOSとAndroidの違いを(かなり)吸収できる • Unityとは文字列でのデータのやりとりになる のでエレガントでない、ちょっとパフォーマン スも落ちる。 とはいえ、Unityで作れるメリットは大きい!
  17. 17. まとめ • JINS MEMEやMoffBandなどスマホ系センサーの SDKをUnityに対応すると楽しいことになります。 • Unity非対応センサーのUnity対応にぜひトライ してみてください。

×