20151124.会津大学 OALで実施した 「JINS MEME 概要 & Unity Plugin作成」 の資料。

1. OpenAppLab センサーコース
JINS MEME 概要
一般社団法人T.M.C.N / 株式会社システムフレンド
前本 知志

2. ・システムフレンドという会社でセンサー＆デバイス部長やってます！
KINECT等のセンサーを使ったアプリ（イベント用コンテンツ、医療ヘルスケア系）
スマフォのARアプリ（最近はやりのぬり絵してキャラに取り込めるやつとか）
を作っています。
http://www.systemfriend.co.jp/kinect_nui
・エアー書道では何度かテレビ出演をしています
2013年1月6日 東京MX TV 「Tokyo, Boy」 新年スペシャル
2013年8月26日 日本テレビ 「NEWS ZERO」 などなど。
・TMCN (Tokyo MotionControl Network) Co-founder(理事)
https://www.facebook.com/TokyoMotioncontrolNetwork
自己紹介

3. こういうのを作ってます。
https://youtu.be/ZSXwhj8HqkE
https://youtu.be/YxCGnmfChKk

4. 書籍執筆
https://www.shoeisha.co.jp/book/detail/9784798139630
Intel RealSense SDK
センサープログラミング
2015/5/12発売
中村 薫, 前本 知志, 斎藤 裕佑,
谷口 直嗣, 初音 玲
（Tokyo MotionControl Network）

5. このセッションのながれ
1
• JINS MEMEとは
2
• JINS MEMEでの開発

6. JINS MEMEとは

7. JINS MEME
• https://youtu.be/PyGLsBAcglI

8. JINS MEME
• 今の疲れが見える。気分が見える。世界初、内
なる自分を知ることができるウェアラブルメガ
ネ
• 頭部の動きをセンシング
（加速度センサー、ジャイロセンサー）
• 目の動きをセンシング
（3点式眼電位センサー）

9. 3点式眼電位センサー
人間の眼球は電荷を帯びており、その電位差を
眼電位と言います。
INS MEME に搭載されている三点式眼電位セン
サーは、鼻パッドと眉 間部分から検出される眼
電位によって、眼球運動にともなう目の周りの
電位差を検出します。
それにより、8 方向の視線移動とまばたきをリ
ア ルタイムに測定できます。

10. JINS MEMEでの開発

11. JINS MEME アプリ開発
https://developers.jins.com/ja/resource/docs/startup_guide/ios/
https://developers.jins.com/ja/resource/docs/datalist/ios/
公式SDKが無償で公開されています。

12. ネイティブで作るのは考えただけで面倒なので
MEMEの一般発売前日に思い立って作りました。
Unity Pluginを作りました
https://goo.gl/IU2ugV

13. Unity Plugin
ネイティブ
SDK
ネイティブ
Plugin
(ObjectiveC)
ネイティブ
Plugin
(C#)
アプリケー
ション
コード(C#)
必須 オプション

14. Unity Plugin ネイティブ側
- (void) memeRealTimeModeDataReceived: (MEMERealTimeData *) data {
self.latestRealTimeData = data;
}
char* MEMEGetSensorValues() {
NSString *value = [NSString
stringWithFormat:
@"%f,%f,%f,%d,%d,%d,%d,%d,%d,%d,%d,%d,%d,%d,%d",
instance.latestRealTimeData.pitch,
instance.latestRealTimeData.yaw,
instance.latestRealTimeData.roll,
：
instance.latestRealTimeData.powerLeft
];
return MakeStringCopy([value UTF8String]);
}
ネイティブSDKからのコー
ルバック
データを文字列に変換して
Unityへ返す

15. Unity Plugin C#側
[DllImport("__Internal")]
private static extern string MEMEGetSensorValues();
public static string GetSensorValues()
{
if (Application.platform == RuntimePlatform.IPhonePlayer)
{
var values = MEMEGetSensorValues();
if (string.IsNullOrEmpty(values))
{
return string.Empty;
}
return values;
}
return string.Empty;
}
ネイティブプラグイン関数
の宣言
ネイティブプラグイン関数
のラッパー
iOS実機実行時のみネイティ
ブ呼び出し
応用するとAndroidの時の処
理やPCで実行するときなど
のケースを作れる。

16. スマホ系センサー と Unity
• Unityに対応させると動きを3Dで可視化したり、
印象的なビジュアルを付けやすくなる
• iOSとAndroidの違いを（かなり）吸収できる
• Unityとは文字列でのデータのやりとりになる
のでエレガントでない、ちょっとパフォーマン
スも落ちる。
とはいえ、Unityで作れるメリットは大きい！

17. まとめ
• JINS MEMEやMoffBandなどスマホ系センサーの
SDKをUnityに対応すると楽しいことになります。
• Unity非対応センサーのUnity対応にぜひトライ
してみてください。