UnlimitedHandを用いたUnityでの開発について at UT-Virtual

1. UT-Virtual 勉強会

2. UnlimitedHandとFirstVR
FirstVR
できること：ジェスチャ認識
通信方式：BLE
実行環境：iOS、Android、Macでの動作がメイン(Windowsはこ
れから)
UnlimitedHand
できること：電気刺激、ジェスチャ認識
通信方式：シリアル通信,Bluetooth3.0
実行環境：PCでの動作がメイン

3. ロボットとのジェスチャ連携
事例紹介(ロボット)

4. 空中でキーボードを打つ際の反力の表現
事例紹介(バーチャルキーボード with Leapmotion)

5. 事例紹介 (3Dタッチもどき)
押し付けの力の推定を利用したインターフェース

6. UnlimitedHandについて
機能
❶電気刺激
主に重量感覚の提示
❷ジェスチャ認識
筋変位センサを利用したジェスチャ
認識機能

7. STEP1:Updater(ファームウェアを書き込むもの)と
UnitySDK(UnlimitedHand用のUnityパッケージ)をインストールする
STEP2:ファームウェアアップデータでUnlimitedHandにUnity開発用
のスクリプトを書き込む
UnlimitedHandのUnityでの開発（事前準備）

8. STEP1:Updater(ファームウェアを書き込むもの)と
UnitySDK(UnlimitedHand用のUnityパッケージ)をインストールする
STEP2:ファームウェアアップデータでUnlimitedHandにUnity開発用
のスクリプトを書き込む
UnlimitedHandのUnityでの開発（事前準備）

9. STEP1:UpdaterとUnitySDKのダウンロード
dev.unlimitedhand.comのダウンロードページ
からUnitySDKとUpdaterをダウンロードして
ください

10. STEP1:Updater(ファームウェアを書き込むもの)と
UnitySDK(UnlimitedHand用のUnityパッケージ)をインストールする
STEP2:ファームウェアアップデータでUnlimitedHandにUnity開発用
のスクリプトを書き込む
UnlimitedHandのUnityでの開発（事前準備）

11. STEP2:ファームウェアアップデートの方法
Serial_Unity_Quaternionを選択
UnilimitedHandのシリアルポートを選択
(WindowsであればCOM3などの名前で表
示されます)
Update!!!

12. ここまででわからないところや質問がある人は教えてください

13. UnlimitedHandのUnityでの開発ステップ
STEP1:API Compatibility Levelを.Net4.xに切り替える
STEP2:SDKのインポート
STEP3:UHのゲームオブジェクトを配置する
STEP4:別のスクリプトからのUHクラスのインスタンスを使ってコー
ドを書く

14. UnlimitedHandのUnityでの開発ステップ
STEP1:API Compatibility Levelを.Net4.xに切り替える
STEP2:SDKをUnityのプロジェクトにインストールする
STEP3:UHのゲームオブジェクトを配置する
STEP4:別のスクリプトからのUHクラスのインスタンスを使ってコー
ドを書く

15. File -> Build Settings -> Player
Settings -> API Compatibility
Levelを.Net 2.0が.Net4.xに変更
する
STEP1: API Compatibilityを変更する

16. UnlimitedHandのUnityでの開発ステップ
STEP1:API Compatibility Levelを.Net4.xに切り替える
STEP2:SDKのインポート
STEP3:UHのゲームオブジェクトを配置する
STEP4:別のスクリプトからUHクラスのインスタンスを使ってコード
を書く

17. STEP2: SDKのインポート
Assets -> Import Package ->
Custumpackage をクリックして
事前にダウンロードしておい
たUnityのパッケージをイン
ポートする

18. UnlimitedHandのUnityでの開発ステップ
STEP1:API Compatibility Levelを.Net4.xに切り替える
STEP2:SDKのインポート
STEP3:UHのゲームオブジェクトを配置する
STEP4:別のスクリプトからUHクラスのインスタンスを使ってコード
を書く

19. STEP3: UHのゲームオブジェクトを配置する
Prefabに入っているUHというゲ
ームオブジェクトを適当なと
ころに配置する

20. UnlimitedHandのUnityでの開発ステップ
STEP1:API Compatibility Levelを.Net4.xに切り替える
STEP2:SDKのインポート
STEP3:UHのゲームオブジェクトを配置する
STEP4:別のスクリプトからUHクラスのインスタンスを使ってコード
を書く

21. UnlimitedHand
Unity SDKの機能
(OUTPUT)
電気刺激
振動

22. UnlimitedHand
Unity SDKの機能
(OUTPUT)
電気刺激
振動 ‘b’を書き込む

23. 刺激パッドの選択
stimulate(パッドの番号)
刺激の強さの変更
強くする setVoltageLevelUp()
弱くする setVoltageLevelDown()
電気刺激の実装

24. ペアの人を痛めつけてみましょう

25. UnlimitedHand
Unity SDKの機能
(OUTPUT)
電気刺激
振動

26. 振動
vibrate()
振動の実装

27. UnlimitedHand
のSDKの機能（
INPUT）
筋変位センサ
ジャイロセンサ

28. UnlimitedHand
のSDKの機能（
INPUT）
筋変位センサ
ジャイロセンサ

29. 値の更新
updatePhotoSensors()を呼ぶ
値の利用
値の取得の際にはUHのインスタンスのUHPRを利用する
＊値を更新する関数を呼ばないとUHPRの値は変わらないので気
をつける
筋変位センサ周りの実装

30. UnlimitedHand
のSDKの機能（
INPUT）
筋変位センサ
ジャイロセンサ

31. 値の更新
updateQuaternion()を呼ぶ
値の利用
値の取得の際にはUHのインスタンスのUHQuaternionを読み取る
＊値を更新する関数を呼ばないとUHQuaternionの値は変わらな
いので気をつける
ジャイロセンサ周りの実装

32. https://github.com/HosonoS/UHPy
にあるUnityConnectedUHPy.pyを使ってジェスチャ認識を行なってください。
わかりづらい部分はプルリクエストを送ってもらえるとありがたいです。
ジェスチャ認識
無料公開用のSDKではジェスチャ認識のAPIは用意され
ていません！

33. 1. For文の中で刺激を入れると刺激が出なかったりする。（できるだけ一発の
刺激を使ったほうがいい）
2. UnlimitedHandの中にSerial_Unity_Quaternionが書き込まれていない。
3. パッドが色が変わるとほとんど刺激を感じないので変色したら張替えが必
要
4. WindowsでUnlimitedHandが認識されないCOMが2桁になっているか確認
よくある失敗について