XR meeting 20210317発表時の資料

1. 脳波センサーつかってみた
MindWave Mobile 2 とUnity
氏名：芳木 武仁
現所属：TIS株式会社
Twitter Username : @nomorphism

2. 1. 数学の研究者（-2017年12月）
金融商品の価格決めなどにつかわれる
数値積分のアルゴリズムの提案
2. データサイエンティスト（-2020年9月）
デジタルマーケティング分野で
データ整形・応募予測など
3. XRの研究者（2020年10月-現在）
データサイエンス（できれば数学も）の知見を活かし
人のデータからXRサービスを作る方法を模索
数学者
データサイエンティスト
XRｘデータサイエンティスト
氏名：芳木 武仁
現所属：TIS株式会社
Twitter Username : @nomorphism
略歴

3. 今回発表する内容の参考情報
• 発表に当たり、以下の記事
https://qiita.com/Fujitsu_IncubationCenter/items/111223dd
be01a23f9d68
を参考にさせていただきました。

4. 脳波センサー
MindWave Mobile 2
脳波+Unityで
UnityChanをニッコ
リさせる

5. 対応OS
•Mac
•Windows
•iOS
•Android

6. 装着した様子

7. センサーから
取得できる情報
１アルファ波などベーシックな脳波
２開発元 NeuroSky のアルゴリズムによる状態推定
• 集中度（Attention）：0から100で評価
• リラックス度（Mediation）： 0から100で評価
e.t.c
詳細は http://neurosky.com/biosensors/eeg-sensor/

8. さっそくデモをやります
リラックス度(Meditation)で
UnityChan の表情をニッコリさせる

9. （遠いが）未来の展望
「人を理解するシステム」をつくりたい
人の情報をシステムが理解して、その人に合わせた、いいかんじのコ
ンテンツを教えたり、動的生成してくれる、そんなシステムを目指し
ていきたい。

10. 付録
脳波センサーのセットアップ
1. センサーの電源を入れる
2. PC から Bluetooth 接続する。
3. 動作確認のためhttp://mindwavemobileplus.neurosky.com/tutorial/ か
らチュートリアルアプリをダウンロードして実行できることを確認する。
4. http://mwm2.neurosky.com/ から Setup Kit の zip をダウンロードし、
中に入っている ThinkGear Connector を起動する。
・デバイスの情報を流す TCP ローカルサーバーを立ててくれる。
・あとで Unity から脳波情報を取る際に使う。
作業でつまったら Setup Kit の zip に入っている
• MindWave Mobile 2 Quick Start Guide
• MindWave Mobile 2 User Guide
を参考にする。

11. 付録
Unityから脳波を取得する（動作確認）
爆弾を脳波で爆発させるgithubのサンプル
https://github.com/DaCookie/mindwave-unity
をクローンして Asset/Demo/Scenes/Game_MainScene のシー
ンをUnityで起動できることを確認する。

12. 付録
動作確認でのトラブルシューティング
Q1 ゲーム画面左側にある「Connect to MindWave」ボタンを押し
ても何も起きない。
A1 ThinkGear Connector の入れ直し or センサーの電池確認と電源
再起動（あきらめず何回もトライ）
Q2 ゲーム画面左側にある「Connect to MindWave」ボタンを押し
ても一瞬だけ脳波情報が出て消える。
A2 おでこの脳波センサーの電極位置を調整（あきらめず少しずつ調
整） or 耳のクリップの確認
Q3 ゲーム画面左側にある「Connect to MindWave」ボタンを押し
て脳波情報もでたがPoor signal level が0になってない。
A3 A2と同じように対応する。

13. 付録
空のScene作成から、脳波を取得・表示する。
1. 先ほどのプロジェクト内で Scene を新規作成する。
2. プロジェクト内のPrefab:
Assets/Plugins/MindWaveUnity/Utilities/mindWavemanag
er を 1. で作成した Scene に配置する。
3. Scene を再生する。
4. 左側にある「Connect to MindWave」ボタンを押すと左側に、
脳波情報の数値がかかれたパネルが出てくる。
※この脳波情報の meditation の値を使ってUnitychanをニッ
コリさせます。

14. 付録
脳波とUnityChanの表情を同期させる。
1. 前ページで作成した Scene へ UnityChan を Unity へインポートする。
2. UnityChan の Animator Controller を UnityChanLocomations に切り替える。
3. UnityChan の Face Update ・Idle Changer のチェックボックスをオフにする。
4. Unitychan の顔がばっちり映るように Camera の位置を調整する。
5. 次ページのスクリプト SyncBrainwave.cs を作成する。
6. 空のGameObject（名前は適当につける： SyncBrainwave ）を作成する。
7. SyncBrainwave に SyncBrainwave.cs をつける。
8. SyncBrainwave のスクリプトコンポーネント SyncBrainwave の引数 Anim
に UnityChan を代入する。
9. Scene を開始する。
10. Unitychan の 表情がリラックス度(ゲームの左に表示される脳波情報の
mediation の値)にあわせて変化する
※デモの右側に出てくる 光の玉 と UI の作成は割愛させていただきます。

15. SyncBrainwave.cs
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
public class SyncBrainwave : MonoBehaviour
{
public Animator anim;
// Start is called before the first frame update
void Start () {
anim.CrossFade ("smile1@unitychan", 0);
MindwaveManager.Instance.Controller.OnUpdateMindwaveData += OnUpdateMindwaveData;
}
public void OnUpdateMindwaveData(MindwaveDataModel _Data) {
var sensorData = _Data.eSense.attention;
anim.SetLayerWeight (1, _Data.eSense.meditation / 100.0f );
}
}