マスクの紐をインタフェース化する手法
山本 匠，杉浦裕太 (慶應義塾大学)
2022/9/14 情報科学技術フォーラム(FIT)2022

• 小型化，無線化
• ポータビリティが向上
• 入力のためのインタフェース面が減少
• 例：イヤホン
2
[1]Apple, EarPods with Lightning Connecter, https://www.apple.com/jp/shop/product/MMTN2J/A/earpods-with-lightning-connector (2022.6.30閲覧)
[2] Apple, AirPods Pro, https://www.apple.com/jp/shop/product/MLWK3J/A/airpods-pro, (2022.6.30閲覧)
ウェアラブルデバイスの小型化とその弊害
AirPods Pro[2]
EarPods[1]
無線化
リモコンの廃止

• ジェスチャを用いる手法が多数
3
ウェアラブルデバイスのための入力手法
手以外の利用
表情[Masai, 2020]
足[William, 2016]
ハンズフリー
非直感的？
鼻呼吸[Ogawa, 2021]
舌[Hashimoto, 2018]
頬[Yamashita, 2017]
耳[Kikuchi, 2017]
手を利用
直感的な入力が可能
両手が塞がっている際は不可能
腕[Ogata, 2015]
指[Lin, 2022]

• COVID-19の影響：マスクは生活必需品化
• 公共空間における着用が推奨
• 多様な素材・色のマスクが販売
• 一部ではファッションアイテム化
• ウェアラブルデバイスとして活用できれば，着用時に便利
4
マスクの普及と着用の推奨

• マスクの紐
• マスクを装着するために必要
• ジェスチャ入力インタフェースとして活用できないか？
• 利点
• 多様で直感的な入力が実現
• マスクの普及により自然に利用可能
5
目的
マスクの紐を用いた情報入力手法

• 本研究の新規性
• マスクと手のインタラクションは未開拓
• 紐に着目
• 本研究の優位性
• マスクへのセンサ装着なしにインタフェース化
6
関連研究：マスクを用いたインタフェース
入力
「口パク」での入力
[Kunimi, 2021]
口の動きを検知
[Suzuki, 2020]
出力
呼吸を検知
[Kusabuka, 2020]
表情を識別し可視化
[Lee, 2020]

• 本研究の立ち位置
• 既存のマスクの紐をセンシング
7
関連研究：紐を用いたインタフェース
既存の紐を使用
センサを組み合わせてセンシング
[Schwarz, 2010]
特殊な紐を使用
導電性組紐を用いたひもセンサ
[Olwal, 2018]
摩擦電気ナノ発電機を用いたセンサ
[Shahmiri, 2019]

8
識別するジェスチャの決定
ジェスチャを識別するシステムの実装
実装までの流れ

9
識別するジェスチャの決定
ジェスチャを識別するシステムの実装
実装までの流れ

• 紐を用いたジェスチャは多様
• ひっぱる，はじく，ねじるetc…
• マスクの紐に関する既存研究例はない
• ジェスチャ識別研究におけるジェスチャ決定
• 研究者が決定
• 実験(User Elicitation Study)によって決定
• 実験による決定の方が好ましい[Morris, 2010]
10
ジェスチャデザイン
どのようなジェスチャを識別できるシステムにすればよいか？
操作の提示 ジェスチャの考案
実験
多数決によりジェスチャ決定
ジェスチャ定義のためのUser Elicitation Study

• 20人の被験者に21の操作を与えジェスチャを考案
• 操作は先行研究[Masai, 2020][Fukahori, 2015]をベース
に決定
• 操作についての映像を視聴した後にジェスチャ考案
• 考案後以下の項目を質問
• そのジェスチャにした理由
• 提案ジェスチャの長所・短所
• 考案時のルール
• 耳にかける紐のみを使用
• 同グループ間でのジェスチャの重複は不可
• 技術的に実装可能かは考慮する必要なし
• 後からジェスチャを変更可能
11
人数 20人
年齢 平均26.5歳
標準偏差10.5歳
性別(男/女) 12/8
利き手 全員右利き
User Elicitation Study
操作一覧
被験者の属性情報

• 6種類のジェスチャに分類
• つまむ，ひっぱる，なぞる，タッチ，はじく，ねじる
• 各種類に対してさらに分類
• 使用するマスクの箇所，方向，回数，時間，ねじり方
12
ジェスチャの分類法
本研究におけるジェスチャの分類法

• 418個のジェスチャが提案
• 種類ごとの傾向
• ひっぱるジェスチャが最多
• 使用箇所の傾向
• 左右
• 右が左に比べて多い
• 被験者は全員右利き
• 上下
• タッチ・なぞるジェスチャ
• 上紐が多く使用
• 紐に動きを伴わない場合は上紐が使用
• ひっぱる・はじくジェスチャ
• 下紐が多く使用
• 紐に動きを伴う場合は下紐が使用
13
結果:提案ジェスチャの傾向
提案ジェスチャの種類
提案ジェスチャの使用箇所

• 被験者間での提案の一致度合いを示
すAgreement Rates (AR) [Vatavu, 2015]
を算出
• 𝑟𝑟: 操作
• 𝑛𝑛: ジェスチャを提案した被験者数
• 𝛿𝛿𝑖𝑖,𝑗𝑗: 𝑖𝑖番目と𝑗𝑗番目の被験者の提案が一致
した場合は1, 異なる場合は0
• 結果
• 平均が0.062，最小0.005，最大0.142
• 低一致(<0.1)と解釈
• マスクの紐を用いた入力は多様
14
Agreement Rates (AR)の算出
各操作の一致度
一致度の定義式

• 結果
• 操作間のジェスチャ競合に関しては以下のように考慮
• 同一グループ内での競合はNG
• 操作0に関しては他操作と競合はNG
15
最終的なジェスチャセットの導出
最終的に決定したジェスチャ

• 「直感」「簡単」という理由が多数
• なるべく片手で完結させるジェスチャを選択
• 既存のデバイスから発想
• 欠点
• マスクの耐久性を危惧
• 「マスクの紐が緩む」
• 肌やヘアスタイルに悪影響
16
定性的フィードバックから得られた知見

17
識別するジェスチャの決定
ジェスチャを識別するシステムの実装
実装までの流れ

• User Elicitation Studyの結果から導出されたジェスチャの種類
• ひっぱる，タップ，長押し，はじく，なぞる
• 現段階では最も多く提案されたひっぱるジェスチャについて識別
18
実装
ハードウェア ソフトウェア
機械学習を用いて
ジェスチャ識別
紐の動きをセンシング
提案手法

19
実装：ハードウェア
• 耳掛け型デバイス
• マスクの紐と同時に耳に装着
• フォトリフレクタ(反射型光センサ)
• 発光部と受光部から構成
• 発光部は赤外光を発光
• 受光部は赤外光を受光しセンサ値に
• 6つのフォトリフレクタが搭載
• 2つ：ユーザの視線方向
• 4つ：ユーザの頭の外側方向
フォトリフレクタの配置
(a) デバイスのレール部と耳掛け部
(b) ユーザが装着している様子

20
実装：ソフトウェア
• 識別の流れ
センサ
データ
６
35[fps] x 5[s] = 175 frames
画像データ
Max Pooling (2 x 2 pixel)
Convolution (32 filters) / ReLU
Max Pooling (2 x 2 pixel)
Convolution (64 filters) / ReLU
Max Pooling (2 x 2 pixel)
Convolution (128 filters) / ReLU
Max Pooling (2 x 2 pixel)
Fully Connected (1024 features) / ReLU
Dropout (50%)
Fully Connected (4 features) / Softmax
Convolution (16 filters) / ReLU
Image Input (6 x 175pixel)
CNNモデルの構成
Min-max
Normalization

• 右耳にデバイスを装着
• 被験者一人当たり各ジェスチャ20回を取得
21
精度評価実験の概要
人数・性別 男性4名
年齢
平均
21.75歳
利き手 全員右手
実験参加者の属性
Upper-Up
Lower-Up Lower-Down
Upper-Down
識別するジェスチャ

• 10分割交差検証
• 4ジェスチャ × 80枚の画像データ
• 平均識別精度79.69%
22
精度評価実験の結果
識別精度

• ひっぱるジェスチャしか識別できない
• マイクや加速度センサなど他センサと併用
• 高精度化に向けて
• センサの前処理，識別モデルの変更
• センサ数の増加や他センサとの併用
23
議論と制約

24
まとめ
背景 マスクの需要の拡大
関連研究 既存のマスク研究ではマスクにセンサを直接装着
提案
紐を用いた入力手法
マスクにセンサを付ける必要のない耳掛け型ハードウェア
実験
被験者にジェスチャを考案させるElicitation Studyにより
ジェスチャセットを決定
実装
フォトリフレクタを用いた紐のセンシング
CNNモデルによるジェスチャ識別
評価 識別精度79.69%
課題
識別可能なジェスチャが限定，低精度
他センサとの併用や前処理・モデルの改良
Upper-Up
Lower-Up Lower-Down
Upper-Down

[Lin, 2022] Stephen Shiao-ru Lin, Nisal Menuka Gamage, Kithmini Herath, and Anusha Withana. 2022. MyoSpring: 3D Printing Mechanomyographic Sensors for Subtle Finger Gesture Recognition. In Sixteenth
International Conference on Tangible, Embedded, and Embodied Interaction (TEI '22). Association for Computing Machinery, New York, NY, USA, Article 15, 1–13.
[Yamashita, 2017] Koki Yamashita, Takashi Kikuchi, Katsutoshi Masai, Maki Sugimoto, Bruce H. Thomas, Yuta Sugiura, CheekInput: Turning Your Cheek into an Input Surface by Embedded Optical Sensors on
a Head-mounted Display, In Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology (VRST ’17), ACM, Article 19, 8 pages, November 8-10, 2017, Gothenburg, Sweden.
[Kikuchi, 2017] Takashi Kikuchi, Yuta Sugiura, Katsutoshi Masai, Maki Sugimoto, Bruce H. Thomas, EarTouch: Turning the Ear into an Input Surface, In Proceedings of the 19th International Conference on
Human-Computer Interaction with Mobile Devices and Services (MobileHCI ’17). ACM, New York, NY, USA, Article 27, 6 pages.
[Ogata, 2015] Masa Ogata and Michita Imai. 2015. SkinWatch: skin gesture interaction for smart watch. In Proceedings of the 6th Augmented Human International Conference (AH '15). Association for
Computing Machinery, New York, NY, USA, 21–24.
[Ogawa, 2021] Ryoma Ogawa, Kyosuke Futami, and Kazuya Murao. 2021. NasalBreathInput: A Hands-Free Input Method by Nasal Breath Gestures using a Glasses Type Device. In The 23rd International
Conference on Information Integration and Web Intelligence (iiWAS2021). Association for Computing Machinery, New York, NY, USA, 620–624.
[Masai, 2020] K. Masai, K. Kunze, D. Sakamoto, Y. Sugiura and M. Sugimoto, "Face Commands - User-Defined Facial Gestures for Smart Glasses," 2020 IEEE International Symposium on Mixed and
Augmented Reality (ISMAR), 2020, pp. 374-386,
[Hashimoto, 2018] Takuma Hashimoto, Suzanne Low, Koji Fujita, Risa Usumi, Hiroshi Yanagihara, Chihiro Takahashi, Maki Sugimoto, Yuta Sugiura, TongueInput: Input Method by Tongue Gestures Using
Optical Sensors Embedded in Mousepiece, In Proceedings of the SICE Annual Conference 2018, IEEE, 6 pages, September 11-14, 2018, Nara, Japan.
[William, 2016] William Saunders and Daniel Vogel. 2016. Tap-Kick-Click: Foot Interaction for a Standing Desk. In Proceedings of the 2016 ACM Conference on Designing Interactive Systems (DIS '16).
Association for Computing Machinery, New York, NY, USA, 323–333.
[Kunimi, 2022] Yusuke Kunimi, Masa Ogata, Hirotaka Hiraki, Motoshi Itagaki, Shusuke Kanazawa, and Masaaki Mochimaru. 2022. E-MASK: A Mask-Shaped Interface for Silent Speech Interaction with Flexible
Strain Sensors. In Augmented Humans 2022 (AHs 2022). Association for Computing Machinery, New York, NY, USA, 26–34.
[Lee, 2020] Hyein Lee, Yoonji Kim, and Andrea Bianchi. 2020. MAScreen: Augmenting Speech with Visual Cues of Lip Motions, Facial Expressions, and Text Using a Wearable Display. In SIGGRAPH Asia 2020
Emerging Technologies(SA '20). Association for Computing Machinery, New York, NY, USA, Article 2, 1–2
[Kusabuka, 2020] Takahiro Kusabuka and Takuya Indo. 2020. IBUKI: Gesture Input Method Based on Breathing. In Adjunct Publication of the 33rd Annual ACM Symposium on User Interface Software and
Technology (UIST '20 Adjunct). Association for Computing Machinery, New York, NY, USA, 102–104.
25
参考文献

[Suzuki, 2020] Suzuki, Y., Sekimori, K., Yamato, Y., Yamasaki, Y., Shizuki, B., Takahashi, S. (2020). A Mouth Gesture Interface Featuring a Mutual-Capacitance Sensor Embedded in a Surgical Mask. In: Kurosu,
M. (eds) Human-Computer Interaction. Multimodal and Natural Interaction. HCII 2020. Lecture Notes in Computer Science(), vol 12182. Springer, Cham.
[Schwarz, 2010] Julia Schwarz, Chris Harrison, Scott Hudson, and Jennifer Mankoff. 2010. Cord input: an intuitive, high-accuracy, multi-degree-of-freedom input method for mobile devices. In Proceedings of
the SIGCHI Conference on Human Factors in Computing Systems (CHI '10). Association for Computing Machinery, New York, NY, USA, 1657–1660.
[Olwal, 2018] Alex Olwal, Jon Moeller, Greg Priest-Dorman, Thad Starner, and Ben Carroll. 2018. I/O Braid: Scalable Touch-Sensitive Lighted Cords Using Spiraling, Repeating Sensing Textiles and Fiber Optics.
In Proceedings of the 31st Annual ACM Symposium on User Interface Software and Technology (UIST '18). Association for Computing Machinery, New York, NY, USA, 485–497.
[Shahmiri, 2019] Fereshteh Shahmiri, Chaoyu Chen, Anandghan Waghmare, Dingtian Zhang, Shivan Mittal, Steven L. Zhang, Yi-Cheng Wang, Zhong Lin Wang, Thad E. Starner, and Gregory D. Abowd. 2019.
Serpentine: A Self-Powered Reversibly Deformable Cord Sensor for Human Input. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (CHI '19). Association for Computing
Machinery, New York, NY, USA, Paper 545, 1–14.
[Morris, 2010] Meredith Ringel Morris, Jacob O. Wobbrock, and Andrew D. Wilson. 2010. Understanding users' preferences for surface gestures. In Proceedings of Graphics Interface 2010 (GI '10). Canadian
Information Processing Society, CAN, 261–268.
[Vatavu, 2015] Radu-Daniel Vatavu and Jacob O. Wobbrock. 2015. Formalizing Agreement Analysis for Elicitation Studies: New Measures, Significance Test, and Toolkit. In Proceedings of the 33rd Annual ACM
Conference on Human Factors in Computing Systems (CHI '15). Association for Computing Machinery, New York, NY, USA, 1325–1334.
[Fukahori, 2015] Koumei Fukahori, Daisukes Sakamoto, and Takeo Igarashi. 2015. Exploring Subtle Foot Plantar-based Gestures with Sock-placed Pressure Sensors. In Proceedings of the 33rd Annual ACM
Conference on Human Factors in Computing Systems (CHI '15). Association for Computing Machinery, New York, NY, USA, 3019–3028.
26
参考文献