1. Summarization of
Scratch Input
Yuki Anai

2. Introduction
[ 背景 ]
1. コンピュータが持ち運び可能になってきた
2. しかし、少し距離を置いただけで触れなくなるのは不便である
[ 提案 ]
1. 既存な机や壁を入力装置に
2. 表面を指のツメでなぞった時になる音を入力にする
3. 新しいコンピュータと人間とのインタラクション

3. Sensing
[ 入力検知 ]
・ツメで木材や壁をなぞった時には、高い周波数がなるのを応用（大体
3000Hz 以上）
・人間の声は 90-300Hz 、歌で 800-1200Hz 、冷蔵庫や照明のノイズはせいぜ
い 50-60Hz
ちなみに、人間の可聴領域は、下は 20Hz 程度から、上は（個人差がある
が） 15,000Hz ないし 20,000Hz.

4. Sensing(2)
[ デバイス ]
・特殊な聴診器
増幅音や、高周波ノイズの検出に適しているため
聴診器を電気信号にするため、これに一般的なマイクをとりつけ
・信号は、オーディオ端子を通して PC に接続
大量生産する場合 1 ドル以下になる ( らしい )

5. Sensing(3)
[ 制限事項 ]
1. 入力の空間的な位置を把握できない
巧妙な音響指紋アプローチ ( ？ ) をすれば可能 [8]
関連研究としては、複数マイクを用いて位置検出を行っていた [10]
汎用性重視なので、そこは無視
2. 表面の材質が、きめ細かいものである必要がある
材質が細かいものの方が、音を効率よく生成しやすい
硬い材質というのは前提条件

6. Sensing(4)
[ やりたいこと ]
・壁、ドア、服、机、カウンター、キャビネット等、多くの表面に使用可能
したい
・貼付けるだけでセンシング可能に ( 設置が簡単 )
[ その他 ]
・また、二つの別々のテーブルは隣接されていも競合しない
それぞれが独立したタスクをこなせる
・尖ったものであれば、ツメでなくてもいける可能性がある

7. Gesture Recognition
・一番シンプルな認識方法
指を動かす加速度による検知
具体的には、高周波、振幅 ( 音量 ) を用いる
・もうちょっと複雑な方法 ※ M/W 、 V/L 、 X/T は難しい
ユニークな信号を元に認識

8. Gesture Recognition(2)
[ アルゴリズム ]
初期はダイナミック時間と、単純ベイズ分類器を用いた。
最終的には、ピークカウントと、振幅の変化に基づいた決定木を用いた。
モバイルデバイスで簡単に動き、リアルタイムに処理可能。
他には、ジェスチャー除去、ノイズ低減、振幅に依存しないピーク検出の手
法をいくつか使っている。

9. Gesture Recognition(3)
[ 検出できるもの ]
1. タップ
高周波と高強度の短い音のバーストによって特徴づけられる。
( ただ、どんなシステムでも出て来るが環境騒音がネックになる )
でも、なんか上手くいってるみたい ( 何故 !?)
2. スクラッチ入力
3kHZ 以上で動作させる事により、多くの問題 ( ノイズ等 ) を回避する。

10. Testing
[ テーブルに携帯を置いて実験 ]
木は緻密な素材なため、音を出しやすい
色んなテーブル (13 メートル、幅 1 〜 2 メートルの深さまで ) 、色んな場所
でテストしたけど、結果は良かった
ただし、二つ例外があり、ガラスと高光沢の木製テーブルは検出される信号
が弱すぎた

11. Testing(2)
[ テーブルに携帯を置いて実験 ]
センサはテーブルに置き、その上に適切な圧力がかかるように携帯を置いた
。
携帯が鳴ったときの応答として、ノーマルモード・サイレントモード ( 拒
否 ) ・アンサーモード ( 受け答える ) の 3 つをやったが、機械学習ベースの
エンジンはちゃんと反応した。
シンプルだけど、この実験は良かった。
机にデバイスが複数ある場合、ジェスチャーをブロードキャストしてみたい
とか考えていた。

12. Testing(3)
[ 壁をなぞる実験 ]
一般的な壁は乾式壁で、センサは 8m 感知できた。一つのセンサで、床から
天井までの 16m 、約 40 平方メートルの面積を認識できる。
コーナーによく届き、ドアの開口部は信号は弱くなるが一応届いた。
壁をダブルタップで再生 / 停止、ダブルスワイプでボリューム切り替えを行
った。
※ 適切な表面処理をせずにスクラッチを繰り返すと、傷がつく。

13. Testing(4)
[ 覆われたデバイスの実験 ]
多くのデバイスはプラスチック等で覆われている
Macbook Air を使って実験
1 個目 : タップすると、パワポのスライドをすすめたり
2 個目 : シングルタップでファイルやディレクトリを選び、ダブルタップで
開く
( ここの実験は、良くわからなかった )

14. Testing(5)
[ 布を使った実験 ]
モバイルはしばしばポケットにある。
シンプルなアクションのために一々取り出すのめんどくさいので、足を触っ
たら検知できるか実験した。
ポケットにセンサを入れて、左足にジェスチャーした場合、膝からベルトの
ラインまで検知できた。人間の抗生物質は多くが水なため、伝送特性が高い
ためだと考えられる。
ただ、右足や手は検知しなかった。あと歩いてるときのノイズ凄そう。

15. Evaluation
15 人 ( 女性 9 人 ) 、平均年齢 31 歳。 現実世界の入力面で実験するため、参
加者の家やオフィスで行った。 参加料として、 10 ドル払ったよ。
実験内容は、 6 つのシンプルなジェスチャーを選択してもらった
だいたい 89.5% の成功率 ( 後者 4 つは難しかった ) 。

16. Conclusion
ツメのなぞりを用いたスクラッチ入力実験を行った
色んなものに使え、安くて、持ち運び可能

17. ふろく

18. ピークカウント

19. 決定木

20. 単純ベイズ分類器 (naive bayes)
・文書の出現確率を、単語の出現確率の積で近似する
語順を考慮しない
単語間の相関関係を考慮しない
だいたん
・教師あり学習とか、だったはず。。。