背面投影型Dagik Earthのための
球面マルチタッチパネルの開発
小山 幸伸1、増田 花乃2、Pipatpol TANAVONGCHINDA3、佐藤 弘1
1 大分工業高等専門学校 情報工学科
2福井大学工学部 情報・メディア工学科
3Dept. of Computer Engineering, Kasetsart University
1
マルチタッチパネル化への動機
ADASS 2014, Calgary, Canada
• ADASS2014やAOGS2014において、外国人向けにDagik Earthを
展示した。多くの人々が、球面にタッチしようとした。
↓
• 国籍や年齢などの背景は違えど、触って回したくなる情動は同じ。
↓
• 安価に実現できないか?
5
タッチパネルの仕組みと原理
• 入射光側の媒質の
屈折率ni, 入射角θ1
• 屈折光側の媒質の
屈折率nr, 屈折角θ2
[1] http://www.ne.senshu-u.ac.jp/~proj24-24/yamapro_log/other/touch.pdf
平面への適用例[1]は多数あるのに対し、球面への適用例は見当たら
ない。 3
研究体制
• 昨年度から引き継いだ、高専5年生(大学2年次相当)1名の卒研
テーマとして取り組んでいる。
• 週2日の午後が卒研の時間。
• 進学/就職活動のため、また夏休みもしっかり休むため、
本格的に研究を始めるのは、後期が始まる10月ごろ。
4
カメラの分光感度曲線例(その1)
5
Webカメラについてい
る赤外線カットフィル
ターによる効果。
http://buffalo.jp/product/multimedia/web-
camera/bswhd06m/
参考価格:¥991-
我々のカメ
ラ
カメラの分光感度曲線例(その2)
6
フィルターを除去し、
赤外線もカメラで検出
できるようになった。
フィルター除去後のカメ
ラ
カメラの分光感度曲線例(その3)
7
赤外透過フィルターをつけ、
可視光をカットした。
IR-84
参考価格:¥1,680-
赤外透過フィルター付きカ
メラ
可視光と赤外光で用途を住み分ける。
8
コンテンツ表示用 タッチ制御用
プロジェクターからの光
9
http://www.epson.jp/products/bizprojector/ebs04
/
参考価格:¥39,980-
我々が使っている
プロジェクタ
Webカメラへの影響を
避けるために、赤外線
カットフィルターを追
加しないといけないか
も!?
以下、タッチ制御用の
赤外光にのみ着目
10
Web Camera without any filters
11
Community Core Vision (CCV)
17
18
Overview
CCV TUIO
19
Web Camera
3333USB
A Protocol for Table-Top Tangible User interfaces (TUIO)
20
DagikTouchController
• タッチパネル制御用プログラム。
• TuioMouse.jarを改変した。
• TuioMouse.jarは継承しずらい記述だったので、オリジナルソースを改
変した。
• libTUIO.jarを利用している。
• 開発現状をGistにアップロードした。いずれGithub管理に移行
する。
• DagikTouchController.java
https://gist.github.com/koyamalmsteen/acdbd9a1cfa3cef1f2bdec259739a30f
• build.xml
https://gist.github.com/koyamalmsteen/38294f19d057f179d24e953319d1dbc6
21
Cross Platform
• CCV and TUIO run on Windows, Mac, and Linux.
• We confirmed that those softwares run on Mac.
↓
• Raspberry Pi 3の様に、安価で実用的な速度で動く小型コン
ピュータを用いて、組み込める可能性を示唆している。
https://www.raspberrypi.org/products/raspberry-pi-3-model-
b/
22
実験器具とライブラリ
23
実験と考察1 実験
アクリル板側面に1~10個の赤外線
モジュールを取り付けアクリル板
表面をタッチし、赤外線カメラを
用いてタッチ箇所から漏れた赤外線
を検出できるかどうか確かめる
結果
赤外線カメラでタッチ箇所の検出
ができなかった
考察
●アクリル平板の側面がなめらか
でないため、赤外線が散乱する
●赤外線入射箇所以外のアクリル
板側面から入射した赤外線が
漏れ出ている
24
実験と考察3
実験
●入射した赤外線が漏れ出るのを防ぐ
ため、アクリル板に赤外線入射の
ための穴を1つあけた反射テープを巻く
●穴から赤外線が入射するように赤外線
モジュールを1つ取り付け、赤外線
カメラを用いてタッチ箇所から漏れた
赤外線を検出できるかどうか確かめる
結果
赤外線カメラでタッチ箇所の検出ができ
なかった
25
実験と考察4
実験
●赤外線の通り道を探るため
アクリル板に入射のための穴、赤外線
の漏れを確認するための穴を各1つあ
けた反射テープを巻く
●穴から赤外線が入射するように赤外
線モジュールを1つ取り付け、側面にあ
けた穴から赤外線が検出できるかどう
か確かめる
結果
赤外線カメラで赤外線の検出ができな
かった
26
実験と考察5
実験
●赤外線の通り道を探るため、
アクリル板に入射のための穴
を7個、赤外線の漏れを確認
するための穴を1個あけた反射
テープを巻く
●穴から赤外線が入射するように
赤外線モジュールを7個取り付け
側面にあけた穴から赤外線が
検出できるかどうか確かめる
結果
アクリル側面の穴から赤外線が
検出できた
27
10cm円盤+LED1個によるマルチタッチパネル
40cm円盤+LED3個によるマルチタッチパネル
40cm半球+LED4個によるマルチタッチパネル
まとめ
• 大分高専において、卒業研究の一環として背面投影型Dagik
Earthのマルチタッチパネル化へ取り組んでいる。
• 技術的困難は乗り越えたので、細部の作り込みが必要。
• プロジェクターを用いたコンテンツ表示と、赤外線カメラを用
いた制御のインテグレーションは未だ。
31

背面投影型Dagik Earthのための球面マルチタッチパネルの開発

Editor's Notes

  • #4 アクリル板の絶対屈折率をni、空気の絶対屈折率をnrとした際、入射角をθ1、屈折角を θ2とすると、ni sin⁡θ1 = nr sin⁡θ2 のスネルの法則が成り立ち、これにより、アクリル半球内を赤外線が全反射することがわかります。 半球面を指で触ると、屈折角が変わることにより、それまでの全反射が崩れ、指で触れた箇所が発光します. これを赤外線カメラで認識することにより、タッチ箇所の座標を得ることができます。
  • #24  本研究では、アクリル半球を用いた実験に先立って、まずアクリル平板の中を赤外線が全反射するかどうか確認するための実験を行います。 アクリル板に赤外LEDを保持するため、ダブルクリップを加工してLEDブラケットとしました. Dagik Earthは移動した先で設営することを考慮する必要があり、配線が複雑でない回路が必要です. 赤外線LED1つと抵抗1つをはんだづけし、絶縁チューブで覆い赤外線照射モジュールとしました。 また、マルチタッチパネルのライブラリとして、Touch libを使用しました。Touch lib は、認識した赤外光を追跡処理し、マルチタッチ操作を実現するためのライブラリです. Touch libを実行し、赤外線カメラに赤外LEDを近づけると、図 のように赤外線が検出されていることを確認できました。
  • #25 図のように、アクリル板側面に10個の赤外線モジュールを取り付けアクリル板表面をタッチし、赤外線カメラを用いてタッチ箇所から漏れた赤外線を検出できるかどうか確かめました. その結果、タッチ箇所の検出ができませんでした. 原因として、この実験で用いた赤外LEDは先端が丸く、アクリル側面に接しない部分が多いため赤外線がアクリル板内に入っていかなかったこと、 アクリル板の側面がなめらかでないため赤外線が入りにくく、アクリル内における赤外線の全反射が起こらなかったこと、 赤外線入射箇所以外のアクリル板側面から、入射した赤外線が漏れ出ていることが考えられます。
  • #26 次に、アクリル板側面から入射した赤外線が漏れ出るのを防ぐために、 図のようにアクリル板に赤外線入射のための穴を1つあけた反射テープを巻きました。 この穴から赤外線が入射するように赤外線モジュールを1つ取り付け、アクリル板表面をタッチし、タッチ箇所から漏れた赤外線を検出できるかどうか確かめました.その結果、タッチ箇所の検出ができませんでした.
  • #27 これまでの実験でタッチ検出ができなかったことを受け、赤外線の通り道を探るために、 アクリル板に赤外線入射のための穴を1つと、側面から赤外線が漏れているかどうか確認するための穴を1つあけた反射テープを巻きました. また、光の通り道のシミュレーションに、光線光学シミュレータのOptGeoを用いました. シミュレーション結果はこちらの図のとおりです. この穴から赤外線が入射するように赤外線モジュールを1つ取り付け、側面にあけた穴から赤外線が検出できるかどうかの実験を行いました. その結果、赤外線が検出できず、シミュレーションどおりに光が反射していないことがわかりました。
  • #28 先ほどの実験で赤外線が検出されなかったことを受け、実験に用いた赤外LEDの数が原因と考え、数を増やすことにしました. アクリル板に赤外線入射のための等間隔の穴を7つと、赤外線を確認するための穴を1つあけた反射テープを巻きました. 穴から赤外線が入射するように、赤外線モジュールを7つ取り付け、穴から赤外線を検出できるかどうか確かめました. その結果、こちらの図のように、赤外線が検出できました。取り付けた赤外線モジュールの数だけ赤外線が見えていることを確認できます。 これらの実験結果より、赤外線は側面に対して垂直に近いものしか入射しておらず、アクリル板内で赤外線の全反射は起こっていないと考えられます. また、赤外線モジュールを1つ用いて行った実験に対して、7つ用いた実験では赤外線が検出されたことより、1つの赤外LEDではアクリル板内に十分に赤外線が通らないということがわかります。