2014 Keio SFC Open Research Forum posters by Yasuto Nakanishi Lab.

1. どのインタラクションが
あなたは好きですか？
私たちはコンピューターと人間との今後の関わり合いを考え、
比較的パーソナルな機械であるデスクトップ扇風機を取り上げた。
インタラクション・カタチ・機能の３つの要素が影響し合い、人とロボッ
トの関係性を決めるのでは無いのか、ということに事例研究を通して気がつ
いた。その中でも私たちはインタラクションに着目した。 機能カタチ
インタラクション
操作型
介入
センシング
15年後10年後5年後
ジェスチャー
■ 介入型■ センシング型■ ジェスチャー型■ 操作型
ORF でみなさまの意見を収集し、最適なインタラクションとインテリジェンスのバランスを深堀り、研究したい。
❺ 今後
❶ 事例調査
❷ ビデオで観察
❸ インタラクションとインテリジェンス
❹ プロトタイピング
■ はじめに
■ 研究へのアプローチ
人と既存の扇風機のインタラクションを６０分間ビデオを撮り、観察する
と、風力が強すぎて「目をこする」や「机の上の紙を重りで抑える」という
人が無意識にとっているしぐさに気がついた。人のココロを読みとり、操作
を自動変換するインテリジェントなコンピュータの可能性について考えた。
それまでの調査・観察を通して、人はインテリジェンスなコンピューター
に至り、それを実験するべく３つのプロトタイプを作成することにした。
を求める一方、インタラクティブな要素も必要としているのではという疑問
人がボタンを押したり、
位置を変えることで風量
を変える。操作というイ
ンタラクションを必要と
する、既存の扇風機。
人の焦り度や体感の暑さ
に対応し、扇風機の風量
を自答的に調整する、セ
ンシング型の扇風機。人
の操作もジェスチャーも
必要としない。
ジェスチャーによってコ
ントロールする扇風機。
一方的な操作から、より
自然なジェスチャーとい
インタラクションへの移
り変わり。
人の表情や顔の動きを感
知して、動き豊かに変え
ることができる。インテ
リジェントで且つ、人の
生活にインタラクティブ
に介入してくる扇風機。
インタラクションの移り変わり予想図
機械に対する人の動きを観察。

2. Processinglue
Keywords : Augmented Environment, Simulation, Visualization, Creative Coding, Processing
CityCompiler の開発には Java ベースゲームエンジン jMonkeyEngine を用いた．シェーダーにより影や水面など
を表現できたり物理エンジンが最初から組み込まれているといった幾つかの利点があったが，Processing を利用
するユーザにとって，Java による jMonkeyEngine のプログラミングを学習する必要があることがハードルとなっ
ていた．そこで Processing の 3D 空間の中で Processing が動作する仮想ディスプレイや仮想カメラを開発した．
これにより Processing を知っていれば，様々な入出力装置が動作する空間をデザインすることができる．
このシステムを Processing の開発者である Casey REAS にデモンストレーションをする機会を持つことができ，
その縁から彼らの書籍の翻訳プロジェクトをスタートしている（BNN より来春に出版予定）．
Processing, second edition, MIT Press
CityCompiler
Keywords : Augmented Environment, Simulation, Visualization, Creative Coding, Processing
情報デザインProcessing
カメラやスマートフォン , プロジェクタや大型ディスプレイの普及と共に入出力機器の空間的な配置が意味を持つ
情報システムが我々を取り囲む環境の一部となりつつある . 複数の入出力機器を実空間に配置するシステムを開発
する際にはプロトタイピングおよび実際的なテストを行う事が難しい . そこでインタラクティブな情報システムが
3D 空間の中で動作する様子をシミュレーションし開発できる設計開発支援システム：ゲームエンジンをベースに，
Processing が動作する仮想ディスプレイや仮想プロジェクタ，Processig の入力にできる仮想カメラや仮想センサ
を仮想空間に複数配置できるシミュレータを構築してきた．書いたコードはそのまま実空間で使うこともできる．
また模型空間を併用するハイブリッドプロトタイピングを提案し，その有効性を検証した．
上段：作品展示のシミュレーション
及び実空間への配置
中段：仮想プロジェクタ（左）
仮想ディスプレイ（右）
下段：仮想移動ロボットの群シミュレーション（左）
仮想カメラを備えた仮想Drone（右）仮想シミュレーション 模型シミュレーション 実空間への配置
空間デザイン
SketchUp
jMonkeyEngine

3. TracePlayer
Parallel Prototyping of Digital Sports
Keywords : Sports, Game, Simulation, Visualization
スポーツとゲームを融合したデジタルスポーツのシステムの中でも複数の入出力装置を空間的に配置するシステム
を開発するには，CityCompiler や Processinglue のようなシミュレーションが有効であろう．ロボットを用いた
デジタルスポーツとそのシミュレーションを並行的に開発した知見から，デジタルスポーツで多く構築される可視
化システムおよびデジタルゲームも合わせて開発する過程を提案した．共通の要素を用いながらも異なるシステム
達を大きなひとつのシステムとして開発することで，拡張現実感システム／複合現実感システム／仮想現実感シス
テムを同時並行的に開発する手法を提案した．
デジタルスポーツの開発にハイブリッドプロトタイピングは有効か？
だとしたらそれはどのようなハイブリッドプロトタイピングか？
Physical
Space
Virtual
Space
？
デジタルスポーツ＋可視化＋シミュレーション＋ゲーム
Virtual
Body
Virtual
Body
Physical
Body
Physical
Body
Imaginary
Space
Virtual
Body
Virtual
Body
Virtual
Space
Virtual
Body
Virtual
Body
Virtual
Space
Physical
Body
Virtual
Body
Virtual
Space
Physical
Body
Physical
Body
Physical
Space
Physical
Body
Physical
Body
物理現象のパラメータのスタディセンシングデータの読み込み
デジタルスポーツ 可視化 可視化
＋
シミュレーション
シミュレーション ゲーム
仮想ロボットの動作ルールの読み込み
Keywords : Sports, Training, Skill, Notation, Dance
スポーツにおける上級者の身体動作を学習者に伝える新しい方法として , 舞踊の記譜法を用いて身体動作を床面に
表記し , それを学習者自身が再生しさらに他者が再生する様子を学習者が観察できるシステムを構築したいと考え
ている . その記譜法として舞踊におけるラバノーテーションを , そしてそれを再生する他者として移動ロボットを
用いることを提案するにあたり , その基礎的な検討としてカラーセンサを用いたライントレースロボットを試作し
た . サッカーやバスケットボールにおけるドリブルのような身体的なリズムを伴う移動の再生に車輪ロボットを用
いることを提案し今後の課題を検討している．
S9706 カラーセンサ x 4

4. Intermediate Face
RAM+MOTIONER
Keywords : dance, improvisation, sensor, space, speed
YCAM InterLab+Yoko Ando Joint Research and Development Project “Reactor for Awareness in Motion(RAM)”
Team Speed：今西悠介，北川結，北堀あすみ，笹本龍史，原島大輔，中西泰人
RAM および MOIONER は YCAM（山口情報芸術センター（山口情報芸術センター）とザ・フォーサイス・カン
パニーの安藤洋子によるダンスの創作と教育のためのツールを研究開発するプロジェクトである．そこで開発さ
れたモーションセンサと汎用性の高い可視化プログラムは，単なる舞台作品の演出のためではなく，ダンスの一
つの本質を捉えそれを伝えることを目的としている．RAM では身体やダンサー同士の位置関係や軌跡に対するル
ールを決めることで創発現象としての新たなダンスが即興的に生まれていく．
RAM SUMMER CAMP 2014 最優秀チームである Team Speed は中でも身体の “速度” にフォーカスした新たな
シーンを開発している．ダンサーとプログラマの対話を引出し，踊り手と身体の新しい対話を引き出すメディア
としての RAM と MOTIONER の可能性を探っている．
シャドウイングは聞いた音を即座に発話する外国語の学習方法である．発話の音韻やリズムなどより実践的な技
術を学ぶことができ，通訳育成などで広く活用されている．また一方で外国語の発音には顔や口，腹筋といった
身体の使い方を学ぶ必要もある．そこで本研究では音だけのシャドウイングに加え，画像処理技術を用いて顔や
口の動きを真似るシャドウイングを行うシステムを構築した．教師と学習者の顔の動きを Face Tracking により
検出し、それぞれの顔の動きを入れ替えて合成した顔である “中間顔：Intermediate Face” を提示する．認知的
負荷が高いと言われるシャドウイングにおいて，ゴールである教師との間のサブゴールとして中間顔が機能する
ことが期待できる．Amazon Mechanical Turk を用いた予備的な実験において，音だけのシャドウイングと中間
顔を用いたシャドウイングを比較しその有効性を検討した．
camera view
学習者の顔を表示
intermediate view
Intermediate Face を表示
teacher view
教師の顔を表示
mouth view
学習者と教師の口元のアップを表示
the width and the tilt of
the the learner’ s face mesh
the teacher’ s
face still image
the width and the tilt of
the the teacher’ s face mesh
the learner’ s
face 3D mesh
the teacher’ s
face 3D mesh
the learner’ s
face still image
intermediate face A
Intermediate Face A
( 学習者の Intermediate Face)
Intermediate Face B
( 教師の Intermediate Face) cropping the mouth image