Download to read offline
Uploaded byJunya Ishioka
181227-effect of introduction of VR/AR technique and 360 livestreaming for High-Voltage Electron Microscope
For getting new environment for supporting researchers' experiment from remote, I tried to operate 360 live streaming, VR and AR and studied responses from laboratory member. http://microscopy.or.jp/jsm/wp-content/uploads/2018/11/2018122_seitaibunseki.pdf
181227-effect of introduction of VR/AR technique and 360 livestreaming for High-Voltage Electron Microscope
- 1. 2018年度 日本顕微鏡学会生体解析分科会 研究会「失敗から学ぶ顕微・可視化技術」 @ホテルメルパルク松山 Hokkaido MotionControl Network(DoMCN) 石岡 準也 協力：北海道大学 超高圧電子顕微鏡室、 株式会社リコー VC開発部
- 3.
- 4. ⓪簡単な自己紹介 と 参加の動機 ①バーチャルリアリティ（VR）導入 視聴体験、装着体験、事例紹介 ②拡張現実（AugmentedReality）導入 HoloLens体験、（事例紹介） ③北大超高圧電顕での実験事例 ④これからの未来について分かっている事 ⑤DoMCNのコミュニティ紹介
- 5.
- 6. 石岡 準也 北海道大学工学研究科 応用物理学専攻修了 鏡映対称の破れた電荷密度波の発見（PRL, 2010) 北海道大学工学研究院附属 エネルギーマテリアル融合領域研究センター イオン液体中ZｎOへの超高圧電顕内レーザー照射 による光腐食効果その場観察(AIP Adv., 2017)
- 7. PRL 2010 AIPAdv. 2017
- 8.
- 9. RICOH THETA +UCSシステム + Virtual desktop + VR 空間ユーザーインターフェースを利用した実験支援環境 Mikulus/ XVI Inc. 動画 指導係 ＋自分専用 作業空間
- 10. RICOH THETA +HoloLens + Remote Desktop + UCS 空間を全部使って論文検索・PDF同時展開可能 空間ユーザーインターフェースを利用した自己支援環境 動画 学生or 研究員
- 12.
- 14.
- 15. 日本列島360 by VoxcellDesignInc. @Voxelkei 操作ボタン 不使用 前後左右上下にCG ゆっくり飛行 Oculus Go
- 16.
- 18.
- 19. HoleLenz by VoxcellDesignInc. @Voxelkei HoleLenz Gate by VoxcellDesign Inc. @Voxelkei コツ:HoloLensのカメラに指を見せる すばやく倒してつまむ動作 マウスで言うところの左クリック 「air tap」 ・壁床天井に貼りつく孔を開ける ・２ｍ先に、通過可能な孔を開ける 環境を認識できるコンピュータ
- 20.
- 21.
- 23.
- 24. 時空を超えた仕事スタイルのアップデートが近い https://channel9.msdn.com/Events/de-code/2017/keynote-en Alex Kipman ＠Microsoftde:code 2017 keynote 2017/5/23 PC PC+VR 独立型AR 2人招待すると… 臨場感 場所とデバイスを超越
- 25.
- 28. RICOH THETA +HoloLens + Remote Desktop + UCS 空間を全部使って論文検索・PDF同時展開可能 Google Scholar Remote desktop Wi-fi Photo PDF 顕微鏡用 モニタ （実物）
- 29. RICOH THETA +HoloLens + Remote Desktop + UCS 空間を全部使って論文検索・PDF同時展開可能 動画
- 30. RICOH THETA +HoloLens + Remote Desktop + UCS 空間を全部使って論文検索・PDF同時展開可能 RICOH R Win 10 PC 顕微鏡用 モニタ （実物）
- 31. RICOH THETA +UCSシステム + Virtual desktop + VR Mikulus/ XVI Inc. 360双方向会議アプリ 作業用ディスプレイ （仮想） RICOH Rからの映像 自分
- 32. RICOH THETA +UCSシステム + Virtual desktop + VR Mikulus/ XVI Inc. 動画
- 33. THETA ① THETA② THETA①からのライブ映像 THETA②からのライブ映像 アプリの操作画面 RICOH Unified Communication System Apps “RICOH TAMAGO 360 VR Live” ビデオ会議用システム インターネットクラウドを経由して 複数拠点の画像・音声を送受信するアプリ PC Android iOS 全て対応済み ↓ どこからでも見られる
- 34. 皆リモートで超高額装置での実験を眺めよう 「その場観察その場観察」 ・フルHD解像度360ストリーミング（使用帯域 数Mbps） 映像遅延0.3-0.5 sくらい射程距離１．５ m ・実験室のモニタ、実験者、マシントラブル予兆 把握できる 通訳の補助も実施済み ・危なくなったら教授にプッシュ通知送信（独自実装） ・全天録画→事件後に検証可能 ・機密の仕事はバーチャルの追加モニタ内で完結 ・HoloLensでWPFアプリ動かすだけ 簡単 ↓2018/10/ 6 Tokyo HoloLens ミートアップ vol.10
- 36.
- 37. 従来の実験 時間 実験・データ取得 データ整理データ報告・討論 このあたりで 真の成否に気付き始める 次の実験・再実験 時間 実験・データ実況報告・討論 次の実験・再実験 現実をベースに早く判断する環境 追検証もできる ライブサポート有りの実験 （イレギュラー発生時） 別実験
- 38.
- 39. 従来の実験 時間 実験・データ取得 データ整理データ報告・討論 このあたりで 真の成否に気付き始める 次の実験・再実験 時間 実験・データ実況報告・討論 次の実験・再実験 現実をベースに早く判断する環境 追検証もできる サポート有りの実験 （イレギュラー発生時） 何も起きなかった（その場観察実験そのものが遅滞） 試料作りに致命的な遅れが生じて観察に辿り着けない 仕方がないので装置の外部利用者（外国人学生）にサポートを試した
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 47. 数万円で消費財的に買えるデバイスが続々リリース 便利な組み合わせを考えるだけ →考えられる人を育てる RICOH R 約6万円 Insta 360one X 約6万円 Oculus Go 約2万円 Lenovo Mirage Solo 約5万円 LookingGlass 約5万円 iPhone X 約10万円 Sonｙ LSPX-01 約8万円 Zoom H3-VR 約4万円 撮 撮 録 視る 視せる
- 49. Tokyo MotionControl Network(TMCN)の 弟コミュニティとして、2018年5月にゆるく結成(非営利) TMCN HMCN（広島） FMCN（福岡） KumaMCN（熊本） T2MCN(台湾） DoMCN TokyoHoloLens Meetup Vol.10 １０/6 マイクロソフト品川本社 （石岡も5分間トークで登壇） KMCN（関西） ”HoloMagicians” TMCN系列の中でも ウェアラブル系に 興味の強い人々 20４３人
- 51. 札幌 HoloLens MeetupVol.1(4/21)札幌 HoloLens Meetup Vol.２(7/21)札幌 HoloLens Meetup Vol.3(10/27) ・サービスを有効活用して 効率的に勉強会を開催して ・特にSNSを活用して、 リピーターを増やす ・直接会って信頼を深めたり 地方参加のきっかけを作ったり 個人の活動履歴 https://connpass.com/user/Junya_Ishioka/ ほぼ好奇心だけで遊びに来てくれる人たちの輪が大学の外にあることが判明（超少数）
- 52.
- 53. 研究部会 安永先生並びに ご同席の皆様 登壇の機会を 与えていただき ありがとうございます 実証試験協力： 北海道大学 超高圧電子顕微鏡室 技術協力：株式会社リコー VC開発部 https://www.slideshare.net/JunyaIshioka/180721-the- concept-of-social-electron-microscope-107005816 Social Electron Microscope構想 -先端VRとHoloLensを大学の材料研究現場に唐突にぶっこんでみーた話- 2018/7/21 札幌HoloLens ミートアップ vol.2 ～夏編～ https://www.slideshare.net/JunyaIshioka/181006-social- electron-microscope2-simulation-of-propagating-xr-culture 電子顕微鏡運用の遠隔支援システム（VR×360゜×AR） を実装してわかったこと 2018/10/6 東京HoloLensMeatup Vol.10＠日本マイクロソフト https://www.slideshare.net/JunyaIshioka/181017- osakaxrmeetinglt YOUは何しに大阪へ！？ 2018/10/17 【大阪】XRミーティング＠大阪駆動開発 関連発表 #DoMCN