190730 Introduction of VR/MR in Experimental Equipment for Real-time Discussion with Scientists
•
0 likes•1,072 views
On 30th July I had a long talk about application of VR and MR technique for improvement of Scientific Exploration. The application in the field of electron microscope was first case in domestic University in Japan.
Recommended
More Related Content
Similar to 190730 Introduction of VR/MR in Experimental Equipment for Real-time Discussion with Scientists
Similar to 190730 Introduction of VR/MR in Experimental Equipment for Real-time Discussion with Scientists (20)
More from Junya Ishioka
More from Junya Ishioka (20)
Recently uploaded
Recently uploaded (7)
190730 Introduction of VR/MR in Experimental Equipment for Real-time Discussion with Scientists
- 1. 研究現場における バーチャルリアリティ(VR)・複合現実(MR) 技術活用動向からミライのスタイルを考える Hokkaido MotionControl Network 石岡 準也 2019/07/30 国立研究開発法人 物質・材料研究機構 千現地区 8F中セミナー室 掲載OK #DoMCN 質問用website Slido: X618 ＠jun_mh4g協力：北海道大学 超高圧電子顕微鏡室、 株式会社リコー VC開発部
- 3. 掲載OK #DoMCN
- 6. 掲載OK #DoMCN
- 8. 日本列島360 by VoxcellDesign Inc. @Voxelkei 操作ボタン 不使用 前後左右上下にCG ゆっくり地球上を飛行 Oculus Go
- 11. 簡単に自己紹介 石岡 準也 Hokkaido MotionControl Network 北海道大学工学研究科 応用物理学専攻 修了 鏡映対称の破れた電荷密度波の発見（PRL, 2010) 北海道大学工学研究院附属 エネルギーマテリアル融合領域研究センター 博士研究員 イオン液体中ZｎOへの超高圧電顕内レーザー照射による 光腐食効果その場観察(AIP Adv., 2017)
- 13. 講演の経緯について 2018年度 日本顕微鏡学会生体解析分科会 研究会 「失敗から学ぶ顕微・可視化技術」 @ホテルメルパルク松山 2019年度 日本顕微鏡学会 第75回学術講演会 「顕微鏡学のパラダイムシフト」 @名古屋国際会議場 移動式 体験会 竹口先生 体験 実施報告＆体験会
- 14. 掲載OK #DoMCN
- 16. HoleLenz by VoxcellDesign Inc. @Voxelkei HoleLenz Gate by VoxcellDesign Inc. @Voxelkei コツ:HoloLensのカメラに指を見せる すばやく倒してつまむ動作 マウスで言うところの左クリック air tap範囲 ・壁床天井に貼りつく孔を開ける ・２ｍ先に、通過可能な孔を開ける 環境を認識できるコンピュータ
- 19. 掲載OK #DoMCN
- 21. 2016～2017年の大事件 de:code 2017 keynote 2017/5/23 https://channel9.msdn.com/Events/de-code/2017/keynote-en 2:15:55～
- 22. 桜花広場 by ouka-ichi-mon Inc. @oukaichimon 人差し指トリガー ：レーザーポインタ VR内井戸端会議 Oculus Go、PC VR、PCのみ それぞれの環境から参加可能 http://ouka.s108.coreserver.jp/ouka_hiroba.html オフィス機能 × xR技術
- 23. HoloeyesXR by Holoeyes株式会社 コツ:HoloLensのカメラに指を見せる すばやく倒してつまむ動作を保持 左右同時に行うことで回転・伸縮・移動 air tap &Hold 人体データCGを三次元のまま理解 端末装着者間で作業を共有https://holoeyes.jp/ 医療 × xR技術
- 28. 分子模型の３D表示＋注釈 https://www.slideshare.net/satoshibfujimoto/azurehololens2018年 第79回応用物理学会秋季学術講演会 2018 札幌HoloLens Meetup Vol.2 登壇スライドより引用
- 29. 見える化シンポジウム（２０１９/3月） 物性研究所計算物質科学研究センター VRChat内から登壇 (@Banjo_Kanna) #見える化 株式会社クロスアビリティ松原庄吾氏 バーチャルYoutuber × 計算機化学 核分裂シミュレータワールド in VRChathttps://ccms.issp.u-tokyo.ac.jp/event/1200
- 33. これから来るMRデバイス HoloLens 2 nreal light Magic Leap One de:code2019 (5月)にて体験会 日本で予約開始 販売時期未定 KDDIと提携 スマホと連携する 最軽量デバイス NTTドコモが出資 現行機は発売済 （技適認可待ち） 次世代機を販売
- 36. 掲載OK #DoMCN
- 38. 実験室について容・結果・検証 1階部分 電顕観察用PC 電顕操作盤 レーザー照射位置確認用PC 真空系制御盤 真空度測定系 17 m 学生 メンター 2階部分 レーザー光路操作PC レーザー照射位置微調整 ナノ秒レーザー 発振制御PC フェムト秒レーザー 操作盤 イオンビーム 操作盤 2基 真空系制御盤 2基
- 41. 先ほどの新型コミュニケーションの概要図 https://channel9.msdn.com/Events/de-code/2017/keynote-en Alex Kipman ＠Microsoft de:code 2017 keynote 2017/5/23 PC PC+VR独立型AR 2人招待すると… 臨場感 場所とデバイスを超越
- 42. 実験現場で使えるか？ 遠隔会議 ⇔ 実験支援 ？ 会議室 実験室
- 44. 何ができるか 皆リモートで超高圧電顕での実験を眺めよう 「その場観察その場観察」 ・フルHD解像度360ストリーミング 映像遅延0.3-0.5 sくらい 射程距離１．５ m ・実験室のモニタ、実験者、マシントラブル予兆 把握できる 通訳の補助も可 ・判断難しい場面は上位の熟練者に救助要請を送信 ・全天球録画→後に全画角を検証可能なアーカイブ素材 ＜VR/ARをプラスするメリット＞ ・機密の仕事はバーチャルモニタ内で完結、自分ごと化 ・HoloLens を使うとデッドスペースが情報空間に変化 ↓2018/10/ 6 Tokyo HoloLens ミートアップ vol.10
- 45. RICOH THETA + HoloLens + Remote Desktop + UCS 空間を全部使って論文検索・PDF同時展開可能 空間ユーザーインターフェースを利用した自己支援環境 Google Scholar Remote desktop Wi-Fi Photo PDF 大判の 研究ポスタ マニュアル なども 置ける 顕微鏡用 モニタ （実物）
- 46. RICOH THETA + HoloLens + Remote Desktop + UCS 空間を全部使って論文検索・PDF同時展開可能 空間ユーザーインターフェースを利用した自己支援環境 動画 https://www.youtube.com/watch?v=CebgfFMpOTI
- 47. RICOH THETA + UCSシステム + Virtual desktop + VR 空間UIを利用した実験支援環境 ＋ 作業環境の構築 360双方向会議アプリ 作業用ディスプレイ （仮想） RICOH Rからの映像 自分 Mikulus/ @GOROman
- 48. RICOH THETA + UCSシステム + Virtual desktop + VR 空間UIを利用した実験支援環境 ＋ 作業環境の構築 Mikulus/ @GOROman 動画 https://www.youtube.com/watch?v=r_GX2cjygNg
- 50. THETA ① THETA ② THETA①からのライブ映像 THETA②からのライブ映像 アプリの操作画面 RICOH Unified Communication System Apps “RICOH UCS 360 VR Live” ビデオ会議用システム インターネットクラウドを経由して 複数拠点の画像・音声を送受信するアプリ PC Android iOS 全て対応済み ↓ どこからでも見られる 360°双方向多拠点コミュニケーションツール
- 52. 従来の実験 時間 実験・データ取得 データ整理 データ報告・討論 このあたりで 真の成否に気付き始める 次の実験・再実験 時間 実験・データ実況報告・討論 次の実験・再実験 現実をベースに早く判断する環境 追検証もできる ライブサポート有りの実験 （イレギュラー発生時） 別実験 導入によって変化を期待したこと
- 53. 従来の実験 時間 実験・データ取得 データ整理 データ報告・討論 このあたりで 真の成否に気付き始める 次の実験・再実験 時間 実験・データ実況報告・討論 次の実験・再実験 現実をベースに早く判断する環境 追検証もできる サポート有りの実験 （イレギュラー発生時） 何も起きなかった（その場観察実験そのものが遅滞） 試料作りに致命的な遅れが生じて観察に辿り着けない 仕方がないので装置の外部利用者（外国人学生）にサポートを試した 結果
- 56. 5G通信 Society ５．０にむけて THETA ① THETA ② THETA①からのライブ映像 THETA②からのライブ映像 アプリの操作画面 現行のシステムで、１０ Mｂｐｓの安定通信があれば、 遅延の少ないコミュニケーションは可能 数百Mbps～の次世代通信網に乗せれば、 立体を立体のまま地域で送りあう未来はありうる （基地局の整備のボトルネックがある） Azure Kinect（深度カメラ）
- 58. ツールはある 価格破壊が進行 数万円で消費財的に買えるデバイスが続々リリース RICOH R 約6万円 Insta 360 one X 約6万円 Oculus Go 約2万円 Lenovo Mirage Solo 約5万円 LookingGlass 約6万円 iPhone X 約10万円 Sonｙ LSPX-01 約8万円Zoom H3-VR 約4万円 撮 撮 録 視る 視せる 便利な組み合わせを考えると機能の価値が上がる →考えられる人を育てる Azure Kinect 約4万円
- 59. 掲載OK #DoMCN
- 60. Tokyo MotionControl Network(TMCN)の 弟コミュニティとして、2018年5月にゆるく結成(非営利) TMCN HMCN（広島） FMCN（福岡） KumaMCN（熊本） T2MCN(台湾） DoMCN Tokyo HoloLens Meetup Vol.15 6/15 マイクロソフト品川本社 （石岡も5分間トークで登壇） KMCN（関西） ”HoloMagicians” TMCN系列の中でも ウェアラブル系に 興味の強い人々 2406人(19/07/30) Hokkaido MotionControl Network
- 62. Vol.1(2018/4/21) Vol.２(7/21) Vol.3(10/27) ・年4回 大規模に開催 ・イベントまとめを作成 ・大学・高校と連携する ・道内地域とも連携する ・web配信、VR登壇OK ・裾野を拡げる企画多数 個人の活動履歴 https://connpass.com/user/Junya_Ishioka/ さっぽろHoloLens Meetupを開催・運営 Vol.5(5/25)Vol.4(2019/2/16)
- 68. おわり 竹口先生並びに ご同席の皆様 登壇の機会を 与えていただき ありがとうございます 実証試験協力： 北海道大学 超高圧電子顕微鏡室 技術協力： 株式会社リコー VC開発部 https://www.slideshare.net/JunyaIshioka/180721-the-concept-of- social-electron-microscope-107005816 Social Electron Microscope構想 -先端VRとHoloLensを大学の材料研究現場に唐突にぶっこんでみーた話- 2018/7/21 札幌HoloLens ミートアップ vol.2 ～夏編～ https://www.slideshare.net/JunyaIshioka/181006-social-electron-microscope2- simulation-of-propagating-xr-culture 電子顕微鏡運用の遠隔支援システム（VR×360゜×AR） を実装してわかったこと 2018/10/6 東京HoloLens Meetup Vol.10＠日本マイクロソフト https://www.slideshare.net/JunyaIshioka/181017-osakaxrmeetinglt YOUは何しに大阪へ！？ 2018/10/17 【大阪】XRミーティング＠大阪駆動開発 関連発表 #DoMCN https://www.slideshare.net/JunyaIshioka/181227effect-of- introduction-of-vrar-technique-and-360-livestreaming-for-highvoltage- electron-microscope 電子顕微鏡におけるVR技術およびAR技術導入の効果 2018/12/28 2018年度 日本顕微鏡学会生体解析分科会 研究会 QR