In this presentation for Mobius 2016 I'm talking about my personal experience of creating an app for MRI/CT scans visualization in Virtual Reality (Cardboard and Mobile Headsets like Gear VR). Step by step from idea to first demo.

1. Александр Коршак, MERA
Mobius СПб, 4 июня 2016
Опыт разработки Cardboard приложения для
3D-реконструкции медицинских данных

2. О чем доклад?
2
Есть у меня
хобби…

3. Об опыте разработки:
 Пошагово
 У себя дома
 На коленке
 И о Virtual Reality
О чем доклад?
3

4. Актуальность
4Reference: http://goo.gl/EyIOJR
«Потребуется 10 лет, прежде чем виртуальная реальность станет так же
популярна, как сейчас смартфоны…»

5. Актуальность
5Reference: http://goo.gl/K38kCu
«Меня поражает новизна, люди, работающие над VR, и строящие
эквивалент операционной системы…»

6. Google I/O:
 2014 г. – Cardboard
 2015 г. – Cardboard SDK, Google Jump, Youtube 360
о
 2016 г. – Google VR SDK, Daydream, 360
о
-трансляция
Актуальность
6

7. 36 21.7
63.4
158.7
184.9
281.5
0
50
100
150
200
250
300
0
0.2
0.4
0.6
0.8
1
1.2
2010 2011 2012 2013 2014 2015
Объем инвестиций за год, млн. $
Актуальность
7Reference: https://goo.gl/XDw1cs

8. Актуальность
8Reference: http://goo.gl/b87KKJ

9.  Постановка задачи
 Обработка МРТ/КТ данных
 Реализация VR прототипа
Содержание
9

10. «Очки ннннада»?
Предыстория
10

11. Случай из жизни
11

12. VR устройства
12
VR – это обман восприятия
1. Линзы
2. Экран
3. Сенсоры
4. 3D-аудио
Reference: http://goo.gl/blmEKX
В коробке
смартфонов

13. VR устройства
13
Headsets Standalone

14. Погружаем медицину
Постановка задачи
14

15. Постановка задачи
15
+
Цель: вау эффект!

16. Другие цели:
 Удобство восприятия
 Высокая степень детализации
 Интеграция с существующими решениями
 Посмотреть, что получится…
Постановка задачи
16

17. Какую платформу выбрать за основу?
Альтернативы:
 Headsets
 Standalone
Шаг №1
17

18. Пример использования
18
Пациент
Врач
Server/Big Data
Сканирование
Анализ
Диагност

19. Решение: Headsets
Преимущества:
 Проще интегрировать
 Мобильное решение
 Вопрос обновления «железа» = обнови смартфон
 Цена
Шаг №1
19

20. Обработка МРТ/КТ данных
Реализация
20

21. Как устроен МРТ/КТ файл?
А также:
 Какие стандарты существуют?
 Можно ли построить модель «в лоб»?
Шаг №2
21

22. Как устроен МРТ/КТ файл?
 DICOM формат данных
 Мета-данные
 2D-срез в опр. проекции
 Интенсивность (МРТ)
 Плотность тканей (КТ)
Шаг №2
22Habrahabr: https://goo.gl/c8DKt0 Documentation: http://goo.gl/mBj0s2

23. Шаг №2
23Habrahabr: https://goo.gl/c8DKt0 Documentation: http://goo.gl/mBj0s2

24. Воксель (англ. Volumetric Pixel) – элемент объёмного изображения,
содержащий значение элемента растра в трёхмерном пространстве.
Проще говоря – это куб, обладающий «весом».
Воксель
24

25. Воксель
25
Майнкрафт МРТ

26. Как построить 3D-сетку?
Шаг №3
26

27. Как построить 3D-сетку?
Альтернативы:
 Метод «марширующих кубов»
 Метод «марширующих тетраэдров»
 Метод Канейро
 Метод Скалы
Шаг №3
27Paul Bourke: http://goo.gl/HQoVNq Сравнение: http://goo.gl/NUfz8K

28. Как построить 3D-сетку?
Решение:
 Метод «марширующих кубов»
 Метод «марширующих тетраэдров»
 Метод Канейро
 Метод Скалы
Шаг №3
28Paul Bourke: http://goo.gl/HQoVNq Сравнение: http://goo.gl/NUfz8K

29. Поддержка различных разрешений:
Метод марширующих кубов
29

30. 30
Плотность/Разрешение
Модель поверхности
Результат

31. Результат
31

32. VR прототип
Реализация
32

33. Большой размер МРТ/КТ файла
Решение:
 Загрузка по частям
 Отрисовка по частям
Шаг №4
33

34. Шаг №4
34

35. Какой VR движок выбрать (Android)?
Шаг №5
35
Native API Unreal/Unity API Docs Простота Произв-ть
Rajawali VR + - +/- + +/-
Oculus (Mobile) + + - - +
Gear VRf + + - + +/-
Google VR + + + + +/-
Rajawali: https://goo.gl/Dp0GWj Google VR: https://goo.gl/9adC3x
Oculus Rift: https://goo.gl/nPcA1q GearVRf: http://goo.gl/KaMvYN

36. Какой VR движок выбрать (Android)?
Шаг №5
36
Native API Unreal/Unity API Docs Простота Произв-ть
Rajawali VR + - +/- + +/-
Oculus (Mobile) + + - - +
Gear VRf + + - + +/-
Google VR + + + + +/-
Rajawali: https://goo.gl/Dp0GWj Google VR: https://goo.gl/9adC3x
Oculus Rift: https://goo.gl/nPcA1q GearVRf: http://goo.gl/KaMvYN

37. Поддерживаемые платформы:
Google VR
37
Возможности:
Позиция головы
Калибровка
Панорама
360о
-аудио
360о
-видео
Daydream
Reference: https://goo.gl/nHaoa9 Samples: https://goo.gl/AdwlHK

38. Google VR SDK for Android v0.8.0:
 Стабилизация изображения
 Scanline Racing
 Эксклюзивный доступ к CPU
 Время отклика <20ms
Google VR
38Reference: https://goo.gl/yressX

39. Графический движок или OpenGL?
Альтернативы:
 Unity
 Unreal Engine
 OpenGL
Шаг №6
39

40. Графический движок или OpenGL?
Альтернативы:
 Unity – поддержка 16 бит видеокарт = страдают все
 Unreal Engine – не поддерживался (да и зачем нужен?)
 OpenGL - олдскульно
Шаг №6
40

41. Реализация
41
<?xml version="1.0" encoding="utf-8"?>
…
<com.google.vr.sdk.base.GvrView
android:id="@+id/gvr_view"
android:layout_width="fill_parent"
android:layout_height="fill_parent"
android:layout_alignParentLeft="true"
android:layout_alignParentTop="true" />
…

42. Реализация
42
public class YourActivity extends GvrActivity
implements GvrView.StereoRenderer {
…
public void onCreate(Bundle state) {}
public void onNewFrame(HeadTransform t) {}
public void onDrawEye(Eye eye) {}
…
}

43. Реализация
43
@Override
protected void onCreate(Bundle state) {
super.onCreate(state);
gvrView = (GvrView) findViewById(R.id.gvr_view);
gvrView.setEGLContextClientVersion(3);
gvrView.setRenderer(this);
setGvrView(cardboardView);
}

44. Реализация
44
@Override
public void onNewFrame(HeadTransform t){
//Called when a new frame is about to be drawn.
}
public void onDrawEye(Eye eye) {
//Requests to draw the contents from the eye
//FOV.
}

45. 45

46. Большое количество вершин
Альтернативы:
 Адаптировать разрешение сетки под «железо»
 Обработка на сервере
 Отсечение полигонов
 Тесселяция
 Оптимизация сетки
Шаг №7
46

47. Отсечение полигонов
47

48. Тесселяция
48

49. Большое количество вершин
Альтернативы:
 Адаптировать разрешение сетки под «железо»
 Обработка на сервере – задержка кадров
 Отсечение полигонов
 Тесселяция – нужен Open GL 4.0
Шаг №7
49

50. Вращение вокруг позиции головы
Альтернативы:
 Сенсорные данные
 Внешние устройства ввода
 Daydream контроллер
Шаг №8
50

51. Вращение вокруг позиции головы
Решение:
 Сенсорные данные - опасно
 Внешние устройства ввода - удобно
 Daydream контроллер – удобно, но сырой
Шаг №8
51

52. Результат
52
Фокусировка
Повороты
Зум

53. Контакты
53
twitter: alex_korshak
email: korshak@mera.ru
skype: askors90
linkedin: https://goo.gl/m2Z8MV

54. «Всего доброго и хорошего
настроения…»
Слайдов больше нет
54