Идеи и результаты команды LMM, участвовавшей в Хакатоне DeepHack.Game. Задача: улучшить опубликованный Google DeepMind алгоритм обучения в играх Atari 2600 The ideas and results of LMM team in the Hackathon DeepHack.Game. Task was to improve learning algorithm for playing Atari 2600 games, which was published by Google DeepMind

1. 1
Участие команды LMM в
хакатоне deephack.me
, ,Лариса Маркеева Мстислав Масленников Андрей Молчанов и
Михаил Усвяцов
( )внутри нейросеть
19 - 25 2015июля

2. 2
Мотивация
● Свёрточные уровни обрабатывают изображение
● Только 1 уровень отвечает за логику игры
– недостаточно на многих играх

3. 3
Наш подход
● Идея: добавить дополнительные уровни
– Linear и Tanh
– * - добавляется сглаживающий уровень Rectifier
Уровень Параметры New
1 Reshape вход 4x84x84
нейроны маска отступ units
2 Convolution*
512
8 4 32
3 Convolution* 4 2 64
4 Convolution* 3 1 64
5 Reshape 3136
6 Linear 3136 → 512
7 Tanh 512 +
8 Linear* 512 → 256 +
10 Linear 256 → 6

4. 4
Результаты полуфинала
● алгоритм LMM обучался только 12 часов
Gopher Seaquest Tutankham Итого
1 Red pandas 1,00 0,62 1,00 2,62
2 5 vision 0,79 1,00 0,54 2,33
3 Rock Band 0,41 0,69 0,22 1,32
4
Life
Propagation
0,49 0,24 0,44 1,17
5 SkyNet 0,14 0,40 0,38 0,93
6 Deep Punx 0,26 0,59 0,02 0,86
7 FastLearning 0,27 0,26 0,04 0,56
8 LMM 0,19 0,06 0,30 0,55
9 Конец Агента 0,18 0,07 0,17 0,42
10
DROP TABLE
USERS
0,12 0,08 0,02 0,22

5. 5
Качество обучения
● Насколько хорошо система обучилась?
– Проблема: нет абсолютных метрик
● Наш подход
– мы используем относительную метрику
– считаем 10 запусков
– вычисляем среднее по ним
● пусть Scoremax
— max результат
Scorerel=
1
10
∑
i=1
10
Scorei
Scoremax

6. 6
Процесс обучения в финале
● Scorerel
после 6 часов обучения
– процесс обучения немонотонный
– для разных игр разные виды траекторий
– на Space Invaders лучший результат на раннем этапе

7. 7
Результаты в финале
● команда дошла до 1/8 финала
– проиграла на тай-брейке (700-700)
● результат по Kung-fu лучше чем у Deepmind
Space
Invaders
Hero Kung-fu
Время
обучения
Итог
1
Deepmind
(Google)
1976 19950 23270 ~7 дней
2 LMM 700 3015 35700 ~1 день
1/8
финала