Eugene Khvedchenia (Senior Research Engineer)
Как выиграть соревнование за две недели. А потом проиграть.
https://dataphoenix.info/ods-ai-odessa-meetup-4/
Видео: https://youtu.be/VjOAe_tFV_g
Подписывайтесь на наш Telegram канал (https://t.me/DataPhoenix), чтобы всегда быть в курсе последних новостей!
3. За знаниями -
на Kaggle.
За деньгами -
на галеру.
Для справки
За 2020 мой суммарный
выигрыш составил
~36K$ или 3К$ в месяц.
Медиана для Senior SE
на зиму 2020 - 3.8K$ (via
DOU.ua)
4. 1. Рецепты победы
Помимо фермы из видеокарт, времени и
сил, тебе понадобится следовать простым
советам:
➔ Знай свой инструмент
➔ Не крути две ручки сразу
➔ Проверяй себя
➔ Общайся
5. Знай свой инструмент
● PyTorch / Tensorflow
● Библиотеки
● Notebooks
Вопрос на засыпку
Как правильно
рассчитать точность
модели (accuracy) в
distributed режиме?
9. Не крути две ручки сразу
● Гиперпараметры
● Конфиги
● Модели
● Код
Совет
Спешка нужна при
ловле блох!
Совершить ошибку
занимает одну секунду.
Найти и исправить -
часы.
14. Почему:
● Баг в реализации метрики
● Отсутствие проверки на
NaN
Как избежать:
● Тесты метрик
● Проверка идентичности
предсказаний в fp16/fp32
● Фиксированные сиды во
время inference