Download to read offline
![[SuperSliv.biz] Как работают нейросети .pdf](https://cdn.slidesharecdn.com/ss_thumbnails/supersliv-250629200120-acab90ca-thumbnail.jpg?width=640&height=640&fit=bounds)
Опыт моделеварения от команды ComputerVision Mail.ru
- 1. Опыт моделеварения откоманды ComputerVision Mail.ru Тянтов Эдуард
- 2. edges object parts(combination of edges) object models
- 3.
- 4. Решаем задачи компьютерногозрения в Mail.Ru – Облако – Vision b2b – Почта – … Проекты
- 5. Сервис для храненияи обработки фотографий – 60 миллиардов – «Умная» обработка Cases: Cloud
- 6.
- 7. Cases: OCR atMail
- 8.
- 9. 1. Постановка задачи 2.Данные 3. Обучение 4. Inference План
- 10.
- 11. Как поставишь –так и поплывет Постановка
- 12. В AI-продуктах – Нельзяописать словами, что нужно – Не формочка на сайте Особенности постановки
- 13. Задача Различать людей полицу Вроде все понятно, скорее делать? Пример: Face Recognition
- 14. Проблемы – Разные национальности –Рисованные персонажи – Дети – На чем нельзя фолзить? – … Пример: Face Recognition
- 15. – Общаться спродактом на данных • в идеале – тест-сет – Постановка – совместная работа ML + Product • Иначе => куча итераций переделок Постановка AI-продукта
- 16. Постановка задачи –ваша ответственность, пока вы не научите продакта AI-продукты
- 17.
- 18. – Data isfuel – Clean Data! Что с данными ?
- 19. Data + Model+ Clustering = Clean Data How to make it clean
- 20. Face Detection Pick largest FR+ Clustering Cleaning algorithm 1.Facedetection2.Face recognition -> embeddings3.Hierarchical clustering algorithm4.Pick the largest cluster as a personIterate after each model improvement HowTo: clean
- 21. Class 5 Поиск покартинке – Набрали классы по косвенным признакам – Семантически похожи Class 1 Class 2 Class 3 HowTo: merge Class 4
- 22. ... Плохое качество embedding’а из-задублей HowTo: merge Search NN Task Embedding Metric Learning 200k classses …
- 23.
- 24. Hierarchical clustering: CLink –Задаем порог дистанции – Сферические кластера – O(n2) Clustering Algorithms
- 25.
- 26. – Неограниченные данные –Но надо пилить Generators
- 27.
- 28. PIL – самыйудобный для OCR + Шрифты, цвета - CPU intensive (3-5s per batch) Generator: PIL
- 29.
- 30.
- 31. – Opensource – ОтличноеPythonAPI – Rendering: Ray Tracing – Модели: – $$ – или сgpeers.com =) Generator: Blender
- 32.
- 33.
- 34. Goal: discriminative embeddingsspace – Naïve way: Softmax too close Metric learning
- 35. Стягивает точки кцентру кластера Metric learning: center loss
- 36.
- 37.
- 38. Variations – CosFace – ArcFace(SOTA) Angular Softmax: better
- 39. CNN 128 floats Embedding SoftmaxCross Entropy Metric learning: Arcface 20 13 Classify 10 9 Scores 20
- 40. – ArcFace >Center loss, Triplet, … – ArcFace легко интегрируется с Softmax – Улучшает классификацию Metric learning: bottom line
- 41. 1. Metric Learning 2.Transfer learning Обучение: план
- 42. Image search – Transferlearning from OpenImages Query Results Transfer learning: example
- 43. Search NN Task Embedding Arcface 200kclassses … – Metric learning from OpenImages-pretrained Transfer learning example
- 44. В процессе обучениямодель забывает классы OI Query Results Transfer learning: example
- 45. Search NN Task Embedding FrozenOI NN OI Embedding Embedding Arcface 200k classses … … … OI class scores BCE Transfer with Knowledge distillation
- 46.
- 47. Результаты – Сеть учитсемантический embedding – Не забывает классы OpenImages Model mAP Arcface 92.8 +Knowledge Distil 93.8 (+1%) Transfer with Knowledge distillation
- 48. 1. Metric Learning 2.Transfer learning 3. Auxiliary heads Обучение: план
- 49. Доп. головы даютдоп. сигнал сети CNN Embedding … Person … Age … Eye color Auxiliary heads
- 50.
- 51. Доп. голова: голова AP: 73.5-> 74% Auxiliary heads: example
- 52.
- 53. Pengulns -> Penguins? Как встроить знания про N-граммы и слова языка в модель ? OCR: recognition
- 54. Byte Pair Encoding –Алгоритм компрессии – Частые последовательности заменяются на токены
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61. Byte Pair Encoding aaabdaaabac ZabdZabac ZYdZYac XdXac Статистическиезависимости символов Z=aa Y=ab X=ZY
- 62. Pengulns Hidden states RNNFully CNN CTC RNN2+ attention Hidden states predict BPE l -> i WER: -0.25% Penguins OCR: доп. голова Peng_ul_ns Pen_gu_ins ≠
- 63. – Доп. головыполезны для вашего здоровья – Выкидываются при inference Auxiliary heads: bottom line
- 64. 1. Metric Learning 2.Transfer learning 3. Auxiliary heads 4. FP16 Обучение: план
- 65. FP16 Training: gradients FP32:распределение магнитуды градиентов при обучении SSD (Nvidia)
- 66.
- 67. FP16: Mixed precisiontraining
- 68. – Кастомная сборкаPytorch с Apex – Использовать Automatic Mixed Precision • FP16_Optimizer – больше контроля, гемора и только Adam … FP16 Training
- 69. 0 100 200300 400 500 600 Inference Training Tesla T4, Resnet50, 64 batch FP16+Apex FP16 FP32 Результаты – Качество обучения не страдает – Ускорение: 2x – 20% от Apex на обучении ms FP16 Training
- 70.
- 71. Options: – ONNX ->Caffe2 – ONNX -> TensorRT – Now: Pytorch C++ We use PyTorch – How to deploy ? Frameworks
- 72. Это боль! – Отставаниеверсий от pytorch – Только nearest_neighbor interpolation (upsampling) – Фиксированный батч ONNX + Caffe2
- 73. – До 100%ускорения на FP16 vs Pytorch 0 0.5 1 1.5 2 2.5 3 3.5 Pytorch TensorRT Resnet 101, batch=128 (Tesla T4) FP32 FP16 ms/msg TensorRT
- 74. – Еще большепроблем, чем c Caffe2 – Для Turing карт стоит того TensorRT
- 75. - Бывают багис производительностью - Не хватает документации + Идентичная работа питону Pytorch C++ / TorchScript
- 76.
- 77. – Постановка – Наданных, тест-сет, работаем вместе с продактом Recap
- 78. – Постановка – Наданных, тест-сет, работаем вместе с продактом – Данные – Чистим кластеризацией (CLink) Recap
- 79. – Постановка – Наданных, тест-сет, работаем вместе с продактом – Данные – Чистим кластеризацией (CLink) – Обучение – Metric learning: Arcface – Knowledge distillation for Transfer learning – Multi-head – FP16 Apex Recap
- 80. – Постановка – Наданных, тест-сет, работаем вместе с продактом – Данные – Чистим кластеризацией (CLink) – Обучение – Metric learning: Arcface – Knowledge distillation for Transfer learning – Multi-head – FP16 Apex – Inference – Pytorch C++ Recap
- 81.
Editor's Notes
- #9 b2b + столовка чтобы балансить воркеров на кассе
- #10 сократить t2m & улучшить качество (interchangeable) когда я думал
- #12 основа всего
- #13 я хочу чтобы было красиво не привыкли, нет навыка такого
- #14 получили интересную задачу, вы радуетесь, звоните маме либо сразу проясните все тонкости, либо в конце и будете переделывать
- #15 сделать задачи, а потом выясниться фолз: лицо маладенца vs локоть inclusive
- #16 в тест-сет может заложить все то что нужно продакту в процессе работы задача уточняется на edge cases
- #17 наша с вами задача обучать, если не мы, то кто чтобы они не учились на вас
- #19 а датасеты шумные
- #20 их можно почистить
- #21 то же самое можно делать для объединения похожих кластеров
- #23 TODO: оч мелкие картинки. Надо рассмотреть эти картинки. Возможно спилить слайд
- #24 порог один
- #30 какая из этих картинок авто-сгенерирована ? пила не хватит, если не приглядитесь то не поймете, что это не реальные данные
- #31 3d моделирование
- #32 Про блендер: 1) OpenSource 2) Отличное PythonAPI, доступ почти до всего 3) Два встроенных рендера (движка): 1. встройнный - говно качество, очень быстрый, не работает с популярными форматами моделей (fbx) 2. Cycles - рейтрейс, работает с fbx, довольно медленно, но на нескольких GPU за несколько дней можно нарендерить датасет 4) Скоро будет апдейт - будет новый рендер Eevee, который будет работать качественно, быстро и без рейтрейса, при этом работать с fbx Модели 1) Есть халявные - как правило валяются везде по отельности (типа, там кто-то сделал бутылку с колой, тут на другом сайте кто-то коробку с печеньем, все в разных форматах собирать заколебешься) 2) Есть дорогие - часто поставляются целыми паками (куча объектов в одном паке). Качество моделей намного выше 3) Еще, модели могут требовать ручную обработку, чтобы их использовать для синтетической даты Ручная обработка моделей 1) Модели могу неправильно импортиться, например была проблема, что все прозрачные материалы были тупо черными 2) Несколько объектов могут быть склеены в один, приходится их расклеивать. Автоматически это сделать тяжеловато
- #35 на примере распознавания достопримечательностей
- #37 То что заходит лучше. На примере FR -В обычном софтмаксе у нас точки разделены плоскостью, в случае двух классов - на основе двух векторов весов. -Если сделать норму ембеддингов 1 то мы получим картинку справа. Точки лягут на окружность (т.е. на сферу в n-мерном случае). Тут мы видим, что за разделение векторов отвечает угол между векторами. И будем оптимизировать угол между.
- #38 Если мы просто перейдем к оптимизации угла, то задача по факту не изменится, т.к. мы ее просто переформулировали в других терминах. Наша цель сделать кластера более компактными. -чтобы достичь этого нужно дополнительно потребовать большего угла между классами. -Это достигается за счет введение параметра m который управляет разницей косинусов углов.
- #40 вместо линейного слоя
- #43 Мы делали поиск похожих картинок
- #44 притрейн с OI
- #45 Catastrophic forgetting: семантически верно, но расово неверно
- #46 не забывай свои корни
- #47 доминируют выдачу
- #52 crowd human – часто в датасетах есть и связанная разметка ( голова) помимо тушки
- #55 byte pair encoding - compression algorithm (that iteratively replaces the most frequent pair of characters in a sequence with a single, unused byte.)
- #63 База -> потом хотим учесть слова, это можно сделать если предсказывать доп голову с ними градиент сильнее от bpe через l, гораздо сильнее чем от одной буквы!
- #69 С инференсом все понятно, В пайторче half + scale loss в районе нуля FP_optimizer работает только с Adam, да и то только с тем Adam, который есть в Apex (да, у них свой Adam в репозитории, который имеет совершенно другой интерфейс, чем пайторчевый) FP16_opt – больше контроля, но сложнее (just scale loss 128 and you have to use .half()). AMP работает через black/whitelist, которые он проверяет на каждый call и принимает решение есть ли профит от cast в fp16. Реализовано через monkey_patch всех операторов.
- #72 У нас куча фреймворков, но в деплое, но для обучения используем пайторч, самый насущный вопрос
- #73 переучивать модели, заменять слои docker_image под модель чтобы отконвертить
- #74 мы потестили
- #75 но сука быстрый ex: лонг инты не поддерживаются, reshape, transpose
- #76 не хватает документации: надо смотреть доку питона и .h файлы resnet50 в 2 раза медленее чем на питоне – issue (проблема с линковой cudnn) сабмитили чинтале issue если один раз это пройти, то все ок внутри jit по сути питон
- #81 финалочка: надеюсь попробуете эти трюки и это улучшит ваше прод. результаты и скорость