В.Мизгулин -- программа магистратуры по системной инженерииAnatoly Levenchuk
Доклад В.Мизгулина "Программа магистратуры по системной инженерии" на 7й рабочей встрече Русского отделения INCOSE по проблемам системной инженерии, 23 апреля 2016г.
В.Мизгулин -- программа магистратуры по системной инженерииAnatoly Levenchuk
Доклад В.Мизгулина "Программа магистратуры по системной инженерии" на 7й рабочей встрече Русского отделения INCOSE по проблемам системной инженерии, 23 апреля 2016г.
Доклад А.Левенчука "Инженерия систем с плохой модульностью и гранулярностью: предприятия, искусственные нейросети, психика" на 112 заседании Русского отделения INCOSE, 23 марта 2016г.
Доклад А.Левенчука "Essence для управления технологиями" на четвертой научно-практической конференции «Актуальные проблемы системной и программной инженерии» (АПСПИ - 2015), 21 мая 2015г.
Доклад А.Левенчука "Инженерия систем с плохой модульностью и гранулярностью: предприятия, искусственные нейросети, психика" на 112 заседании Русского отделения INCOSE, 23 марта 2016г.
Доклад А.Левенчука "Essence для управления технологиями" на четвертой научно-практической конференции «Актуальные проблемы системной и программной инженерии» (АПСПИ - 2015), 21 мая 2015г.
Talk of Ali Mousavi "Event-Modelling An Engineering Solution for Control and Analysis of Complex Systems" at 116th regular meeting of INCOSE Russian chapter, 14-Sep-2016
Доклад Марка Акоева (Уральский федеральный университет) "Системная динамика как вид системного мышления" на 119 заседании Русского отделения INCOSE, 26 октября 2016г.
Mihail Zachepilo - WebAssembly powered Machine LearningMaria Kuneva
Stop talking about WebAssembly specification, let's solve a problems using it! How to WebAssembly work and how we can use it to enhance Machine Learning in browser experience.
Евгений Жарков "Как быть хорошим фронтенд-разработчиком"Fwdays
Как искать и выбирать оптимальные решения? Для одной задачи подойдет React, для другой - Zepto. Сегодня вы пишите для браузера, завтра думаете, как использовать native-ресурсы iOS.
Не все технологии, которые удобны разработчику, могут дать удобство конечному пользователю.
Я расскажу о балансе, который позволяет бизнесу получать результат, а разработчику - решение.
Цифровая микроэлектроника для математиков и программистов 2017Anton Moiseev
История курса "Как пересечь пропасть от физики к программированию" в НГТУ им Алексеева http://1i7.livejournal.com/17550.html и последствия в цикле занятий Популярная робототехника в ДОСААФ http://1i7.livejournal.com/28866.html
РАЗВИТИЕ И ПРИМЕНЕНИЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ СЕРВИСОВ НА БАЗЕ СУПЕРКОМПЬЮТЕРОВ ПЕРМСКОГО ГОСУДАРСТВЕННОГО НАЦИОНАЛЬНОГО ИССЛЕДОВАТЕЛЬСКОГО УНИВЕРСИТЕТА. Пленарный доклад II Всероссийской научно-практической конференции с международным участием с элементами научной школы для молодежи «Высокопроизводительные вычисления на графических процессорах»
(Пермь, ПГНИУ, 2-6 июня 2014 г.)
Вебинар по Frontend: Профессия Frontend разработчикаGoIT
28 июля Сергей Пузанков (Frontend Tech Lead @ Luxoft) в онлайн-режиме поведал об основах направления Frontend, особенностях профессии Frontend разработчика, инструментах и путях развития с "0" в web-разработке.
В докладе мы поделимся опытом создания content-based рекомендательной системы для электронной коммерции, работающей на семантическом ядре рунета (десятки миллионов профилей). Расскажем, как организовали централизованный сбор и обработку информации о посещении пользователями более 100 000 сайтов различной направленности на основе Amazon Kinesis. Поделимся опытом многопоточной онлайн-индексации потоков данных в Lucene. Продемонстрируем используемые базовые алгоритмы ранжирования и формирования персональных рекомендаций для посетителей более 20 000 интернет-магазинов.
Поговорим о плюсах и минусах лямбда-архитектур и обоснуем выбранное нами архитектурное решение. Отдельно остановимся на тонкостях технической реализации многопоточных алгоритмов и особенностях обеспечения реального времени - поступившая информация о действиях посетителя практически мгновенно учитывается рекомендательным движком, обеспечивая максимальную конверсию.
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
Андрей Николаенко, системный архитектор в IBS, выступил на конференции HighLoad++ 2016.
Тезисы
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
В выпуске 4.8 ядра Linux появилась поддержка NVMf (NVM Express over Fabrics) — стандартизованной возможности присоединять по сети как блочные устройства твердотельные накопители, установленные в разъёмы PCI Express. NVMf лишён многих недостатков iSCSI, повторяющего по сети SCSI-команды со всеми их издержками времён дисковых накопителей, и главное — позволяет по полной использовать возможности сетей с прямым доступом к оперативной памяти (RDMA). Таким образом, можно под управлением одного узла собрать сверхбыстрый и сверхотзывчивый пул блочных устройств, не прибегая к покупке дорогого флэш-массива. Но как воспользоваться этим пулом, не загубив теоретические показатели программными обёртками?
В докладе будут рассмотрены варианты применения NVMf для различных конфигураций PostgreSQL, Oracle Database, Hadoop, файловых хранилищ, о разработках в направлении «программно-определяемой памяти» с применением NVMe-устройств, доступных по сети, обсуждены текущие проблемы, ограничения и перспективы. Особое внимание будет уделено практическим способам измерения производительности ввода-вывода с учётом задачи, решаемой подсистемой хранения.
Usually, software engineering changes appear with a 10-15 year lag in systems engineering as a general practice. Therefore we can reliably predict what will be changed in the systems engineering mainstream in the nearest future and perform these practices today rather than tomorrow. There are a lot of changes: systems architecture established itself as a new separate discipline that deals with -ilities as architectural concerns/characteristics, requirements engineering disappears, manufacturing operates by developers (DevOps concept), and ubiquitous usage of continuous development and continuous delivering principles. The presentation gives an overview of these changes reflected in the "Systems engineering 2022" textbook published by Anatoly Levenchuk a couple of months ago.
Слайды лекции по современной методологии в составе интеллект-стека как идущей на смену праксиологии, на базе которой были сделаны наработки австрийской школы экономики.
Доклад А.Левенчука "SysArchi -- системное моделирование в ArchiMate 3.0" на семинаре "Дни инженерии организаций" факультета информатики, математики и компьютерных наук НИУ ВШЭ. Москва-Нижний Новгород, 11 сентября 2018
Доклад А.Левенчука "Системное мышление за пределами инженерии и менеджмента. Пример: системный фитнес" на конференции "Системный менеджмент" Школы системного менеджмента и Русского отделения INCOSE, 16 апреля 2017г.
3. Новости сентября 2015 vs. сентября 2016
• Глубокая попса 16 сентября 2015:
драм-треки --
http://www.inquisitivists.com/2015/0
9/16/using-autoharp-and-a-character-
based-rnn-to-create-midi-drum-loops
• Fujitsu 17 сентября 2015 достигла
сверхчеловеческой точности в
распознавании китайских
иероглифов (96.7% по сравнению с
человеческими 96.1%)
http://en.acnnewswire.com/press-release/english/25211/fujitsu-achieves-
96.7-recognition-rate-for-handwritten-chinese-characters-using-ai-that-
mimics-the-human-brain
• Google 24 сентября 2015 года
перешёл к «промышленной
эксплуатации» распознавания
голоса на новой архитектуре
нейронной сети – ещё точнее, ещё
меньше вычислительных ресурсов.
Распознавание идёт прямо на
телефоне, достижение тут –
достигнута скорость real time (0.3
секунды рассматривалось как
серьёзная задержка!) --
(http://googleresearch.blogspot.ru/20
15/09/google-voice-search-faster-and-
more.html). 3
• «Музыкальное ухо»: оркестровка для симфонического оркестра –
http://ailev.livejournal.com/1293469.html
• Оценка трудоёмкости разработки в functional points –
http://arxiv.org/abs/1609.00489
• Такси без водителя тестируется в Сингапуре –
http://www.theverge.com/2016/8/25/12637822/self-driving-taxi-first-
public-trial-singapore-nutonomy
• Комьюнити https://vk.com/deeplearning – уже более 7тыс.человек
• … – всего происходит много!!!
DeepMind 9 сентября 2016 поставил рекорд качества
воспроизведения голоса (и музыки той же сеткой!):
WaveNet – сравнимо с людьми!
https://deepmind.com/blog/wavenet-generative-model-raw-audio/
4. МЕЖДИСЦИПЛИНАРНОСТЬ
Интеллект-стек – это только одна ипостась интеллект-системы
4
На основе
рис.3
в ISO 81346-1
-Модули
=Компоненты
+Места
Платформы,
интерфейсы и
их видимость –
слои
Стек
5. Ителлект-стек: инженерный взгляд
• «Как сделать» (инженерный взгляд), но не «как работает» и не «где
расположено»
• Интерфейсы и протоколы: стандарты (де-юре и де-факто)
• Модули и их платформы взаимозаменяемы:
• На одном интерфейсе-стандарте (API)
• Переходники интерфейсов (wrappers, например Julia wrapper for TensorFlow –
https://github.com/malmaud/TensorFlow.jl)
• Модули взаимоувязаны: платформы, стеки платформ
• «Видимость» интерфейсов нижних уровней стека обсуждается, она не
безусловна
• Хорошая модульность – проблема, её решают. В интеллект-стеке это плохо
решаемая проблема! http://ailev.livejournal.com/1294242.html 5
6. Intelligence Platform Stack
6
Application (domain) Platform
Cognitive Architecture Platform
Learning Algorithm Platform
Computational library
General Computer Language
CPU
GPU/TPU/DPU/FPGA/Physical
computation Drivers
GPU/TPU/DPU/FPGA/Physical
computation Accelerator
Neurocompiler
Neuromorphic driver
Neuromorphic chip
Disruptionenablers
Disruptiondemand
Thanks for computer gamers for their disruption demand
to give us disruption enabler such as GPU!
7. Аппаратура интеллекта
http://ailev.livejournal.com/1293810.html
1. Обычные СPU – Xeon Phi Knights Mill (в планах)
2. Традиционные GPU с F16 – Pascal Tesla P100 With Over 20 TFLOPS Of FP16
Performance (15млд.транзисторов)
3. TPU – Tensor Processing Unit (Google, Nervana Engine, Movidius).
Wave DPU – Data Processing Unit.
4. Эксперименты с очень низкой разрядностью (тернарные архитектуры), FPGA.
5. Спайковые процессоры: TrueNorth (ASIC), NeuroFlow (на FPGA)
6. Вычислительная физика: квантовые эффекты, мемристоры. Пока эмуляции и
эксперименты. Новинка: photon intelligence и нанооптика –
http://arxiv.org/abs/1609.00686
Разделение на «для обучения» и «для вывода». 7
8. Пример: Wave DPU (Dataflow processing unit)
8http://www.nextplatform.com/2016/09/07/next-wave-deep-learning-architectures/
12 минут
обучение AlexNet
Фиксированная точка
со стохастическим
округлением
эквивалентна по
точности плавающим!
9. Драйверы, вычислительные языки,
вычислительные библиотеки
• Эти платформы почти не видны (только для тех, кто
разрабатывает алгоритмы – а таких людей мало)
• Проблема двух языков (пишут на Python, переписывают на
C++): решение видят в
• Тут только «затраты», а не «результаты» -- поэтому людей мало.
• Прогресса почти нет
9
10. Платформы машинного обучения
• Одной платформы не хватит
никогда!
• Master algorithm: тренд на
гибридизацию разных
подходов
• Когнитивная архитектура:
тренд на комбинирование
разных подходов
• Reinforcement learning
• Adversarial architectures
10
Shallow
Learning
Big Data
Deep
Learning
Neuro
evolution
Bayes
Army
Symbolic
Теорема бесплатного завтрака
11. Платформы глубокого обучения
(коннективистские)
• Определился безусловный лидер (в deep learning) – это
TensorFlow, хочется этого или нет.
• Коммодитизация: «обучение на развес», все на одно лицо.
• Dataflow DSL – уже общее место (но есть и попытки
вырваться за его пределы – MXNnet, динамическое
построение сети в Chainer и т.д.).
• Сложные полностью дифференцируемые архитектуры с
памятями и вниманием.
• Наборы данных и мониторинг state-of-the-art.
• Главный сюжет – борьба за модульность и transfer
learning (http://ailev.livejournal.com/1294242.html):
• Компонуемость (composability) – «как конструктор»
• Композициональность (compositionality) – «таблетка знаний»
• На уровне архитектуры сети
• На уровне архитектуры выученной модели
11
12. Когнитивные архитектуры
[пока не платформы, увы]
Продвижений за год почти нет. Продолжается обсуждение проблем:
• Проблема: дурные дискуссии про «настоящее творчество» –
http://ailev.livejournal.com/1293469.html
• Проблема: требование «объяснений» и «детерминистичности» (сертификация)
• Проблема: строгость рассуждений (логика) и связь с символистами –
http://ailev.livejournal.com/1284038.html, http://ailev.livejournal.com/1266905.html
• Проблема: AutoML – http://automl.chalearn.org/
• Проблема: архитектуры с памятями и вниманием, несколькими сетками
(adversarial, student-teacher при аппроксимациях)
• Проблема: переползание от семантики к онтологии – http://ailev.livejournal.com/1289718.html
• Проблема: … все классические проблемы зимы искусственного интеллекта
12
13. Приложения: сила есть, ума не надо
13
CB Insights
https://twitter.com/CBinsights/status/705403757916528640
Проблема:
сертификация
обучаемых систем
14. Где деньги в интеллект-стеке?
• Весь стек пока держат только Google и IBM, у остальных не хватает сил: дорого и
рисково.
• Инновации обеспечиваются (enable) с разных уровней стека – необязательно целевого.
Это предпринимательский выбор, сколько вкладывать в нижележащие уровни!
• Деньги будут вверху (прикладной уровень) и внизу (аппаратура), но не в середине.
• На середину (языки, библиотеки, фреймворки обучения) время и деньги только тратим,
заработать не удастся. Можно заработать славу и привлечь кадры, или выиграть месяц-
два в экспериментах на прикладном уровне, потом это как-то монетизировать.
• На уровне когнитивной архитектуры шансы заработать есть: ибо никто в этом пока не
понимает. Всего-то нужно показать преодоление state-of-the-art! Но это искусственный
интеллект, со всеми его трудностями, так что успехов!
Прогнозы:
• Интерфейсы уровней стека продолжат стабилизироваться, ходить «мимо платформ»
будет всё дороже и дороже (как сегодня изобретать свои языки программирования и
писать к ним компиляторы).
• Явного победителя в каждом уровне стека пока не будет, будет конкуренция. Но лидеры
будут очевидны (пример TensorFlow и CUDNN), как и с языками программирования.14