Доклад А.Левенчука "Инженерия систем с плохой модульностью и гранулярностью: предприятия, искусственные нейросети, психика" на 112 заседании Русского отделения INCOSE, 23 марта 2016г.
Доклад А.Левенчука "Essence для управления технологиями" на четвертой научно-практической конференции «Актуальные проблемы системной и программной инженерии» (АПСПИ - 2015), 21 мая 2015г.
Доклад А.Левенчука "Инженерия систем с плохой модульностью и гранулярностью: предприятия, искусственные нейросети, психика" на 112 заседании Русского отделения INCOSE, 23 марта 2016г.
Доклад А.Левенчука "Essence для управления технологиями" на четвертой научно-практической конференции «Актуальные проблемы системной и программной инженерии» (АПСПИ - 2015), 21 мая 2015г.
В.Мизгулин -- программа магистратуры по системной инженерииAnatoly Levenchuk
Доклад В.Мизгулина "Программа магистратуры по системной инженерии" на 7й рабочей встрече Русского отделения INCOSE по проблемам системной инженерии, 23 апреля 2016г.
Доклад А.Левенчука "SysArchi -- системное моделирование в ArchiMate 3.0" на семинаре "Дни инженерии организаций" факультета информатики, математики и компьютерных наук НИУ ВШЭ. Москва-Нижний Новгород, 11 сентября 2018
А.Левенчук -- Понятие системы в системной инженерииAnatoly Levenchuk
Доклад Анатолия Левенчука "Понятие системы в системной инженерии. Системная инженерия против инженерии систем" на 70 заседании Русского отделения INCOSE, 23 января 2013г.
В.Мизгулин -- программа магистратуры по системной инженерииAnatoly Levenchuk
Доклад В.Мизгулина "Программа магистратуры по системной инженерии" на 7й рабочей встрече Русского отделения INCOSE по проблемам системной инженерии, 23 апреля 2016г.
Доклад А.Левенчука "SysArchi -- системное моделирование в ArchiMate 3.0" на семинаре "Дни инженерии организаций" факультета информатики, математики и компьютерных наук НИУ ВШЭ. Москва-Нижний Новгород, 11 сентября 2018
А.Левенчук -- Понятие системы в системной инженерииAnatoly Levenchuk
Доклад Анатолия Левенчука "Понятие системы в системной инженерии. Системная инженерия против инженерии систем" на 70 заседании Русского отделения INCOSE, 23 января 2013г.
Содержание:
1. Педагог и ИКТ: вопрос целесообразности.
2. Возможности сети Интернет для педагога.
3. Как правильно выбрать дистанционный курс (сроки обучения, требования для слушателей, информация о курсе, инструкция по обучению, тематический план, мобильность, виды контроля).
4. Проблема психологического восприятия при дистанционном обучении.
5. Способы организации дистанционного курса.
6. Результаты опросов слушателей дистанционных курсов по поводу плюсов и минусов дистанционного обучения.
Некоторые физические законы в контексте автоматизации тестированияCOMAQA.BY
Мы проговорим подмножество из 6 наиболее релевантных автоматизации тестирования «законов» из разных областей науки в хронологическом порядке, а также их следствия для IT, рассмотренные через QA/QC призму. Затем попытаемся связать все воедино в единую «научную» картину мира автоматизации. И, конечно же, подготовим море «раздаточных материалов» для дальнейшего изучения, более глубокого понимания и практического применения в нашей ежедневной работе. Материал базируется на многолетнем опыте «управленческой» и «преподавательской» деятельности докладчика и будет полезен всем: от молодого специалиста до IT-«мастодонта», хотя бы как способ систематизации практического опыта. Беседа пойдет, пусть и через «околонаучную» призму, но «на пальцах», гарантированно будет понятна и полезна самому широкому кругу слушателей, будет направлена на «понимание» IT-процессов, основу сознательного успеха в отрасли.
Доклад "Теории понятий и представление знаний в современных технических системах" на методологической школе в Юрмале. 19 августа 2012г.
Аудио: http://narod.ru/disk/59651696001.1b9de207403d4c7d7ebe84fc9f936c91/%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F%20%D0%9B%D0%B5%D0%B2%D0%B5%D0%BD%D1%87%D1%83%D0%BA%D0%B0_19.08.WMA.html
Презентация на тему: "Теория решения изобретательских задач"
Спикер: Абросимова Е. Б., к.т.н., доцент кафедры производственного менеджмента и логистики НИУ ВШЭ - Нижний Новгород
Презентация подготовлена в рамках проведения «Экспресс-школы молодых инноваторов – «От идеи до бизнеса», которая проходит с 16 марта по 17 апреля 2015 года в Центре коммерциализации технологий ННГУ им.Н.И.Лобачевского .
Dmitriy Kouperman Working with legacy systems. stabilization, monitoring, man...Аліна Шепшелей
About half of the developers, one way or another, faced with the legacy-projects. Not everyone can (and want) work with them. But with the right approach, such projects can be carried out with pleasure and even enthusiasm. We suggest that such a legacy of understanding, what are these project management techniques, practices, and explore the developers consider useful decisions: • Examples of optimization - it's worth a try; • Monitoring applications - JavaMelody; • Monitoring applications - logs and ELK (ELasticSearch + Logstash + Kibana); • Monitoring applications - Java Mission Control and Heap Dump Memory Analyzer Tool.
Similar to А.Левенчук -- Интеллект-стек: как создаётся Deus ex Machina (20)
Usually, software engineering changes appear with a 10-15 year lag in systems engineering as a general practice. Therefore we can reliably predict what will be changed in the systems engineering mainstream in the nearest future and perform these practices today rather than tomorrow. There are a lot of changes: systems architecture established itself as a new separate discipline that deals with -ilities as architectural concerns/characteristics, requirements engineering disappears, manufacturing operates by developers (DevOps concept), and ubiquitous usage of continuous development and continuous delivering principles. The presentation gives an overview of these changes reflected in the "Systems engineering 2022" textbook published by Anatoly Levenchuk a couple of months ago.
Слайды лекции по современной методологии в составе интеллект-стека как идущей на смену праксиологии, на базе которой были сделаны наработки австрийской школы экономики.
Доклад А.Левенчука "Системное мышление за пределами инженерии и менеджмента. Пример: системный фитнес" на конференции "Системный менеджмент" Школы системного менеджмента и Русского отделения INCOSE, 16 апреля 2017г.
Доклад Марка Акоева (Уральский федеральный университет) "Системная динамика как вид системного мышления" на 119 заседании Русского отделения INCOSE, 26 октября 2016г.
Talk of Ali Mousavi "Event-Modelling An Engineering Solution for Control and Analysis of Complex Systems" at 116th regular meeting of INCOSE Russian chapter, 14-Sep-2016
2. Моя история
Shallow learning (http://ailev.livejournal.com/710976.html):
• 1977, купил книжку Джурс П., Айзенауэр Т., «Распознавание образов в химии», мягкая обложка, 230 с.
• 1978 – поиск знающих слова «регрессионный анализ», активное программописательство.
• 1980 – победа на конкурсе студенческих научных работ химфака РГУ: «Распознавание каталитической
активности хелатных соединений» (обучение с учителем).
Internet:
• 1991 -- почта (ailev@asmp.msk.su)
• 1992 – выпуск акций Релком (http://relcom.ru)
• 1994 – Первый вебсайт http://libertarium.ru
Systems engineering:
• 2007 – узнал о существовании
• 2008 – создал Русское отделение INCOSE (http://incose-ru.livejournal.com/)
Deep learning:
• 2012 – начал отслеживать и комментировать deep learning с 2012
(http://ailev.livejournal.com/1044735.html, http://ailev.livejournal.com/1045081.html) – мой интерес был в
автоматизации онтологической работы.
• 2012 – заметил, что по deep learning надувается инвестпузырь (пункт три в
http://ailev.livejournal.com/1051479.html)
Онтологии и AI:
• Первый редактор онтологий – 1986 год, последний – 2014 (https://github.com/TechInvestLab/dot15926)
• 2013, 2014 – организатор хакатона в Ontology Summit (http://ailev.livejournal.com/1113111.html).
2
4. Oops!... I did it again
• Основные инвестиции приходят после того, как пузырь лопнул
• Продукты появляются через год-два-три после вложения денег
• Сравните: первый WWW-сайт появился в 1991, пузырь лопнул в 2000
4
5. Сегодня: $1 000 000 000
инвестировано в deep learning
https://medium.com/@VentureScanner/the-state-of-artificial-intelligence-in-six-visuals-8bc6e9bf8f32
5
6. Новости последней недели
• Глубокая попса 16 сентября 2015: драм-треки --
http://www.inquisitivists.com/2015/09/16/using-autoharp-
and-a-character-based-rnn-to-create-midi-drum-loops
• Fujitsu 17 сентября 2015 достигла сверхчеловеческой
точности в распознавании китайских иероглифов (96.7%
по сравнению с человеческими 96.1%) http://en.acnnewswire.com/press-
release/english/25211/fujitsu-achieves-96.7-recognition-rate-for-handwritten-chinese-characters-using-ai-that-mimics-
the-human-brain
• Google 24 сентября 2015 года перешёл к
«промышленной эксплуатации» распознавания голоса
на новой архитектуре нейронной сети – ещё точнее, ещё
меньше вычислительных ресурсов. Распознавание идёт
прямо на телефоне, достижение тут – достигнута
скорость real time (0.3 секунды рассматривалось как
серьёзная задержка!) --
(http://googleresearch.blogspot.ru/2015/09/google-voice-
search-faster-and-more.html).
6
7. Эксплуатация и инженерия: mining / big data
(ремонт по состоянию, security alerts, process/log mining)
• Boeing Company: 85% отказов оборудования
происходят невзирая на своевременное
календарное обслуживание
• Emerson: 63% запланированного обслуживания
задвижек не были необходимыми, поэтому
перестало это делать.
• Традиционные методы предсказания поломок
работают плохо.
• Методы машинного обучения работают
удивительно хорошо – особенно deep learning.
Ключевые особенности:
– Обработка миллионов измерений от самых
разных датчиков
– Хорошее отделение «сигнала» от «шума»
• Первые применения: непрерывные
производства (нефтянка, электростанции,
химические производства, фармакологические
фирмы)
7
http://www.mtell.com –
condition-based monitoring
Automated, state-of-the-art predictive
analysis using machine learning for early
detection of equipment degradation.
8. Круче интернета:
вся промышленность, наука и искусство, а не только
транспорт
Интернет
• телефон-на-стероидах, газета-
на-стероидах, телевидение-на-
стероидах, библиотека-на-
стероидах – логистика
(транспорт и склады).
• Управление информацией
(информацию не меняем):
максимизировать поток
релевантной информации
оттуда, где она есть туда, где
она нужна.
Нейронные сетки:
• Софт-на-стероидах (какая-то
обработка информации,
«обрабатывающая
промышленность», «наука»,
«искусство»).
• Инженерия информации
(информацию меняем,
создаём новую): понять
потребности, сформулировать
требования, придумать
решение, сформулировать
результат, проверить результат
на соответствие требованиям и
потребностям
8
Синергия: инженерия и управление обычно тесно связаны, одно без другого не
бывает. Промышленные центры и железные дороги неразрывны. Нейронные сетки
и интернет существенно дополняют друг друга.
9. А не блеф ли это?
• «50 лет ничего не происходило, и вдруг началось?! Нет, уже много раз было
“волки, волки!”, значит и сейчас всё скоро утихнет». Нет, не утихнет.
• Нейронная сетка универсальна: эквивалентна машине Тьюринга, а также
аппроксимирует любую функцию --
http://neuralnetworksanddeeplearning.com/chap4.html
• Это не статистика! Работает физика эволюции: так же устроено
сворачивание полимеров/белков и спиновые стёкла --
http://ailev.livejournal.com/1197148.html. И уже поминают идеи из
неравновесной термодинамики --
http://jmlr.org/proceedings/papers/v37/sohl-dickstein15.html
9
http://arxiv.org/pdf/cond-mat/9904060v2.pdf
Эволюция: не ловится в локальном
минимуме, а ползёт дальше!
10. Но если там нет «интеллекта», то в
чём тогда крутость?!
• Можно обсуждать, когда точность компьютерного
диагноза превысит точность диагноза,
поставленного опытным врачом. Обсуждать
примерно так же, как обсуждается точность замера
лазерным дальномером по сравнению с точностью
глазомера опытного строителя.
• Только лазерный дальномер не подскажет, как
строить. А нейронная сетка сможет подсказать, как
лечить. И как строить. Только и всего, ничего
человеческого.
• Этого хватит, чтобы жизнь поменялась круче, чем с
приходом интернета.
10
11. Надуется и лопнет, как всегда?
• Да, обязательно надуется и обязательно лопнет (а центральные
банки этому только помогут)
• Но не факт, что дальше рост будет «как всегда»:
• решения начнут принимать не только люди, всё станет быстрее и точнее и
решений будет приниматься больше
• Производительность труда вырастет, работать будут не только люди
• Суть экономики (economics, наука) не изменится, в основе там
аксиомы.
• Структурные перестройки экономики (economy) неизбежны, но они
всегда шли – тот же народившийся вновь «интернет» тому пример,
но и сгинувший «несетевой» Kodak пример не меньший.
• Помним, что все эти роботы кому-то принадлежат (не сами себе) – и
капитал сегодня акционерный. Работы будет меньше, её результаты
достанутся всё одно людям.
• Когда начнётся движение за права конкретных роботов, тогда и
поговорим. А пока не забиваем себе голову.
11
12. Дилемма инноватора: мужики-то не знают!
(Clayton Christensen из Гарварда)
12
Х
а
р
а
к
т
е
р
и
с
т
и
к
и
Время
Характеристики
лучших продуктов
На рынке
Характеристики
худших продуктов
на рынке
http://web.mit.edu/6.933/www/Fall2000/teradyne/clay.html
13. Мои любимые примеры
• Это не rocket science, студенты справляются!
• Требования к аппаратуре для нейронных сетей
во многих задачах реально ниже, чем при
любых других архитектурах!
• Локатор для роботов: 10 градусов при трёх
микрофонах, разнесённых на 10см – стоимость
всей аппаратуры <$50.
13
14. Недостаток (вернее, НЕДОСТАТОК)
• Нейронную сеть нужно учить, для этого нужны
данные.
• Данных нужно МНОГО. Не BigData, А GiantData
(миллионы примеров)
•Данных для обучения обычно нет!
• С этим работают, но пока не очень успешно.
• Обязательное чтиво на эту тему:
http://habrahabr.ru/company/meanotek/blog/266961/
14
15. Системная инженерия: борьба со сложностью
15
Systems Engineering (SE) is an interdisciplinary approach and means to enable the
realization of successful systems. It focuses on holistically and concurrently
understanding stakeholder needs; exploring opportunities; documenting
requirements; and synthesizing, verifying, validating, and evolving solutions while
considering the complete problem, from system concept exploration through
system disposal.
http://www.sebokwiki.org/1.0.1/index.php?title=Systems_Engineering_%28glossary%29
16. МЕЖДИСЦИПЛИНАРНОСТЬ
Интеллект-стек – это только одна ипостась системы
На основе
рис.3
в ISO 81346-1
-Модули
=Компоненты
+Места
16
Платформы,
интерфейсы и
их видимость –
слои
Стек
17. Платформы (наборы модулей)
Интеллект-стек
1. Прикладной уровень
2. Когнитивная
архитектура
3. Обучающиеся
алгоритмы
4. Вычислительные
библиотеки
5. Вычислительные
языки
программирования
6. Аппаратное ускорение
вычислений
17
http://www.life-prog.ru/1_41934_protokoli-TCPIP-i-model-OSI.html
http://www.w3.org/2001/12/semweb-fin/w3csw
http://ailev.livejournal.com/1210678.html
18. Ителлект-стек
• «Как сделать», но не «как работает» и не «где
расположено»
• Интерфейсы и протоколы: стандарты (де-юре и
де-факто)
• Модули взаимозаменяемы:
• На одном интерфейсе-стандарте
• Переходники интерфейсов (wrappers)
• Модули взаимоувязаны (платформы,
библиотеки)
• «Видимость» обсуждается, но нет чётких границ
18
19. Интеллект-стек (сентябрь 2015)
1. Прикладной уровень
2. Когнитивная архитектура
3. Обучающиеся алгоритмы
4. Вычислительные библиотеки
5. Вычислительные языки
программирования
6. Аппаратное ускорение вычислений
19http://ailev.livejournal.com/1210678.html
Это и есть мой вклад в deep learning
20. 6. Аппаратное ускорение вычислений
Почему сейчас?
Оборудование: enabling technology
Интернет
• Линии связи позволили
передавать картинки на дом
(т.е. стало можно использовать
WWW)
• Дисплеи смогли картинки
показать
• Процессоры смогли картинки
обработать
250Kb веб-страница
• 56Kbps – 36 секунд
• 1Mbps – 2 секунды
• 100Mbps – 0.2 секунды
Нейронные сетки
• Процессоры сумели выдать
терафлоп, нужный для научения
сетки за обозримое время
• Связь и память смогли дать
достаточно (миллионы) картинок для
научения
• 1TFLOP -- 200млн. человек по 14
вычислений на калькуляторе в день
каждый, за год
• GTX Titan X – 7TFLOPS (single preсision)
• Intel Knights Landing Xeon Phi –
6TFLOPS (http://www.zdnet.com/article/intels-next-big-
thing-knights-landing/, http://arxiv.org/abs/1506.09067)
• FPGA: эксперименты до 10TFLOPS и
до 6x меньше TFLOPS/Watt
20
http://www.theguardian.com/technology/2011/jul/06/broadband-speeds-uk
21. Особенности «железа» для deep learning
• Низкая разрядность плавающих, но не один бит (не
«настоящие нейроны»)!
• x2 за последние 9 месяцев в 2015г. за счёт
программной оптимизации доступа к аппаратуре
(софт и хард не независимы!)
• Путаница «настоящих нейронов» и
«алгоритмических» («нейроморфная аппаратура»
против CPU, GPU, FPGA/DSP и т.д.). Помним о
software everything (включая software radio)!
• Битва CPU-GPU-FPGA/DSP
• Суперкомпьютеры, квантовые компьютеры,
мемристоры и прочая экзотика
• Итого: цена входа около 20тыс.рублей (NVIDIA GTX 970)
21
22. 5. Вычислительные языки программирования
• Scientific computing
• Fortran, C++, MATLAB, Python, R, Lua, Wolfram, Julia
• Отдельный уровень (wrapper’ы для библиотек).
• Обратите внимание: Julia (http://julialang.org/)
• Оптимизирован под вычислительные задачи
• Скорость как С++, но писать легче (как на Python)
• Совместим с библиотеками на C
• Быстрее Python, но мощнее Lua
• Учитывает параллельные вычисления
• Не объект-ориентирован! Multiple dispatch
• Версия 0.4 RC (язык молодой!)
• …
22
23. 4. Вычислительные библиотеки
Scientific computing
• Frameworks (library, platform, package) – тысячи их!!!
• Очень условно разделимы с «deep learning frameworks» (для них
deep learning просто пополнение ещё одним классом алгоритмов)
• Не так уж и привязаны к языкам (wrappers)
• Open source виден, но нельзя недооценивать невидимую «в
интернетах» часть (Mathematica, Maple и т.д.)
• символьных вычислений (включая символическое
дифференцирование, нужное для backpropagation)
• Поддержка GPU и параллельности, кластеры и прочая забота о
скорости
• Scikit (NumPy, SciPy, and matplotlib)
• Torch
• Theano
• Nd4j (n-dimentional arrays for Java)
• библиотеки Julia
23
24. 3. Обучающиеся алгоритмы
• Обучающиеся алгоритмы – или обучающиеся данные, а
алгоритмы обучающие?! Что, вообще, там учится?!
• Называются чаще всего frameworks, ибо идут комплектами
• Часто только часть больших вычислительных frameworks
(«зависимости»), указывают также язык разработки-
использования (но часто используются из других языков, а
иногда и сами написаны на чём-то типа С++)
• Предметно-специфические (deep learning – это
как раз они!!!)
• Подразумевают частые изменения, свои в каждой команде –
с ритмом выхода статей
• «Возьми под ключ» против «сделай свой алгоритм сам»
(разным командам нужно разное)
• Наборы данных в комплекте – именно для оценки и
сравнения этих алгоритмов!
• Фреймворки глубогоко обучения содержат «джентльменский
набор»: CNN, RNN, … (а остальное даётся «пакетами» над
вычислительной частью фреймворков)
24
25. С чего начать:
• Torch (и куча «пакетов» в нём)
• Theano (и куча «пакетов» в нём)
• Caffe
• … их огромное количество: как веб-движков в
эпоху окончания эры вебмастеров
• Strada.jl («по мотивам» Caffe)
Осваивать предметную область программистам
нужно именно на этом уровне. Например, тьюториал
http://cs231n.stanford.edu/syllabus.html
Список литературы:
https://github.com/robertsdionne/neural-network-
papers
25
26. 2. Когнитивные архитектуры
• Молчим про AGI (и тем самым пытаемся избегать дискуссии
про «что такое интеллект и почему вам не удастся повторить
человеческий интеллект», а также не возбуждаем
обывателей с их дежурными голливудскими страшилками).
• Когнитивный = знаниевый. Знание – информация,
использующаяся в разных проектах, разных ситуациях.
• Ни один алгоритм не работает в одиночку, ни одна структура
данных не существует сама по себе без алгоритмов.
• Ансамблирование алгоритмов deep learning – это дальние
подходы к когнитивной архитектуре.
• Главное тут даже не «обучение», а «вывод» (reasoning)
• Когнитивная архитектура: один набор алгоритмов и данных –
множественность применений (типичная «платформа»)
26
27. Гибридный вывод и перенос знания
• Онтология и эпистемология
• Hard computing (в том числе символический) и soft
computing (в том числе коннекционистский)
• Statistical strength sharing, learning to learn, learning
transfer, …
• Наука или инженерия?
• Обучение без учителя
• Обучение с умным учителем (а не самому)
• Мультимодальность (символы и картинки, плюс звук
и ароматы)
•Это тема отдельного доклада:
прорывы нужно ожидать тут
27
28. Бионика или чистая инженерия?!
• Традиционный флейм: повторять человеческий мозг или
решать задачи
• Идеал: один простой алгоритм, который решает все задачи,
включая задачу собственной настройки
• Для мозга: множество попыток объяснить интеллект (первая
architecture for cognition – Саймон и Фейгенбаум, 1960, EPAM –
Elementary Perciever and Memorizer)
• На страничке википедии 37 «хорошо известных» – а менее
известных сотни, у всех какие-то программные реализации
• Тренд: всё больше архитектур «не от мозга»
• Память, внимание, сознание – но не память, внимание,
сознание человека
• IBM Watson – «просто добавь ещё» (включая deep learning)
• Есть полностью игнорирование мозга: MANIC
• Именно в архитектурах использование И deep learning, И
shallow (machine learning), И классических методов.
28
29. Пример: MANIC
A Minimal Architecture for General Cognition (http://arxiv.org/abs/1508.00019)
• Ключевые слова:
действия,
планирование,
наблюдения, решения,
знания, …
29
30. 1. Прикладной уровень
• Инновации (продажи тут: killer application)
• Все хотят: интеллектуальный помощник (M,
Google Now, Siri, Cortana, Alexa, … -- они
развиваются более чем быстро)
• Менее массовые, но не менее важные (не
«помощники», а «эксперты»): медицина, колл-
центры, учителя
30
31. Почему важен весь стек (1-6)
• Инновации обеспечиваются (enable) с разных уровней
стека – необязательно целевого.
• Самолёт на композитах, или электросамолёт – это
инновации с более низких платформенных уровней. Но
самолёт при этом будет другим!
• Сами нейронные сетки смогли выйти в мейнстрим на
прикладном уровне из-за инновации на уровне 6
(использование GPU)!
• Промежуточные сборки («коробочные решения») –
NVIDIA DIGITS 2, уровни 6-3 (до алгоритмов, + UI).
• Ни одна фирма не потянет весь стек
Прогнозы:
• Интерфейсы уровней стека будут стабилизироваться,
ходить «мимо интерфейса» будет всё дороже и дороже
• Явного победителя в каждом уровне стека не будет,
будет конкуренция (как и конкуренция людей)
31