Лекция 5. Метод конечных разностей (параллельные алгоритмы в стандарте MPI)Alexey Paznikov
ЛЕКЦИЯ 5. Метод конечных разностей (параллельные алгоритмы в стандарте MPI)
Курс "Параллельные вычислительные технологии" (ПВТ), осень 2015
Сибирский государственный университет телекоммуникаций и информатики
Пазников Алексей Александрович
к.т.н., доцент кафедры вычислительных систем СибГУТИ
http://cpct.sibsutis.ru/~apaznikov
http://cpct.sibsutis.ru/~apaznikov/teaching
Рассматривается метод отдельных тел (метод А. Ф. Верещагина) для построения уравнений движения систем тел со структурой дерева. Приводится пример программы моделирования движения цепи n тел на языке MATLAB.
TMPA-2013 Chupilko: Verification of Correct Behaviour of HDL ModelsIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Ivannikov, V.P., Kamkin, A.S., Chupilko, M.M., Institute for System Programming, ISP RAS
Verification of Correct Behaviour of HDL-Models of Digital Equipment Based on the Dynamic Comparison of Tracks
Лекция 5. Метод конечных разностей (параллельные алгоритмы в стандарте MPI)Alexey Paznikov
ЛЕКЦИЯ 5. Метод конечных разностей (параллельные алгоритмы в стандарте MPI)
Курс "Параллельные вычислительные технологии" (ПВТ), осень 2015
Сибирский государственный университет телекоммуникаций и информатики
Пазников Алексей Александрович
к.т.н., доцент кафедры вычислительных систем СибГУТИ
http://cpct.sibsutis.ru/~apaznikov
http://cpct.sibsutis.ru/~apaznikov/teaching
Рассматривается метод отдельных тел (метод А. Ф. Верещагина) для построения уравнений движения систем тел со структурой дерева. Приводится пример программы моделирования движения цепи n тел на языке MATLAB.
TMPA-2013 Chupilko: Verification of Correct Behaviour of HDL ModelsIosif Itkin
Tools & Methods of Program Analysis (TMPA-2013)
Ivannikov, V.P., Kamkin, A.S., Chupilko, M.M., Institute for System Programming, ISP RAS
Verification of Correct Behaviour of HDL-Models of Digital Equipment Based on the Dynamic Comparison of Tracks
рассматриваются определение системы, виды и классы систем, моделирование и кинематическая интерпретация системы, фазовые точки, пространство и портрет в MathCad, моделирование на основе дифференциальных уравнений, особые точки и бифуркация системы, устойчивость и хаос системы, примеры моделирования динамических систем, пример реализации генератора Ван-дер-Поля на языке C++.
Факторизационные модели в рекомендательных системахromovpa
Факторизационные модели, модели разложения матриц для коллаборативной фильтрации в рекомендательных системах. В презентации рассматриваются теоретические аспекты и алгоритмы.
С доклада на спецсеминаре "Machine Learning & Information Retrieval" в Школе Анализа Данных Яндекса.
В России из-за перехода на уровневую систему высшего образования (бакалавриат – магистратура – аспирантура) актуальным является формирование новых образовательных программ и выстраивание взаимосвязей между ними. В статье представлена новая концепция построения магистерских программ для высокотехнологичных направлений подготовки кадров — проектно-технологическая магистратура. В качестве примера описывается программа подготовки специалистов в области инфокогнитивных технологий на базе зонтичного проекта по созданию жестомимического интерфейса.
Основными принципами реализации программ подобного типа являются построение на базе зонтичного R&D-проекта; определение в программе перечня обязательных проектных образовательных результатов; сопряжение учебных дисциплин отдельным задачам
R&D-проекта. Основными достоинствами проектно-технологических магистратур являются: уникальность магистерских программ, подчеркивающая особенности научных школ университетов; обновление программ в соответствии с жизненным циклом перспективных
технологий; рост публикационной и грантовой активности; активизация формирования личностных компетенций (soft skills), инновационной активности, создание и запуск стартапов; формирование R&D-портфолио магистрантов. Принципиальным ограничением для
тиражирования проектно-технологических магистратур является наличие научного и инженерного задела в конкретных преподавательских коллективах, а также доступность производственной базы и ресурсного обеспечения.
рассматриваются определение системы, виды и классы систем, моделирование и кинематическая интерпретация системы, фазовые точки, пространство и портрет в MathCad, моделирование на основе дифференциальных уравнений, особые точки и бифуркация системы, устойчивость и хаос системы, примеры моделирования динамических систем, пример реализации генератора Ван-дер-Поля на языке C++.
Факторизационные модели в рекомендательных системахromovpa
Факторизационные модели, модели разложения матриц для коллаборативной фильтрации в рекомендательных системах. В презентации рассматриваются теоретические аспекты и алгоритмы.
С доклада на спецсеминаре "Machine Learning & Information Retrieval" в Школе Анализа Данных Яндекса.
В России из-за перехода на уровневую систему высшего образования (бакалавриат – магистратура – аспирантура) актуальным является формирование новых образовательных программ и выстраивание взаимосвязей между ними. В статье представлена новая концепция построения магистерских программ для высокотехнологичных направлений подготовки кадров — проектно-технологическая магистратура. В качестве примера описывается программа подготовки специалистов в области инфокогнитивных технологий на базе зонтичного проекта по созданию жестомимического интерфейса.
Основными принципами реализации программ подобного типа являются построение на базе зонтичного R&D-проекта; определение в программе перечня обязательных проектных образовательных результатов; сопряжение учебных дисциплин отдельным задачам
R&D-проекта. Основными достоинствами проектно-технологических магистратур являются: уникальность магистерских программ, подчеркивающая особенности научных школ университетов; обновление программ в соответствии с жизненным циклом перспективных
технологий; рост публикационной и грантовой активности; активизация формирования личностных компетенций (soft skills), инновационной активности, создание и запуск стартапов; формирование R&D-портфолио магистрантов. Принципиальным ограничением для
тиражирования проектно-технологических магистратур является наличие научного и инженерного задела в конкретных преподавательских коллективах, а также доступность производственной базы и ресурсного обеспечения.
Лекция №12 "Ограниченная машина Больцмана" Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №12 "Ограниченная машина Больцмана"
Лектор - Павел Нестеров
Нейросетейвой автоэнкодер. Стохастические и рекурентные нейронные сети. Машина Больцмана и ограниченная машина Больцмана. Распределение Гиббса. Алгоритм contrastive divergence для обучения РБМ. Сэмплирование данных из РБМ. Бинарная РБМ и гауссово-бинарная РБМ. Влияние регуляризации, нелинейное сжатие размерности, извлечение признаков. Semantic hashing.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №11 "Основы нейронных сетей"
Лектор - Павел Нестеров
Биологический нейрон и нейронные сети. Искусственный нейрон Маккалока-Питтса и искусственная нейронная сеть. Персептрон Розенблатта и Румельхарта. Алгоритм обратного распространения ошибки. Момент обучения, регуляризация в нейросети, локальная скорость обучения, softmax слой. Различные режимы обучения.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
Основы машинного обучения, базовые понятия (например переобучение и способы его предотвращения), различные архитектуры сетей, и, в частности, сверточные сети. Так же рассмотрены методы оптимизации вычислений в подобных архитектурах: quantization, binary-net и другие.
TeaVM: dead code elimination and devirtualizationАлексей Андреев
This presentation is in Russian!
TeaVM is a AOT compiler of Java bytecode primarily targetted to JavaScript. This presentation explains technique used by to remove unused code
Метод искусственной пчелиной колонии, алгоритм пчёлKirill Netreba
A new population-based search algorithm called the Bees Algorithm (BA) is presented. The algorithm mimics the food foraging behaviour of swarms of honey bees. In its basic version, the algorithm performs a kind of neighbourhood search combined with random search and can be used for both combinatorial optimisation and functional optimisation.
модель акторов и C++ что, зачем и как ?corehard_by
Модель акторов, переживающая сейчас очередную волну популярности, является очень интересным подходом к разработке сложных приложений. С помощью модели акторов было создано множество систем, написанных на языке Erlang и на базе фреймворка Akka. Но Erlang и Akka -- это управляемые среды и безопасные языки программирования. А есть ли смысл применять модель акторов в C++? Если есть, то куда смотреть и что использовать? Какие подводные камни могут поджидать на этом пути? Об этом всем и пойдет речь в докладе.
Современные архитектуры диалоговых систем / Анатолий Востряков (Segmento)Ontico
В докладе я рассмотрю современные архитектуры диалоговых систем или чат-ботов. Неполный список архитектур влючает Dual Encoders, Neural Conversational Networks with and without context, Generative Hierarchical Neural Networks, Memory Networks and Dynamic Memory Networks. В том числе немного коснемся использования Reinofcement Learning в диалоговых системах. Вначале будет мягкое введение в Deep Learning for NLP для лучшего понимания представленных архитектур.
Хочу знать, сколько уникальных посетителей было на моём сайте за произвольный...Ontico
Что нужно хранить для того, чтобы была возможность ответить на этот вопрос?
Для точного ответа нужно через равные интервалы времени сохранять множество посетителей сайта (пусть это для простоты будут IP-адреса), которых мы за прошедший интервал увидели. Понятное дело, что такой объём информации хранить нереально, а даже, если получится, придётся объединять большое количество множеств и считать элементы в том множестве, которое получилось в итоге. Это очень долго. Не спасает ситуацию даже переход от точных алгоритмов к приблизительным: гарантировать точность либо не получится, либо придётся использовать объём памяти и вычислительные ресурсы, сопоставимые с точным алгоритмом.
В 80-х годах появились первые вероятностные алгоритмы для приблизительной оценки количества элементов в множестве. При большом количестве уникальных элементов эти алгоритмы дают приблизительную оценку, которая отличается от истинного значения в (1±e), e<1>0.5. То есть они могут вернуть оценку, которая сильно отличается от истинного значения с некоторой вероятностью (1-p). Чем больше требуется точность, и чем меньше нужна вероятность ошибки, тем больше ресурсов требуют алгоритмы. Сохраняя внутреннее состояние одного из таких алгоритмов через равные промежутки времени в базе данных, мы можем оценить приблизительное количество уникальных посетителей не только за произвольный интервал времени, но и за произвольное объединение любых интервалов времени, например, мы можем посчитать общее количество уникальных IP, которых мы наблюдали в промежутке времени с 17:00 до 18:00 в течение последней недели.
В 2000-ные в научном сообществе велась активная работа по достижению теоретически оптимальных характеристик (т.е. потребление памяти, сложность добавления нового элемента, сложность запроса) вероятностных приблизительных алгоритмов для оценки кардинальности (количества элементов в множестве), разрабатывался необходимый инструментарий.
Первый такой алгоритм был предложен в 2010 году. О нём-то мы и поговорим.
Анализ количества посетителей на сайте [Считаем уникальные элементы]Qrator Labs
Конференция Highload++ / 7 ноября 2016 / Спикер - Константин Игнатов, инженер-разработчик в отделе исследований Qrator Labs.
Для точного ответа на вопрос, сколько уникальных посетителей было на моём сайте за произвольный интервал времени в прошлом, нужно через равные интервалы времени сохранять множество посетителей сайта (пусть это для простоты будут IP-адреса), которых мы за прошедший интервал увидели. Понятное дело, что такой объём информации хранить нереально, а даже, если получится, придётся объединять большое количество множеств и считать элементы в том множестве, которое получилось в итоге. Это очень долго. Не спасает ситуацию даже переход от точных алгоритмов к приблизительным: гарантировать точность либо не получится, либо придётся использовать объём памяти и вычислительные ресурсы, сопоставимые с точным алгоритмом.
27-28 февраля 2015 г. в Университете машиностроения прошла всероссийская научно-практическая конференция «Интерактивное образование в инженерном вузе», посвященная инновационным форматам в высшем техническом образовании. В рамках секции «Развитие компетенций инженеров в области САПР» руководитель образовательной программы "Системная интеграция САПР-решений" Андрей Юрьевич Филиппович представил доклад "Использование стандартов WorldSkills для совершенствования САПР-подготовки студентов", а также принял участие проектной сессии по вопросам использования конкурсных заданий, методик и систем оценивания в традиционном учебном процессе.
INTEGRATING VENDORS OFFICIAL COURSES INTO UNIVERSITIES’ IT CURRICULUMSPhilippovich Andrey
Доклад на I Национальной (Казахстан) конференции «Современные информационные технологии и ИТ-образование», организатором которой выступил Национальный инфокоммуникационный холдинг «Зерде» при поддержке Министерства транспорта и коммуникаций РК.
Электронное обучение и ДОТ в ДПО: потребности и перспективыPhilippovich Andrey
Доклад на круглом столе / секции "Российский и международный опыт реализации дополнительных профессиональных образовательных программ с использованием дистанционных образовательных технологий и электронного обучения" в рамках конференции «Актуальные вопросы развития непрерывного образования: проблемы, пути решения», проводимой Министерством образования и науки Российской Федерации. http://spo-edu.ru/conference
В рамках второго дня заседания Совета УМО по Прикладной информатике в МЭСИ состоится презентация обновленной версии "Рекомендаций по встраиванию сертифицированных учебных курсов фирмы "1С" в образовательные программы вузов", ТОП-программ и других методических разработок МАК ИКТ.
3. Модуль NN.
«Введение в нейронные сети»
http://it-claim.ru/Education/Course/AI/Lections/Lections_ann.htm
4. Материалы презентации основаны на публикации:
Ф. Уоссермен. - Нейрокомпьютерная техника: Теория и
практика // Издательство: Мир, 1992 - 240 с.
Круглов В.В., Борисов В.В. Искусственные нейронные
сети. Теория и практика // Издательство: Горячая Линия
- Телеком, 2002 - 382 стр.
Г.Э. Яхъяева (? Ф. Уоссермен) Основы теории нейронных
сетей - http://www.intuit.ru/department/ds/neuronnets/
5. 100.000.000.000+ нейронов в
теле человека
Структурные элементы
нейрона:
◦ Аскон
◦ Дендриты
◦ Синапс
Электрическия и химическая
передача сигналов,
нейромедиатры
7. X - множество входных сигналов
W – веса дендритов
NET – результат суммирования
входных сигналов
8. F – активационная функция
OUT= F(NET) – выход нейрона
Пороговая функция
◦ OUT = 1, если NET > T,
OUT = 0, в остальных случаях
Сигмоидальная функция
9.
10. По количеству слоев
Однослойные и многослойные НС
По направлению распространения сигнала
Сети прямого действия и рекуррентные НС
По архитектуре, алгоритму обучения
Перспетроны, Сети обратного
распространения, Карты Кохонена, Модели
ART и др.
11. Особенности
НС прямого действия
Входы и выходы – бинарные значения {0,1}
Активационная функция – пороговая
Все входные сигналы поступают на все
нейроны
12. Модель однослойного
персептрона имеет
ограничение, которое не
позволяет обучить его
некоторым функциям
Например, функции XOR
Линейно-разделимые функции
Число лин.
n 22n
разд. Ф-ций
1 4 4
2 16 14
3 256 104
4 65536 1882
5 4,3х109 94572
6 1,8х1019 15 028 134
13.
14. 2-хслойные сети
позволяют определить
выпуклую область
решения
3-хслойные сети могут
реализовать любые
функции
15. Алгоритмы обучения:
◦ С учителем - обучающая выборка {(X, Y)}
◦ Без учителя - обучающая выборка {X}
Шаг 1: Выбрать элемент обучающей выборки (Xi, Yi)
◦ Шаг 1-1: Подать на вход НС вектор Xi и вычислить значение выхода NETi
◦ Шаг 1-2: Сравнить значения NETi и Yi
Если NETi = Yi , то ничего не делаем
Если NETi < Yi , то увеличить веса всех активных входов
Если NETi > Yi , то уменьшить веса всех активных входов
Шаг 2: Выбирать следующий элемент обучающей выборки (i=i+1)
пока не обработаны все элементы (i<=N)
Шаг 3: Проверить НС на правильность работы для всех элементов
обучающей выборки.
Если все NETi = Yi, то закончить работу алгоритма
Иначе перейти к шагу 1.
16. Дельта правило (правило Видроу-Хоффа): корректировка,
применяемая к синаптическому весу нейрона, пропорциональна
произведению сигнала ошибки на входной сигнал, его вызвавший.
δ = (T - Y).
Δi = ηδxi,
w(n+1) = w(n) + Δi,
Editor's Notes
ЭВОЛЮЦИОННАЯ ТЕОРИЯ ВОЗНИКНОВЕНИЯ ИНТЕЛЛЕКТА И СОЗНАНИЯПо материалам лекций А.Р. Лурия
