Факторизационные модели в рекомендательных системахromovpa
Факторизационные модели, модели разложения матриц для коллаборативной фильтрации в рекомендательных системах. В презентации рассматриваются теоретические аспекты и алгоритмы.
С доклада на спецсеминаре "Machine Learning & Information Retrieval" в Школе Анализа Данных Яндекса.
Рассматриваются методы решения систем линейных алгебраических уравнений с трехдиагональными, симметричными и положительно определенными матрицами коэффициентов.
Лекция №6 "Линейные модели для классификации и регрессии" Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №6 "Линейные модели для классификации и регрессии"
Лектор - Николай Анохин
Обобщенные линейные модели. Постановка задачи оптимизации. Примеры критериев. Градиентный спуск. Регуляризация. Метод Maximum Likelihood. Логистическая регрессия.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
В стенах Azoft прошла лекция по практическому применению нейронных сетей.
На лекции рассказывалось о типах нейронных сетей, способах и особенностях их обучения и практическом применении. В конце доклада ребята дали советы для тех, кто только хочет начать развиваться в этой сфере: какие задачи решать, с чем экспериментировать, на какие смежные области обратить особенное внимание.
Видеозапись лекции вы можете посмотреть на YouTube: https://youtu.be/gwf18CGJM5c
Факторизационные модели в рекомендательных системахromovpa
Факторизационные модели, модели разложения матриц для коллаборативной фильтрации в рекомендательных системах. В презентации рассматриваются теоретические аспекты и алгоритмы.
С доклада на спецсеминаре "Machine Learning & Information Retrieval" в Школе Анализа Данных Яндекса.
Рассматриваются методы решения систем линейных алгебраических уравнений с трехдиагональными, симметричными и положительно определенными матрицами коэффициентов.
Лекция №6 "Линейные модели для классификации и регрессии" Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №6 "Линейные модели для классификации и регрессии"
Лектор - Николай Анохин
Обобщенные линейные модели. Постановка задачи оптимизации. Примеры критериев. Градиентный спуск. Регуляризация. Метод Maximum Likelihood. Логистическая регрессия.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
В стенах Azoft прошла лекция по практическому применению нейронных сетей.
На лекции рассказывалось о типах нейронных сетей, способах и особенностях их обучения и практическом применении. В конце доклада ребята дали советы для тех, кто только хочет начать развиваться в этой сфере: какие задачи решать, с чем экспериментировать, на какие смежные области обратить особенное внимание.
Видеозапись лекции вы можете посмотреть на YouTube: https://youtu.be/gwf18CGJM5c
Основы машинного обучения, базовые понятия (например переобучение и способы его предотвращения), различные архитектуры сетей, и, в частности, сверточные сети. Так же рассмотрены методы оптимизации вычислений в подобных архитектурах: quantization, binary-net и другие.
Машинное обучение для интеллектуализации ваших приложенийPAY2 YOU
Проводится обзор принципиальных задач машинного обучения и наиболее популярных программных пакетов и библиотек в этой области. Рассказывается об опыте использования средств искусственного интеллекта и искусственных нейронных сетей и их применения в приложениях (zzphoto.me, recognizz.it). Основной упор доклада сделан на специфику процесса разработки и иплементации в программные продукты функционала, содержащего искуственный интеллект. Приводится список типичных ошибок и практических советов для создания работоспособных интеллектуальных приложений. Будет полезен как опытным программистам, так и начинающим специалистам в этой области.
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №13 "Глубокие нейронные сети"
Лектор - Павел Нестеров
Трудности обучения многослойного персептрона. Предобучение используя РБМ. Глубокий автоэнкодер, глубокая многослойная нейросеть. Deep belief network и deep Boltzmann machine. Устройство человеческого глаза и зрительной коры головного мозга. Сверточные сети.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
В этой лекции я даю небольшое введение в нейронные сети.
Начиная с работы мозга прихожу к идее искусственных нейронных сетей, а во второй части даю математическое описание модели.
Перспективы развития информационных технологий. И. В. Артюхов, 26-й семинар по трансгуманизму ( http://www.transhumanism-russia.ru/content/view/454/85/ )
Классификация изображений с помощью нейронных сетей. Сжатие и ускорение обуче...Yandex
Свёрточные нейронные сети позволяют получать потрясающие результаты во многих задачах компьютерного зрения. В этом докладе я расскажу о нашем опыте обучения и применения свёрточных нейронных сетей. Отдельно будет затронут актуальный вопрос сжатия и ускорения нейросетевых моделей.
Приближенный метод решения практических задач рационального раскроя на основе...Victor Balabanov
Презентация, подготовленная для выступления на I всеукраинской научно-технической конференции студентов, аспирантов и молодых учёных «Информационные управляющие системы и компьютерный мониторинг», ДонНТУ, Донецк, 19—21 мая 2010 г.
Эволюционный подход к оптимизации раскроя рулонных материаловVictor Balabanov
Презентация, подготовленная для выступления на XII международной научно-технической конференции «Системный анализ и информационные технологии», НТУУ «КПИ», Киев, 25—29 мая 2010 г.
Предсказание оттока игроков из World of TanksYandex
Одна из наиболее часто возникающих задач в бизнес-аналитике для компаний — это предсказание оттока клиентов. Ведь если заранее знать, что клиент собирается уйти к конкуренту, его можно попытаться остановить. Задача будет рассмотрена на примере прогнозирования оттока игроков из World of Tanks.
Как принять/организовать работу по поисковой оптимизации сайта, Сергей Царик,...Yandex
Лекция Сергея Царика в Школе вебмастеров: «Как принять/организовать работу по поисковой оптимизации сайта».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Основные этапы и методы поисковой оптимизации
Рассмотрим проработку стратегии продвижения, планирование ресурсов на проект, поймем как нужно прорабатывать семантическое ядро для продвижения, разберемся с очередностью всех работ.
Разложим по полочкам основные приемы оптимизации в связке с внутренними и внешними факторами ранжирования поисковых систем, а также в связке с поведенческими факторами и характеристиками. Разберемся с тем, что же должен делать оптимизатор для достижения топа.
Что должно включать в себя ТЗ на поисковую оптимизацию
Разберемся с основными блоками технического задания от оптимизатора, с тем, каким оно должно быть с точки зрения подачи информации и ее глубины.
Сравнение in-house подхода и агентства
Рассмотрим все «за» и «против» оптимизатора в штате компании и вне её.
На основе каких метрик нужно оценивать эффективность оптимизаторской работы
Выделим ключевые показатели эффективности работы оптимизатора, рассмотрим процесс их измерения, динамику, разберемся с возможными «миксами» и их связкой с мотивацией подрядчика.
Структурированные данные, Юлия Тихоход, лекция в Школе вебмастеров ЯндексаYandex
Лекция Юлия Тихоход в Школе вебмастеров: «Структурированные данные на поиске»
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Что такое микроразметка и в чём её польза
Что такое микроразметка (семантическая разметка, семантическая микроразметка) и кому она нужна. Очень кратко — всё, что я знаю о применении семантической разметки поисковыми системами и другими веб-сервисами.
Передача данных в машиночитаемом виде
Какие ещё есть способы передать данные о сайте поисковым системам кроме микроразметки, особенности разных способов. Что бывает с плохими вебмастерами, которые пытаются обмануть поисковые системы и передать неверные данные.
Типы разметки
Из чего состоит микроразметка, какие бывают словари и синтаксисы. Популярные сочетания словарей и синтаксисов, как правильно выбирать нужную комбинацию для своего сайта.
Передача данных об интернет-магазине
Разбор семантической разметки: что в принципе доступно для разметки в интернет-магазине, что это даёт, а что можно не размечать вовсе.
Проверка правильности микроразаметки
Ошибки в микроразметке, способы их обнаружения и исправления. Популярные валидаторы микроразметки. Какие ошибки непременно нужно исправлять, а что можно игнорировать.
Представление сайта в поиске, Сергей Лысенко, лекция в Школе вебмастеров ЯндексаYandex
Лекция Сергея Лысенко в Школе вебмастеров: «Представление сайта в поиске»
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Основные элементы сниппетов: как влиять на их формирование
Как по внешнему виду и содержанию визитки судят, стоит ли «связываться», так и по представлению сайта на странице выдачи пользователи решают, стоит ли переходить на сайт. Как изменить представление сайта в выдаче поисковых систем? Что может повлиять на CTR и что для этого нужно сделать? Рассмотрим фавиконки, навигационные цепочки, быстрые ссылки и многое, многое другое.
Зачем нам заголовок: как им управлять
Что должно быть в заголовке, а чего уж точно не стоит делать. Как избавиться от мусора и расставить акценты. И как это скажется на представлении сайта в поиске.
Основной контент аннотации и мета-описания: что нам они дают
Сниппет — зачем он нужен? Как обрабатываются данные для аннотаций? Что в сниппете помогает, а что мешает пользователю сориентироваться? Как подсказать поисковой системе, что выводить в сниппете? От Open Graf до schema.org. Инструменты, возможности, рекомендации.
Плохие методы продвижения сайта, Екатерины Гладких, лекция в Школе вебмастеро...Yandex
Лекция Екатерины Гладких в Школе вебмастеров: «Плохие методы продвижения сайта»
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Как завязывают с портянками
Как использовать wordstat, чтобы превратить текст в SEO-портянку. Как Яндекс определяет текстовый спам и какие ограничения могут быть применены к сайтам, злоупотребляющим ключевыми словами.
Эффектное размещение SEO-ссылок
Какие бывают SEO-ссылки и как они классифицируются в базе Яндекса. В чём отличие SEO-ссылок от рекламы. Как размещать SEO-ссылки наиболее эффектно. Методы борьбы против ссылочного спама – АГС и Минусинск. Снятие ссылок.
Поведенческие факторы, медитативные практики
Популярные сервисы накрутки: как это работает и как это не работает. Методы накрутки и методы борьбы с мошенничеством. Примеры пользовательских сессий и кто на самом деле посещает ваш сайт. Как выйти из-под санкций за накрутку поведенческих факторов.
Основные принципы ранжирования, Сергей Царик и Антон Роменский, лекция в Школ...Yandex
Лекция Сергея Царика и Антона Роменского в Школе вебмастеров: «Основные принципы ранжирования»
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Как работает поиск
При запросе пользователя к поисковой системе происходит множество процессов, которые позволяют дать наиболее релевантный ответ. Рассмотрим основные механизмы формирования выдачи: формулы, Матрикснет, персонализацию и обновления.
Что учитывается при ранжировании сайтов
Так как сайты разные и по-разному решают пользовательские задачи, при ранжировании поисковой системе нужно учитывать множество факторов. Поговорим о том, что обязательно должно быть на сайте для правильной индексации.
Ещё о факторах ранжирования
Какой контент действительно важен и как его правильно представить. Для правильного ранжирования сайта важно разобраться с его региональной привязкой. Разберёмся, какой регион присваивать сайту и как сделать это правильно.
Реальный кейс долгосрочной работы над позициями
Посмотрим на реальном примере, как изменялись основные жизненные характеристики (трафик, конверсии) сайта на пути в топ выдачи поисковых систем.
Основные принципы индексирования сайта, Александр Смирнов, лекция в Школе веб...Yandex
Лекция Александра Смирнова в Школе вебмастеров: «Основные принципы индексирования сайта».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Как поиск находит страницу, её путь до появления в поиске
Поисковые системы постоянно собирают информацию о страницах в интернете. Как же это происходит и как добавить страницы своего сайта в поиск? Проверка индексирования сайта.
Как управлять роботом (зеркала, sitemap, robots.txt)
Множество сайтов в интернете доступны сразу по нескольким адресам. Как указать поисковому роботу на основной и как скорректировать индексирование?
Особенности индексирования
Современные сайты используют различные технологии в своей работе. Рассмотрим, как настроить их правильно и сделать контент доступным для робота.
Как улучшить индексирование (дубли, HTTP-ответ, удаление из поиска)
В поиск попадают различные страницы, которые известны роботу. Какие нужны, а какие нет? Как повлиять на их индексирование?
Мобильное приложение: как и зачем, Александр Лукин, лекция в Школе вебмастеро...Yandex
Лекция Александра Лукина в Школе вебмастеров: «Мобильное приложение: как и зачем»
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Проектирование. Быть или не быть
Обсудим обоснование для разработки мобильного приложения — какую ценность оно может принести для проекта и бизнеса. Определим основные типы приложений и сценарии использования. Рассмотрим основные технологии и выбор оптимальных для конкретных задач. ТЗ — как оценить и какие особенности необходимо учесть.
Разработка. Важные детали
На что обратить внимание на этапе разработки и тестирования, заметки по специфике мобильных экосистем. Выбираем арсенал SDK для всестороннего анализа проекта в полёте.
Публикация и продвижение
Кратко рассмотрим специфику Google Play и AppStore. Проведём экскурс в мир мобильного маркетинга, подчеркнём сходства с вебом и отличия от него. Рассмотрим ключевые метрики для анализа продукта и процесса продвижения, а также способы их повышения.
Сайты на мобильных устройствах, Олег Ножичкин, лекция в Школе вебмастеров Янд...Yandex
Лекция Олега Ножичкина в Школе вебмастеров: «Сайты на мобильных устройствах»
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Статистика и тренды по мобильному интернету
Основные показатели мобильного интернет-рынка. Тенденции роста мобильной аудитории.
Новые алгоритмы ранжирования поисковых систем
Адаптация сайта к мобильным пользователям и её влияние на позиции в поисковой выдаче.
Возможности для бизнеса в мобильном вебе
Мобильный сайт позволяет воспользоваться дополнительными возможностями взаимодействия с пользователем. Рассмотрим конкретные примеры.
Мобильный сайт и приложение — в чём разница
Чем отличается мобильное приложение от мобильно сайта. Какие преимущества и недостатки у каждого варианта.
Представление сайтов на мобильных устройствах
Адаптивные сайты. Мобильные сайты. Сайты для десктопа. Чем они отличаются, какие преимущества у каждого типа и нужно ли переключаться между мобильной и десктоп-версиями?
Удобный мобильный сайт для пользователя
Поведение пользователей на мобильном сайте. Отличия от десктопа, достижение целей и простые правила увеличения конверсии.
Специфика разработки мобильного сайта
Особенности проектирования, разработки и тестирования сайтов.
Инструменты для разработки мобильных сайтов
Готовые инструменты для проектирования и тестирования. Примеры фреймворков.
Качественная аналитика сайта, Юрий Батиевский, лекция в Школе вебмастеров Янд...Yandex
Лекция Юрия Батиевского в Школе вебмастеров: «Качественная аналитика сайта»
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Что мы хотим от аналитики сайта
На какие вопросы должна отвечать аналитика сайта. Как аналитика сайта связана с аналитикой бизнеса. На какие блоки можно поделить аналитику онлайн-процессов. Какой должна быть идеальная аналитическая система.
Анализ общих показателей бизнеса
Как построить систему аналитики бизнеса в интернете. Ключевые показатели эффективности (KPI). Построение воронки продаж. Business Intelligence — сквозная аналитика всех процессов.
Обзор инструментов для анализа сайта и аудитории
Яндекс.Метрика и Google Analytics как основа веб-аналитики. Инструменты для веб-мастеров. Инструменты для анализа действий пользователей (Kiss-metrics, Woopra, Mixpanel). Системы для подсчета целевых действий, CPA и ROMI.
Анализ каналов привлечения клиентов
Как анализировать источники трафика. Популярные инструменты для анализа.
Пройти тест по теме
Процесс развертывания системы аналитики сайта
Подготовка к установке систем веб-аналитики. Тонкости установки и настройки трекеров. Подключение коллтрекинга и дополнительных инструментов фиксации целевых действий. Настройка пользовательских сценариев. Пример по анализу пользовательского сценария.
Что можно и что нужно измерять на сайте, Петр Аброськин, лекция в Школе вебма...Yandex
Лекция Петра Аброськина в Школе вебмастеров: «Что можно и что нужно измерять на сайте».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Базовые принципы веб-аналитики
Как работает веб-аналитика и какие подводные камни есть в учёте и анализе данных. Как правильно работать с данными.
Основные метрики и термины
Посетители, визиты, глубина просмотра, время на сайте — какие метрики важны и чем они отличаются.
Как выбрать правильный KPI
Самый важный этап в веб-аналитике и продвижении сайта. Какие цели выбрать интернет-магазину, сайту услуг, контентному проекту и т.д.
Ключевые группы отчетов и применение знаний на практике
Семь главных типов отчётов для бизнеса. Анализ контекстной рекламы, SEO и контента сайта — на конкретных примерах.
Как правильно поставить ТЗ на создание сайта, Алексей Бородкин, лекция в Школ...Yandex
Лекция Алексея Бородкина в Школе вебмастеров: «Как правильно поставить ТЗ на создание сайта».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
ТЗ: две буквы с большим потенциалом
Что такое техническое задание. Какое место оно занимает в веб-разработке. Какие цели преследует. И каким требованиям оно должно отвечать.
Что нужно сделать, прежде чем садиться за ТЗ
Зачем нужна подготовка к написанию ТЗ. Какую информацию нужно собрать и как выстроить этот процесс. На каком этапе веб-разработки нужно писать ТЗ — и что будет, если этот момент упустить. Какое отношение имеют к ТЗ прототипы, пользовательские истории и прочие инструменты проектирования.
Хорошее ТЗ
Как соединить в один документ описание интерфейсов, структуру данных и много чего ещё. Структура правильного, хорошего ТЗ с подробным разбором каждого пункта. С какой стороны приступать и как эффективнее всего выстроить работу.
Кто должен писать ТЗ
Кто может написать хорошее ТЗ. Где найти такого человека и как встроить его в общие процессы. Что делать, если ТЗ пишет сам заказчик.
Плохое ТЗ
Популярные ошибки. Чем они ужасны и как их избежать.
Жизнь с ТЗ
По какой схеме нужно согласовывать ТЗ. Как применять его в дальнейшей работе. Кому не нужно показывать ТЗ ни при каких обстоятельствах. Что делать, если ТЗ никому не нравится.
ТЗ по ГОСТ: ад на Земле
Краткая история развития ТЗ со времён Брежнева и до наших дней. Почему я старательно избегаю слова «ТЗ». Почему вы должны нервно вздрагивать при слове «ГОСТ». Что делать, если вы работаете с госзаказчиком.
Как защитить свой сайт, Пётр Волков, лекция в Школе вебмастеровYandex
Лекция Петра Волкова в Школе вебмастеров: «Как защитить свой сайт».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Актуальные типы угроз и динамика их развития
Компрометация сервера и её последствия. Распределённые атаки типа «отказ в обслуживании». Подмена или добавление рекламы на стороне клиента. Атаки, направленные на пользователей. Проблемы, связанные со внешним содержимым.
Управление рисками безопасности веб-сайтов
Разные типы сайтов подвержены разным типам рисков информационной безопасности. Понимание целей и подходов злоумылшенников как ключ к эффективному снижению рисков. Методы монетизации атак на сайты.
Доступный инструментарий и методики для обеспечения безопасности
Открытые инструменты форензики для типовых и сложных проектов. Системы обнаружения вторжений, подходы к проектированию безопасности в архитектуре и процессах.
Как правильно составить структуру сайта, Дмитрий Сатин, лекция в Школе вебмас...Yandex
Лекция Дмитрия Сатина в Школе вебмастеров: «Как правильно составить структуру сайта».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Структура сайта, ориентированная на человека; построение структуры, карточная сортировка
Содержимое сайтов часто организовано так, как кажется удобным разработчику или контент-менеджеру компании. Чаще всего такие структуры неудобны для реальных посетителей, потому что не совпадают с их знаниями, не поясняют, как устроен материал, и не помогают найти желаемое. Структура, ориентированная на пользователя, повышает вероятность того, что посетители найдут нужную информацию или товар и сделают это быстро.
Стройте структуру, исходя из пользовательских сценариев. Выделение на сайте разделов, соответствующих структуре компании или схеме процесса закупки, как правило, усложняет навигацию для пользователя. Правильная структура учитывает уровень знаний покупателя и использует понятные ему термины и способы группировки.
Разные типы структур, средства навигации, дальнейший поиск информации на странице
Структуры сайтов, на которых ищут что-то определённое, отличаются от тех, что используются на сайтах, посетители которых ещё не уверены, что именно они хотят или как называется нужная вещь. Строгие структуры — например, организация по наименованию товара, производителю, — предполагают один способ группировки. При нестрогой организации данные можно группировать по теме, по жизненной ситуации и так далее. Используйте средства навигации, которые помогают понять, как организован материал. Решая, какой будет визуальная реализация навигации на сайте, необходимо учитывать количество разделов и связи �
Технические особенности создания сайта, Дмитрий Васильева, лекция в Школе веб...Yandex
Лекция Дмитрия Васильева в Школе вебмастеров: «Технические особенности создания сайта».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Сайт — расплывчатое понятие
Раньше под словом «сайт» понимался набор HTML-страниц, расположенных в домене второго или третьего уровня. Появление социальных сетей размыло это понятие.
Как выбрать домен
Различные варианты, и какой из них подойдёт именно вашему сайту: доменные зоны, читаемые и нечитаемые домены, кириллица и латиница.
Подходы к созданию сайтов
Первые сайты делались на чистом HTML. Сейчас такой способ ещё встречается, но подавляющее большинство веб-страниц создаются при помощи CMS, фреймворков, конструкторов.
Составные сущности: структура, макеты дизайна, интерактивные элементы, контент, система прав. Размещение сайта на хостинге. Российские и зарубежные, дорогие и дешевые, облачные и традиционные провайдеры. Кратко о тонкостях взаимодействия с ними.
Что такое HTTPS
Всё более популярный безопасный протокол доступа к сайту. Нужен ли он вам и в каких случаях. Как выбрать платформу для сайта, основные системы управления сайтом (CMS) и конструкторы.
Сайт после запуска
Сайты создаются с конкретной целью, обычно связанной с получением дохода. Как контент сайта и его технические характеристики напрямую могут влиять на бизнес-эффективность.
Конструкторы для отдельных элементов сайта, Елена Першина, лекция в Школе веб...Yandex
Лекция Елены Першиной в Школе вебмастеров: «Конструкторы для отдельных элементов сайта».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
О пользе тех или иных технологий
Взгляд в будущее, короткий обзор других полезных технологий и «опасностей», которые подстерегают на пути к правильному их выбору.
Как выбрать поиск для сайта
Поиск для сайта — важный инструмент навигации. Чтобы оценить качество поиска по своему сайту, посмотрите на количество уходов со страницы результатов. Полнота, скорость индексирования, обработка запросов (исправление ошибок, опечаток, неправильной раскладки) — без этого невозможно представить качественный поиск.
Как выбрать карты для сайта
Уход посетителя с сайта на «большие» Яндекс.Карты за точной информацией об организации может обернуться потерей клиента, который уже был готов к покупке. Чтобы этого не допустить, лучше сделать интерактивную карту прямо на сайте.
Автоматизация оплаты на сайте
Люди привыкают платить картой, сегодня даже уличные киоски принимают их. Поэтому многим посетителям кажется «подозрительным» интернет-магазин, в котором недоступны электронные платежи. Начать приём банковских карт в онлайне очень просто, главное выбрать для этого подходящую технологию.
Перевод важных страниц
На каких языках говорит ваша аудитория, много ли у вас посетителей из-за рубежа? Ответы на эти вопросы даст Яндекс.Метрика. Именно она поможет оценить, нужно ли тратиться на профессионального переводчика и готовить отдельные описания товаров или новости на других языках. Во многих случаях для совершения покупки достаточно и простого машинного перевода. Узнайте, как его настроить, чтобы ключевые разделы сайта автоматически переводились для иностранных посетителей.
Социальная интеграция
Как заставить пользователей говорить о себе в социальных сетях? В первую очередь нужно сделать хороший продукт или услугу, но и без удобного инструмента для «шаринга» в соцсетях — никуда. Рекомендации о том, как выбрать и установить такой инструмент к себе на сайт.
Контент для интернет-магазинов, Катерина Ерошина, лекция в Школе вебмастеров ...Yandex
Лекция Катерины Ерошиной в Школе вебмастеров: «Контент для интернет-магазинов».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Виды контента для интернет-магазинов
Основные страницы, карточки товаров, каталог в целом. Письма покупателям. Статьи для интернет-магазина.
Основные сервисные страницы: что нужно знать покупателю
О страницах доставки, оплаты, контактов, условий работы.
Страница товара интернет-магазина: какой нужен текст, чтобы товар нашли
Признаки товаров. Сниппеты товарных позиций. Когда текст не нужен вообще. Постоянная и техническая информация на карточке.
Блог и внешние публикации интернет-магазина
О чем писать, чтобы подогреть интерес к магазину. Сторителлинг. UGC: методы вовлечения (кратко).
Персонализация интернет-магазина: стать ближе к покупателю
Красивый пример личного бренда директора магазина.
Копирайтинг для интернет-магазина: на чём можно и нельзя экономить
Что делать, если у вас 100 000 товарных позиций и они постоянно меняются.
Хорошее ТЗ копирайтеру для наполнения интернет-магазина
Что должен знать копирайтер, чтобы не писать ерунду.
Как оценить работу копирайтера
Стандартные проверки. Контроль качества текста средствами аналитики.
Как написать хороший текст для сайта, Катерина Ерошина, лекция в Школе вебмас...Yandex
Лекция Катерины Ерошиной в Школе вебмастеров: «Как написать хороший текст для сайта».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Назначение и типы текстов на сайте и вне его
Цель текста — влиять на поведение пользователя. Самое простое — информировать, самое сложное — привести к покупке. Виды текстов для внешних публикаций. Белые книги и другие способы подтвердить экспертизу.
Контент-план для наполнения, развития сайта и внешних публикаций
Как проектировать контент для нового сайта. Как наращивать информационную массу сайта. Внешние контакты с потребителем.
Разные уровни вовлечения: информируем, продаём, помогаем
Пройти по пути покупателя, выдавать информацию, необходимую для совершения следующего шага. Ловушки на этом пути.
Информационный стиль: применение с пониманием
Чистить текст без фанатизма. Эмоциональное вовлечение. Рациональное обоснование.
Структура и вёрстка
Заголовки и подзаголовки, списки, абзацы, иерархия подачи информации.
SEO-аспекты и LSI-копирайтинг
Понимание ценности ключей. Зачем копирайтеру нужно семантическое ядро.
Оценка качества текста (чеклист)
Уникальность, фактическая достоверность, соответствие целям, информационная плотность, грамотность.
Usability и дизайн - как не помешать пользователю, Алексей Иванов, лекция в Ш...Yandex
Лекция Алексея Иванова в Школе вебмастеров: «Usability и дизайн: как не помешать пользователю».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Что такое юзабилити и почему оно важно
Поведение пользователей на сайте и достижение ими запланированных целей зависит не только от контента, но и от удобства сайта.
Информационное и функциональное наполнение сайта
Перед созданием сайта нужно правильно определить, какая информация и какой функционал должны быть на сайте. При этом нужно исходить не из того, что у вас есть, а из того, что будет нужно будущим посетителям вашего сайта.
Проектирование входных страниц
В зависимости от целей сайта и источников посетителей нужно сформулировать требования к входным страницам сайта и их содержанию.
Сценарии поведения пользователя
Для правильного распределения информации нужно описать сценарии взаимодействия с сайтом для разных групп посетителей. Рассмотрим методы совмещения разных сценариев на одном сайте.
Пройти тест по теме
Управление конверсией
В большинстве случаев мы ждем от посетителя сайта какого-то целевого действия. Это может быть регистрация, отправка заявки, звонок или что-то ещё. Вы увидите способы мотивации посетителей к совершению целевого действия для различных типов сайтов.
Пройти тест по теме
Основные принципы распределения информации
В рамках этого блока вы увидите, как нужно распределять информацию на странице, чтобы посетители увидели всё, что вы хотите им показать.
Мобильная версия сайта и принципы юзабилити
Всё больше посетителей приходят на сайт с мобильных устройств. Рассмотрим основные особенности взаимодействия с информацией с мобильного устройства и подходы к адаптации сайта под них.
Cайт. Зачем он и каким должен быть, Алексей Иванов, лекция в Школе вебмастеро...Yandex
Лекция Алексея Иванова в Школе вебмастеров Яндекса: «Сайт. Зачем он и каким должен быть».
https://academy.yandex.ru/events/webmasters_school/yawebm2015/
Типы сайтов и потребности аудитории
В зависимости от решаемых задач, сайты можно разделить на несколько характерных типов с разными функциями и контентом. Перед созданием сайта важно понять, чего ждут посетители и какими хотят видеть веб-страницы. При этом на один и тот же сайт может попадать разная аудитория, которая ведёт себя по-разному и каждая имеет свои потребности. Для каждого сегмента нужно разработать отдельные сценарии взаимодействия с информацией на вашей площадке.
Сайт с точки зрения бизнеса
Чаще всего сайт создается для решения конкретных бизнес-задач. Рассмотрим различные типы монетизации сайтов и особенности каждого из них.
Основные показатели и методы измерения
Одно из главных преимуществ цифровых каналов — детальная аналитика взаимодействия посетителей с сайтом. В данном блоке рассмотрим основные инструменты измерения, ключевые показатели сайта, на которые нужно обращать внимание, и подходы к интерпретации полученных данных для принятия решений.
Cайт. Зачем он и каким должен быть, Алексей Иванов, лекция в Школе вебмастеро...
К.В. Воронцов "Нейронные сети (продолжение)"
1. Многослойные нейронные сети
Метод обратного распространения ошибок
Сети Кохонена
Искусственные нейронные сети
К. В. Воронцов
vokov@forecsys.ru
Этот курс доступен на странице вики-ресурса
http://www.MachineLearning.ru/wiki
«Машинное обучение (курс лекций, К.В.Воронцов)»
17 апреля 2012
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 1 / 39
2. Многослойные нейронные сети
Метод обратного распространения ошибок
Сети Кохонена
Содержание
1 Многослойные нейронные сети
Проблема полноты
Вычислительные возможности нейронных сетей
Многослойная нейронная сеть
2 Метод обратного распространения ошибок
Алгоритм BackProp
Эвристики для улучшения сходимости
Эвристики для оптимизации структуры сети
3 Сети Кохонена
Модели конкурентного обучения
Карты Кохонена
Гибридные сети: кластеризация + регрессия
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 2 / 39
3. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Напоминание: линейная модель нейрона МакКаллока-Питтса
fj : X → R, j = 1, . . . , n — числовые признаки;
n
a(x, w ) = σ w , x =σ wj fj (x) − w0 ,
j=1
где w0 , w1 , . . . , wn ∈ R — веса признаков;
σ(s) — функция активации (в частности, sign).
x 1 ‚‚‚‚‚‚
w1 ‚‚‚
x 2 ’’’’’w2 ’’’’)-
‚
σ / a
... lll5
··· l
llwn M
llll
xn w0
−1
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 3 / 39
4. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Линейные алгоритмы классификации и регрессии
Задача классификации: Y = {±1}, a(x, w ) = sign w , xi ;
ℓ
ℓ
Q(w ; X ) = L w , xi yi → min;
w
i=1
Mi (w )
Задача регрессии: Y = R, a(x, w ) = σ( w , xi );
ℓ
ℓ 2
Q(w ; X ) = σ( w , xi ) − yi → min;
w
i=1
Насколько богатый класс функций реализуется нейроном?
А сетью (суперпозицией) нейронов?
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 4 / 39
5. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Нейронная реализация логических функций
Функции И, ИЛИ, НЕ от бинарных переменных x 1 и x 2 :
x1 ∧ x2 = x1 + x2 − 3
2 >0 ;
1 2 1
x ∨x = x1 + x2 − 2 >0 ;
1 1
¬x = −x 1 + 2 >0 ;
x 1 „„„1„„ И
„„„* 1
x 2 1 jjj4/ / (x 1 ∧ x 2 )
j
j 3/2
j
−1 0
0 1
x 1 „„„1„„ ИЛИ
„„„* 1
x 2 1 4/ / (x 1 ∨ x 2 )
jjjj
j 1/2
j
−1 0
0 1
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 5 / 39
6. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Логическая функция XOR (исключающее ИЛИ)
Функция x 1 ⊕ x 2 = [x 1 = x 2 ] не реализуема одним нейроном.
Два способа реализации:
Добавлением нелинейного признака:
x 1 ⊕ x 2 = x 1 + x 2 − 2x 1 x 2 − 1 > 0 ;
2
Сетью (двухслойной суперпозицией) функций И, ИЛИ, НЕ:
x 1 ⊕ x 2 = (x 1 ∨ x 2 ) − (x 1 ∧ x 2 ) − 1 > 0 .
2
@ABC
GFED‚
x 1 W ‚‚
1-й способ
1
WW 1‚‚‚‚
W (
1W ‚‚
WW ll6
ll +1‚‚
l1l WW¥¥B ( 0
@ABC‚
GFEDl
2
x ‚ ‚ ¥¥WW / (x 1 ⊕ x 2 ) 0 1
1 ‚‚‚
¥¥ ‚ ll6 P 2-й способ
¥¥ ( ll−1 1
1/2
l6
l
¥¥l3/2l
¥ 1/2
@ABC
GFED
−1
l @ABC
GFED
−1
0
0 1
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 6 / 39
7. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Любую ли функцию можно представить нейросетью?
Утверждение
Любая булева функция представима в виде ДНФ,
следовательно, и в виде двухслойной сети.
Решение тринадцатой проблемы Гильберта:
Теорема (Колмогоров, 1957)
Любая непрерывная функция n аргументов на единичном кубе
[0, 1]n представима в виде суперпозиции непрерывных функций
одного аргумента и операции сложения:
2n+1 n
1 2 n
f (x , x , . . . , x ) = hk ϕik (x i ) ,
k=1 i=1
где hk , ϕik — непрерывные функции, и ϕik не зависят от f .
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 7 / 39
8. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Любую ли функцию можно представить нейросетью?
Теорема (Вейерштрасс)
Любую непрерывную функцию n переменных можно
равномерно приблизить полиномом с любой точностью.
Определение
Набор функций F называется разделяющим точки
множества X , если для любых различных x, x ′ ∈ X
существует функция f ∈ F такая, что f (x) = f (x ′ ).
Теорема (Стоун, 1948)
Пусть X — компактное пространство, C (X ) — алгебра
непрерывных на X вещественных функций, F — кольцо
в C (X ), содержащее константу (1 ∈ F ) и разделяющее точки
множества X . Тогда F плотно в C (X ).
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 8 / 39
9. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Любую ли функцию можно представить нейросетью?
Определение
Набор функций F ⊆ C (X ) называется
замкнутым относительно функции ϕ : R → R,
если для любого f ∈ F выполнено ϕ(f ) ∈ F .
Теорема (Горбань, 1998)
Пусть X — компактное пространство, C (X ) — алгебра
непрерывных на X вещественных функций, F — линейное
подпространство в C (X ), замкнутое относительно нелинейной
непрерывной функции ϕ, содержащее константу (1 ∈ F )
и разделяющее точки множества X . Тогда F плотно в C (X ).
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 9 / 39
10. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Любую ли функцию можно представить нейросетью?
Выводы:
С помощью линейных операций и одной нелинейной
функции активации ϕ можно вычислять любую
непрерывную функцию с любой желаемой точностью.
Однако эти теоремы ничего не говорят о числе слоёв
нейронной сети и о числе нейронов в каждом слое.
Практические рекомендации:
Двух-трёх слоёв обычно достаточно.
Можно достраивать нейроны в произвольных местах сети
по необходимости, вообще не заботясь о числе слоёв.
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 10 / 39
11. Многослойные нейронные сети Проблема полноты
Метод обратного распространения ошибок Вычислительные возможности нейронных сетей
Сети Кохонена Многослойная нейронная сеть
Многослойная нейронная сеть
Пусть для общности Y = RM , для простоты слоёв только два.
входной слой, скрытый слой, выходной слой,
n признаков H нейронов M нейронов
@ABC ‚
GFED‚ w11
x1 i / σ1 ‚‚ w11 / σ1 / a1
l5 i l5
ii 1h ‚‚
w
‚‚‚ ll llly F ii 1m ‚‚
w
‚‚‚ l lll y F
. . . w1Hii lllll yyy . . .
‚ w1Mii llllll yyyy . . .
‚‚‚
wj1
ii ‚‚‚‚
lll i yyyy‚‚‚ ll ii yy‚‚‚‚‚
i y
wh1
l
?= l wjh
89:; ‚ iiy ) llw
l iiy
y )
xj ‚ yyi / σh ‚‚ hm yi / σm / am
wjH ‚‚ yy iiillll5 A
y ‚ lli whM ‚‚y yy iiillll5 A
y‚ ‚
. . . wn1 y llll‚ iii . . .
‚‚ yy ‚‚llllliii . . .
‚‚‚
y w y
ywnh lll
y ‚‚‚ i yH1llll ‚‚‚‚‚i i
y
yl ‚‚) yywHm ‚)
?= nH
89:;
xn
lw / ll
σH wHM / σM / aM
: :
w01 w01
w0h w0m
@ABC
GFED
−1
w0H
@ABC
GFED
−1
w0M
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 11 / 39
12. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Напоминание: Алгоритм SG (Stochastic Gradient)
Задача минимизации суммарных потерь:
ℓ
Q(w ) := L (w , xi , yi ) → min .
w
i=1
Вход: выборка X ℓ ; темп обучения η; параметр λ;
Выход: веса w ≡ wjh , whm ∈ RH(n+M+1)+M ;
1: инициализировать веса w и текущую оценку Q(w );
2: повторять
3: выбрать объект xi из X ℓ (например, случайно);
4: вычислить потерю Li := L (w , xi , yi );
5: градиентный шаг: w := w − η∇L (w , xi , yi );
6: оценить значение функционала: Q := (1 − λ)Q + λLi ;
7: пока значение Q и/или веса w не стабилизируются;
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 12 / 39
13. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Задача дифференцирования суперпозиции функций
Выходные значения сети am (xi ), m = 1..M на объекте xi :
H J
m h h
a (xi ) = σm whm u (xi ) ; u (xi ) = σh wjh fj (xi ) .
h=0 j=0
Пусть для конкретности Li (w ) — средний квадрат ошибки:
M
1 2
Li (w ) = am (xi ) − yim .
2
m=1
Промежуточная задача: найти частные производные
∂Li (w ) ∂Li (w )
; .
∂am ∂u h
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 13 / 39
14. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Быстрое вычисление градиента
Промежуточная задача: частные производные
∂Li (w )
= am (xi ) − yim = εim
∂am
— это ошибка на выходном слое;
M M
∂Li (w ) m
= a (xi ) − yim ′
σm whm = εm σm whm = εh
i
′
i
∂u h
m=1 m=1
— назовём это ошибкой на выходном слое. Похоже, что εh i
вычисляется по εm , если запустить сеть «задом наперёд»:
i
ε1 σ ′
w
jjj i 1
jjjj h1
t
εh o j„„„„ ...
i
whM „ „
„
εM σ M
i
′
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 14 / 39
15. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Быстрое вычисление градиента
Теперь, имея частные производные Li (w ) по am и u h ,
легко выписать градиент Li (w ) по весам w :
∂Li (w ) ∂Li (w ) ∂am
= = εm σm u h (xi ), m = 1..M, h = 0..H;
i
′
∂whm ∂am ∂whm
∂Li (w ) ∂Li (w ) ∂u h
= = εh σh fj (xi ), h = 1..H, j = 0..n;
i
′
∂wjh ∂u h ∂wjh
Алгоритм обратного распространения ошибки BackProp:
Вход: X ℓ = (xi , yi )ℓ ⊂ Rn × RM ; параметры H, λ, η;
i=1
Выход: синаптические веса wjh , whm ;
1: ...
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 15 / 39
16. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Алгоритм BackProp
1: инициализировать веса wjh , whm ;
2: повторять
3: выбрать объект xi из X ℓ (например, случайно);
4: прямой ход:
J j
uih := σh j=0 wjh xi , h = 1..H;
H
aim := σm h m m m
h=0 whm ui , εi := ai − yi , m = 1..M;
Li := M (εm )2 ;
m=1 i
5: обратный ход:
εh := M εm σm whm , h = 1..H;
i m=1 i
′
6: градиентный шаг:
whm := whm − ηεm σm uih , h = 0..H, m = 1..M;
i
′
h σ ′ x j , j = 0..n, h = 1..H;
wjh := wjh − ηεi h i
7: Q := (1 − λ)Q + λLi ;
8: пока Q не стабилизируется;
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 16 / 39
17. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Алгоритм BackProp: преимущества и недостатки
Преимущества:
эффективность: градиент вычисляется за время,
сравнимое со временем вычисления самой сети;
метод легко обобщается на любые σ, L ;
возможно динамическое (потоковое) обучение;
на сверхбольших выборках не обязательно брать все xi ;
возможность распараллеливания;
Недостатки — все те же, свойственные SG:
возможна медленная сходимость;
застревание в локальных минимумах;
проблема переобучения;
подбор комплекса эвристик является искусством;
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 17 / 39
18. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Стандартные эвристики для метода SG
Применимы все те же эвристики, что и в обычном SG:
инициализация весов;
порядок предъявления объектов;
оптимизация величины градиентного шага;
регуляризация (сокращение весов);
Кроме того, появляются новые проблемы:
выбор функций активации в каждом нейроне;
выбор числа слоёв и числа нейронов;
выбор значимых связей;
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 18 / 39
19. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Ускорение сходимости
1. Более тщательный подбор начального приближения.
Нейроны настраиваются как отдельные линейные алгоритмы
либо по случайной подвыборке X ′ ⊆ X ℓ ;
либо по случайному подмножеству входов;
либо из различных случайных начальных приближений;
тем самым обеспечивается различность нейронов.
2. Выбивание из локальных минимумов (jogging of weights).
3. Адаптивный градиентный шаг (метод скорейшего спуска).
4. Метод сопряжённых градиентов и chunking — разбиение
ℓ
суммы Q(w ) = Li (w ) на блоки (chunks).
i=1
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 19 / 39
20. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Диагональный метод Левенберга-Марквардта
Метод Ньютона-Рафсона (второго порядка):
−1
w := w − η Li′′ (w ) Li′ (w ),
∂ 2 Li (w ) 2
где Li′′ (w ) = ∂wjh ∂wj ′ h′ — гессиан, размера H(n+M+1)+M .
Эвристика. Считаем, что гессиан диагонален:
−1
∂ 2 Li (w ) ∂Li (w )
wjh := wjh − η 2
+µ ,
∂wjh ∂wjh
η — темп обучения,
µ — параметр, предотвращающий обнуление знаменателя.
Отношение η/µ есть темп обучения на ровных участках
функционала Li (w ), где вторая производная обнуляется.
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 20 / 39
21. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Динамическое наращивание сети
1 обучение при заведомо недостаточном числе нейронов H;
2 после стабилизации Q(w ) — добавление нового нейрона
и его инициализация путём обучения
либо по случайной подвыборке X ′ ⊆ X ℓ ;
либо по объектам с наибольшими значениями потерь;
либо по случайному подмножеству входов;
либо из различных случайных начальных приближений;
3 снова итерации BackProp;
Эмпирический опыт: Общее время обучения обычно лишь
в 1.5–2 раза больше, чем если бы в сети сразу было нужное
количество нейронов. Полезная информация, накопленная
сетью, не теряется при добавлении новых нейронов.
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 21 / 39
22. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Прореживание сети (OBD — Optimal Brain Damage)
Пусть w — локальный минимум Q(w ), тогда
Q(w ) можно аппроксимировать квадратичной формой:
Q(w + δ) = Q(w ) + 1 δ т Q ′′ (w )δ + o( δ 2 ),
2
∂ 2 Q(w ) 2
где Q ′′ (w ) = ∂wjh ∂wj ′ h′ — гессиан, размера H(n+M+1)+M .
Эвристика. Пусть гессиан Q ′′ (w ) диагонален, тогда
n H 2 Q(w ) H M
′′ 2 ∂ 2 ∂ 2 Q(w )
δ Q (w )δ =
т
δjh 2
+ δhm 2
.
∂wjh ∂whm
j=0 h=1 h=0 m=0
Хотим обнулить вес: wjh + δjh = 0. Как изменится Q(w )?
Определение. Значимость (salience) веса wjh — это изменение
2
функционала Q(w ) при его обнулении: Sjh = wjh ∂ ∂w 2 ) .
2 Q(w
jh
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 22 / 39
23. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Прореживание сети (OBD — Optimal Brain Damage)
∂2Q ∂2Q
1 В BackProp вычислять вторые производные 2 ,
∂wjh ∂whm2 .
2 Если процесс минимизации Q(w ) пришёл в минимум,то
упорядочить все веса по убыванию Sjh ;
удалить N связей с наименьшей значимостью;
снова запустить BackProp.
3 Если Q(w , X ℓ ) или Q(w , X k ) существенно ухудшился,
то вернуть последние удалённые связи и выйти.
Отбор признаков с помощью OBD — аналогично.
H
Суммарная значимость признака: Sj = Sjh .
h=1
Эмпирический опыт: результат постепенного прореживания
обычно лучше, чем BackProp изначально прореженной сети.
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 23 / 39
24. Многослойные нейронные сети Алгоритм BackProp
Метод обратного распространения ошибок Эвристики для улучшения сходимости
Сети Кохонена Эвристики для оптимизации структуры сети
Резюме по многослойным сетям
Нейрон = линейная классификация или регрессия.
Нейронная сеть = суперпозиция нейронов с нелинейной
функцией активации. Двух-трёх слоёв достаточно для
решения очень широкого класса задач.
BackProp = быстрое дифференцирование суперпозиций.
Позволяет обучать сети практически любой конфигурации.
Некоторые меры по улучшению сходимости и качества:
регуляризация
перетасовка объектов
инициализация нейронов как отдельных алгоритмов
адаптивный градиентный шаг
метод сопряжённых градиентов и chunking
динамическое наращивание
прореживание (OBD)
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 24 / 39
25. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Постановка задачи кластеризации (обучения без учителя)
Дано:
X = Rn — пространство объектов;
Y = {1, . . . , M} — множество кластеров, M фиксировано;
X ℓ = {xi }ℓ — обучающая выборка объектов;
i=1
ρ : X × X → R+ — метрика.
Требуется:
построить алгоритм кластеризации a : X → Y .
Предлагается:
ввести центры кластеров wm ∈ Rn , m = 1, . . . , M;
относить объект x ∈ X к ближайшему кластеру
(правило жёсткой конкуренции WTA — Winner Takes All):
a(x) = arg min ρ(x, wm ).
m∈Y
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 25 / 39
26. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Метод стохастического градиента
Минимизация среднего внутрикластерного расстояния:
ℓ
ℓ 1
Q(w ; X ) = ρ2 (xi , wa(xi ) ) → min, w = (w1 , . . . , wM );
2 w
i=1
Пусть метрика евклидова, ρ2 (xi , wm ) = wm − xi 2.
ℓ
∂Q(w ; X ℓ )
= (wm − xi ) a(xi ) = m .
∂wm
i=1
Градиентный шаг в методе SG: для случайного xi ∈ X ℓ
wm := wm + η(xi − wm ) a(xi ) = m
(если xi относится к кластеру m, то wm сдвигается в сторону xi ).
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 26 / 39
27. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Сеть Кохонена (сеть с конкурентным обучением)
Структура алгоритма — двухслойная нейронная сеть:
a(x) = arg min ρ(x, wm ) :
m∈Y
@ABC
GFED w1 / ρ(x, w1 )
x1 c 1
c
c ? vvv
1 vvv
wMc
cc
··· arg
ccc · · ·
/ a(x)
8 min
wn cc rrr
1 c rrr
@ABC wM / ρ(x, wM )
GFED n
xn
Градиентное правило обучения напоминает перцептрон:
если a(xi ) = m, то wm := wm + η(xi − wm ).
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 27 / 39
28. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Алгоритм SG (Stochastic Gradient)
Вход: выборка X ℓ ; темп обучения η; параметр λ;
Выход: центры кластеров w1 , . . . , wM ∈ Rn ;
1: инициализировать центры wm , m = 1, . . . , M;
2: инициализировать текущую оценку функционала:
ℓ
Q := ρ2 (xi , wa(xi ) );
i=1
3: повторять
4: выбрать объект xi из X ℓ (например, случайно);
5: вычислить кластеризацию: m := arg min ρ(xi , wm );
m∈Y
6: градиентный шаг: wm := wm + η(xi − wm );
7: оценить значение функционала:
Q := (1 − λ)Q + λρ2 (xi , wm );
8: пока значение Q и/или веса w не стабилизируются;
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 28 / 39
29. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Жёсткая и мягкая конкуренция
Правило жёсткой конкуренции WTA (winner takes all):
wm := wm + η(xi − wm ) a(xi ) = m , m = 1, . . . , M,
Недостатки правила WTM:
медленная скорость сходимости;
некоторые wm могут никогда не выбираться.
Правило мягкой конкуренции WTM (winner takes most):
wm := wm + η(xi − wm ) K ρ(xi , wm ) , m = 1, . . . , M,
где ядро K (ρ) — неотрицательная невозрастающая функция.
Теперь центры всех кластеров смещаются в сторону xi ,
но чем дальше от xi , тем меньше величина смещения.
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 29 / 39
30. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Карта Кохонена (Self Organizing Map, SOM)
Y = {1, . . . , M} × {1, . . . , H} — прямоугольная сетка кластеров.
Каждому узлу (m, h) приписан нейрон Кохонена wmh ∈ Rn .
Наряду с метрикой ρ(xi , x) на X вводится метрика на сетке Y :
r (mi , hi ), (m, h) = (m − mi )2 + (h − hi )2 .
Окрестность(mi , hi ):
H ◦ ◦ ◦ ◦ ◦
“ ◦ ◦
i • ‚i
u
◦ ◦ ¥• • • SA ◦ ◦
mi h i
◦ ◦ )1 A • • d • )1 ◦ ◦
d
d
S mh
◦ ◦ • • •¥ ◦
i ◦
‚ “ i u
•
1 ◦ ◦ ◦ ◦ ◦ ◦ ◦
1 M
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 30 / 39
31. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Обучение карты Кохонена
Вход: X ℓ — обучающая выборка; η — темп обучения;
Выход: wmh ∈ Rn — векторы весов, m = 1..M, h = 1..H;
1 1
1: wmh := random − 2MH , 2MH — инициализация весов;
2: повторять
3: выбрать объект xi из X ℓ случайным образом;
4: WTA: вычислить координаты кластера:
(mi , hi ) := a(xi ) ≡ arg min ρ(xi , wmh );
(m,h)∈Y
5: для всех (m, h) ∈ Окрестность(mi , hi )
6: WTM: сделать шаг градиентного спуска:
wmh := wmh + η(xi − wmh ) K r ((mi , hi ), (m, h)) ;
7: пока кластеризация не стабилизируется;
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 31 / 39
32. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Интерпретация карт Кохонена
Два типа графиков — цветных карт M × H:
Цвет узла (m, h) — локальная плотность в точке (m, h) —
среднее расстояние до k ближайших точек выборки;
По одной карте на каждый признак:
цвет узла (m, h) — значение j-й компоненты вектора wm,h .
Пример:
Задача UCI house-votes (US Congress voting patterns)
Объекты — конгрессмены;
Признаки — вопросы, выносившиеся на голосование;
Есть целевой признак {демократ,республиканец}.
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 32 / 39
33. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Интерпретация карт Кохонена (пример)
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 33 / 39
34. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Достоинства и недостатки карт Кохонена
Достоинства:
Возможность визуального анализа многомерных данных.
Недостатки:
Субъективность. Карта зависит не только от кластерной
структуры данных, но и. . .
— от свойств сглаживающего ядра;
— от (случайной) инициализации;
— от (случайного) выбора xi в ходе итераций.
Искажения. Близкие объекты исходного пространства
могут переходить в далёкие точки на карте, и наоборот.
Рекомендуется только для разведочного анализа данных.
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 34 / 39
35. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Кусочно-постоянная непараметрическая регрессия
Задача восстановления регрессии:
X ℓ = {xi , yi }ℓ , yi ∈ R.
i=1
Основная идея — применить WTA-кластеризацию:
1) разбить выборку на M кластеров c центрами wm :
c(x) = arg min ρ(x, wm );
m=1,...,M
2) на каждом кластере построить регрессию-константу:
M
a(x) = vc(x) = vm c(x) = m .
m=1
Требуется: по выборке X ℓ найти центры wm и уровни vm .
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 35 / 39
36. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Кусочно-постоянная непараметрическая регрессия
Настройка центров wm сетью Кохонена — WTA.
Задача настройки уровней vm решается аналитически:
ℓ
1 2
Q(v ) = a(xi ) − yi → min;
2 v
i=1
ℓ
∂Q
= a(xi ) − yi c(xi ) = m = 0.
∂vm
i=1
Подставляя сюда a(xi ) = vm , получаем среднее yi по кластеру:
ℓ
i=1 yi c(xi ) = m
vm = ℓ
.
i=1 c(xi ) = m
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 36 / 39
37. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Кусочно-гладкая непараметрическая регрессия
Усложнение: теперь функция a(x) должна быть гладкой.
Основная идея — применить WTM-кластеризацию:
1) «мягкая» кластеризация на M кластеров c центрами wm :
cm (x) = K ρ(x, wm ) , m = 1, . . . , M;
2) формула Надарая-Ватсона сглаживает ответы vm ,
но не по ℓ объектам, а по M центрам кластеров wm :
M
vm cm (x)
m=1
a(x) = M
.
cm (x)
m=1
Требуется: по выборке X ℓ найти центры wm и уровни vm .
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 37 / 39
38. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Кусочно-гладкая непараметрическая регрессия
Настройка центров wm сетью Кохонена — WTM:
ℓ M
1 2
Q(w ) = cm (xi ) wm − xi → min;
2 w
i=1 m=1
ℓ
∂Q(w )
= cm (xi )(wm − xi );
∂wm
i=1
Настройка уровней vm линейным нейроном:
ℓ
1 2
Q(v ) = a(xi ) − yi → min;
2 v
i=1
ℓ
∂Q(v ) cm (xi )
= M
a(xi ) − yi ;
∂vm s=1 cs (xi )
i=1
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 38 / 39
39. Многослойные нейронные сети Модели конкурентного обучения
Метод обратного распространения ошибок Карты Кохонена
Сети Кохонена Гибридные сети: кластеризация + регрессия
Кусочно-гладкая непараметрическая регрессия
Веса слоя Кохонена wm и веса линейного слоя vm
на каждой итерации SG обновляются независимо:
wm := wm + η1 (xi − wm )K ρ(x, wm ) ;
vm := vm − η2 (a(xi ) − yi )K ρ(x, wm ) ;
Достоинства этого метода:
регрессия учитывает кластерную структуру выборки;
повышается эффективность вычисления a(x).
К. В. Воронцов (www.ccas.ru/voron) Искусственные нейронные сети 39 / 39