АВЕРКИН Алексей Николаевич -ведущий научный сотрудник учебно-
научной лаборатории искусственного интеллекта, нейротехнологий и бизнес-
аналитики РЭУ им. Г.В. Плеханова, доцент кафедры системного анализа и
управления Университета «Дубна» email: averkin2003@inbox.ru
II Школа молодых ученых «Высокопроизводительные платформы для
цифровой экономики и научных проектов класса мегасайенс
Объяснительный искусственный
интеллект (XAI) – преодоление разрыва
между коннекционистким и символьным
подходами в искусственном интеллекте».
2
Десятилетие мозга
2
"
Десятилетие мозга
(1990-2000)
Десятилетие сознания
Десятилетие мозга
(1990-2000)
Десятилетие сознания
(2010-2020?)
• Нейроморфный искусственный
интеллект
Компьютеры Фон
Неймана
Нейроморфные
компьютеры
Сложность
компьютера
Т.e.вентили;
память;
нейроны;
синапсы
мощность;
размер
[log]
•Производительность на уровне
человека
•Заря новой эры
Заря новой
парадигмы
“простая” “сложная”
Сложность Среды
Например, количество входных
комбинаций
[log]
Цель Программы
Разница между
универсальностью и
эффективностью
Кортекс
человека
Симуляция
кортекса человека
15 ватт 1010 ватт
I литр 4x 1010 литров
Проблема
• По сравнению с
биологическими системами
интеллектуальные машины
в 1000 раз менее
эффективны в сложной
среде.
• Чтобы интеллектуальные
машины были бы полкзны
их нужно сочетать с
биологическими
системами.
Цель
• Развить технологию
электронные
нейроморфные машины
сравнимую с
биологоческим уровнем.
Главный тренд Hype Cycle 2020 - смещение фокуса с
робототехники и Hardware на искусственный интеллект
.
• Generative AI Генеративный ИИ относится к программам, которые могут использовать существующий контент,
такой как текст, аудиофайлы или изображения, для создания нового правдоподобного контента. Для этого
существуют различные методы, такие как генеративные состязательные сети (GANS), преобразователи и
вариационные автокодеры.
• Adaptive ML Адаптивное машинное обучение - алгоритмы, которые дообучаются по мере поступления новых
данных
• Augmented Intelligence Искусственный интеллект, который помогает человеку, а не заменяет его в процессах
принятия решений. Противопоставляется общему термину “Искусственный Интеллект” в качестве собирательного
термина для “Интеллект Человека + ИИ”
• Transfer Learning Подход в машинном обучении, когда накопленный опыт при решении одной задачи используется
для ускорения обучения другой аналогичной задачи (Wikipedia)
• Emotion AI ИИ, который распознает человеческие эмоции
• Responsible AI Ответственный ИИ ориентирован на обеспечение этичного, прозрачногои подотчетного
использования технологий ИИ в соответствии с ожидания пользователей, организационными ценностями и
социальными законами и нормами. Ответственный ИИ гарантирует, что автоматизированные решения оправданы
и объяснимы, и помогают поддерживать доверие пользователей и конфиденциальность личности.
• Explainable AI Методы и техники использования ИИ, которые позволяют объяснить полученные от ИИ результаты
живым экспертам. Противопоставляется концепции “ИИ как черный ящик”, когда нельзя понять сути используемых
алгоритмов и найденных взаимосвязей
В чем проблема?
• Системы искусственного интеллекта и машинного обучения (AI /
ML) превзошли человеческие возможности почти во всех
приложениях, где они были опробованы.
• ИИ начинает внедряться в потребительские товары. Эта тенденция
ускоряется, и ИИ будет все больше использоваться в критически важных для
безопасности системах.
• Системы искусственного интеллекта хороши, но иногда допускают ошибки, и
пользователи-люди не будут доверять их решениям без объяснения причин.
• Существует компромисс между точностью ИИ и объяснимостью:
самые точные методы, такие как сверточные нейронные сети (CNN), не
дают никаких объяснений; понятные методы, такие как основанные на
правилах, как правило, менее точны
Объяснимый ИИ
• Искусственный интеллект становится все сложнее, однако его системы
представляют собой «черный ящик». Это значит, что конечные пользователи не
понимают принцип их работы.
• Объяснимый ИИ, который также называют XAI или прозрачный ИИ, представляет
собой систему, в которой люди могут с легкостью понять действия ИИ.
• Концепция объяснимого ИИ может укрепить доверие к технологии, поскольку
компаниям придется объяснять, как и почему их системы ИИ принимают те или
иные решения.
4 принципа объяснимого искусственного
интеллекта-1
• Национальный институт стандартов и технологий (NIST) опубликовал в августе 2020
года первый проект перечня принципов объяснимого искусственного интеллекта (XAI).
• Объяснение (Explanation). Системы ИИ должны предоставлять причины и
обстоятельства, на основании которых были приняты те или иные решения. Принцип
объяснения обязывает систему ИИ предоставлять объяснение в форме «свидетельства
или обоснования каждого результата». Данный принцип не устанавливает никаких
дополнительных требований к качеству объяснения, а лишь требует, чтобы система ИИ
была способна предоставить объяснение. Стандарты таких объяснений регулируются
другими принципами.
• Значимость (Meaningful). Системы объяснимого ИИ должны представлять объяснения,
понятные отдельным пользователям.
• Принцип значимости устанавливает, что получатель объяснения должен быть в
состоянии понять объяснение. В документе подчеркивается, что этот принцип не
предназначен для универсального применения. Пояснения должны быть адаптированы к
аудитории как на групповом, так и на индивидуальном уровне. Так, например, разные
типы групп пользователей могут требовать разных объяснений, а имеющиеся у них
знания и опыт могут влиять на восприятие результата и его значимость.
4 принципа объяснимого искусственного
интеллекта-2
• Точность объяснения (Explanation Accuracy). Объяснение должно достоверно
отражать суть процессов, производимых системой ИИ для генерирования результатов.
Принцип точности объяснения корреспондирует с принципом значимости для
регулирования качества объяснений, предусматривая точность объяснений, но не
точность решений. Фактически, данный принцип является подробным разъяснением
того, как система сгенерировала окончательный результат. Применение данного
принципа также ставится в зависимость от контекста и конечного пользователя. Так,
разные показатели точности объяснения будут представляться для разных типов групп
и пользователей.
• Пределы знаний (Knowledge Limits). Система работает только в условиях, для
которых она была разработана, или когда система достигает надлежащей
достоверности в своих результатах. Принцип пределов знаний требует, чтобы система
отмечала любые случаи, для которых она не была разработана. Целью этого принципа
является предотвращение вводящих в заблуждение объяснений или выводов системы.
• Указанные четыре принципа показывают, что решения на основе ИИ должны обладать
необходимой прозрачностью, чтобы вызывать доверие к своему функционированию и
уверенность в выводах системы
ННГУ стал победителем в конкурсе крупных научных
проектов от Минобрнауки РФ
• Проект «Надёжный и логически прозрачный искусственный интеллект:
технология, верификация и применение при социально-значимых и инфекционных
заболеваниях».
• Главным результатом проекта должна стать разработка новых методов и
технологий, позволяющих преодолеть два основных барьера систем машинного
обучения и искусственного интеллекта: проблему ошибок и проблему явного
объяснения решений. На сегодняшний день эти задачи не имеют
удовлетворительного решения и требуют новых разработок.
• «Эти проблемы тесно связаны: без возможности логического прочтения ошибки
искусственного интеллекта будут оставаться необъяснимыми. Дообучение системы
в рамках существующих методов может повредить имеющиеся навыки и, с другой
стороны, может потребовать огромных ресурсов, что в серьезных задачах
непрактично. К примеру, широко известная многомиллионная система ИИ IBM
«Watson» потерпела неудачу на рынке персонализированной медицины
вследствие систематически совершаемых ошибок в диагностике и рекомендации
лечения рака, найти и устранить источники которых не удалось», – объясняет
руководитель проекта Александр Горбань.
Компро
мисс:
Как объединить
лучшее из обеих
Экспертные системы:
Обладают хорошей
системой объяснений,
не так хороши для точных
расчетов
Нейронные сети:
Хороши для точности,
не так хороши для
объяснений
- ИЛИ
-
Транспорт
Безопасность
Лекарство
Финансы
Юридический
Военные
Потребность в объяснимом ИИ
Разрешено к публичному выпуску: распространение без ограничений. 13
Клиент
• Почему ты это сделал?
• Почему не что-нибудь
другое?
• Когда вам это удастся?
• Когда вы терпите
неудачу?
• Когда я могу тебе
доверять?
• Как исправить ошибку?
• Мы вступаем в новую
эру приложений
искусственного
интеллекта
• Машинное обучение -
основная технология
• Модели машинного
обучения непрозрачны,
не интуитивно понятны
и трудны для
понимания людьми.
• Текущее поколение систем искусственного интеллекта предлагает огромные преимущества, но
их эффективность будет ограничена неспособностью машины объяснять свои решения и
действия пользователям.
• Объясняемый ИИ будет иметь важное значение, если пользователи хотят понимать, должным
образом доверять и эффективно управлять этим новым поколением партнеров с искусственным
Система ИИ
http://listverse.com/
© 2007–2017 ООО «Листверс»
http://listverse.com/
© 2007–2017 ООО «Листверс»
https://futureoflife.org/
© FLI - Институт будущего жизни
http://www.bbc.com/
© 2017 BBC
Предоставлено: Getty Images.
http://blog.soliant.com/
© 2004-2017 Soliant Health
https://www.re-work.co/
© 2017 RE-WORK X LTD
http://explainthatstuff.com
Нейронные сети с глубоким обучением
Архитектура и как они работают
Разрешено к публичному выпуску: распространение без ограничений. 14
Автоматический алгоритм
(выделение и классификация признаков)
От
низкоуровне
вых функций
к
высокоуровн
евым
функциям
Нейронная сеть с глубоким
обучением
Данные обучения
Ввод
(изображение без
ярлыка)
Нейроны
реагируют на
простые
формы
Нейроны
реагируют на
более сложные
структуры
Нейроны
реагируют на
очень сложные
абстрактные
концепции
1ул Слой
2nd Слой
пth Слой
https://www.xenonstack.com/
XenonStack ©
http://fortune.com/
© 2018 Time Inc.
Что мы пытаемся сделать?
,
Обучение
Процесс
Обучение
Данные
Аппроксим.
функция
Выход
Cегодня
Это кот
(р = 0,93)
• Почему ты это сделал?
• Почему не что-нибудь
другое?
• Когда вам это удастся?
• Когда вы терпите
неудачу?
• Когда я могу тебе
доверять?
• Как исправить ошибку?
Пользователь
с
задачей
© Спин Юго-Запад
© Университет Торонто
Обучени
е
Данные
Новый
Обучение
Процесс
Объясняемая
модель
Пояснение
Интерфейс
Завтра
• Я понимаю почему
• Я понимаю почему нет
• Я знаю, когда ты
добьешься успеха
• Я знаю, когда ты
проиграешь
• Я знаю когда тебе
доверять
• Я знаю, почему ты
ошибся
Это кот:
•У него есть мех,
усы и когти.
•Он имеет
такую
​​особенность:
Пользователь
с
задачей
© Спин Юго-Запад
© Университет Торонто
http://explainthatstuff.com
Цель: производительность и объяснимость
• XAI создаст набор методов машинного обучения, которые
• Создавать более объяснимые модели, сохраняя при этом высокий уровень
эффективности обучения (например, точность прогнозов)
• Дать возможность пользователям-людям понимать, должным образом доверять и
эффективно управлять новым поколением партнеров с искусственным интеллектом
16
Объяснимость (условная)
Эффективность
обучения
Cегодня
Завтра
Производительность против объяснимости
Измерение эффективности объяснения
Разрешено к публичному выпуску: распространение без ограничений. 17
Структура объяснения
Задача
Решени
е
Рекомендация,
Решение или
Действие
Объяснение
Система принимает
входные данные из
текущей задачи и дает
рекомендацию,
решение или
действие.
Система
предоставляет
пользователю
объяснение, которое
обосновывает его
рекомендацию,
решение или
действие.
Пользовател
ь принимает
решение на
основании
объяснения
Объясняе
мая
модель
Пояснение
Интерфейс
Система XAI
Мера эффективности объяснения
Удовлетворенность пользователей
• Ясность объяснения (оценка
пользователей)
• Полезность объяснения (оценка
пользователей)
Ментальная модель
• Понимание индивидуальных решений
• Понимание общей модели
• Оценка сильных / слабых сторон
• Прогноз "что он будет делать"
• Прогноз "Как мне вмешаться"
Выполнение задач
• Улучшает ли объяснение решение
пользователя, выполнение задачи?
• Искусственный задачи решения введены
для диагностики понимания пользователя
Оценка доверия
• Надлежащее использование в будущем и
доверие
Исправляемость (дополнительная оценка)
• Выявление ошибок
• Исправление ошибок
• Непрерывное обучение
Производительность против объяснимости
• AOG - стохастические И/ИЛИ графы
• SVM - метод опорных векторов
• MLNs - марковские логические сети
• HBNs – иерархические байесовские сети
• CRFs - условные случайные поля
• SRL - статистическое реляционное обучение
Разрешено к публичному выпуску: распространение без
ограничений.
18
Эффективность
обучения
Объяснимость
Методы обучения (сегодня)
Нейронные сети
Статистические
Модели
Ансамбль
Методы
Деревья
решений
Глубокое
Обучение
SVM
AOG
Байесовские
сети доверия
Марков
ские
модели
HBNs
MLN
SRL
CRF
Случайный
лес
Графический
Модели
Объяснимость
(условно)
Производительность против объяснимости
19
Объяснимость
Методы обучения (сегодня) Объяснимость
(условно)
Нейронные сети
Статистически
еМодели
Ансамблей
Методы
Решение
Деревья
Глубокое
Обучение
SVM
AOG
Байесовский
Сети веры
Марков
ские
модели
HBNs
MLN
Модель индукции
Методы вывода объяснимой
модели из любой модели в
виде черного ящика
Глубокое объяснение
Модифицированные методы
глубокого обучения
объяснимым признакам
Новый
Подход
Создайте набор
методов
машинного
обучения, которые
создавать более
объяснимые
модели, сохраняя
при этом высокий
уровень
обучаемости
SRL
Интерпретируемые
модели
Методы изучения более
структурированных,
интерпретируемых причинно-
следственных моделей
CRF
Случайный
Лес
Графически
е
Модели
Эффективность
обучения
Практические задачи
Разрешено к публичному выпуску: распространение без
ограничений.
20
Узнать
модель
Аналитик
а данных
Учебное
задание по
классификаци
и
Рекомендую
Объяснение
Объясняема
я модель
Пояснение
Интерфейс
Аналитик ищет
интересующие
элементы в
огромных наборах
мультимедийных
данных.
Объясняема
я модель
Пояснение
Интерфейс
Автономи
я
Задача
обучения с
подкреплением
Действия
Объяснение
Моделирование ArduPilot и SITL
Оператор
направляет
автономные
системы на
выполнение
ряда задач.
Классифицирует
интересующие
элементы в большом
наборе данных
Изучает политику
принятия решений для
смоделированных
миссий
Объясняет, почему /
почему нельзя
использовать
рекомендуемые
товары
Аналитик решает, о
каких статьях
сообщать и что делать
Объясняет поведение
в обзоре после
действия
Оператор решает,
какие будущие задачи
делегировать
Используйте
объяснение
Объяснять
решения
Мультимедийные данные
Два грузовика
выполняют погрузку
© Getty
Images
© Армия США
© Исследовательская
лаборатория ВВС
© ArduPikot.org
Технические подходы разработчиков XAI
Одобрено для публичного выпуска, распространение не ограничено 21
Данные обучения
Объясняема
я модель
Пояснение
Интерфейс
Калифорнийский
университет в Беркли
Глубокое обучение Рефлексивный и рациональный
Чарльз Ривер Индуктивная каузальная модель Нарративная генерация
UCLA Теория паттернов + Трехуровневое объяснение
OSU Адаптивные программы Приемочное тестирование
PARC Когнитивное моделирование Интерактивное обучение
CMU Объяснимый RL (XRL) XRL Взаимодействие
SRI Глубокое обучение Покажи и расскажи объяснения
Raytheon Глубокое обучение Аргументация и педагогика
UT Даллас Вероятностный Логика Диаграммы решений
Техас A&M Мимическое обучение Интерактивная визуализация
Rutgers Модель индукции Байесовское обучение
Новый
Обучение
Процесс
Психологическая модель
объяснения
IHMC
http://www.zerohedge.com/
© 2009-2017 ZeroHedge.com/ABCMedia, LTD
© 2012, Lost Tribe Media, Inc.
© Toronto Star Newspapers Ltd. 1996–
2017 гг.
© Associated Newspapers Ltd.
© 2017 г. Hürriyet Ежедневные новости
© 2017 Green Car Reports
© 2017 POLITI.TV
© Business Insider Inc., 2017.
© УВКБ ООН 2001-2017
© 2017 Новости Route 66
Разрешено к публичному выпуску: распространение без ограничений.
Глубокий XAI для беспилотных автомобилей
Заявление о распространении 22
Калифорнийский университет в Беркли
Система текстового согласования, встроенная в усовершенствованные модели визуального внимания, чтобы обеспечить
соответствующее объяснение поведения глубокого нейросетевого контроллера транспортного средства.
Входные
изображения
Карты
внимания
Уточненные карты
внимания
Описание действия Обоснование действия
Автомобиль разгоняется так как свет стал зеленым
Автомобиль медленно
разгоняется
так как свет загорелся зеленым и
движение идет
Машина едет вперед в качестве движение транспорта свободно
Автомобиль переходит в левую
полосу движения
к обойти более медленную машину перед
ней
Примеры описания и обоснования действий
Ким, Рорбах, Даррелл, Кэнни и Аката. Показывать, посещать, контролировать и оправдывать: интерпретируемое обучение для
самоуправляемых автомобилей
Ким и Кэнни. Интерпретируемое обучение для самоуправляемых автомобилей путем
визуализации причинного внимания
Ускорение, смена
курса
Текстовые
описания +
пояснения
Контроллер автомобиля Генератор объяснений
• Уточненные тепловые карты дают более сжатые
визуальные объяснения и более точно
отображают поведение сети
• Текстовое описание и обоснование действия
обеспечивает удобную для интерпретации
систему для беспилотных автомобилей.
Без объяснения причин: «Машина едет по улице»
С объяснением: «Машина едет по улице, потому что на ее
полосе нет других машин, нет красных фонарей и знаков
остановки»
Количественное определение интерпретируемости глубоких представлений
(Массачусетский технологический институт)
Разрешено к публичному выпуску: распространение без
ограничений.
23
Интерпретация
нескольких
единиц в pool5
AlexNet,
обученных
распознаванию
мест
Контрольный журнал: для конкретного
выходного устройства на рисунке
показан наиболее активный путь
Психологические модели объяснения
Разрешено к публичному выпуску: распространение без ограничений. 24
Пользователь
Лучшая
производите
льность
Критерии
«доброты»
Тест на
удовлетворение
Тест на
понимание
Тест
производительности
Доверие
или
недоверие
Соответствую
щее доверие
Система
оценивается
получает
может изначально
уступает место Надлежащее
использован
ие
позволяет
пересматривает позвол
яет
оценивается оценивается
может породить
Объяснение
Ментальная
модель
пользователя
вовлекает
XAI
процесс
Показател
и XAI
Модель процесса объяснения
и возможные метрики
Извлечение правил из нейросетей
• Искусственные нейронные сети (ANN) являются широко
известными параллельными вычислительными моделями,
которые демонстрируют отличное поведение в решении сложных
проблем искусственного интеллекта. Тем не менее, многие
исследователи отказываются использовать их из-за того, что они
являются "черным ящиком". Особенно это относится к сетям
глубокого обучения. Это означает, что определение того, почему
нейронная сеть принимает именно такое решение, является
трудной задачей.
Таксономия извлечения правил из
нейросетей
Первое измерение является выразительной силой извлекаемых правил (например, правила IF-THEN
правила или нечеткие продукционные правила).
Второе измерение называется прозрачностью и описывает стратегию, за которой следует алгоритм
извлечения правил.
Если метод использует нейронную сеть только как черный ящик, независимо от архитектуры
нейросети, мы называем его педагогическим подходом. Если вместо этого алгоритм учитывает
внутреннюю структуру нейронной сети, мы называем этот подход декомпозиционным. Если алгоритм
использует компоненты как педагогических, так и декомпозиционных методов, то этот подход
называется эклектическим.
• Третьим измерением является качество извлеченных правил
Алгоритмы извлечения правил
Алгоритм Используемый тип
сети
Тип алгоритма Вид извлекаемого
правила
DIFACON-
miner
Standard
MLP
Decompositional IF-THEN
CRED Standard
MLP
Decompositional Decision tree
FERNN Standard
MLP
Decompositional M-of-N ,IF-
THEN
KT Standard
MLP
Decompositional IF-THEN
Tsukimoto’s
Algorithm
Standard MLP and
RNN
Decompositional IF-THEN
TREPAN
Standard MLP
Pedagogical
M-of-N spilit,
decision tree
HYPINV Standard
MLP Pedagogical
Hyperplane
rule
Алгоритмы извлечения правил
Алгоритм Используемый тип
сети
Тип алгоритма Вид извлекаемого
правила
BIO-RE Standard
MLP Pedagogical
Binary rule
KDRuleEX Standard
MLP Pedagogical
Decision tree
RxREN Standard
MLP Pedagogical
IF-THEN
ANN-DT Standard
MLP Pedagogical
Binary
Decision tree
RX Standard
MLP Eclectic
IF-THEN
Kahramanli and Allahverdi’s
Algorithm
Standard MLP
Eclectic IF-THEN
DeepRED DNN
Decompositional
IF-THEN
Методы Data Mining:
Статистические Кибернетические
дескриптивный анализ искусственные нейронные сети (глубокие)
корреляционный и регрессионный
анализ
гибридные нейро-нечеткие системы
факторный анализ эволюционные алгоритмы
дисперсионный анализ ассоциативная память
компонентный анализ деревья решений
дискриминантный анализ искусственные иммунные системы
компонентный анализ индуктивный вывод
Только нейро-нечеткие системы в настоящий момент позволяют явно извлекать правила
из обученной на экспериментальных данных нейросети.
Гибридные нейро-нечеткие системы в XAI
• Цель комбинации нечеткой логики и нейронных сетей состоит в том, чтобы cоздать
архитектуру, которая использует нечеткую логику, чтобы явно показать знания, в то время
как обучающая природа нейронной сети максимизирует ее параметры. Нейро-нечеткая
система, разработанная Джангом в 1992 году, интегрирует преимущества как нейронной
сети, так и нечетких систем, которые не только обладают хорошими возможностями
обучения, но и могут быть легко интепретированы. Нейро-нечеткая системы используется
во многих областях, таких как аппроксимация функций, интеллектуальное управление и
прогнозирование временных рядов.
• Согласно теореме FAT (Fuzzy Approximation Theorem) система, основанная на нечеткой
логике, может аппроксимировать любую математическую систему. Таким образом,
произвольная взаимосвязь может быть бесконечно точно описана с помощью
формализованных высказываний естественного языка «ЕСЛИ-ТО». Структура нейро-
нечеткой продукционной моделей, которая реализует данный функционал представлена на
следующих слайдах.
Пример нейро-нечеткой сети
Более общая форма этой сети
Структура нейронечеткой продукционной
модели типа ANFIS
x1
xk
П1
П2
Пm
...
...
Nm
N2
N1
...
 
11 1
A x

 
21 1
A x

 
31 1
A x

 
1k
A k
x

 
2k
A k
x

 
3k
A k
x

Слой 1 Слой 2 Слой 3 Слой 4 Слой 5
Y
...
1
m
i
i
y


1
y
2
y
m
y
1

2

m

m

2

1

0
1
k
m m mi i
i
d c c x

  

2 20 2
1
k
i i
i
d c c x

  

1 1
0 1
1
k
i i
i
d c c x

  

1 1
d
 
2 2
d
 
m m
d
 
Сеть ANFIS в MATLAB для трех входных
параметров
ко
Глубокая нейросеть с ANFIS
входное изображение
конволюция
пулинг конволюция
пулинг полносвязные
слой или
ANFIS
конволюция
Для того, чтобы получить семантическую интерпретацию черного ящика глубокого
обучения нейро-нечетких сети могут быть использованы вместо последнего
полносвязного слоя прямого растранения. Например, ANFIS (адаптивная нейро-нечеткая
система) является многослойной сетью прямого распространения. Эта архитектура имеет
пять слоев, таких как нечеткий слой, продукционный слой, слой нормализации, слой
дефаззификации и выходной слой. ANFIS сочетает преимущества нейросети и нечеткой
логики.
входное изображение
Архитектура одного слоя глубокой
нейросети
Вход
Простые
признаки
Более
абстрактные
признаки
Отображение
из признаков в
признаки
Выход
Входные
данные
a
a. Конволюционная стадия: афинное
преобразование
b. Стадия детекции : нелинейное
преобразование
c. Пулинг
b c
Следующий
слой
Конволюционный
слой
Гипотетическая глубокая нейро-нечеткая сеть
19.11.2020 )37
Первый компонент - это создание функций глубокого обучения, которые можно использовать для
создания репрезентативных функций непосредственно из данных датчиков. Вторая -
нейронечеткая система.

clssifying images using artificial intelligence

  • 1.
    АВЕРКИН Алексей Николаевич-ведущий научный сотрудник учебно- научной лаборатории искусственного интеллекта, нейротехнологий и бизнес- аналитики РЭУ им. Г.В. Плеханова, доцент кафедры системного анализа и управления Университета «Дубна» email: averkin2003@inbox.ru II Школа молодых ученых «Высокопроизводительные платформы для цифровой экономики и научных проектов класса мегасайенс Объяснительный искусственный интеллект (XAI) – преодоление разрыва между коннекционистким и символьным подходами в искусственном интеллекте».
  • 2.
  • 3.
  • 4.
    • Нейроморфный искусственный интеллект КомпьютерыФон Неймана Нейроморфные компьютеры Сложность компьютера Т.e.вентили; память; нейроны; синапсы мощность; размер [log] •Производительность на уровне человека •Заря новой эры Заря новой парадигмы “простая” “сложная” Сложность Среды Например, количество входных комбинаций [log] Цель Программы Разница между универсальностью и эффективностью Кортекс человека Симуляция кортекса человека 15 ватт 1010 ватт I литр 4x 1010 литров Проблема • По сравнению с биологическими системами интеллектуальные машины в 1000 раз менее эффективны в сложной среде. • Чтобы интеллектуальные машины были бы полкзны их нужно сочетать с биологическими системами. Цель • Развить технологию электронные нейроморфные машины сравнимую с биологоческим уровнем.
  • 6.
    Главный тренд HypeCycle 2020 - смещение фокуса с робототехники и Hardware на искусственный интеллект . • Generative AI Генеративный ИИ относится к программам, которые могут использовать существующий контент, такой как текст, аудиофайлы или изображения, для создания нового правдоподобного контента. Для этого существуют различные методы, такие как генеративные состязательные сети (GANS), преобразователи и вариационные автокодеры. • Adaptive ML Адаптивное машинное обучение - алгоритмы, которые дообучаются по мере поступления новых данных • Augmented Intelligence Искусственный интеллект, который помогает человеку, а не заменяет его в процессах принятия решений. Противопоставляется общему термину “Искусственный Интеллект” в качестве собирательного термина для “Интеллект Человека + ИИ” • Transfer Learning Подход в машинном обучении, когда накопленный опыт при решении одной задачи используется для ускорения обучения другой аналогичной задачи (Wikipedia) • Emotion AI ИИ, который распознает человеческие эмоции • Responsible AI Ответственный ИИ ориентирован на обеспечение этичного, прозрачногои подотчетного использования технологий ИИ в соответствии с ожидания пользователей, организационными ценностями и социальными законами и нормами. Ответственный ИИ гарантирует, что автоматизированные решения оправданы и объяснимы, и помогают поддерживать доверие пользователей и конфиденциальность личности. • Explainable AI Методы и техники использования ИИ, которые позволяют объяснить полученные от ИИ результаты живым экспертам. Противопоставляется концепции “ИИ как черный ящик”, когда нельзя понять сути используемых алгоритмов и найденных взаимосвязей
  • 7.
    В чем проблема? •Системы искусственного интеллекта и машинного обучения (AI / ML) превзошли человеческие возможности почти во всех приложениях, где они были опробованы. • ИИ начинает внедряться в потребительские товары. Эта тенденция ускоряется, и ИИ будет все больше использоваться в критически важных для безопасности системах. • Системы искусственного интеллекта хороши, но иногда допускают ошибки, и пользователи-люди не будут доверять их решениям без объяснения причин. • Существует компромисс между точностью ИИ и объяснимостью: самые точные методы, такие как сверточные нейронные сети (CNN), не дают никаких объяснений; понятные методы, такие как основанные на правилах, как правило, менее точны
  • 8.
    Объяснимый ИИ • Искусственныйинтеллект становится все сложнее, однако его системы представляют собой «черный ящик». Это значит, что конечные пользователи не понимают принцип их работы. • Объяснимый ИИ, который также называют XAI или прозрачный ИИ, представляет собой систему, в которой люди могут с легкостью понять действия ИИ. • Концепция объяснимого ИИ может укрепить доверие к технологии, поскольку компаниям придется объяснять, как и почему их системы ИИ принимают те или иные решения.
  • 9.
    4 принципа объяснимогоискусственного интеллекта-1 • Национальный институт стандартов и технологий (NIST) опубликовал в августе 2020 года первый проект перечня принципов объяснимого искусственного интеллекта (XAI). • Объяснение (Explanation). Системы ИИ должны предоставлять причины и обстоятельства, на основании которых были приняты те или иные решения. Принцип объяснения обязывает систему ИИ предоставлять объяснение в форме «свидетельства или обоснования каждого результата». Данный принцип не устанавливает никаких дополнительных требований к качеству объяснения, а лишь требует, чтобы система ИИ была способна предоставить объяснение. Стандарты таких объяснений регулируются другими принципами. • Значимость (Meaningful). Системы объяснимого ИИ должны представлять объяснения, понятные отдельным пользователям. • Принцип значимости устанавливает, что получатель объяснения должен быть в состоянии понять объяснение. В документе подчеркивается, что этот принцип не предназначен для универсального применения. Пояснения должны быть адаптированы к аудитории как на групповом, так и на индивидуальном уровне. Так, например, разные типы групп пользователей могут требовать разных объяснений, а имеющиеся у них знания и опыт могут влиять на восприятие результата и его значимость.
  • 10.
    4 принципа объяснимогоискусственного интеллекта-2 • Точность объяснения (Explanation Accuracy). Объяснение должно достоверно отражать суть процессов, производимых системой ИИ для генерирования результатов. Принцип точности объяснения корреспондирует с принципом значимости для регулирования качества объяснений, предусматривая точность объяснений, но не точность решений. Фактически, данный принцип является подробным разъяснением того, как система сгенерировала окончательный результат. Применение данного принципа также ставится в зависимость от контекста и конечного пользователя. Так, разные показатели точности объяснения будут представляться для разных типов групп и пользователей. • Пределы знаний (Knowledge Limits). Система работает только в условиях, для которых она была разработана, или когда система достигает надлежащей достоверности в своих результатах. Принцип пределов знаний требует, чтобы система отмечала любые случаи, для которых она не была разработана. Целью этого принципа является предотвращение вводящих в заблуждение объяснений или выводов системы. • Указанные четыре принципа показывают, что решения на основе ИИ должны обладать необходимой прозрачностью, чтобы вызывать доверие к своему функционированию и уверенность в выводах системы
  • 11.
    ННГУ стал победителемв конкурсе крупных научных проектов от Минобрнауки РФ • Проект «Надёжный и логически прозрачный искусственный интеллект: технология, верификация и применение при социально-значимых и инфекционных заболеваниях». • Главным результатом проекта должна стать разработка новых методов и технологий, позволяющих преодолеть два основных барьера систем машинного обучения и искусственного интеллекта: проблему ошибок и проблему явного объяснения решений. На сегодняшний день эти задачи не имеют удовлетворительного решения и требуют новых разработок. • «Эти проблемы тесно связаны: без возможности логического прочтения ошибки искусственного интеллекта будут оставаться необъяснимыми. Дообучение системы в рамках существующих методов может повредить имеющиеся навыки и, с другой стороны, может потребовать огромных ресурсов, что в серьезных задачах непрактично. К примеру, широко известная многомиллионная система ИИ IBM «Watson» потерпела неудачу на рынке персонализированной медицины вследствие систематически совершаемых ошибок в диагностике и рекомендации лечения рака, найти и устранить источники которых не удалось», – объясняет руководитель проекта Александр Горбань.
  • 12.
    Компро мисс: Как объединить лучшее изобеих Экспертные системы: Обладают хорошей системой объяснений, не так хороши для точных расчетов Нейронные сети: Хороши для точности, не так хороши для объяснений - ИЛИ -
  • 13.
    Транспорт Безопасность Лекарство Финансы Юридический Военные Потребность в объяснимомИИ Разрешено к публичному выпуску: распространение без ограничений. 13 Клиент • Почему ты это сделал? • Почему не что-нибудь другое? • Когда вам это удастся? • Когда вы терпите неудачу? • Когда я могу тебе доверять? • Как исправить ошибку? • Мы вступаем в новую эру приложений искусственного интеллекта • Машинное обучение - основная технология • Модели машинного обучения непрозрачны, не интуитивно понятны и трудны для понимания людьми. • Текущее поколение систем искусственного интеллекта предлагает огромные преимущества, но их эффективность будет ограничена неспособностью машины объяснять свои решения и действия пользователям. • Объясняемый ИИ будет иметь важное значение, если пользователи хотят понимать, должным образом доверять и эффективно управлять этим новым поколением партнеров с искусственным Система ИИ http://listverse.com/ © 2007–2017 ООО «Листверс» http://listverse.com/ © 2007–2017 ООО «Листверс» https://futureoflife.org/ © FLI - Институт будущего жизни http://www.bbc.com/ © 2017 BBC Предоставлено: Getty Images. http://blog.soliant.com/ © 2004-2017 Soliant Health https://www.re-work.co/ © 2017 RE-WORK X LTD http://explainthatstuff.com
  • 14.
    Нейронные сети сглубоким обучением Архитектура и как они работают Разрешено к публичному выпуску: распространение без ограничений. 14 Автоматический алгоритм (выделение и классификация признаков) От низкоуровне вых функций к высокоуровн евым функциям Нейронная сеть с глубоким обучением Данные обучения Ввод (изображение без ярлыка) Нейроны реагируют на простые формы Нейроны реагируют на более сложные структуры Нейроны реагируют на очень сложные абстрактные концепции 1ул Слой 2nd Слой пth Слой https://www.xenonstack.com/ XenonStack © http://fortune.com/ © 2018 Time Inc.
  • 15.
    Что мы пытаемсясделать? , Обучение Процесс Обучение Данные Аппроксим. функция Выход Cегодня Это кот (р = 0,93) • Почему ты это сделал? • Почему не что-нибудь другое? • Когда вам это удастся? • Когда вы терпите неудачу? • Когда я могу тебе доверять? • Как исправить ошибку? Пользователь с задачей © Спин Юго-Запад © Университет Торонто Обучени е Данные Новый Обучение Процесс Объясняемая модель Пояснение Интерфейс Завтра • Я понимаю почему • Я понимаю почему нет • Я знаю, когда ты добьешься успеха • Я знаю, когда ты проиграешь • Я знаю когда тебе доверять • Я знаю, почему ты ошибся Это кот: •У него есть мех, усы и когти. •Он имеет такую ​​особенность: Пользователь с задачей © Спин Юго-Запад © Университет Торонто http://explainthatstuff.com
  • 16.
    Цель: производительность иобъяснимость • XAI создаст набор методов машинного обучения, которые • Создавать более объяснимые модели, сохраняя при этом высокий уровень эффективности обучения (например, точность прогнозов) • Дать возможность пользователям-людям понимать, должным образом доверять и эффективно управлять новым поколением партнеров с искусственным интеллектом 16 Объяснимость (условная) Эффективность обучения Cегодня Завтра Производительность против объяснимости
  • 17.
    Измерение эффективности объяснения Разрешенок публичному выпуску: распространение без ограничений. 17 Структура объяснения Задача Решени е Рекомендация, Решение или Действие Объяснение Система принимает входные данные из текущей задачи и дает рекомендацию, решение или действие. Система предоставляет пользователю объяснение, которое обосновывает его рекомендацию, решение или действие. Пользовател ь принимает решение на основании объяснения Объясняе мая модель Пояснение Интерфейс Система XAI Мера эффективности объяснения Удовлетворенность пользователей • Ясность объяснения (оценка пользователей) • Полезность объяснения (оценка пользователей) Ментальная модель • Понимание индивидуальных решений • Понимание общей модели • Оценка сильных / слабых сторон • Прогноз "что он будет делать" • Прогноз "Как мне вмешаться" Выполнение задач • Улучшает ли объяснение решение пользователя, выполнение задачи? • Искусственный задачи решения введены для диагностики понимания пользователя Оценка доверия • Надлежащее использование в будущем и доверие Исправляемость (дополнительная оценка) • Выявление ошибок • Исправление ошибок • Непрерывное обучение
  • 18.
    Производительность против объяснимости •AOG - стохастические И/ИЛИ графы • SVM - метод опорных векторов • MLNs - марковские логические сети • HBNs – иерархические байесовские сети • CRFs - условные случайные поля • SRL - статистическое реляционное обучение Разрешено к публичному выпуску: распространение без ограничений. 18 Эффективность обучения Объяснимость Методы обучения (сегодня) Нейронные сети Статистические Модели Ансамбль Методы Деревья решений Глубокое Обучение SVM AOG Байесовские сети доверия Марков ские модели HBNs MLN SRL CRF Случайный лес Графический Модели Объяснимость (условно)
  • 19.
    Производительность против объяснимости 19 Объяснимость Методыобучения (сегодня) Объяснимость (условно) Нейронные сети Статистически еМодели Ансамблей Методы Решение Деревья Глубокое Обучение SVM AOG Байесовский Сети веры Марков ские модели HBNs MLN Модель индукции Методы вывода объяснимой модели из любой модели в виде черного ящика Глубокое объяснение Модифицированные методы глубокого обучения объяснимым признакам Новый Подход Создайте набор методов машинного обучения, которые создавать более объяснимые модели, сохраняя при этом высокий уровень обучаемости SRL Интерпретируемые модели Методы изучения более структурированных, интерпретируемых причинно- следственных моделей CRF Случайный Лес Графически е Модели Эффективность обучения
  • 20.
    Практические задачи Разрешено кпубличному выпуску: распространение без ограничений. 20 Узнать модель Аналитик а данных Учебное задание по классификаци и Рекомендую Объяснение Объясняема я модель Пояснение Интерфейс Аналитик ищет интересующие элементы в огромных наборах мультимедийных данных. Объясняема я модель Пояснение Интерфейс Автономи я Задача обучения с подкреплением Действия Объяснение Моделирование ArduPilot и SITL Оператор направляет автономные системы на выполнение ряда задач. Классифицирует интересующие элементы в большом наборе данных Изучает политику принятия решений для смоделированных миссий Объясняет, почему / почему нельзя использовать рекомендуемые товары Аналитик решает, о каких статьях сообщать и что делать Объясняет поведение в обзоре после действия Оператор решает, какие будущие задачи делегировать Используйте объяснение Объяснять решения Мультимедийные данные Два грузовика выполняют погрузку © Getty Images © Армия США © Исследовательская лаборатория ВВС © ArduPikot.org
  • 21.
    Технические подходы разработчиковXAI Одобрено для публичного выпуска, распространение не ограничено 21 Данные обучения Объясняема я модель Пояснение Интерфейс Калифорнийский университет в Беркли Глубокое обучение Рефлексивный и рациональный Чарльз Ривер Индуктивная каузальная модель Нарративная генерация UCLA Теория паттернов + Трехуровневое объяснение OSU Адаптивные программы Приемочное тестирование PARC Когнитивное моделирование Интерактивное обучение CMU Объяснимый RL (XRL) XRL Взаимодействие SRI Глубокое обучение Покажи и расскажи объяснения Raytheon Глубокое обучение Аргументация и педагогика UT Даллас Вероятностный Логика Диаграммы решений Техас A&M Мимическое обучение Интерактивная визуализация Rutgers Модель индукции Байесовское обучение Новый Обучение Процесс Психологическая модель объяснения IHMC http://www.zerohedge.com/ © 2009-2017 ZeroHedge.com/ABCMedia, LTD © 2012, Lost Tribe Media, Inc. © Toronto Star Newspapers Ltd. 1996– 2017 гг. © Associated Newspapers Ltd. © 2017 г. Hürriyet Ежедневные новости © 2017 Green Car Reports © 2017 POLITI.TV © Business Insider Inc., 2017. © УВКБ ООН 2001-2017 © 2017 Новости Route 66 Разрешено к публичному выпуску: распространение без ограничений.
  • 22.
    Глубокий XAI длябеспилотных автомобилей Заявление о распространении 22 Калифорнийский университет в Беркли Система текстового согласования, встроенная в усовершенствованные модели визуального внимания, чтобы обеспечить соответствующее объяснение поведения глубокого нейросетевого контроллера транспортного средства. Входные изображения Карты внимания Уточненные карты внимания Описание действия Обоснование действия Автомобиль разгоняется так как свет стал зеленым Автомобиль медленно разгоняется так как свет загорелся зеленым и движение идет Машина едет вперед в качестве движение транспорта свободно Автомобиль переходит в левую полосу движения к обойти более медленную машину перед ней Примеры описания и обоснования действий Ким, Рорбах, Даррелл, Кэнни и Аката. Показывать, посещать, контролировать и оправдывать: интерпретируемое обучение для самоуправляемых автомобилей Ким и Кэнни. Интерпретируемое обучение для самоуправляемых автомобилей путем визуализации причинного внимания Ускорение, смена курса Текстовые описания + пояснения Контроллер автомобиля Генератор объяснений • Уточненные тепловые карты дают более сжатые визуальные объяснения и более точно отображают поведение сети • Текстовое описание и обоснование действия обеспечивает удобную для интерпретации систему для беспилотных автомобилей. Без объяснения причин: «Машина едет по улице» С объяснением: «Машина едет по улице, потому что на ее полосе нет других машин, нет красных фонарей и знаков остановки»
  • 23.
    Количественное определение интерпретируемостиглубоких представлений (Массачусетский технологический институт) Разрешено к публичному выпуску: распространение без ограничений. 23 Интерпретация нескольких единиц в pool5 AlexNet, обученных распознаванию мест Контрольный журнал: для конкретного выходного устройства на рисунке показан наиболее активный путь
  • 24.
    Психологические модели объяснения Разрешенок публичному выпуску: распространение без ограничений. 24 Пользователь Лучшая производите льность Критерии «доброты» Тест на удовлетворение Тест на понимание Тест производительности Доверие или недоверие Соответствую щее доверие Система оценивается получает может изначально уступает место Надлежащее использован ие позволяет пересматривает позвол яет оценивается оценивается может породить Объяснение Ментальная модель пользователя вовлекает XAI процесс Показател и XAI Модель процесса объяснения и возможные метрики
  • 25.
    Извлечение правил изнейросетей • Искусственные нейронные сети (ANN) являются широко известными параллельными вычислительными моделями, которые демонстрируют отличное поведение в решении сложных проблем искусственного интеллекта. Тем не менее, многие исследователи отказываются использовать их из-за того, что они являются "черным ящиком". Особенно это относится к сетям глубокого обучения. Это означает, что определение того, почему нейронная сеть принимает именно такое решение, является трудной задачей.
  • 26.
    Таксономия извлечения правилиз нейросетей Первое измерение является выразительной силой извлекаемых правил (например, правила IF-THEN правила или нечеткие продукционные правила). Второе измерение называется прозрачностью и описывает стратегию, за которой следует алгоритм извлечения правил. Если метод использует нейронную сеть только как черный ящик, независимо от архитектуры нейросети, мы называем его педагогическим подходом. Если вместо этого алгоритм учитывает внутреннюю структуру нейронной сети, мы называем этот подход декомпозиционным. Если алгоритм использует компоненты как педагогических, так и декомпозиционных методов, то этот подход называется эклектическим. • Третьим измерением является качество извлеченных правил
  • 27.
    Алгоритмы извлечения правил АлгоритмИспользуемый тип сети Тип алгоритма Вид извлекаемого правила DIFACON- miner Standard MLP Decompositional IF-THEN CRED Standard MLP Decompositional Decision tree FERNN Standard MLP Decompositional M-of-N ,IF- THEN KT Standard MLP Decompositional IF-THEN Tsukimoto’s Algorithm Standard MLP and RNN Decompositional IF-THEN TREPAN Standard MLP Pedagogical M-of-N spilit, decision tree HYPINV Standard MLP Pedagogical Hyperplane rule
  • 28.
    Алгоритмы извлечения правил АлгоритмИспользуемый тип сети Тип алгоритма Вид извлекаемого правила BIO-RE Standard MLP Pedagogical Binary rule KDRuleEX Standard MLP Pedagogical Decision tree RxREN Standard MLP Pedagogical IF-THEN ANN-DT Standard MLP Pedagogical Binary Decision tree RX Standard MLP Eclectic IF-THEN Kahramanli and Allahverdi’s Algorithm Standard MLP Eclectic IF-THEN DeepRED DNN Decompositional IF-THEN
  • 29.
    Методы Data Mining: СтатистическиеКибернетические дескриптивный анализ искусственные нейронные сети (глубокие) корреляционный и регрессионный анализ гибридные нейро-нечеткие системы факторный анализ эволюционные алгоритмы дисперсионный анализ ассоциативная память компонентный анализ деревья решений дискриминантный анализ искусственные иммунные системы компонентный анализ индуктивный вывод Только нейро-нечеткие системы в настоящий момент позволяют явно извлекать правила из обученной на экспериментальных данных нейросети.
  • 30.
    Гибридные нейро-нечеткие системыв XAI • Цель комбинации нечеткой логики и нейронных сетей состоит в том, чтобы cоздать архитектуру, которая использует нечеткую логику, чтобы явно показать знания, в то время как обучающая природа нейронной сети максимизирует ее параметры. Нейро-нечеткая система, разработанная Джангом в 1992 году, интегрирует преимущества как нейронной сети, так и нечетких систем, которые не только обладают хорошими возможностями обучения, но и могут быть легко интепретированы. Нейро-нечеткая системы используется во многих областях, таких как аппроксимация функций, интеллектуальное управление и прогнозирование временных рядов. • Согласно теореме FAT (Fuzzy Approximation Theorem) система, основанная на нечеткой логике, может аппроксимировать любую математическую систему. Таким образом, произвольная взаимосвязь может быть бесконечно точно описана с помощью формализованных высказываний естественного языка «ЕСЛИ-ТО». Структура нейро- нечеткой продукционной моделей, которая реализует данный функционал представлена на следующих слайдах.
  • 31.
  • 32.
  • 33.
    Структура нейронечеткой продукционной моделитипа ANFIS x1 xk П1 П2 Пm ... ... Nm N2 N1 ...   11 1 A x    21 1 A x    31 1 A x    1k A k x    2k A k x    3k A k x  Слой 1 Слой 2 Слой 3 Слой 4 Слой 5 Y ... 1 m i i y   1 y 2 y m y 1  2  m  m  2  1  0 1 k m m mi i i d c c x      2 20 2 1 k i i i d c c x      1 1 0 1 1 k i i i d c c x      1 1 d   2 2 d   m m d  
  • 34.
    Сеть ANFIS вMATLAB для трех входных параметров
  • 35.
    ко Глубокая нейросеть сANFIS входное изображение конволюция пулинг конволюция пулинг полносвязные слой или ANFIS конволюция Для того, чтобы получить семантическую интерпретацию черного ящика глубокого обучения нейро-нечетких сети могут быть использованы вместо последнего полносвязного слоя прямого растранения. Например, ANFIS (адаптивная нейро-нечеткая система) является многослойной сетью прямого распространения. Эта архитектура имеет пять слоев, таких как нечеткий слой, продукционный слой, слой нормализации, слой дефаззификации и выходной слой. ANFIS сочетает преимущества нейросети и нечеткой логики. входное изображение
  • 36.
    Архитектура одного слояглубокой нейросети Вход Простые признаки Более абстрактные признаки Отображение из признаков в признаки Выход Входные данные a a. Конволюционная стадия: афинное преобразование b. Стадия детекции : нелинейное преобразование c. Пулинг b c Следующий слой Конволюционный слой
  • 37.
    Гипотетическая глубокая нейро-нечеткаясеть 19.11.2020 )37 Первый компонент - это создание функций глубокого обучения, которые можно использовать для создания репрезентативных функций непосредственно из данных датчиков. Вторая - нейронечеткая система.