ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА НА ТЕМУ: "Разработка программно-математических средств для управления интерфейсом телефона с помощью сигналов электромиографии Выполнил: Павлов Юрий Александрович Научный руководитель: Мельников Алексей Олегович

1. Разработка программноматематических средств для управления
интерфейсом телефона с помощью сигналов электромиографии
ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА НА ТЕМУ:
Выполнил:
Павлов Юрий Александрович
Научный руководитель:
Мельников Алексей Олегович
Москва 2020

2. Схема регистрации сигналов ЭМГ
2

3. Обзор технологии электромиографии
Электромиография – это метод, позволяющий
оценить суммарную биоэлектрическую активность
мышц в состоянии покоя, а также оценить эту
активность при выполнении каких-либо действий
Поверхностный электрод

4. Примеры манипуляторов для ввода
информации
MYO
Цена ~18000 р
Цена ~2500 р
EMG SHIELD
7 каналов ЭМГ
6 жестов вероятность
ошибки 3%
1 канал ЭМГ
4 жеста вероятность
ошибки
9%
Цена ~250 р
Проводная
мышь
Подключение по USB
4

5. Измерение сигналов ЭМГ с
использованием EMG Shield
5

6. Автоматизированный сбор и разметка
баз данных сигнала ЭМГ
6

7. Постановка задачи
• Разработать архитектуру системы регистрации
сигналов ЭМГ для мобильного телефона
• Разработать программное средство для
регистрации сигнала ЭМГ и передачи
оцифрованного сигнала по беспроводному каналу
на мобильный телефон
• Разработать программное средство для приема,
хранения, анализа и визуализации сигналов ЭМГ
для мобильного телефона
• Разработать алгоритм для автоматизированной
разметки и классификации регистрируемых
сигналов ЭМГ на мобильном телефоне
7

8. Предложенный комплекс технических
средств для регистрации сигнала ЭМГ
8

9. Структурная схема программного-
аппаратного средства
9

10. Предложенный метод формирования обучающих
выборок для классификации сигналов ЭМГ
10

11. Выделение признаков для
классификации сигнала ЭМГ
x - Вектор-строка
дискретных отсчетов
записанного
измерения;
N - Длинна вектора x;
11

12. Соответствие сигналов ЭМГ и жестов
Сигнал Жест
Свайп влево
Свайп вправо
Свайп вниз
12

13. Интерпретация сигналов ЭМГ
13

14. Пути развития
• Улучшить алгоритм классификации
для распознания жестов
• Переместить классификацию сигнала
ЭМГ в облако
• Развитие в сторону удобного размещения на
теле
14

15. Заключение
• Проведен анализ аналогичный программных средств и алгоритмов
машинного обучения;
• Предложено решение для автоматизированного сбора и разметки
обучающей выборки сигналов ЭМГ на основе мобильного телефона и
беспроводного модуля сбора сигналов ЭМГ
• Разработано ПС для беспроводной мобильной платформы на основе
процессора ESP32 для сбора данных с оборудования ЭМГ
• Разработано ПО для мобильного телефона для автоматизированного
сбора размеченной обучающей выборки сигналов ЭМГ
• Реализован протокол
• Разработанное ПО позволит упростить процесс подготовки данных
для обучения алгоритмов распознавания сигналов ЭМГ
15

16. Спасибо за внимание
16