Тема выпускной квалификационной работы: «Разработка программно-математических средств для биомеханического анализа движений человека на основе сигналов электромиографии» Выполнил: Филипповский А.В. Руководитель: к.т.н. Мельников А.О.

1. Тема выпускной квалификационной работы:
«Разработка программно-математических средств для
биомеханического анализа движений человека на
основе сигналов электромиографии»
МИНОБРНАУКИ РОССИИ
Федеральное государственное бюджетное образовательное учреждение
высшего образования
«МИРЭА – Российский технологический университет»
РТУ МИРЭА
Институт комплексной безопасности и специального приборостроения
Кафедра КБ-2 «Прикладные информационные технологии»
Москва, 2021 г.
Студент: Филипповский
Александр Владимирович
Руководитель: к.т.н., Мельников
Алексей Олегович

3. Современные носимые устройства. Непрямые методы
измерения
Смарт-часы Apple Watch
Фитнес-браслет Xiaomi Mi Band

4. Электромиография (ЭМГ) – это метод, позволяющий
оценить суммарную биоэлектрическую активность мышц в
состоянии покоя, а также оценить эту активность при
выполнении каких-либо действий.

5. Технология измерения сигналов ЭМГ
Неинвазивное измерение сигналов ЭМГ
(поверхностная ЭМГ)
Инвазивное измерение сигналов ЭМГ

6. Разрабатываемые носимые устройства на основе
поверхностной ЭМГ
Браслет от стартапа Ctrl-Labs
Шлем Galea на платформе OpenBCI

7. Причины выбора поверхностной электромиографии для
биомеханического анализа движений человека:
▪ ЭМГ позволяет получить больше информации из
организма человека в отличие от современных
фитнес-браслетов и смарт-часов, которые получают
данные из акселерометра;
▪ Поверхностная ЭМГ не требует внедрения в тело;
▪ IT-гиганты, такие как Facebook, разрабатывают
устройства, которые используют электрическую
активность производимую телом человека в человеко-
машинном взаимодействии.

8. Цель и задачи выпускной квалификационной работы
Цель работы: разработка программно-математических средств для
классификации степени мышечных усилий по сигналу ЭМГ
Задачи:
▪ обзор методов обработки сигналов электромиографии;
▪ выбор и оценка эффективности базового алгоритма
биомеханического анализа движений человека на основе сигналов
электромиографии, а именно их классификации, и анализ его
производительности поиск путей повышения качества;
▪ разработка алгоритма и программного средства оценки
биомеханического анализа движений человека на основе сигналов
электромиографии для устройств с небольшим объемом памяти;
▪ анализ экономической эффективности.

9. Захват сигнала электромиографии
9
Прототип устройство для захвата сигнала на
платформе ESP32
Электроды

10. Предварительная обработка сигнала (фильтрация)

11. Предварительная обработка сигнала (сегментация)
MUAP (motor unit action potentials) – потенциалы действия
двигательных единиц.
𝑻 =
𝟏
𝑳 𝒊=𝟏
𝑳
|𝒙𝒊|

12. MUAP (motor unit action potentials) – потенциалы
действия двигательных единиц.

13. 330 сигналов
Собранные данные
Типы движений: щелчок пальцами, сжимание кулака,
сгибание кисти, разжатие пальцев, удар. Каждое из
этих движений было сделано СЛАБЫМИ, СРЕДНИМИ и
СИЛЬНЫМИ мышечные усилия.

15. Сверточная нейронная сеть
Сверточная нейронная сеть (CNN – Convolutional Neural
Network) – алгоритм глубокого обучения, изначально
нацеленный на распознавание образов. Основная идея таких
сетей заключается в чередовании сверточных слоев и слоев
подвыборки.

16. Базовая выбранная модель для классификации
Simple feed-forward, deep and 1d convolutional autoencoders –
https://github.com/leoska/emg_autoencoder

17. Обучение на базовой модели

18. Целевая платформа на базе микроконтроллера ESP32
- Двухъядерный 32-
битный процессор
Tensilica Xtensa LX6;
- Операционная
система реального
времени FreeRTOS;
- Тактовая частота –
160 или 240 МГц;
- 520 Кб SRAM;
- Стандарты
беспроводной связи –
Wi-Fi: 802.11 b / g /
N, Bluetooth: v4

19. Предложенная модель для классификации

20. Обучение на предложенной модели

21. Обучение на предложенной модели

23. Внедрение модели в устройство
// Отображение модели в удобную структуру данных. Оно не требует
// операций копирования или парсинга -- операция не трудоемкая.
model = tflite::GetModel(g_model);
// Получение всех необходимые нам реализации операций для модели.
static tflite::AllOpsResolver resolver;
// Создание интерпретатора для запуска модели
static tflite::MicroInterpreter static_interpreter(
model, resolver, tensor_arena, kTensorArenaSize, error_reporter);
interpreter = &static_interpreter;
// Выделение памяти для тензоров модели
TfLiteStatus allocate_status = interpreter->AllocateTensors();
if (allocate_status != kTfLiteOk) {
TF_LITE_REPORT_ERROR(error_reporter, "AllocateTensors() failed");
return;
}
// Получение указателя на входные тензоры модели.
input = interpreter->input(0);
alignas(8) const unsigned char g_model[34696] = {
0x1c, 0x00, 0x00, 0x00, 0x54, 0x46,
0x4c, 0x33, 0x00, 0x00, 0x12, 0x00,
...
Модель в виде массива байтов
Инициализация модели
Достоинства TF Lite:
• простой и читаемый
код;
• Удобный интерфейс
для взаимодействия с
моделями нейронных
сетей.

24. Внедрение модели в устройство
void predicate(float* signal, int muap_left, int muap_right, float* output) {
// Ввод сигнала.
for (int i = muap_left; i < muap_right; i++){
input->data.f[i-muap_left] = signal[i];
}
// Запуск интерпретатора.
interpreter->Invoke();
float *output_vec;
// Получение выходного вектора с ответом.
output_vec = interpreter->output(0)->data.f;
HandleOutput(error_reporter, output_vec[0], output_vec[1], output_vec[2]);
output[0] = output_vec[0];
output[1] = output_vec[1];
output[2] = output_vec[2];
}
Получение ответа от классификатора

25. Результаты работы программы

26. Экономическая эффективность
Произведенные расчеты
показывают, что
затраты на разработку
программного продукта
составят 112471,06
рублей, а отпускная
оптовая цена, включая
НДС, составит 3239,16
рублей. Срок
окупаемости
разработки равен 7
месяцам.

27. В работе были решены следующие задачи:
1. Описана предметная область, проведен обзор методов классификации данных;
2. Проведен анализ аналогичный программных средств и алгоритмов машинного
обучения;
3. Предложена структура сверточной нейронной сети для обучения классификатора
мышечных усилий;
4. Разработано программные средство для захвата, предварительной обработки и
биомеханического анализа сигналов.
В результате проектирования и обучения программного средства удалось достичь
вероятной точности классификации ЭМГ равной 69% для данных, не участвовавших в
обучении модели, при ее небольшом размере. Таким образом предложенный метод
может использоваться при решении практических задач биомеханического анализа
сигналов электромиографии, а именно классификации мышечных усилий, на
устройствах с небольшим размером памяти.
Заключение

28. СПАСИБО ЗА ВНИМАНИЕ!