MILA: Low-cost BCI framework for acquiring EEG data with IoTTELKOMNIKA JOURNAL
Similar to 2020 - Масленков Г.Д. "Разработка программных средств для регистрации, анализа и хранения сигналов электромиографии на мобильной платформе" (20)
UNIT-V FMM.HYDRAULIC TURBINE - Construction and working
2020 - Масленков Г.Д. "Разработка программных средств для регистрации, анализа и хранения сигналов электромиографии на мобильной платформе"
1. МИРЭА – Российский Технологический Университет
Институт вечернего и заочного образования
Кафедра КБ-2 «Прикладные информационные технологи»
Тема выпускной квалификационной работы
«Разработка программных средств для регистрации, анализа
и хранения сигналов электромиографии на мобильной
платформе»
Выполнил:
Масленков Григорий Дмитриевич
Научный руководитель:
Мельников Алексей Олегович
2021
2. Область исследований
Объект исследования - физиологические
принципы функционирования периферической
нервной системы человека, структура,
свойства, и методы измерения, обработки и
хранения сигналов ЭМГ.
Предмет исследования - алгоритмы
захвата, предварительной обработки и
хранения сигналов ЭМГ в рамках мобильной
платформы.
4. Потенциальные сферы
применения
Медицинская сфера
Бионическое протезирование
Анализ мышечной активности
Фитнес-трэкеры для спортсменов
Человеко-машинные интерфейсы
Игровая индустрия
5. Актуальность разработки
На рынке мобильных приложений нету решений с
открытым исходным кодом, позволяющих работать с
сигналом ЭМГ.
На кафедре КБ-2 нету инструментов, подключающихся
напрямую к контроллеру по TCP/Bluetooth для
считывания и хранения сигналов ЭМГ.
Мобильное приложение позволяет осуществлять запись
сигналов в специфичных условиях, где не получается
применить стационарные устройства.
Мобильное приложение можно использовать как
конечный продукт для проведения исследований, а также
как инструмент для создания новых продуктов.
6. Цель и задачи
Задачи работы:
обзор предметной области;
спроектировать общую архитектуру системы сбора и
предварительного анализа сигналов ЭМГ;
разработать алгоритм для регистрации и
отслеживания импульсов ЭМГ;
организовать промежуточное хранение сигналов и
обмен данными с облачным хранилищем;
анализ экономической эффективности программного
обеспечения.
Цель работы: разработать мобильное приложение
для регистрации, хранения и анализа сигналов
электромиографии.
8. Оборудование для измерения
сигналов ЭМГ
Для регистрации сигналов электромиографии в данной работе
использовалось устройство, в состав которого входит:
1. накожные электроды;
2. плата EMG-8x Rev.2;
3. контроллер ESP32.
10. Распознавание импульса ЭМГ
1 AVG =
1
𝑛
i=1
𝑛
𝑥(𝑖
1. Рассчитываем среднее значение амплитуды сигнала AVG
2. Вычитаем AVG из каждого значения сигнала
3. Расчет параметра minCapture = AVG * 0.80
4. Проводим прямую вдоль оси отсчета со значением minCapture
5. Всё, что находится выше проведенной прямой, считается активным сигналом
2 y k = x k − AVG 3 minCapture = AVG ∗ 0.80
17. Заключение
В рамках выпускной квалификационной работы были выполнены
следующие задачи:
обзор предметной области;
обзор облачных технологий для хранения данных;
спроектирована архитектура программной среды для сбора,
анализа и хранения сигналов ЭМГ;
разработано мобильное приложение со следующими
возможностями:
o регистрация сигналов ЭМГ с контроллера по Wi-Fi/BT/BLE;
o фильтрация шумов и анализ сигналов ЭМГ;
o хранение собранных данных в облачной среде;
o формирование обучающих выборок;
o отображение обработанных данных в режиме реального времени.
анализ экономической эффективности.
18. Идеи для развития ПО
Идеи для усовершенствования ПО:
доработать алгоритм поиска моментов импульсов ЭМГ;
использовать нейронные сети для предварительной фильтрации и
классификации сигналов;
интеграция тяжелых расчетов с облачными технологиями;
создание модуля с настройками для контроллеров (настройка
частоты дискретизации, прослушиваемых каналов и т.п.).
Наличие открытых исходных кодов и модульного
подхода реализации мобильного приложения позволит
легко дорабатывать приложение и адаптировать его под
новые цели.
Здравствуйте уважаемый председатель и члены государственной экзаменационной комиссия, я студент Масленков Григорий Дмитриевич, хочу представить вашему вниманию доклад на тему «Разработка программных средств для регистрации, анализ и хранения сигналов электромиографии на мобильной платформе».
В рамках выпускной работы была определена следующая область исследований:
Объектом исследования выступают физиологические принципы функционирования периферической нервной системы человека, структура, свойства и методы измерения, обработки сигналов электромиографии
Предметом исследования является алгоритмы регистрации, предварительной обработки и хранения сигналов ЭМГ в рамках мобильной платформы
Что же такое электромиография?
Электромиография - один из метод исследования биоэлектрических потенциалов, возникающих в скелетных мышцах человека и животных при возбуждении мышечных волокон.
Казалось бы одной из основных сфер применений сигналов ЭМГ является медицинская сфера, но кроме медицинской сферы сигналы ЭМГ имеют большой потенциал для применений.
Например, его можно применять для создания бионических протезов и экзоскелетов, и других устройств, управления которыми происходит за счет изменений в биопотенциалах мышц.
Также сигнал ЭМГ может использовать для создания бесконтактных человеко-машинных интерфейсов или же использоваться в игровой индустрии.
На данном слайде представлена актуальность разработки.
Основными причинами являются:
Отсутствие готовых решений с открытым исходным кодом для работы с сигналами ЭМГ
На кафедре КБ-2 так же отсутствуют подобные решения, позволяющие легко считывать сигнал и делиться им с другими участниками исследований
После проведенного анализа предметной области, были сформулированы следующие задачи, которые необходимо выполнить.
Целью работы является: разработать мобильное приложение для регистрации, хранения и анализа сигналов электромиографии.
А основными задачи являются: проектирование общей архитектуру программной среды для работы с сигналом ЭМГ и ее алгоритмическая реализация
На данном слайде представлена общая схема обработки сигналов ЭМГ.
Сначала регистрируются сигналы ЭМГ, приходят они в зашумленном виде, после чего необходимо их обработать, определить была ли найдена активность в этом сигнале, после чего можно проводить более детальные исследования, например, решать задачу классификации.
В выпускной работе будут рассматриваться только первые три этапа.
Как и было сказано ранее, первым делом, сигнал необходимо зарегистрировать. Для регистрации сигналов ЭМГ в выпускной работе используется составное устройство, состоящее из следующих элементов:
Электроды регистрируют сигналы ЭМГ
Плата EMG-8x второй ревизии, разработанная на кафедре КБ-2 МИРЭА, проводит оцифровку полученных сигналов
Микроконтроллера ESP32 формирует пакеты данных для дальнейшей пересылки клиентам по Wi-Fi и Bluetooth каналам.
Как было сказано, сигнал приходит в зашумленном виде, это можно видеть на первом графике.
Для его очистки в общих чертах использовался фильтр с конечной импульсной характеристикой, подавляющий 0 50 и 100 частоты.
В результате получаем более чистый сигнал, как на рисунке 4. Теперь импульсы электромиографии видны невооруженным взглядом.
Теперь можно проводить предварительный анализ сигнала.
В рамках выпускной работы под предварительным анализом будет пониматься ответ на вопрос: наблюдалась ли мышечная активность в полученном сигнале вообще.
В общем случае для ответа на этот вопрос проводим дополнительную обработку сигнала, рассчитываем пороговый параметр minCapture. Все значения сигналов, превышающие minCapture считаются активными действиями.
Для достижения цели было решено писать приложение на мобильный телефон, в силу его наивысшей мобильности.
Операционной системой была выбрана Android, так как присутствует на большинстве современных смартфонов.
А также версия 16 версия инструментов разработчика, которая поддерживается практически всеми андроид системами.
А для достижения поставленных задач были использованы следующие инструменты:
Python и облачный сервис Google Colab для проведения исследований сигналов ЭМГ
Системы контроля версий Git и удаленный репозиторий Bitbucket, для удобного контроля версий
Язык программирования Java и среда разработки Android Studio.
Также была проведена интеграция с облачным хранилищем данных Cloud Storage.
На данном слайде представлена общая схема взаимодействия компонентов всей системы.
Человек формирует сигналы ЭМГ, специальное устройство считывает эти сигналы и передает мобильному устройству
Которое в свое очередь обрабатывает поступающие сигналы и сохраняет их облачное хранилище
Здесь представлена структурная схема программного решения, позволяющая достигнуть поставленную цель.
В целом мобильное приложение можно разделить на 3 модуля:
Модуль чтения данных – отвечает за получение данных от контроллера ЭМГ. В данном случае от ESP32
Модуль обработки данных – модуль накапливает сырые данные в пакеты сигналов, после чего производит обработку всего пакета
Модуль сохранения данных – сохраняет данные на локальное устройство и в облачное харнилище.
После чего к сохраненным данным можно получить доступ с любого устройства, имеющего доступ к интернет сети.
На данном слайде представлены скриншоты работы созданного мобильно приложения.
На первом рисунке виден первый экран приложения, когда телефон не подключен к контроллеру.
На втором рисунке устройство успешно подключено к контроллеру ЭМГ и в режиме реального времени получает сигналы, обрабатывает их и в левом верхнем углу подсвечивает индикатор, говорящий о том, что была найдена активность в сигнале.
На третьем рисунке показан второй экран мобильно приложения, на котором можно загрузить собранные ранее данные: с мобильного устройства или с облачного хранилища. На данном экране данные отображаются в двух форматах: в сыром и очищенном виде.
На данном экране можно проводить манипуляции над графиком: увеличивать масштабность, сдвигать его по осям.
На данном слайде проведен расчет экономической эффективности программного обеспечения
На данном слайде представлены задачи, решенные в рамках выпускной работы.
Основной из них являлась разработка мобильного приложения, которое умеет:
принимать сигналы ЭМГ от контроллеров ( в теории и от других устройств)
Проводить фильтрацию и первичный анализ сигнала
Промежуточно сохранять данные на мобильном устройстве и в облачной среде, которые можно использовать с любого другого устройства
Отображать полученные данные в режиме реального времени
Также, в ходе разработки мобильного приложения, были предложены идеи по его дальнейшему развитию.
Например, использовать нейронные сети для решения задачи классификации, а сложные расчеты при этом можно вынести в облачную среду.
На этом доклад окончен. Спасибо за внимание
Есть вопросы?