This document describes a smart in-home rehabilitation system that uses 3D printing and smartphone/smartwatch technologies. It aims to address limitations of current at-home rehabilitation methods by standardizing workouts, providing personalized feedback, and saving workout data. The system uses a smartwatch to detect hand positioning accuracy and a smartphone app for audio/visual feedback, workout selection/tracking, and viewing workout history data. Various containers and interfaces have been 3D printed for different exercises. Preliminary testing with stroke patients found the feedback improved movement quality and patients would use and continue the system.
ATKin (Autism Therapy With Kinect)
Danışman: Yrd.Doç.Dr. Akhan AKBULUT
Proje Sahibi: Mahmut KARATAY , M. Burhaneddın BAKAR
Otizm üç yaşından önce başlayan ve ömür boyu sürerek bireylerin sosyal etkileşimine, çevresiyle olan iletişimine zarar veren ve beynin gelişimini engelleyen bir rahatsızlıktır. Ülkemizde 600.000 kişide otizm spektrum bozukluğu görülmekte olup bu rakkamın üçte birinin 0-14 yaş aralığındaki çocukların oluşturuduğu tahmin edilmektedir. Bilinen kesin sonuç veren bir tıbbi tedavisi bulunmayan bu hastalığın etkilerini azaltmak, erken yaşta eğitime başlanarak ve çocuğun yetenekleri ile gereksinimleri dikkate alınarak özelleştirilmiş bireysel eğitim programları uygulanarak mümkün olmaktadır. Önerdiğimiz sistem olan ATKin (Autism Therapy with KINECT), ülkemizde otistik çocukların eğitimi için faaliyet gösteren OÇEM’lerde (Otistik Çocuklar Eğitim Merkezi) ve benzeri eğitim alanlarında kullanılmak üzere geliştirilecek olan bilgisayar destekli bir terapi sistemidir.
Sistem, çeşitli otizm eğitim terapilerinin ekranlar vasıtasıyla sunulması ve birey etkileşimlerinin KINECT cihazının sensörleri vasıtasıyla bilgisayara aktarılması ile çalışmaktadır. Bu çalışma yöntemi ile interaktif bir terapi ortamı canlandırılarak, zihinsel gelişim eğitimlerinin eğlenceli oyunlarla bir eğitmen yardımıyla gerçekleştirebilmesi amaçlanmaktadır.
Çevik yazılım geliştirme yöntemi ile ardışıl prototipler geliştirilecek olunup, ilk sürümde; görsel, işitsel ve bedensel gelişim için eğitimler bulunacaktır. Görsel eğitimlerde; şekil ve renk algısını geliştirmek, işitsel eğitimlerde; seslerle gelen komutların farklılığını anlama kabiliyetini geliştirmek, bedensel eğitimlerde ise; zıplama, el ve kol koordinasyonu, alkışlama gibi bedensel kabiliyetleri geliştirmek amaçlanmaktadır. Tüm eğitimlerde bireysel değerlendirmeler gerçekleştirilerek kişisel gelişimler kayıt altına alınacaktır. Bu sayede uzmanların gözleme dayalı hazırladıkları gelişim raporları sistemin verileri ile eşleştirilerek yargı kesinleştirilecektir. Hedefli oyunlarda başarım süreleri gözlemlenerek bireylerin sürekli olarak bir sonraki zorluk seviyesindeki oyuna yönlendirilmesi sağlanacaktır. Tüm oyunların raporları uzman eğitmenlere sunulacak ve eğitim hedeflerinin belirlenmesinde karar destek unsuru olarak kullanılabilecektir.
ATKin projesi uzman terapistlerin yönlendirmeleri ve OÇEM uygulama tecrübelerinden yola çıkılarak evlerde ebeveynler ile kullanılabilir bir prototipin üretilmesini hedeflemektedir. Bu sayede ülkemizdeki otizm eğitiminde görev alan eğitmenlerin yükünün kısmi olarak azaltılması amaçlanmaktadır.
ATKin (Autism Therapy With Kinect)
Danışman: Yrd.Doç.Dr. Akhan AKBULUT
Proje Sahibi: Mahmut KARATAY , M. Burhaneddın BAKAR
Otizm üç yaşından önce başlayan ve ömür boyu sürerek bireylerin sosyal etkileşimine, çevresiyle olan iletişimine zarar veren ve beynin gelişimini engelleyen bir rahatsızlıktır. Ülkemizde 600.000 kişide otizm spektrum bozukluğu görülmekte olup bu rakkamın üçte birinin 0-14 yaş aralığındaki çocukların oluşturuduğu tahmin edilmektedir. Bilinen kesin sonuç veren bir tıbbi tedavisi bulunmayan bu hastalığın etkilerini azaltmak, erken yaşta eğitime başlanarak ve çocuğun yetenekleri ile gereksinimleri dikkate alınarak özelleştirilmiş bireysel eğitim programları uygulanarak mümkün olmaktadır. Önerdiğimiz sistem olan ATKin (Autism Therapy with KINECT), ülkemizde otistik çocukların eğitimi için faaliyet gösteren OÇEM’lerde (Otistik Çocuklar Eğitim Merkezi) ve benzeri eğitim alanlarında kullanılmak üzere geliştirilecek olan bilgisayar destekli bir terapi sistemidir.
Sistem, çeşitli otizm eğitim terapilerinin ekranlar vasıtasıyla sunulması ve birey etkileşimlerinin KINECT cihazının sensörleri vasıtasıyla bilgisayara aktarılması ile çalışmaktadır. Bu çalışma yöntemi ile interaktif bir terapi ortamı canlandırılarak, zihinsel gelişim eğitimlerinin eğlenceli oyunlarla bir eğitmen yardımıyla gerçekleştirebilmesi amaçlanmaktadır.
Çevik yazılım geliştirme yöntemi ile ardışıl prototipler geliştirilecek olunup, ilk sürümde; görsel, işitsel ve bedensel gelişim için eğitimler bulunacaktır. Görsel eğitimlerde; şekil ve renk algısını geliştirmek, işitsel eğitimlerde; seslerle gelen komutların farklılığını anlama kabiliyetini geliştirmek, bedensel eğitimlerde ise; zıplama, el ve kol koordinasyonu, alkışlama gibi bedensel kabiliyetleri geliştirmek amaçlanmaktadır. Tüm eğitimlerde bireysel değerlendirmeler gerçekleştirilerek kişisel gelişimler kayıt altına alınacaktır. Bu sayede uzmanların gözleme dayalı hazırladıkları gelişim raporları sistemin verileri ile eşleştirilerek yargı kesinleştirilecektir. Hedefli oyunlarda başarım süreleri gözlemlenerek bireylerin sürekli olarak bir sonraki zorluk seviyesindeki oyuna yönlendirilmesi sağlanacaktır. Tüm oyunların raporları uzman eğitmenlere sunulacak ve eğitim hedeflerinin belirlenmesinde karar destek unsuru olarak kullanılabilecektir.
ATKin projesi uzman terapistlerin yönlendirmeleri ve OÇEM uygulama tecrübelerinden yola çıkılarak evlerde ebeveynler ile kullanılabilir bir prototipin üretilmesini hedeflemektedir. Bu sayede ülkemizdeki otizm eğitiminde görev alan eğitmenlerin yükünün kısmi olarak azaltılması amaçlanmaktadır.
This project proposes a smart medication adherence system with remind and consumption function. Which is used to give alert and notification the user to take medicine at a particular time and the medicine required to take at that time comes out to the user to avoid confusion among medicines.
Human Activity Recognition using Smartphone's sensor Pankaj Mishra
Human activity recognition plays significant role in medical field and in security system. In this project we have design a model which recognize a person’s activity based on Smartphone.
A 3- dimensional Smartphone sensor named accelerometer and gyroscope is used to collect time series signal, from which 26 features are generated in time and frequency domain. The activities are classified using 2 different dormant learning method i.e. k-nearest neighbor algorithm, decision tree algorithm.
A look into Apple Health. It's one of the apps you can't delete on your phone, so I looked into how we could make some changes to simplify it and make it more useful.
The purpose of this research is to address the issue of non-habituated users and the time it takes them to interact
with the hand geometry machine. Having an aid for these users will improve performance consistency as well as
reduce throughput time. This video aid walks the user through the entire login process as a form of a training
mechanism. Financially, it would also reduce the amount of training personnel and resources required on behalf
of employers using the hand geometry machine.
Health Prediction System - an Artificial Intelligence Project 2015Maruf Abdullah (Rion)
Health Prediction System - An Artificial Intelligence Project 2015
The project aimed to build a fully functional system in order to achieve the efficiency in faster heath treatment and online consultation system. The overall mission of system development is to make the primary treatment quickly and easily complete the Online Consultation System.
This project proposes a smart medication adherence system with remind and consumption function. Which is used to give alert and notification the user to take medicine at a particular time and the medicine required to take at that time comes out to the user to avoid confusion among medicines.
Human Activity Recognition using Smartphone's sensor Pankaj Mishra
Human activity recognition plays significant role in medical field and in security system. In this project we have design a model which recognize a person’s activity based on Smartphone.
A 3- dimensional Smartphone sensor named accelerometer and gyroscope is used to collect time series signal, from which 26 features are generated in time and frequency domain. The activities are classified using 2 different dormant learning method i.e. k-nearest neighbor algorithm, decision tree algorithm.
A look into Apple Health. It's one of the apps you can't delete on your phone, so I looked into how we could make some changes to simplify it and make it more useful.
The purpose of this research is to address the issue of non-habituated users and the time it takes them to interact
with the hand geometry machine. Having an aid for these users will improve performance consistency as well as
reduce throughput time. This video aid walks the user through the entire login process as a form of a training
mechanism. Financially, it would also reduce the amount of training personnel and resources required on behalf
of employers using the hand geometry machine.
Health Prediction System - an Artificial Intelligence Project 2015Maruf Abdullah (Rion)
Health Prediction System - An Artificial Intelligence Project 2015
The project aimed to build a fully functional system in order to achieve the efficiency in faster heath treatment and online consultation system. The overall mission of system development is to make the primary treatment quickly and easily complete the Online Consultation System.
1. Smart In-Home Rehabilitation System via 3D Printing Augmentation
Matthew Stafford, Feng Lin, Wenyao Xu
Department of Computer Science and Engineering, University at Buffalo, SUNY, Buffalo, NY
We have used a multiple 3-D prints to provide a variety of workout types.
• Cup
• Bowl
• Key
3D Printed Containers
• TheraPutty
• TheraBand
• Tailwind
• Rejoyce
Problems
• Expensive
• Low adaptability
• Limited or no feedback
• Not personalized
• Data not saved
Current Methods
Smart Watch
• Detect Hold Accuracy
• Provide Visual Feedback
Smart Phone
• Audio and Visual Feedback
3D Printed Container
• Standardize Workout
• Provides interface for
multiple workouts and difficulties
System Overview
• The Smart Watch is
used to ensure the
patient maintains good
holding posture.
• Red indicates that the
patient’s hand in some
axis has rotated in such
away that is out of
bounds.
Smart Watch Interface
Smart Phone Interface
• Patients select their workout.
• Workouts track whether users choose to use their left
or right hand.
• Each Workout gives users a dynamic display.
• Repetitions are tracked and made audible.
Smart Phone Application Overview
Workout Data
Start
Workout History
Workout
Selection
Left or Right Hand
Hand Accuracy
Detection (Y/N)
List View
Graph View
List View
Workout Activity
• After institutional therapy, sufferers of stroke must
continue their exercise at home with materials
provided by their outpatient care.
• Over time compliance to these workout programs
weakens and sufferers tend to stop entirely.
• This is often due to the overly-simplified nature of the
tools given.
• Our solution is a smart phone based rehab system that
gives patients meaningful feedback.
Introduction
3D Printer
Smart Phone
Software
Sensor Data
Analysis
Feedback
Interface
Smart Watch
3D Printer
Smart Phone
• Data from workout tracked
• Can view workout by itself or
compared to past workouts on a
graph to better understand
progress
Post Workout Data
Fig1. TheraPutty
Fig2. Tailwind
Fig3. System Overview
Fig4. Unlock Workout Fig5. Workout SelectionFig5. Workout Selection Fig6. Pitcher of Beer Pour
Workout
Fig7. Smartphone App
Overview
Fig8. Smart Watch Interface
Fig9. 3-D printed Bowl Fig10. 3-D printed lock Fig11. 3-D printed Cup
• “Easy to use and understand, something
I would do.”
Testing With Stroke Patients
• “This is
something I
would use and
something I
would continue
to use as long as
I am getting
positive
feedback.”
Fig12. Stroke survivor testing system
Fig13. Workout Info Screen Fig14. Historical Workout Info
Screen
• During workouts users movements
are analyzed using a Naturalized
jerk score algorithm (see fig.12)
• An average is taken at the end of
the workout and that becomes the
users ‘score’.
• Preliminary results during a ten cup pick
up activity show effective feedback can
improve quality of movement.
• (a) activity data and jerk score before
providing feedback;
• (b) activity data and jerk score after
providing feedback.
• The bottom graph (b) is clearly much
smoother. This suggests a less ‘jerky’
movement, what we would consider an
improvement.
Fig16. Acceleration (top) and jerk score (bottom) data
Fig15. equation for normalized jerk score
Accuracy of Movements