Recommended
Recommended
More Related Content
Featured
Featured (20)
소리 데이터를 이용한 깨진 골프공 분류기.pptx
- 1. 소리 데이터를 이용한 깨진 골프공 분류기 Broken golf-ball classifier using sound data 20LAB 창의적종합설계경진대회
- 2. 팀 소개 박이형 이원준 H/W 모터 제어 및 S/W 인공지능 학습 H/W 설계 및 S/W 모델링 구현 자막란 자막란
- 3. 개발 주제 소리를 이용한 깨진 골프공 분류기 - 깨진 골프공과 정상 골프공을 일정한 높이에서 낙하시켜 발 생하는 골프공의 충격음의 차이를 이용하여 분류 - 각각의 소리 차이를 인공지능으로 학습시켜 깨진공과 정상 공을 분류하는 것이 목적 자막란 자막란
- 4. 개발 동기 및 당위성 깨진 골프공, 왜 분류해야 하는가? - 깨진 골프공 타격시 파편이 튀어 발생할 수 있는 위험 방지 - 깨진 골프공의 파편으로 인한 스크린 찢어짐 방지 - 깨진 골프공으로 인해 발생하는 볼 공급장치 고장 방지 - 스크린 골프장 이용자들의 만족도 증가 Ex) 현재 대부분의 스크린 골프장에서는 손님들이 직접 깨진 공 발견시 분류하는 방식 자막란 자막란
- 5. 개발 동기 및 당위성 사용할 의향이 있다. 30% 사용할 의향이 없다. 20% 기타 의견 50% 골프공 분류기 사용 의향 설문조사 - 설문 대상 : 송도에서 스크린 골프장을 운영하시는 업주 10분 - 설문 목적 : 골프공 분류기 개발 당위성 확보 - 설문 방법 : 전화 및 직접 방문 - 설문 응답자의 30%가 ‘사용할 의향이 있다’고 답변 - 설문 응답자의 20%가 ‘사용할 의향이 없다’고 답변 - 기타 의견 50% - 잘 모르겠다(30%) - 가격에 따라 다를 것 같다(20%) -> 가격이 합리적인 경우 사용 의향이 있음으로 판단 설문 결과를 토대로 골프공 분류기 개발 당위성 확보 설문 결과 자막란 자막란
- 6. 동작 흐름도 Jetson Nano 2. 스텝모터가 동작하면 json 형식의 flag를 전 송 & 아두이노는 젯슨나노에서 flag를 받을 때까지 대기 1. 회전부(스텝 모터)를 동작 (공이 터널부에서 낙하) Arduino 3. flag를 받으면 마이크 on -> 2 초동안 녹음 시작(pyaudio) 4. 녹음된 파일의 특징점을 추 출하여 학습된 모델에 적용, 골프공 깨짐 여부를 연산 (Tensorflow cnn 모델) 5. 연산된 class 분류값 (NORMAL :1, BROKEN : 2) 을 아두이노에 json 형식의 flag를 전송 Serial 통신 7. 젯슨나노로부터 전달받은 flag에 의해 서보모터 동작 (0일 경우 right로 회전, 1일경 우 left로 회전) -> 분류 동작 반복 6. 액추에이터가 동작하여 공 을 분류부로 떨어트림
- 7. S/W - 마이크 녹음 방식(학습 데이터 녹음) - python의 pyaudio 라이브러리를 사용하여 스텝모터 동작시 마이크를 on 시키고 2초동안 녹음을 진행 - 비트 깊이를 설정하는 FORMAT은 16비트로 설정 - RATE는 일반적인 샘플링 rate인 44100으로 설정 - CHUNK를 1024로 설정하여 음성데이터를 한번 불러 올 때 1024개의 정수를 불러옴(버퍼의 프레임 수) - RECORD_SECONDS = 2로 설정하여 녹음의 시간을 2 초로 설정 - pyaudio를 이용하여 각각의 클래스인 SILENT, BROKEN, NORMAL 공에 관한 음성데이터 wav 파일의 형태로 30개씩 각각 2초의 시간동안 녹음 -> 임시 데이터 학습 및 예측을 위함 자막란 자막란
- 8. S/W – 소리 분류 AI 구성 DATASET 다중 선형 회귀 + Single Layer training + Learning_rate = 0.001 + epoch = 80 학습 과정 가중치 불러온 후 테스트 학습된 가중치 파일 (.pt) 자막란 자막란
- 9. H/W - 전원 배분 설정 2S1P [8.4V, 1.2A] Step-down [6V] BAT. 레귤레이터 아두이노 젯슨 나노 모터드라이버 엑추에이터 서보 모터 스텝 모터 자막란 자막란
- 10. H/W -소음 저감 방안 원활한 소리 분류를 위한 아크릴, 차음재, 흡음재 3중 방/차음 구조 아크릴(3T) 차음재(5T) 흡음재(25T) 자막란 자막란
- 11. H/W 레일&투입부 레일부 - 공이 투입되는 라인 - 공이 순서에 맞추어 투입될 수 있도록 함 투입부 자막란 자막란
- 12. H/W 집음&분류부 - 골프공의 충격음을 집음하는 녹음부 - 낙하음을 집음하여 녹음 및 분류 - 깨진공(좌), 정상공(우)로 분류하는 회전장치 집음부 분류부 자막란 자막란
- 13. H/W 진행상황 자막란
- 14. 추후 개발계획 I. 분류 정확도 개선 – 데이터셋 증가, 파라미터 조정 II. 분류 연산 시간 개선 – using usb coral board, S/W적 최적화
- 15. Confusion matrix 테스트 수: 총 90번(깨진공 30개, 정상공 30개, 묵음 30개) 테스트 조건: 조용한 환경, 시끄러운 환경(노래 실행) 2가지
Editor's Notes
- 안녕하십니까 창의적종합설계경진대회 20LAB 팀 발표시작하겠습니다.
- 먼저 팀소개입니다. 저희 팀은 2명으로 구성되어 있고 팀장 박이형 학우와 현재 발표를 하고 있는 이원준으로 구성되어 있습니다. 팀장인 박이형 학우는 전체적인 H/W 설계와 S/W 학습시 필요한 모델 구현 부분을 맡았고 저는 H/W 제어 및 S/W 인공지능 학습 부분을 맡았습니다.
- 저희의 개발 주제는 소리를 이용한 깨진 골프공 분류기입니다. 깨진 골프공과 정상 골프공을 일정한 높이에서 낙하시켜 발생하는 골프공의 충격음의 차이를 이용하여 공을 분류합니다. 깨진 골프공의 경우 떨어트렸을 때 소리가 정상 공과 다른 소리가 나기 때문에 각각의 소리 차이를 인공지능으로 학습시켜 깨진 공과 정상공을 분류시키는 것이 목적입니다.
- 다음은 개발 동기 및 당위성입니다. 저희가 본 분류기를 개발하게 된 동기는 깨진 골프공으로 인해 발생할 수 있는 여러가지 문제점을 방지하기 위함입니다. 깨진 골프공 타격시 파편으로 인한 이용자의 안전에 대한 위험 방지, 스크린 찢어짐을 방지 할 수 있습니다. 또한 깨진 골프공이 볼 공급장치에 들어가게 되었을 때 공급장치가 고장나는 상황을 방지할 수 있습니다. 만약 저희의 골프공 분류기가 사전에 미리 이러한 공들을 분류해 줄 수 있다면, 스크린 골프장을 이용하는 이용자들의 만족도도 증가시킬 수 있는 효과가 있습니다.
- 다음은 저희가 직접 송도에서 운영되고 있는 스크린 골프장에 전화 또는 직접 방문하여 진행한 설문조사에 대한 결과입니다. 총 10곳의 스크린 골프장에 설문 결과, 30%의 업장이 사용할 의향이 있다고 답변 하였고, 20%의 업장이 사용할 의향이 없다고 답변했습니다. 기타 의견으로 잘 모르겠다가 30%, 가격에 따라 다를 것 같다는 의견이 20%였습니다. 사용을 원하는 업장이 존재하고, 가격에 따라 사용할 의향이 있다는 업장이 있다 라는 설문 조사 결과를 토대로 본 개발을 진행하게 되었습니다.
- 다음은 저희의 간단한 동작 흐름도입니다. 저희의 시스템은 아두이노와 젯슨나노의 시리얼 통신을 통해 동작합니다. 먼저 아두이노에 연결된 스텝 모터를 동작시켜 골프공을 집음부로 보냅니다. 이 때 스텝모터가 동작하면 아두이노에서 골프공을 집음부로 보냈다는 의미의 flag를 젯슨나노로 전송합니다. 그리고 아두이노는 젯슨나노에서 flag를 받을 때까지 대기하게 됩니다. flag를 받은 젯슨나노는 마이크를 on 시키고 골프공의 충격 시간인 2초동안 녹음을 진행합니다. 녹음된 소리를 파일로 저장하고 이 파일의 특징점을 추출하여 학습된 모델에 적용합니다. 모델은 골프공 깨짐 여부를 연산하여 사전에 정해진 class 결과값대로 아두이노에 전송합니다. 아두이노는 액추에이터를 동작시켜 골프공을 분류부로 떨어트리고 젯슨나노로부터 전달 받은 class 결과값을 토대로 서보모터를 동작 시켜 깨진 공과 정상 공을 분류하게 됩니다.
- 다음은 저희의 간단한 동작 흐름도입니다.(클릭) 저희의 시스템은 아두이노와 젯슨나노의 시리얼 통신을 통해 동작합니다. (클릭)먼저 아두이노에 연결된 스텝 모터를 동작시켜 골프공을 집음부로 보냅니다. (클릭)이 때 스텝모터가 동작하면 아두이노에서 골프공을 집음부로 보냈다는 의미의 flag를 젯슨나노로 전송합니다. 그리고 아두이노는 젯슨나노에서 flag를 받을 때까지 대기하게 됩니다. (클릭)flag를 받은 젯슨나노는 마이크를 on 시키고 골프공의 충격 시간인 2초동안 녹음을 진행합니다. (클릭)녹음된 소리를 파일로 저장하고 이 파일의 특징점을 추출하여 학습된 모델에 적용합니다. (클릭)모델은 골프공 깨짐 여부를 연산하여 사전에 정해진 class 결과값대로 아두이노에 json 형식의 플래그를 전송합니다. (클릭)아두이노는 액추에이터를 동작시켜 골프공을 분류부로 떨어트리고 (클릭)젯슨나노로부터 전달 받은 class 결과값을 토대로 서보모터를 동작 시켜 깨진 공과 정상 공을 분류하게 됩니다.
- 학습 데이터를 쌓음에 있어 2초의 데이터를 구분하여 쌓고자 하였습니다. 다음과 같이 16비트, 사만사천백 킬로헤르츠 샘플링레이트로 설정하여 깨진공, 깨지지 않은 공, 그리고 아무것도 없는 케이스에 대하여 데이터셋을 쌓았습니다.
- 앞선 녹음된 데이터셋에 대해 파일명을 맞추는 Preprocessing을 진행하고, 다중 선형 회귀 기반 단일망 학습을 통해 총 에포크 80번으로 학습을 진행하였습니다. 이후 학습된 가중치를 통해 테스트를 진행해보았는데요. 추후 정확도 개선을 위해 학습 데이터 수 증가 및 모델 파라미터 수정을 진행할 계획입니다.
- 본 프로젝트의 목표는 전원에 독립적인 임베디드 장치의 구현입니다. 이에 따라 [클릭] 레귤레이터, [클릭] 제어부, [클릭] 모터부로 진행되는 장치에 대해 전력공급을 진행했습니다.
- 다음과 같이 아크릴, 차음재, 흡음재 3중 방음구조를 활용하여 원활한 소리 분류를 하고자 하였습니다.
- 앞선 작동영상과 같이 레일부, 투입부 및 회전부의 연속적인 동작이 진행됨을 확인하였고, 원활한 동작을 위해 모터의 동기를 어떻게 맞추어야 하는지에 대한 개선을 진행하였습니다.
- 집음부 및 낙하부의 위치 조정및 세부 연결재 보강을 통해 골프공의 낙하 에너지를 소리로 바꾸는 장치를 만들었습니다. 또한 분류부의 서보모터를 특정한 플레그에 따라 왼쪽 또는 오른쪽으로 작동하게 제작하였습니다.
- 앞선 HW플렛폼 진행상황의 결과로 학습된 소리 데이터셋에 대하여 깨진공과 정상공을 분류할 수 있었습니다.
- 추후 개발 계획으로 분류 정확도를 개선하고 , 연산시간을 개선해 나갈 계획입니다. 감사합니다.
- 다음은 모델의 정확도를 추정하기 위해 클래스별로 30번, 조용한 상황과 시끄러운 환경의 2가지 상황에서 테스트하고 컨퓨전 매트릭스를 만든 결과입니다. 좌측의 조용한 환경에서는 30번의 테스트중 깨진 공이 정상공으로 오분류된것을 확인 할 수 있었습니다. 우측의 노래가 틀어진 시끄러운 환경에서는 깨진공이 정상공으로 3번 오분류, 정상공이 깨진공으로 한번 오분류된것을 알 수 있었습니다. 저희의 추정으로는 본 프로젝트의 목표는 골프공 공급 파이프라인에 본 장치를 적용하는 것입니다. 공급 파이프라인은 노래와 달리 소음이 일정하기 때문에 추후 파이프라인에서 학습을 진행한다면 더 나은 정확도를 기대할 수 있을것으로 판단됩니다.
- 다음은 공 이동 레일단에 대한 설명입니다. 미분류된 공이 해당 바구니를 통해 수집됩니다. 이후 바구니에 뚫린 구멍을 통해 1차 공 이동 레일로 이동합니다. 이후 분류기 상부에 있는 구멍과 아크릴 배관을 통해 2차 공 이동 레일로 이동하게 됩니다. 본 레일단에 대한 설계와 개선을 통해 레일단에 대한 구성을 마무리할 수 있었습니다.
- 골프공이 일정한 간격을 가지고 낙하를 한다는 특성상, 하드웨어적으로 강건해야 합니다. 이에 따라 알루미늄 재질의 30by30 규격의 프로파일을 사용하여 튼튼한 기반을 만들고자 하였고, 본 8주차에서 레일부의 마지막 프로파일을 추가함으로써 프로파일 설계를 마무리하였습니다.
- 스텝모터와 고정되는 투입부입니다. 스텝앵글이 1.8도 인것을 감안할때 200각임을 알 수 있습니다. 이를 고려하여 200의 소수인 5각으로 투입부를 제작하였습니다.