3. Introduction
001
Additive Manufacturing (AM)
• 적층 제조는 복잡한 디자인의 부품을 더 적은 생산 시간과 비용으로 제조 가능
• 다양한 parameter 설정을 통해 유연한 시스템 환경을 구성
• 이처럼 적층 제조의 많은 이점으로 인해 의료 및 항공우주 분야 등에서 점점 더 많은 주목을 받고 있음
하지만,
• 적층 제조에서 발생하는 error의 경우 대부분 후처리로 결함을 제거할 수 없음
• 적층 제조의 process는 기존 제조시스템의 process와 다름
• 3D 프린터는 프린터 자체의 내부 특성으로 인해 under-extrusion과 over-extrusion과 같은 고질적인 문제점을 내포 하고있으며, 이러
한 문제는 불가피 하기 때문에 제어하기 어렵고, surface error, pattern error, geometric error 등 다양한 결함으로 이어짐
적층 제조에 맞는 새로운 품질 관리 시스템이 필요
4. Introduction
003
• 적층제조 방식 중 하나로, 저렴한 비용과 편의성으로 인해 가장 널리 사용
• under-extrusion과 over-extrusion과 같은 문제점을 내포 이러한 문제는 불
가피 하기 때문에 제어하기 어렵고 다양한 결함으로 이어짐
• Layer 별로 얇은 층을 층층이 쌓으면서 출력이 진행 특정 layer에서 error
가 발생하면 최종 출력물의 quality에 영향
• 3D 프린터 특성 상 error가 발생하더라도 출력이 계속 진행 불필요한 시
간과 비용 초래
따라서 error를 초기에 발견하는 것이 매우 중요
Fused Filament Fabrication (FFF)
5. Introduction
001
• Object detection은 전체 디지털 이미지 및 비디오 내에서 유의미한 특정 객체
를 감지하는 것으로, 실제 산업에서 Quality management에 사용
• 기존 AM conventional quality management는 사람의 눈으로 직접 판단하여
불량을 탐지하는 방식
• 본 연구에선 AM의 quality management Process에 object detection Algorithm
을 적용시켜 error를 자동으로 탐지할 수 있는 유의미한 결과를 도출하고자 함
Objective
기존에 시간과 비용에 대한 비효율이 존재하는 AM Conventional Quality Control system에서 벗어나 Image mining Process
를 통하여 출력 진행 중 에러를 탐지하는 Defect detection system을 구현
Image mining Process : Object Detection
6. Literature Review
002
Defect Detection in AM
• 고가의 vision sensor를 활용하거나, 단일 error를 탐지한 연구가 대부분
• 테스트 셋에 대한 결과만 존재하고 defect detection 과정에 대한 visualization 부재
Cloud Computing System Colab 사용하였다.
Error Type을 여러가지로 설정하여 적용.
성능을 높이고 Visualizaiton에 용이하도록 Object detection적용
Reference Year Method Error type
Noriega et al. [1] 2013 ANN geometric accuracy
Lin et al. [2] 2019 lase scanning
overfill
underfill
Wang et al. [3] 2020 CNN
Blob
Void
Thick line
Crack
Misalignment
Li et al. [4] 2019 ensemble learning (RF, AdaBoost, DART, SVR, RR, RVFL) surface roughness
Li et al. [5] 2019 Coherent Gradient Sensing (CGS) Deformation
Saluja et al. [6] 2020 CNN Warping
7. Proposed Methodology
003
Five Types of Defects in AM
• 이 중 가장 흔히 발생하는 surface error에 초점을 두고 3가지 error(warp, blob, void)를 탐지하고자 함
Surface Error Pattern error Geometric Error
Warping Blob Void Infill pattern error Filament Jam
9. Save
Recording
Data
Is error
occurred?
Experiment Start Printing
Camera
Setting
Yes Or No
Convert
Recording to
image
Yes
Data labeling
Create
Data Path file
Define YOLO v5
& Configuration
Training Evaluation
Can
model
detect?
Detect error
Yes
No
Experiment
Data
Preprocessing
Modeling
Flow Chart
Proposed Methodology
003
10. Save
Recording
Data
Is error
occurred?
Experiment Start Printing
Camera
Setting
Yes Or No
Experiment
Proposed Methodology
003
실험 시작 전 준비
- 디자인 샘플 설정
- 프린팅 소재 결정
- Error type 정의
카메라 세팅
- 카메라 배치
- 촬영 환경 설정
3D Printing error실험
- 실험 세팅 시 설정한 디
자인 프린팅
Error inspection
- 프린트한 사출물에 대한
오류 검수 실시
비디오 데이터 수집
- 에러가 발생한 비디오를
저장하여 수집한다.
11. Proposed Methodology
003
Experimental Settings
• Open-chamber 3D Printer223을 사용
• 소재는 Ultrafuse 316L 사용 (추후 Debinding, Sintering 공정을 통해 금속
소재 부품 생성 가능)
• 다양한 error 가 잘 발생하는 design feature를 가진 샘플 디자인 선정
• GoPro HERO9 카메라를 사용하여 출력 과정을 녹화
• 전방향에서 발생하는 error를 탐지하기 위해 총 4측면(전면, 후면,
우측면, 좌측면)에서 촬영
Open-chamber
3D Printer223
GoPro HERO9
Ultrafuse316L
16. Convert Recording to image Data labeling
Create
Data Path file
Data Preprocessing
Proposed Methodology
003
비디오를 이미지 변환
- Training data set을 만들어 주는 과정입니다.
데이터 경로 설정
- Yolo 모델에서 읽을 수 있도록 데이터의 경
로를 지정해주는 작업입니다.
이미지 데이터 라벨링
- 이미지 내에서 error가 발생한 부분을 라벨링
해주는 과정입니다.
17. import cv2
import os
from glob import glob
FILE_PATH = r'E:DCIM100GOPRO'
SAVE_PATH = r'D:EATEDFront'
video_path = glob(FILE_PATH+'/'+'*.mp4')
file_name = os.listdir(FILE_PATH)
print(video_path)
print(file_name)
for name in file_name:
os.makedirs(SAVE_PATH + '/' + name[:-4], exist_ok=True)
count = 0
vidcap = cv2.VideoCapture(os.path.join(FILE_PATH, name))
while (vidcap.isOpened()):
ret, image = vidcap.read()
VIDEO_FRAME = int(vidcap.get(1))
if (VIDEO_FRAME % 30 == 0):
if ret == False:
vidcap.release()
else:
print('Saved frame number : ' + str(int(vidcap.get(1))))
print(SAVE_PATH + '/%s/frame%d.png' % (name[:-4], count))
cv2.imwrite(SAVE_PATH + '/%s/frame%d.png' % (name[:-4], count), image)
count += 1
• 입력 받는 영상의 path와 저장 받을 폴더의 path를
지정한 후, 각 영상별로 30프레임당 한 장씩 이미
지 capture
• 영상 코드와 같은 이름을 가진 폴더를 생성하여,
자른 이미지를 저장
• 한 영상의 루프를 전부 돈 후, 다음 영상으로 넘어
가서 capture를 이어서 진행
Step 1 : Image Processing
Proposed Methodology
003
18. • 30프레임으로 잘라 영상 고유 값으로 저장하고, 출력 중인 영상만 선별하여 훈련
Step 2 - Data Management
Proposed Methodology
003
19. Step 3 : Image Labeling
• Image Labeling은 Data labler 중 하나인
Makesense Labeler를 이용하여 Yolo format
생성
• 이는 이미지 자체를 바꾸는 것이 아닌, 이미지
와 같은 이름의 txt파일을 생성
• Label code는
0 : Warping
1 : Blob
2 : Void 로 구성
Proposed Methodology
003
20. • Colab에 labeling된 training image를 업로드
• Data.yaml에 포함되어있는 training image의 path와 label의 path를 설정
• Model에서 data.yaml에 있는 training path와 label path를 통하여 training dataset에 접근
Step 4 : Create Data Path file
Proposed Methodology
003
21. Modeling
Proposed Methodology
003
Define YOLO v5
& Configuration
Training Evaluation
Can model
detect?
Detect error
Yes
No
Yolo 모델 적용을 위한 준비
- 모델에 데이터 셋을 넣어주기
위해 Pre-Trained model을 불러오
고, Parameter setting을 합니다.
모델 학습
- 모델을 Colab환경에서 훈련
을 진행합니다.
훈련 검증
- 이전에 Path file에 설정해 준
Validation set을 통해 모델의 훈
련 결과를 확인할 수 있습니다.
모델 적용
- 모델에 test영상을 입력하여 훈
련된 에러에 대한 탐지가 가능
한지 여부를 확인 합니다.
오류 탐지
- Printing Part에 대한 defect가
잘 탐지하는지 확인한 후 전체
적인 프로세스를 종료합니다.
22. • FFF Additive manufacturing Process에서의 Quality management는 레이어 별로 발생하는 error를 빠르게 탐지함으로써,
추후에 발생할 Quality error를 사전에 방지해야 한다.
• Object detection에는 다양한 algorithm이 존재하지만, Pascal 2007 Data set 기준 준수한 mAP(mean Average Precision)
과 가장 빠른 Speed를 지닌 Yolo algorithm 선택하였다.
Why Yolo V5?
Proposed Methodology
003
23. Define Yolo v5
• Model Test-Bed로 Yolo v5s를 기준으로
설정하여 Yolo model을 Define
• 빠른 훈련을 위해 기존의 가중치를 갖고
있는 모델을 사용하는 Transfer learning
을 통해 학습 시간을 최대한 효율적으로
사용하고자 함
• Cmd연산자를 통하여 Training image의 size, batch size, epochs, data path, pre-trained model등을 설정
Proposed Methodology
003
24. Model Measurement : IoU(Intersection over Union)
• IoU는 ground truth(실제상황)과 예측 값의 area가 얼마나 겹치는지에 대한 비율
→ IoU를 threshold로 설정하여 해당 예측 값의 True or False를 결정
Proposed Methodology
003
25. Model Measurement : mAP
If, Threshold = 0.5
Negative
Positive
True → True Positive
False → False Positive
True → False Negative
False → True Negative
• 한 장의 Image에서 발생하는 Detection의 평
균을 AP(Average Precision), 모든 Dataset에
서의 AP의 평균을 mAP라고 함
→ 따라서 mAP가 상승으로 귀결할 수록 model
의 성능이 뛰어나다.
Proposed Methodology
003
26. Training
• Epoch 1에서 50까지 진행하면서 mAP가 증가 하며 정확도가
높아졌음을 확인
• 발생 빈도가 높고 눈에 잘 띄는 warp는 93%비율로 잘 탐지하
지만, 발생 빈도가 낮은 blob과 void는 잘 탐지하지 못하는
경향이 있음
Preliminary Result
004
27. *본 결과는 중간보고를 위한 사전 결과 입니다.
• Training loss값과 val loss값이 낮아지는 추
이를 보이며 낮은 값으로 귀결 되는 것으로
보아 훈련이 잘 되었다고 확인할 수 있음
• 다만 Precision 값이 마지막에 떨어진 것을
확인할 수 있는데, 이는 Blob detection이
정확하게 이루어지지 않았기 때문
Preliminary Results
Preliminary Result
004
28. Training Right-side Image Test left-side Image
왼편에서 촬영한
이미지로 훈련한
모델을 오른쪽
이미지로 테스트
Test
Preliminary Result
004
29. Comparison with Original video
Preliminary Result
004
Original Video Defect detecting Video
30. 005
적층 제조에서 process 상에서 발생하는 error를 자동으로 탐지하는 알고리즘을 통해 불필요한 시간과
비용이 초래하는 것을 방지
이후 smart factory 시스템에 유연하게 적용될 수 있는 framework를 제시하여 적층 제조의 활용을 높이고
제조공정의 혁신을 이끌어낼 수 있음
대량 생산에서 defect detection은 매우 중요한 요소이므로, 실시간 모니터링을 통해 공정에 대한 신뢰성
을 확보하여 mass customization에 기여할 수 있다.
Conclusion & Future work
31. 4측방 카메라의 정보를 모두 이용하여 모델링
→ 4측방 카메라 정보를 이용하여 Error acceptability에 대한 Decision making Tool로 발전
카메라 세팅을 통해 더 다양한 error에 대한 data set을 확보
→ 조명 활용, Focusing Problem 해결
Model Hyper-parameter Optimization
→ Epochs, batch size, number of dataset등 의 Optimization을 통한 모델 능력 향상 방안 검토
Conclusion & Future work
005
32. [1] Noriega, A., Blanco, D., Alvarez, B. J., & Garcia, A. (2013). Dimensional accuracy improvement of FDM square cross-
section parts using artificial neural networks and an optimization algorithm. The International Journal of Advanced
Manufacturing Technology, 69(9-12), 2301-2313.
[2] Lin, W., Shen, H., Fu, J., & Wu, S. (2019). Online quality monitoring in material extrusion additive manufacturing
processes based on laser scanning technology. Precision Engineering, 60, 76-84.
[3] Wang, Y., Huang, J., Wang, Y., Feng, S., Peng, T., Yang, H., & Zou, J. (2020). A CNN-based adaptive surface monitoring
system for fused deposition modeling. IEEE/ASME Transactions on Mechatronics, 25(5), 2287-2296.
[4] Li, R., Jin, M., & Paquit, V. C. (2021). Geometrical defect detection for additive manufacturing with machine learning
models. Materials & Design, 206, 109726.
[5] Li, J., Xie, H., & Ma, K. (2019). In-situ monitoring of the deformation during Fused Deposition Modeling process using
CGS method. Polymer Testing, 76, 166-172.
[6] Saluja, A., Xie, J., & Fayazbakhsh, K. (2020). A closed-loop in-process warping detection system for fused filament
fabrication using convolutional neural networks. Journal of Manufacturing Processes, 58, 407-415.
Reference
005
