SlideShare a Scribd company logo
1 of 31
QSRA Lab
EATED
Team : SRA(System Risk Analysis)
이호연 : 201501237
윤도식 : 201601420
임동현 : 201601395
Convolutional Auto Encoder based Feature Extraction for Bearing Fault Detection
QSRA Lab
CONTENTS
1. Introduction
2. Literature Review
3. Proposed Methodology
4. Experiment
5. Result
6. Conclusion
QSRA Lab
1. Introduction
QSRA Lab
1. Introduction
• CBM (Condition-Based Maintenance )은 공정의 상태(condition)를 감시(monitoring)해
수집한 정보를 토대로 공정의 변동을 최소화 하기 위한 유지 및 보수 프로그램
 CBM을 통해 기계의 가용성을 높이고 유지 비용을 감소시키는데 기여가 가능함
 CBM을 통해 공정의 관리자에게 올바른 시간에 올바른 행동을 취하도록 도움을 줄 수 있음
• CBM은 예측을 통해 공정의 장치, 요소를 관리하는 유지 전략임
 일반적으로 vibration, Acoustic, Electrical 등의 분석을 통해 이루어짐
• 최근의 CBM 연구의 핵심은 공정의 관리자와 데이터 과학자들에 의해 연구가 진행됨
 데이터 분석을 활용한 공정 관리의 예로 고장 진단(Fault Diagnosis), 고장 예측(Fault Prognosis)등이 있음
 Condition-Based Maintenance
Fault
Diagnosis
Fig.1. Example Process
QSRA Lab
• Fault Diagnosis 이란 부품 혹은 시스템의 상태 정보를 토대로 공정을 진단하는 방법
 Faults(고장)을 ‘monitor’, ’locate’, ’identify’ 하는 방법론
• Fault Diagnosis는 “Fault Detection”, “Fault Isolation”, “Fault Identification”으로 분류
 Fault Diagnosis에 다음과 같은 세가지 방법론이 포함됨
 Fault Diagnosis
Fault Detection
Fault Isolation
Fault
Identification
Fault
Diagnosis
Fault Diagnosis의 가장 기초적인 업무로써 현재 공정이 정상(normal) 상태인지
이상(abnormal) 상태인지를 확인 하는 방법론
현재 공정에 이상이 있는 요소의 위치를 결정하기 위한 방법론
현재 공정의 이상의 유형(type), 크기(size), 모양(shape) 등을 결정하기 위한 방법론
• Fault Detection이 잘 수행 되어야 현재 공정이 정상 상태인지 이상 상태인지를 잘 판단 할 수 있음
 정상 상태인지, 이상 상태인지를 잘 구별 해야 이상의 위치를 확인하고 무슨 이상인지를 결정 가능함
 Fault Detection이 가장 먼저 수행 되어야함
1. Introduction
Whether?
Where?
How?
QSRA Lab
• FD는 공정의 예기치 못한 이상 상태를 탐지함으로써 시스템의 신뢰성 향상 및 비용 감소를 위해 산업에서 많이 사용되는 방법론 중 하나임
• 실제 공정에서는 이상 상태 보다 정상 상태의 비율이 매우 높기 때문에 정상 상태의 data만을 사용하는 비지도학습인 이상치 탐지 모델을 구축하고자 함
• 이상치 탐지 방법론은 정상 데이터만을 학습하여 현재 공정이 정상 상태인지, 이상 상태인지를 탐지 하는 방법
• 이상 상태를 사전에 탐지함으로써 사전 조치를 취할 수 있으며 이는 공정의 효율성을 최대화 할 수 있음
 공정의 및 유휴시간(Idle Time) 최소화, 사용자에게 유용한 알림, 인명피해 방지, 공정 비용 감소
 Fault Detection : FD
Bearing은 공정의 이상 상태와 많이 연관되어 있는 부품
본 프로젝트는 Bearing Simulation data를 통해 향상된 성능의 Fault Detection 모델을 제시하고자 함
• 실제 공정에서 Bearing은 다양한 산업에 매우 높은 비율로 사용되는 회전 움직임을 돕는 기계 부품
 Bearing은 기계 고장을 유발하는 가장 큰 원인 중 하나로 Electric Motor failures중 전체의 대략 41%정도를 차지함
 Bearing의 이상 상태는 공정의 이상 상태와 많이 연관되어 있음
Pie chart of motor failures percentage
1. Introduction
Example of Rotating Machine
QSRA Lab
2. Literature Review
QSRA Lab
2. Literature Review
 General Classification for Fault Diagnosis
Knowledge-based fault diagnosis methods
복잡한 산업 공정과 sensor technique 의 발전으로 대량의 공정 historical data 사용이 가능해짐
• Model-based fault diagnosis methods
 물리적인 이론이나 systems identification techniques으로 공정 프로세스의 모델이 구축되어야 함
 실제 공정 output 과 물리적 model이 예측한 output 의 차이를 통해 이상 여부를 판정
 사용자가 시스템 공정의 components 별 변수들의 관계를 이해하고 있어야함
• Signal-based fault diagnosis methods
 time-domain에서 frequency-domain으로 분해(decomposition) 후 재구성(reconstruction)함으로써 공정 signal의 패턴을 추출하여 이상 여부 판정
 Time-frequency 변환 과정에서 정보 손실이 발생할 수 있음
 공정이 정상 상태일 때의 추출된 특징에 대한 사전 정보가 필요함
QSRA Lab < Schematic of the knowledge-based fault diagnosis>
 통계적인 방법으로 대량의 공정 데이터로부터 공정 상태를 잘 나타내는 특징을 추출
 Artificial neural network와 같은 machine learning 기법을 활용해 공정 data로부터 특징을 추출하는 방법
 Knowledge-based fault diagnosis methods
• 복잡한 산업 공정과 sensor technique 의 발전으로 대량의 공정 historical data 사용이 가능해짐
• 대량의 공정 data 속에 내재된 정보와 패턴을 추출해 공정의 이상 상태를 탐지
Knowledge-based
fault diagnosis methods
Statistical Analysis methods
2. Literature Review
Non-Statistical methods
QSRA Lab
 Signal data
Time window
• Signal data는 high abstract data로 개별적인 값은 의미가 없음
• 일정한 길이의 window를 활용해 signal로부터 패턴을 추출하는 것이 필요함
• Signal data는 time-series data이기 때문에 데이터의 순차성 정보를 반영해야
함
2. Literature Review
Extracted feature (statistics)
 Statistical Methods • Signal Data의 임의의 구간(window)별 정보를 대표할 통계량들을 이용하는 방법론
• Statistical Technique은 구간내 noise data가 존재한다면 noise에 의한 영향이 매우 큼
• 구간별 통계량이 Signal의 패턴을 충분히 대표한다고 볼 수 없음  Signal의 패턴을 충분히 반영한 Feature Extraction 방법론으로 볼 수 없음
window
Time Vibration Acoustic
0.0001 1.180616 -0.02097
0.0002 0.144769 -0.64248
0.0003 -0.97395 -0.51817
0.0004 -0.33172 -0.00025
0.0005 0.186203 0.020467
0.0006 -0.16599 0.165485
Signal Data
RMS Kurtosis CrF SF
1.899 4.17 1.318 5.063
1.867 4.027 1.331 5.377
1.889 4.624 1.353 5.849
1.943 4.117 1.336 5.667
1.838 4.131 1.315 4.95
Vibration
RMS Kurtosis CrF SF
0.764 2.639 1.172 2.477
0.767 3.335 1.155 3.181
0.779 3.897 1.147 3.231
0.736 3.306 1.149 3.362
0.666 2.921 1.174 2.812
Acoustic
QSRA Lab
3. Proposed Methodology
QSRA Lab
 CNN (Convolution Neural Network)
CNN을 통한 signal data의 내재된 패턴을 반영
3. Proposed Methodology
구조1. Image data와 같은 비정형 data의 Feature Extraction 하는 부분 구조 2. Feature Extraction을 통해 추출된 특징을 통해 분류하는 부분
• CNN은 작고 간단한 패턴을 사용해 더 복잡한 패턴을 표현하는 인공신경망의 한 종류
 CNN은 이미지, 영상, 추천 시스템 등의 다양한 분야에 적용됨
• 정상 상태와 이상 상태의 signal은 육안으로 구분하기는 어렵지만, 다른 패턴을 가질 것으로 기대됨
 Signal의 패턴을 추출하는 것은 매우 중요함
QSRA Lab
 Auto-Encoder
• 비지도 학습 기반의 대표적인 차원 축소 방법론
 주어진 Input을 작은 차원으로 변환한 뒤 다시 input의 형태로 복원하는 방식으로 학습 및 작동함
 Data의 비선형적인 특성을 반영하면서 차원을 축소할 수 있음
• Auto-Encoder의 latent variable(z)는 Input Data의 특징이 요약된 변수임
 Input과 Output의 차이(Reconstruction error)가 작다면 Z(latent variable)는 Input Data의 특징을 잘 반영하는 변수로 볼 수 있음
 Output이 Input을 잘 복원 했다면 Latent variable은 매우 의미 있는 변수임
Auto-Encoder 구조를 통해 Data의 특징이 압축된 Latent variable을 추출
Fig.4. Architecture of Auto-Encoder
Latent variable
3. Proposed Methodology
QSRA Lab
그러나 CNN-AE의 Latent Variable은 data의 시계열성(time-series)은 고려하지 못함
3. Proposed Methodology
Original Signal
𝑿
(1024, 2)
(512, 4)
(256, 8)
(2048, )
(128, 16)
(1024, )
(512, )
(5, )
(512, )
(1024, )
(2048, )
(128, 16)
(256, 8)
(512, 4)
(1024, 2)
෡
𝑿
Reconstructed
Signal
2 channel
Original Signal &
Reconstructed Signal
(input & output)
Convolutional Layer +
Max-Pooling
(or Conv-Transe)
Flatten &
Reshape
Dense Layer Latent Variable
 Convolutional Auto-Encoder : 대표적인 패턴 추출 기법인 CNN과 차원 축소 기법인 Auto-encoder를 결합한 방법론
 CNN 구조를 통해서 Multi Channel Signal data의 패턴을 추출 가능함
 육안으로는 구분하기 힘든 signal data의 특징을 추출함으로써 이상 상태를 탐지할 수 있을 것
 CNN 구조를 통해 Signal data의 내재된 패턴을 반영하는 latent variable을 추출할 수 있음
 추출된 특징을 Auto-encoder를 통해 학습을 진행하여 특징이 요약된 latent variable을 얻을 수 있음
QSRA Lab
 Hotelling 𝑻𝟐 Control chart
• 대표적인 다변량 관리도로 변수간의 선형 상관성을 고려하여 이상 상태를 탐지하는 방법론
• T2
= 𝑋 − ത
𝑋 𝑇
S-1(𝑋 - ത
𝑋)  관리 통계량, 𝐶𝐿𝑇2 =
𝑝(𝑛+1)(𝑛−1)
𝑛(𝑛−𝑝)
~𝐹(𝛼, 𝑝, 𝑛 − 𝑝)  관리 한계선
 𝐶𝐿𝑇2 관리한계선은 각 변수가 정규분포를 따라야 한다는 가정이 존재함
 Data가 정규분포를 따르지 않는다면 data가 정상인지 이상인지를 구분하는 관리 한계선을 찾기 어려운 한계점이 존재함
• 따라서, Non-Parametric 기법인 Bootstrap 기법을 활용하여 관리한계선을 결정함
 분포의 가정없이 data가 정상인지 이상인지 구분 가능한 관리한계선을 결정 가능함
𝑇2
관리통계량은 시계열 특성을 반영하지 못하는 한계점이 존재함  시계열 특성(time-serial )을 반영할 수 있는 방법이 필요함
• 일반적으로 1000번의 시행이 권장됨
 1000번의 Sampling결과의 평균값을 관리 한계선으로 사용함
3. Proposed Methodology
QSRA Lab
변수들간의 상관관계를 고려한 T2 Control Chart를 통해 다수의 Latent variable들 간의 복잡한 상관관계를 반영이 가능함
EWMA ( Exponentially Weighted Moving Averages )를 활용함으로써 시간에 따른 시계열 특성을 반영 가능함
 Multivariate EWMA
• 대표적인 다변량 관리도인 T2 Control Chart와 대표적인 시계열 기반의 EWMA Control Chart를 활용한 관리도 기법
 EWMA의 관리통계량을 통해 관리 통계량 T2 에 시계열 특성을 반영 가능함
• Multivariate Cusum Control Chart가 존재하지만 성능이 유사함
 성능이 유사하다면 Hyper-Parameter가 적은 EWMA가 모델의 복잡성이 낮고, 계산 속도가 빠름
EWMA Control Chart
T square Control Chart
3. Proposed Methodology
QSRA Lab
 Multivariate EWMA
• 대표적인 다변량 시계열 관리도 ( Control Chart )
 관리도는 현재 공정의 상태가 정상 상태인지 이상 상태인지 구분하는 대표적인 SPC 방법론 중 하나임
 관리도는 이상 상태를 탐지하는 Fault Detection 방법론이라고 할 수 있음
 CNN-AE를 통해 추출된 Latent Variable에 반영하지 못한 시계열 특성을 EWMA 관리 통계량을 통해 반영 가능함
본 프로젝트에서는 CNN-AE로 추출된 Latent Variable을 Multivariate EWMA를 통해 시계열 특성을 반영한 관리통계량으로 도
출함
latent variable
2.77685 0.961164
1.08204 0.290407
3.02571 4.36852
6.13531 1.04173
0.214189 0.216376
2.50808 2.53416
1.03021 0.451097
0.4755 1.48727
3.78554 1.13008
0.335363 0.522877
Column별
EWMA를 계산함
EWMA value
1.71515 1.30203
1.76824 1.28499
1.73393 1.23526
1.79852 1.39192
2.01536 1.37441
1.9253 1.31651
1.95444 1.37739
1.90823 1.33108
1.83659 1.33889
1.93404 1.32845
T_Square
2.359349
3.398281
2.209062
1.811627
1.791934
3.300903
6.017809
11.33499
7.727823
10.61326
EWMA 통계량으로
T2
를 계산함
3. Proposed Methodology
QSRA Lab
4. Experiment
QSRA Lab
4. Experiment
정상
외경 이상
Bearing Simulator
Simulator Setting
Data Aquisition
진동 신호 data
Vibration Signal
소리 신호 data
Acoustic Signal
Feature Extraction
Non-Statistical
Method
Statistical
Method
Control Chart
Result
이상 상태 탐지
Fault
Detection
EWMA T Square
Control Chart
두 가지
Feature
Extraction 방법의
성능을 비교
(𝜶, 𝜷, 𝑨𝑹𝑳)
Essential Data
Preprocessing
Result &
Assessment
 Overall Process of experiment
QSRA Lab
Experiment Condition Signal RPM Fault의 세기
Vibration Acoustic 900 약
Bearing Type
Normal , Outer
 Experiment Condition (Bearing Simulator)
Vertical load
500
• Vibration, Acoustic signal(2-Channel)을 사용한 Multi-Channel Signal을 사용
• Rpm = 900, Fault의 정도: 약, Vertical load(수직 하중) = 500으로 실험
 강한 실험 환경에서 약한 Fault 상태의 Bearing 이상 탐지 모델을 구축함
• Bearing Type : Normal, Outer race fault => Figure 1 참고
 정상과 Outer race fault 를 구분 가능한 Fault Detection 모델을 구축함, 동일한 크기의 Bearing을 사용
4. Experiment
0. Motor
1. Coupling
2. Shaft
3. Bearing
4. Vertical load
5. Amplifier
6. Vibration Sensor
7. Horizontal load
8. Pressure pump
9. Acoustic Sensor
9
8
7
5
6
4
3
1
0
2
• Experiment Condition을 고정해 실험을 진행함
 실험 별 1초당 10000개의 데이터를 수집하며, 5분의 실험을 반복적으로 수행함
 Normal Bearing Dataset은 Train과 Test로 나누어 사용함
 실험 Condition(환경 요인, 외부 요인)은 최대한 통제함, Bearing 회전속도(RPM), 수직 하중 등을 일정한 수치로 설정
Normal
Bearing
Outer race fault
Bearing
Figure 1
QSRA Lab
 Bearing Simulation
Time Vibration Acoustic
0.0001 1.180616 -0.02097
0.0002 0.144769 -0.64248
0.0003 -0.97395 -0.51817
0.0004 -0.33172 -0.00025
0.0005 0.186203 0.020467
Nominal Bearing
Time Vibration Acoustic
0.0001 0.47624 -0.37316
0.0002 1.63639 -1.09825
0.0003 0.124052 -1.11897
0.0004 -3.79145 -0.39387
0.0005 -3.95719 -0.41459
Outer race fault Bearing
4. Experiment
Normal Signal Outlier Signal
Normal Bearing 과 Outer race fault Bearing을 구분 가능한 Fault Detection이 목표
 정상, 이상 (Outer Race Fault) Bearing의 Vibration, Acoustic Signal Data를 수집함
 정상 베어링과 이상 베어링의 Signal은 Vibration, Acoustic 모두 육안으로 차이를 구분하기 어려움
 각 Signal 별 Feature를 추출하는 것은 매우 중요한 과정임  의미 있는 Feature를 추출하지 못한다면 정상과 이상을 구분하기 어려움
QSRA Lab
 CNN-AE
Structure
Model : "Encoder_Model"
Layer(Type) Ouput Shape Param #
Input Layer (None, 1024, 1, 2) 0
Conv2D (None, 1024, 1, 2) 28
MaxPooling2D (None, 512, 1, 4) 0
Conv2D (None, 512, 1, 8) 104
MaxPooling2D (None, 256, 1, 8) 0
Conv2D (None, 256, 1, 16) 400
MaxPooling2D (None, 128, 1, 16) 0
Faltten (Flatten) (None, 2048) 0
Dense (None, 1024) 2098176
Dense (None, 512) 524800
Dense (None, 5) 2565
Model : "Decoder_Model"
Layer(Type) Ouput Shape Param #
Input Layer (None, 5) 0
Dense (None, 512) 3072
Dense (None, 1024) 525312
Dense (None, 2048) 2099200
Reshape (None, 128, 1, 16) 0
UpSampling2D (None, 256, 1, 16) 0
Conv2DTranspose (None, 256, 1, 8) 392
UpSampling2D (None, 512, 1, 8) 0
Conv2DTranspose (None, 512, 1, 4) 100
UpSampling2D (None, 1024, 1, 4) 0
Conv2DTranspose (None, 1024, 1, 2) 26
Encoded Signal
(Latent Variable)
• Original Signal은 ( Conv2D+ Maxpooling2D ) layer 3개 층을 통해 signal 의 패턴을 추출되고 Dense layer 3개 층을 통해 Encoded Signal(Latent Variable)로 압축됨
• Encoded Signal은 다시 (Conv2DTransepose + Upsampling2D) layer 3개 층과 Dense를 지나면서 입력 Signal과 유사하게 복원되도록 학습됨
Ԧ
𝑍
Input Signal Reconstruction Signal
Parameter set :
(Grid Search 및 반복 실험을 통해 결정)
Window Kernel_size Latent Filter_num activation epochs batch_size
1024 9 10 4,8,16 relu 100 32
4. Experiment
QSRA Lab
• 𝜶(Type 1 error) : 정상 상태 (통제 불가능한 요인)임에도 이상 상태 (통제 가능한 요인) 로 판단하는 오류
 정상상태에서 발생하는 False Alarm으로 실제 공정에서는 Type 1 error에 민감함  공정의 정상 상태의 빈도 수가 이상 상태에 비해 매우 많기 때문임
• 𝐴𝑅𝐿0 =
1
𝜶
로써 공정이 정상상태임에도 불구하고 관리통계량이 관리 한계선 밖에 타점 되는 평균 단위 시간
 𝐴𝑅𝐿0값이 클수록 좋은 관리도(Control Chart)라고 할 수 있음
• 𝜷(Type 2 error) : 이상 상태 (통제 가능한 요인) 임에도 불구하고 정상 상태 (통제 불가능한 요인)로 판단하는 오류
 이상상태에서 발생하는 Type 2 error  실제 공정에서는 이상 상태는 정상 상태에 비해 빈도수가 적음
 일부 공정에서는 Type 2 error에 민감하지만  대부분의 공정에서는 이상 상태에 비해 정상 상태의 빈도수가 매우 높기 때문에 Type 1 error을 줄이는 것이 더 큰 이슈임
• 𝐴𝑅𝐿1 =
1
1−𝜷
로써 공정이 이상 상태일 때, 관리통계량이 관리 한계선 밖에 타점 되는 평균 단위 시간
 𝐴𝑅𝐿1 값이 작을수록 좋은 관리도(Control Chart)라고 할 수 있음
4. Experiment
 Performance Measure
QSRA Lab
5. Result
QSRA Lab
5. Result
 Multivariate EWMA
• Phase 1 (Train Data 사용)
CNN-AE Technique
(𝛼 = 0.05, 𝜆= 0.05)
Statistical Technique
(𝛼 = 0.05, 𝜆= 0.05)
• Bootstrap 방법을 통해 관리 한계선을 계산함
 설정한 𝛼 값만큼 관리 한계선을 벗어나는 Data가 필연적으로 발생함
 만약 𝛼가 0.05라면 전체의 5%의 데이터가 관리 한계선을 벗어남
QSRA Lab
Phase 2
Test data 사용
Test Out
Test Normal
5. Result
 Statistical Technique (𝜶 = 𝟎. 𝟎𝟓)
QSRA Lab
Phase 2
Test data 사용
Test Out
Test Normal
5. Result
 Convolutional Auto-Encoder Technique (𝜶 = 𝟎. 𝟎𝟓)
QSRA Lab
 Multivariate EWMA
• Table 1 – Statistical 방법의 경우 정상에 대해 이상으로 잘못 판단하는 비율(𝛼)이 약 37%로 3번에 한번은 False alarm이 발생한다. 반면, 제시한 방법인 CNN-AE의 𝛼는
5%로 생산자 위험인 False alarm 발생 비율이 비교 방법에 비해 현저히 적음을 알 수 있다.
• Table 2 – Statistical 방법에서 이상을 정상으로 잘못 판단하는 비율(𝛽)이 0.1%로 모든 이상 data를 잘 탐지했다. CNN-AE의 경우 AE의 𝛽값이 비교 방법에 비해 상대적으로
다소 높으나 6%로 큰 차이를 보이지는 않는다.
• Statistical 방법은 이상은 잘 탐지했으나 정상도 이상이라고 판단하는 비율이 매우 높기 때문에 실제로 사용하기에는 어려움이 존재한다. 반면 CNN-AE의 경우 기존 방법과
비교했을 때 , 𝛽는 상대적으로 다소 높지만 False alarm인 𝛼가 32%를 줄였기 때문에 이상치 탐지에 더 우수한 모델이라고 할 수 있다.
Table 1)
Table 2)
λ Test_Nor_0 Test_Nor_1 Test_Nor_2 Test_Nor_3 Test_Nor_4 Test_Nor_0 Test_Nor_1 Test_Nor_2 Test_Nor_3 Test_Nor_4
λ = 0.05 0.09 0.305 0.663 0.505 0.323 0.003 0.177 0.072 0.017 0
10.913 3.276 1.508 1.981 3.1 375.125 5.568 13.894 58.843 -
Multivariate EWMA
Phase 2 to Normal
Stat CAE
α & ARL 0
α
ARL 0
Average α
Average ARL 0
0.3772
4.1566
0.0538
113.3575
5. Result
Expected α =0.05, Expected ARL 0 = 200
λ Test_Out_0 Test_Out_1 Test_Out_2 Test_Out_3 Test_Out_4 Test_Out_0 Test_Out_1 Test_Out_2 Test_Out_3 Test_Out_4
λ = 0.05 0 0 0 0 0.005 0.023 0.223 0.05 0.015 0.004
1 1 1 1 1.005 1.024 1.295 1.053 1.015 1.004
Multivariate EWMA
Phase 2 to Out
Stat CAE
0.001
1.001
0.063
1.0782
β & ARL 1
β
ARL 1
Average β
Average ARL 1
QSRA Lab
6. Conclusion
QSRA Lab
6. Conclusion
1. 우리는 CNN-AE를 활용해 signal의 내재된 패턴을 추출하고 EWMA Control Chart를 통해 signal의 시계열성을 반영함으로써 보다
나은 이상치 탐지 모델을 제시하고자 함
2. 기존의 Statistical 방법론의 경우 𝛽는 낮고 𝜶는 37%로 매우 높은 수치를 보이지만, 우리의 CNN-AE 방법론은 𝛼는 5%, 𝛽는 6%로 기
존의 Statistical 방법론에 비해 𝛽가 다소 높아졌지만 실제 공정에서 큰 영향을 줄 수 있는 𝜶값을 32%p(84%) 줄였음
3. 기존의 다변량관리도인 T2가 반영하지 못하는 시계열 특성을 Multivariate EWMA를 통해 다변량 data에 시계열 특성을 반영 하였고,
CNN-AE를 추출된 Latent Variable의 시계열 특성을 충분히 반영하였다.
4. 따라서, 기존의 Statistical Methods보다 CNN-AE를 사용한 경우 더 좋은 탐지 결과가 나온 것으로 보아, 본 프로젝트의 CNN-AE가
Statistical Methods보다 더 효과적인 Feature Extraction 방법이라고 할 수 있음
QSRA Lab
 Future Work
1. 현재까지는 Raw signal을 그대로 사용하였으나, CNN은 본래 이미지 data를 처리하는데 매우 효과적인 방법론이다.
따라서, signal data를 2-dimension data로 변환하는 다양한 기법들을 활용해 볼 예정임
2. 다양한 구조의 인공 신경망 모델을 실험 및 평가해볼 계획임
3. 더욱 많은 bearing simulation 으로 다양한 dataset에 대한 robustness를 평가해볼 계획임
4. 시 계열성을 반영하기 위해 EWMA 통계량을 적용함  시 계열성을 반영하기 위한 다른 통계량들도 적용해 볼 계획임
5. 기존 연구에서 수행되었던 1-Channel Signal Analytics 방법론들과의 비교 실험도 진행 할 예정임
6. Conclusion

More Related Content

Similar to Incheon National University - EATED SRA

ARIMA Model for analysis of time series data.ppt
ARIMA Model for analysis of time series data.pptARIMA Model for analysis of time series data.ppt
ARIMA Model for analysis of time series data.pptREFOTDEBuea
 
A novel auto-tuning method for fractional order PID controllers
A novel auto-tuning method for fractional order PID controllersA novel auto-tuning method for fractional order PID controllers
A novel auto-tuning method for fractional order PID controllersISA Interchange
 
Scan-Based Delay Measurement Technique Using Signature Registers
Scan-Based Delay Measurement Technique Using Signature RegistersScan-Based Delay Measurement Technique Using Signature Registers
Scan-Based Delay Measurement Technique Using Signature RegistersIJMER
 
PROCESS ANALYTICS especially spectroscopy
PROCESS ANALYTICS especially spectroscopyPROCESS ANALYTICS especially spectroscopy
PROCESS ANALYTICS especially spectroscopyCharityAyebale
 
Data Volume Compression Using BIST to get Low-Power Pseudorandom Test Pattern...
Data Volume Compression Using BIST to get Low-Power Pseudorandom Test Pattern...Data Volume Compression Using BIST to get Low-Power Pseudorandom Test Pattern...
Data Volume Compression Using BIST to get Low-Power Pseudorandom Test Pattern...IJMTST Journal
 
SATISTICAL PROCESS CONTROL(SPC)
SATISTICAL PROCESS CONTROL(SPC)SATISTICAL PROCESS CONTROL(SPC)
SATISTICAL PROCESS CONTROL(SPC)VALARMADHIA
 
Smart E-Logistics for SCM Spend Analysis
Smart E-Logistics for SCM Spend AnalysisSmart E-Logistics for SCM Spend Analysis
Smart E-Logistics for SCM Spend AnalysisIRJET Journal
 
Performance tuning Grails applications
 Performance tuning Grails applications Performance tuning Grails applications
Performance tuning Grails applicationsGR8Conf
 
IRJET- In-Situ Monitoring for Fatigue Crack Detection using Control System an...
IRJET- In-Situ Monitoring for Fatigue Crack Detection using Control System an...IRJET- In-Situ Monitoring for Fatigue Crack Detection using Control System an...
IRJET- In-Situ Monitoring for Fatigue Crack Detection using Control System an...IRJET Journal
 
aa-automation-apc-complex-industrial-processes
aa-automation-apc-complex-industrial-processesaa-automation-apc-complex-industrial-processes
aa-automation-apc-complex-industrial-processesDavid Lyon
 
TRANSFORMER DIAGNOSTICS BY AN EXPERT SYSTEM
TRANSFORMER DIAGNOSTICS BY AN EXPERT SYSTEMTRANSFORMER DIAGNOSTICS BY AN EXPERT SYSTEM
TRANSFORMER DIAGNOSTICS BY AN EXPERT SYSTEMGururaj B Rawoor
 
Using Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning ModelsUsing Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning ModelsScott Clark
 
Using Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning ModelsUsing Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning ModelsSigOpt
 

Similar to Incheon National University - EATED SRA (20)

ARIMA Model for analysis of time series data.ppt
ARIMA Model for analysis of time series data.pptARIMA Model for analysis of time series data.ppt
ARIMA Model for analysis of time series data.ppt
 
ARIMA Model.ppt
ARIMA Model.pptARIMA Model.ppt
ARIMA Model.ppt
 
Mathworks CAE simulation suite – case in point from automotive and aerospace.
Mathworks CAE simulation suite – case in point from automotive and aerospace.Mathworks CAE simulation suite – case in point from automotive and aerospace.
Mathworks CAE simulation suite – case in point from automotive and aerospace.
 
A novel auto-tuning method for fractional order PID controllers
A novel auto-tuning method for fractional order PID controllersA novel auto-tuning method for fractional order PID controllers
A novel auto-tuning method for fractional order PID controllers
 
Scan-Based Delay Measurement Technique Using Signature Registers
Scan-Based Delay Measurement Technique Using Signature RegistersScan-Based Delay Measurement Technique Using Signature Registers
Scan-Based Delay Measurement Technique Using Signature Registers
 
PROCESS ANALYTICS especially spectroscopy
PROCESS ANALYTICS especially spectroscopyPROCESS ANALYTICS especially spectroscopy
PROCESS ANALYTICS especially spectroscopy
 
Data Volume Compression Using BIST to get Low-Power Pseudorandom Test Pattern...
Data Volume Compression Using BIST to get Low-Power Pseudorandom Test Pattern...Data Volume Compression Using BIST to get Low-Power Pseudorandom Test Pattern...
Data Volume Compression Using BIST to get Low-Power Pseudorandom Test Pattern...
 
SATISTICAL PROCESS CONTROL(SPC)
SATISTICAL PROCESS CONTROL(SPC)SATISTICAL PROCESS CONTROL(SPC)
SATISTICAL PROCESS CONTROL(SPC)
 
Msa training
Msa trainingMsa training
Msa training
 
Smart E-Logistics for SCM Spend Analysis
Smart E-Logistics for SCM Spend AnalysisSmart E-Logistics for SCM Spend Analysis
Smart E-Logistics for SCM Spend Analysis
 
WRAIR
WRAIRWRAIR
WRAIR
 
1708027_1708037.pptx
1708027_1708037.pptx1708027_1708037.pptx
1708027_1708037.pptx
 
Performance tuning Grails applications
 Performance tuning Grails applications Performance tuning Grails applications
Performance tuning Grails applications
 
IRJET- In-Situ Monitoring for Fatigue Crack Detection using Control System an...
IRJET- In-Situ Monitoring for Fatigue Crack Detection using Control System an...IRJET- In-Situ Monitoring for Fatigue Crack Detection using Control System an...
IRJET- In-Situ Monitoring for Fatigue Crack Detection using Control System an...
 
aa-automation-apc-complex-industrial-processes
aa-automation-apc-complex-industrial-processesaa-automation-apc-complex-industrial-processes
aa-automation-apc-complex-industrial-processes
 
TRANSFORMER DIAGNOSTICS BY AN EXPERT SYSTEM
TRANSFORMER DIAGNOSTICS BY AN EXPERT SYSTEMTRANSFORMER DIAGNOSTICS BY AN EXPERT SYSTEM
TRANSFORMER DIAGNOSTICS BY AN EXPERT SYSTEM
 
Fv3610681072
Fv3610681072Fv3610681072
Fv3610681072
 
Using Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning ModelsUsing Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning Models
 
Using Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning ModelsUsing Bayesian Optimization to Tune Machine Learning Models
Using Bayesian Optimization to Tune Machine Learning Models
 
Soc.pptx
Soc.pptxSoc.pptx
Soc.pptx
 

Recently uploaded

Analog to Digital and Digital to Analog Converter
Analog to Digital and Digital to Analog ConverterAnalog to Digital and Digital to Analog Converter
Analog to Digital and Digital to Analog ConverterAbhinavSharma374939
 
GDSC ASEB Gen AI study jams presentation
GDSC ASEB Gen AI study jams presentationGDSC ASEB Gen AI study jams presentation
GDSC ASEB Gen AI study jams presentationGDSCAESB
 
High Profile Call Girls Nashik Megha 7001305949 Independent Escort Service Na...
High Profile Call Girls Nashik Megha 7001305949 Independent Escort Service Na...High Profile Call Girls Nashik Megha 7001305949 Independent Escort Service Na...
High Profile Call Girls Nashik Megha 7001305949 Independent Escort Service Na...Call Girls in Nagpur High Profile
 
(RIA) Call Girls Bhosari ( 7001035870 ) HI-Fi Pune Escorts Service
(RIA) Call Girls Bhosari ( 7001035870 ) HI-Fi Pune Escorts Service(RIA) Call Girls Bhosari ( 7001035870 ) HI-Fi Pune Escorts Service
(RIA) Call Girls Bhosari ( 7001035870 ) HI-Fi Pune Escorts Serviceranjana rawat
 
What are the advantages and disadvantages of membrane structures.pptx
What are the advantages and disadvantages of membrane structures.pptxWhat are the advantages and disadvantages of membrane structures.pptx
What are the advantages and disadvantages of membrane structures.pptxwendy cai
 
Biology for Computer Engineers Course Handout.pptx
Biology for Computer Engineers Course Handout.pptxBiology for Computer Engineers Course Handout.pptx
Biology for Computer Engineers Course Handout.pptxDeepakSakkari2
 
Call Girls Delhi {Jodhpur} 9711199012 high profile service
Call Girls Delhi {Jodhpur} 9711199012 high profile serviceCall Girls Delhi {Jodhpur} 9711199012 high profile service
Call Girls Delhi {Jodhpur} 9711199012 high profile servicerehmti665
 
Internship report on mechanical engineering
Internship report on mechanical engineeringInternship report on mechanical engineering
Internship report on mechanical engineeringmalavadedarshan25
 
Sheet Pile Wall Design and Construction: A Practical Guide for Civil Engineer...
Sheet Pile Wall Design and Construction: A Practical Guide for Civil Engineer...Sheet Pile Wall Design and Construction: A Practical Guide for Civil Engineer...
Sheet Pile Wall Design and Construction: A Practical Guide for Civil Engineer...Dr.Costas Sachpazis
 
ZXCTN 5804 / ZTE PTN / ZTE POTN / ZTE 5804 PTN / ZTE POTN 5804 ( 100/200 GE Z...
ZXCTN 5804 / ZTE PTN / ZTE POTN / ZTE 5804 PTN / ZTE POTN 5804 ( 100/200 GE Z...ZXCTN 5804 / ZTE PTN / ZTE POTN / ZTE 5804 PTN / ZTE POTN 5804 ( 100/200 GE Z...
ZXCTN 5804 / ZTE PTN / ZTE POTN / ZTE 5804 PTN / ZTE POTN 5804 ( 100/200 GE Z...ZTE
 
Decoding Kotlin - Your guide to solving the mysterious in Kotlin.pptx
Decoding Kotlin - Your guide to solving the mysterious in Kotlin.pptxDecoding Kotlin - Your guide to solving the mysterious in Kotlin.pptx
Decoding Kotlin - Your guide to solving the mysterious in Kotlin.pptxJoão Esperancinha
 
Model Call Girl in Narela Delhi reach out to us at 🔝8264348440🔝
Model Call Girl in Narela Delhi reach out to us at 🔝8264348440🔝Model Call Girl in Narela Delhi reach out to us at 🔝8264348440🔝
Model Call Girl in Narela Delhi reach out to us at 🔝8264348440🔝soniya singh
 
Introduction to IEEE STANDARDS and its different types.pptx
Introduction to IEEE STANDARDS and its different types.pptxIntroduction to IEEE STANDARDS and its different types.pptx
Introduction to IEEE STANDARDS and its different types.pptxupamatechverse
 
Study on Air-Water & Water-Water Heat Exchange in a Finned Tube Exchanger
Study on Air-Water & Water-Water Heat Exchange in a Finned Tube ExchangerStudy on Air-Water & Water-Water Heat Exchange in a Finned Tube Exchanger
Study on Air-Water & Water-Water Heat Exchange in a Finned Tube ExchangerAnamika Sarkar
 
VIP Call Girls Service Hitech City Hyderabad Call +91-8250192130
VIP Call Girls Service Hitech City Hyderabad Call +91-8250192130VIP Call Girls Service Hitech City Hyderabad Call +91-8250192130
VIP Call Girls Service Hitech City Hyderabad Call +91-8250192130Suhani Kapoor
 
VIP Call Girls Service Kondapur Hyderabad Call +91-8250192130
VIP Call Girls Service Kondapur Hyderabad Call +91-8250192130VIP Call Girls Service Kondapur Hyderabad Call +91-8250192130
VIP Call Girls Service Kondapur Hyderabad Call +91-8250192130Suhani Kapoor
 
OSVC_Meta-Data based Simulation Automation to overcome Verification Challenge...
OSVC_Meta-Data based Simulation Automation to overcome Verification Challenge...OSVC_Meta-Data based Simulation Automation to overcome Verification Challenge...
OSVC_Meta-Data based Simulation Automation to overcome Verification Challenge...Soham Mondal
 

Recently uploaded (20)

Exploring_Network_Security_with_JA3_by_Rakesh Seal.pptx
Exploring_Network_Security_with_JA3_by_Rakesh Seal.pptxExploring_Network_Security_with_JA3_by_Rakesh Seal.pptx
Exploring_Network_Security_with_JA3_by_Rakesh Seal.pptx
 
Analog to Digital and Digital to Analog Converter
Analog to Digital and Digital to Analog ConverterAnalog to Digital and Digital to Analog Converter
Analog to Digital and Digital to Analog Converter
 
GDSC ASEB Gen AI study jams presentation
GDSC ASEB Gen AI study jams presentationGDSC ASEB Gen AI study jams presentation
GDSC ASEB Gen AI study jams presentation
 
High Profile Call Girls Nashik Megha 7001305949 Independent Escort Service Na...
High Profile Call Girls Nashik Megha 7001305949 Independent Escort Service Na...High Profile Call Girls Nashik Megha 7001305949 Independent Escort Service Na...
High Profile Call Girls Nashik Megha 7001305949 Independent Escort Service Na...
 
(RIA) Call Girls Bhosari ( 7001035870 ) HI-Fi Pune Escorts Service
(RIA) Call Girls Bhosari ( 7001035870 ) HI-Fi Pune Escorts Service(RIA) Call Girls Bhosari ( 7001035870 ) HI-Fi Pune Escorts Service
(RIA) Call Girls Bhosari ( 7001035870 ) HI-Fi Pune Escorts Service
 
What are the advantages and disadvantages of membrane structures.pptx
What are the advantages and disadvantages of membrane structures.pptxWhat are the advantages and disadvantages of membrane structures.pptx
What are the advantages and disadvantages of membrane structures.pptx
 
Biology for Computer Engineers Course Handout.pptx
Biology for Computer Engineers Course Handout.pptxBiology for Computer Engineers Course Handout.pptx
Biology for Computer Engineers Course Handout.pptx
 
Call Girls Delhi {Jodhpur} 9711199012 high profile service
Call Girls Delhi {Jodhpur} 9711199012 high profile serviceCall Girls Delhi {Jodhpur} 9711199012 high profile service
Call Girls Delhi {Jodhpur} 9711199012 high profile service
 
Internship report on mechanical engineering
Internship report on mechanical engineeringInternship report on mechanical engineering
Internship report on mechanical engineering
 
Sheet Pile Wall Design and Construction: A Practical Guide for Civil Engineer...
Sheet Pile Wall Design and Construction: A Practical Guide for Civil Engineer...Sheet Pile Wall Design and Construction: A Practical Guide for Civil Engineer...
Sheet Pile Wall Design and Construction: A Practical Guide for Civil Engineer...
 
★ CALL US 9953330565 ( HOT Young Call Girls In Badarpur delhi NCR
★ CALL US 9953330565 ( HOT Young Call Girls In Badarpur delhi NCR★ CALL US 9953330565 ( HOT Young Call Girls In Badarpur delhi NCR
★ CALL US 9953330565 ( HOT Young Call Girls In Badarpur delhi NCR
 
ZXCTN 5804 / ZTE PTN / ZTE POTN / ZTE 5804 PTN / ZTE POTN 5804 ( 100/200 GE Z...
ZXCTN 5804 / ZTE PTN / ZTE POTN / ZTE 5804 PTN / ZTE POTN 5804 ( 100/200 GE Z...ZXCTN 5804 / ZTE PTN / ZTE POTN / ZTE 5804 PTN / ZTE POTN 5804 ( 100/200 GE Z...
ZXCTN 5804 / ZTE PTN / ZTE POTN / ZTE 5804 PTN / ZTE POTN 5804 ( 100/200 GE Z...
 
Decoding Kotlin - Your guide to solving the mysterious in Kotlin.pptx
Decoding Kotlin - Your guide to solving the mysterious in Kotlin.pptxDecoding Kotlin - Your guide to solving the mysterious in Kotlin.pptx
Decoding Kotlin - Your guide to solving the mysterious in Kotlin.pptx
 
Model Call Girl in Narela Delhi reach out to us at 🔝8264348440🔝
Model Call Girl in Narela Delhi reach out to us at 🔝8264348440🔝Model Call Girl in Narela Delhi reach out to us at 🔝8264348440🔝
Model Call Girl in Narela Delhi reach out to us at 🔝8264348440🔝
 
Introduction to IEEE STANDARDS and its different types.pptx
Introduction to IEEE STANDARDS and its different types.pptxIntroduction to IEEE STANDARDS and its different types.pptx
Introduction to IEEE STANDARDS and its different types.pptx
 
Study on Air-Water & Water-Water Heat Exchange in a Finned Tube Exchanger
Study on Air-Water & Water-Water Heat Exchange in a Finned Tube ExchangerStudy on Air-Water & Water-Water Heat Exchange in a Finned Tube Exchanger
Study on Air-Water & Water-Water Heat Exchange in a Finned Tube Exchanger
 
Call Us -/9953056974- Call Girls In Vikaspuri-/- Delhi NCR
Call Us -/9953056974- Call Girls In Vikaspuri-/- Delhi NCRCall Us -/9953056974- Call Girls In Vikaspuri-/- Delhi NCR
Call Us -/9953056974- Call Girls In Vikaspuri-/- Delhi NCR
 
VIP Call Girls Service Hitech City Hyderabad Call +91-8250192130
VIP Call Girls Service Hitech City Hyderabad Call +91-8250192130VIP Call Girls Service Hitech City Hyderabad Call +91-8250192130
VIP Call Girls Service Hitech City Hyderabad Call +91-8250192130
 
VIP Call Girls Service Kondapur Hyderabad Call +91-8250192130
VIP Call Girls Service Kondapur Hyderabad Call +91-8250192130VIP Call Girls Service Kondapur Hyderabad Call +91-8250192130
VIP Call Girls Service Kondapur Hyderabad Call +91-8250192130
 
OSVC_Meta-Data based Simulation Automation to overcome Verification Challenge...
OSVC_Meta-Data based Simulation Automation to overcome Verification Challenge...OSVC_Meta-Data based Simulation Automation to overcome Verification Challenge...
OSVC_Meta-Data based Simulation Automation to overcome Verification Challenge...
 

Incheon National University - EATED SRA

  • 1. QSRA Lab EATED Team : SRA(System Risk Analysis) 이호연 : 201501237 윤도식 : 201601420 임동현 : 201601395 Convolutional Auto Encoder based Feature Extraction for Bearing Fault Detection
  • 2. QSRA Lab CONTENTS 1. Introduction 2. Literature Review 3. Proposed Methodology 4. Experiment 5. Result 6. Conclusion
  • 4. QSRA Lab 1. Introduction • CBM (Condition-Based Maintenance )은 공정의 상태(condition)를 감시(monitoring)해 수집한 정보를 토대로 공정의 변동을 최소화 하기 위한 유지 및 보수 프로그램  CBM을 통해 기계의 가용성을 높이고 유지 비용을 감소시키는데 기여가 가능함  CBM을 통해 공정의 관리자에게 올바른 시간에 올바른 행동을 취하도록 도움을 줄 수 있음 • CBM은 예측을 통해 공정의 장치, 요소를 관리하는 유지 전략임  일반적으로 vibration, Acoustic, Electrical 등의 분석을 통해 이루어짐 • 최근의 CBM 연구의 핵심은 공정의 관리자와 데이터 과학자들에 의해 연구가 진행됨  데이터 분석을 활용한 공정 관리의 예로 고장 진단(Fault Diagnosis), 고장 예측(Fault Prognosis)등이 있음  Condition-Based Maintenance Fault Diagnosis Fig.1. Example Process
  • 5. QSRA Lab • Fault Diagnosis 이란 부품 혹은 시스템의 상태 정보를 토대로 공정을 진단하는 방법  Faults(고장)을 ‘monitor’, ’locate’, ’identify’ 하는 방법론 • Fault Diagnosis는 “Fault Detection”, “Fault Isolation”, “Fault Identification”으로 분류  Fault Diagnosis에 다음과 같은 세가지 방법론이 포함됨  Fault Diagnosis Fault Detection Fault Isolation Fault Identification Fault Diagnosis Fault Diagnosis의 가장 기초적인 업무로써 현재 공정이 정상(normal) 상태인지 이상(abnormal) 상태인지를 확인 하는 방법론 현재 공정에 이상이 있는 요소의 위치를 결정하기 위한 방법론 현재 공정의 이상의 유형(type), 크기(size), 모양(shape) 등을 결정하기 위한 방법론 • Fault Detection이 잘 수행 되어야 현재 공정이 정상 상태인지 이상 상태인지를 잘 판단 할 수 있음  정상 상태인지, 이상 상태인지를 잘 구별 해야 이상의 위치를 확인하고 무슨 이상인지를 결정 가능함  Fault Detection이 가장 먼저 수행 되어야함 1. Introduction Whether? Where? How?
  • 6. QSRA Lab • FD는 공정의 예기치 못한 이상 상태를 탐지함으로써 시스템의 신뢰성 향상 및 비용 감소를 위해 산업에서 많이 사용되는 방법론 중 하나임 • 실제 공정에서는 이상 상태 보다 정상 상태의 비율이 매우 높기 때문에 정상 상태의 data만을 사용하는 비지도학습인 이상치 탐지 모델을 구축하고자 함 • 이상치 탐지 방법론은 정상 데이터만을 학습하여 현재 공정이 정상 상태인지, 이상 상태인지를 탐지 하는 방법 • 이상 상태를 사전에 탐지함으로써 사전 조치를 취할 수 있으며 이는 공정의 효율성을 최대화 할 수 있음  공정의 및 유휴시간(Idle Time) 최소화, 사용자에게 유용한 알림, 인명피해 방지, 공정 비용 감소  Fault Detection : FD Bearing은 공정의 이상 상태와 많이 연관되어 있는 부품 본 프로젝트는 Bearing Simulation data를 통해 향상된 성능의 Fault Detection 모델을 제시하고자 함 • 실제 공정에서 Bearing은 다양한 산업에 매우 높은 비율로 사용되는 회전 움직임을 돕는 기계 부품  Bearing은 기계 고장을 유발하는 가장 큰 원인 중 하나로 Electric Motor failures중 전체의 대략 41%정도를 차지함  Bearing의 이상 상태는 공정의 이상 상태와 많이 연관되어 있음 Pie chart of motor failures percentage 1. Introduction Example of Rotating Machine
  • 8. QSRA Lab 2. Literature Review  General Classification for Fault Diagnosis Knowledge-based fault diagnosis methods 복잡한 산업 공정과 sensor technique 의 발전으로 대량의 공정 historical data 사용이 가능해짐 • Model-based fault diagnosis methods  물리적인 이론이나 systems identification techniques으로 공정 프로세스의 모델이 구축되어야 함  실제 공정 output 과 물리적 model이 예측한 output 의 차이를 통해 이상 여부를 판정  사용자가 시스템 공정의 components 별 변수들의 관계를 이해하고 있어야함 • Signal-based fault diagnosis methods  time-domain에서 frequency-domain으로 분해(decomposition) 후 재구성(reconstruction)함으로써 공정 signal의 패턴을 추출하여 이상 여부 판정  Time-frequency 변환 과정에서 정보 손실이 발생할 수 있음  공정이 정상 상태일 때의 추출된 특징에 대한 사전 정보가 필요함
  • 9. QSRA Lab < Schematic of the knowledge-based fault diagnosis>  통계적인 방법으로 대량의 공정 데이터로부터 공정 상태를 잘 나타내는 특징을 추출  Artificial neural network와 같은 machine learning 기법을 활용해 공정 data로부터 특징을 추출하는 방법  Knowledge-based fault diagnosis methods • 복잡한 산업 공정과 sensor technique 의 발전으로 대량의 공정 historical data 사용이 가능해짐 • 대량의 공정 data 속에 내재된 정보와 패턴을 추출해 공정의 이상 상태를 탐지 Knowledge-based fault diagnosis methods Statistical Analysis methods 2. Literature Review Non-Statistical methods
  • 10. QSRA Lab  Signal data Time window • Signal data는 high abstract data로 개별적인 값은 의미가 없음 • 일정한 길이의 window를 활용해 signal로부터 패턴을 추출하는 것이 필요함 • Signal data는 time-series data이기 때문에 데이터의 순차성 정보를 반영해야 함 2. Literature Review Extracted feature (statistics)  Statistical Methods • Signal Data의 임의의 구간(window)별 정보를 대표할 통계량들을 이용하는 방법론 • Statistical Technique은 구간내 noise data가 존재한다면 noise에 의한 영향이 매우 큼 • 구간별 통계량이 Signal의 패턴을 충분히 대표한다고 볼 수 없음  Signal의 패턴을 충분히 반영한 Feature Extraction 방법론으로 볼 수 없음 window Time Vibration Acoustic 0.0001 1.180616 -0.02097 0.0002 0.144769 -0.64248 0.0003 -0.97395 -0.51817 0.0004 -0.33172 -0.00025 0.0005 0.186203 0.020467 0.0006 -0.16599 0.165485 Signal Data RMS Kurtosis CrF SF 1.899 4.17 1.318 5.063 1.867 4.027 1.331 5.377 1.889 4.624 1.353 5.849 1.943 4.117 1.336 5.667 1.838 4.131 1.315 4.95 Vibration RMS Kurtosis CrF SF 0.764 2.639 1.172 2.477 0.767 3.335 1.155 3.181 0.779 3.897 1.147 3.231 0.736 3.306 1.149 3.362 0.666 2.921 1.174 2.812 Acoustic
  • 11. QSRA Lab 3. Proposed Methodology
  • 12. QSRA Lab  CNN (Convolution Neural Network) CNN을 통한 signal data의 내재된 패턴을 반영 3. Proposed Methodology 구조1. Image data와 같은 비정형 data의 Feature Extraction 하는 부분 구조 2. Feature Extraction을 통해 추출된 특징을 통해 분류하는 부분 • CNN은 작고 간단한 패턴을 사용해 더 복잡한 패턴을 표현하는 인공신경망의 한 종류  CNN은 이미지, 영상, 추천 시스템 등의 다양한 분야에 적용됨 • 정상 상태와 이상 상태의 signal은 육안으로 구분하기는 어렵지만, 다른 패턴을 가질 것으로 기대됨  Signal의 패턴을 추출하는 것은 매우 중요함
  • 13. QSRA Lab  Auto-Encoder • 비지도 학습 기반의 대표적인 차원 축소 방법론  주어진 Input을 작은 차원으로 변환한 뒤 다시 input의 형태로 복원하는 방식으로 학습 및 작동함  Data의 비선형적인 특성을 반영하면서 차원을 축소할 수 있음 • Auto-Encoder의 latent variable(z)는 Input Data의 특징이 요약된 변수임  Input과 Output의 차이(Reconstruction error)가 작다면 Z(latent variable)는 Input Data의 특징을 잘 반영하는 변수로 볼 수 있음  Output이 Input을 잘 복원 했다면 Latent variable은 매우 의미 있는 변수임 Auto-Encoder 구조를 통해 Data의 특징이 압축된 Latent variable을 추출 Fig.4. Architecture of Auto-Encoder Latent variable 3. Proposed Methodology
  • 14. QSRA Lab 그러나 CNN-AE의 Latent Variable은 data의 시계열성(time-series)은 고려하지 못함 3. Proposed Methodology Original Signal 𝑿 (1024, 2) (512, 4) (256, 8) (2048, ) (128, 16) (1024, ) (512, ) (5, ) (512, ) (1024, ) (2048, ) (128, 16) (256, 8) (512, 4) (1024, 2) ෡ 𝑿 Reconstructed Signal 2 channel Original Signal & Reconstructed Signal (input & output) Convolutional Layer + Max-Pooling (or Conv-Transe) Flatten & Reshape Dense Layer Latent Variable  Convolutional Auto-Encoder : 대표적인 패턴 추출 기법인 CNN과 차원 축소 기법인 Auto-encoder를 결합한 방법론  CNN 구조를 통해서 Multi Channel Signal data의 패턴을 추출 가능함  육안으로는 구분하기 힘든 signal data의 특징을 추출함으로써 이상 상태를 탐지할 수 있을 것  CNN 구조를 통해 Signal data의 내재된 패턴을 반영하는 latent variable을 추출할 수 있음  추출된 특징을 Auto-encoder를 통해 학습을 진행하여 특징이 요약된 latent variable을 얻을 수 있음
  • 15. QSRA Lab  Hotelling 𝑻𝟐 Control chart • 대표적인 다변량 관리도로 변수간의 선형 상관성을 고려하여 이상 상태를 탐지하는 방법론 • T2 = 𝑋 − ത 𝑋 𝑇 S-1(𝑋 - ത 𝑋)  관리 통계량, 𝐶𝐿𝑇2 = 𝑝(𝑛+1)(𝑛−1) 𝑛(𝑛−𝑝) ~𝐹(𝛼, 𝑝, 𝑛 − 𝑝)  관리 한계선  𝐶𝐿𝑇2 관리한계선은 각 변수가 정규분포를 따라야 한다는 가정이 존재함  Data가 정규분포를 따르지 않는다면 data가 정상인지 이상인지를 구분하는 관리 한계선을 찾기 어려운 한계점이 존재함 • 따라서, Non-Parametric 기법인 Bootstrap 기법을 활용하여 관리한계선을 결정함  분포의 가정없이 data가 정상인지 이상인지 구분 가능한 관리한계선을 결정 가능함 𝑇2 관리통계량은 시계열 특성을 반영하지 못하는 한계점이 존재함  시계열 특성(time-serial )을 반영할 수 있는 방법이 필요함 • 일반적으로 1000번의 시행이 권장됨  1000번의 Sampling결과의 평균값을 관리 한계선으로 사용함 3. Proposed Methodology
  • 16. QSRA Lab 변수들간의 상관관계를 고려한 T2 Control Chart를 통해 다수의 Latent variable들 간의 복잡한 상관관계를 반영이 가능함 EWMA ( Exponentially Weighted Moving Averages )를 활용함으로써 시간에 따른 시계열 특성을 반영 가능함  Multivariate EWMA • 대표적인 다변량 관리도인 T2 Control Chart와 대표적인 시계열 기반의 EWMA Control Chart를 활용한 관리도 기법  EWMA의 관리통계량을 통해 관리 통계량 T2 에 시계열 특성을 반영 가능함 • Multivariate Cusum Control Chart가 존재하지만 성능이 유사함  성능이 유사하다면 Hyper-Parameter가 적은 EWMA가 모델의 복잡성이 낮고, 계산 속도가 빠름 EWMA Control Chart T square Control Chart 3. Proposed Methodology
  • 17. QSRA Lab  Multivariate EWMA • 대표적인 다변량 시계열 관리도 ( Control Chart )  관리도는 현재 공정의 상태가 정상 상태인지 이상 상태인지 구분하는 대표적인 SPC 방법론 중 하나임  관리도는 이상 상태를 탐지하는 Fault Detection 방법론이라고 할 수 있음  CNN-AE를 통해 추출된 Latent Variable에 반영하지 못한 시계열 특성을 EWMA 관리 통계량을 통해 반영 가능함 본 프로젝트에서는 CNN-AE로 추출된 Latent Variable을 Multivariate EWMA를 통해 시계열 특성을 반영한 관리통계량으로 도 출함 latent variable 2.77685 0.961164 1.08204 0.290407 3.02571 4.36852 6.13531 1.04173 0.214189 0.216376 2.50808 2.53416 1.03021 0.451097 0.4755 1.48727 3.78554 1.13008 0.335363 0.522877 Column별 EWMA를 계산함 EWMA value 1.71515 1.30203 1.76824 1.28499 1.73393 1.23526 1.79852 1.39192 2.01536 1.37441 1.9253 1.31651 1.95444 1.37739 1.90823 1.33108 1.83659 1.33889 1.93404 1.32845 T_Square 2.359349 3.398281 2.209062 1.811627 1.791934 3.300903 6.017809 11.33499 7.727823 10.61326 EWMA 통계량으로 T2 를 계산함 3. Proposed Methodology
  • 19. QSRA Lab 4. Experiment 정상 외경 이상 Bearing Simulator Simulator Setting Data Aquisition 진동 신호 data Vibration Signal 소리 신호 data Acoustic Signal Feature Extraction Non-Statistical Method Statistical Method Control Chart Result 이상 상태 탐지 Fault Detection EWMA T Square Control Chart 두 가지 Feature Extraction 방법의 성능을 비교 (𝜶, 𝜷, 𝑨𝑹𝑳) Essential Data Preprocessing Result & Assessment  Overall Process of experiment
  • 20. QSRA Lab Experiment Condition Signal RPM Fault의 세기 Vibration Acoustic 900 약 Bearing Type Normal , Outer  Experiment Condition (Bearing Simulator) Vertical load 500 • Vibration, Acoustic signal(2-Channel)을 사용한 Multi-Channel Signal을 사용 • Rpm = 900, Fault의 정도: 약, Vertical load(수직 하중) = 500으로 실험  강한 실험 환경에서 약한 Fault 상태의 Bearing 이상 탐지 모델을 구축함 • Bearing Type : Normal, Outer race fault => Figure 1 참고  정상과 Outer race fault 를 구분 가능한 Fault Detection 모델을 구축함, 동일한 크기의 Bearing을 사용 4. Experiment 0. Motor 1. Coupling 2. Shaft 3. Bearing 4. Vertical load 5. Amplifier 6. Vibration Sensor 7. Horizontal load 8. Pressure pump 9. Acoustic Sensor 9 8 7 5 6 4 3 1 0 2 • Experiment Condition을 고정해 실험을 진행함  실험 별 1초당 10000개의 데이터를 수집하며, 5분의 실험을 반복적으로 수행함  Normal Bearing Dataset은 Train과 Test로 나누어 사용함  실험 Condition(환경 요인, 외부 요인)은 최대한 통제함, Bearing 회전속도(RPM), 수직 하중 등을 일정한 수치로 설정 Normal Bearing Outer race fault Bearing Figure 1
  • 21. QSRA Lab  Bearing Simulation Time Vibration Acoustic 0.0001 1.180616 -0.02097 0.0002 0.144769 -0.64248 0.0003 -0.97395 -0.51817 0.0004 -0.33172 -0.00025 0.0005 0.186203 0.020467 Nominal Bearing Time Vibration Acoustic 0.0001 0.47624 -0.37316 0.0002 1.63639 -1.09825 0.0003 0.124052 -1.11897 0.0004 -3.79145 -0.39387 0.0005 -3.95719 -0.41459 Outer race fault Bearing 4. Experiment Normal Signal Outlier Signal Normal Bearing 과 Outer race fault Bearing을 구분 가능한 Fault Detection이 목표  정상, 이상 (Outer Race Fault) Bearing의 Vibration, Acoustic Signal Data를 수집함  정상 베어링과 이상 베어링의 Signal은 Vibration, Acoustic 모두 육안으로 차이를 구분하기 어려움  각 Signal 별 Feature를 추출하는 것은 매우 중요한 과정임  의미 있는 Feature를 추출하지 못한다면 정상과 이상을 구분하기 어려움
  • 22. QSRA Lab  CNN-AE Structure Model : "Encoder_Model" Layer(Type) Ouput Shape Param # Input Layer (None, 1024, 1, 2) 0 Conv2D (None, 1024, 1, 2) 28 MaxPooling2D (None, 512, 1, 4) 0 Conv2D (None, 512, 1, 8) 104 MaxPooling2D (None, 256, 1, 8) 0 Conv2D (None, 256, 1, 16) 400 MaxPooling2D (None, 128, 1, 16) 0 Faltten (Flatten) (None, 2048) 0 Dense (None, 1024) 2098176 Dense (None, 512) 524800 Dense (None, 5) 2565 Model : "Decoder_Model" Layer(Type) Ouput Shape Param # Input Layer (None, 5) 0 Dense (None, 512) 3072 Dense (None, 1024) 525312 Dense (None, 2048) 2099200 Reshape (None, 128, 1, 16) 0 UpSampling2D (None, 256, 1, 16) 0 Conv2DTranspose (None, 256, 1, 8) 392 UpSampling2D (None, 512, 1, 8) 0 Conv2DTranspose (None, 512, 1, 4) 100 UpSampling2D (None, 1024, 1, 4) 0 Conv2DTranspose (None, 1024, 1, 2) 26 Encoded Signal (Latent Variable) • Original Signal은 ( Conv2D+ Maxpooling2D ) layer 3개 층을 통해 signal 의 패턴을 추출되고 Dense layer 3개 층을 통해 Encoded Signal(Latent Variable)로 압축됨 • Encoded Signal은 다시 (Conv2DTransepose + Upsampling2D) layer 3개 층과 Dense를 지나면서 입력 Signal과 유사하게 복원되도록 학습됨 Ԧ 𝑍 Input Signal Reconstruction Signal Parameter set : (Grid Search 및 반복 실험을 통해 결정) Window Kernel_size Latent Filter_num activation epochs batch_size 1024 9 10 4,8,16 relu 100 32 4. Experiment
  • 23. QSRA Lab • 𝜶(Type 1 error) : 정상 상태 (통제 불가능한 요인)임에도 이상 상태 (통제 가능한 요인) 로 판단하는 오류  정상상태에서 발생하는 False Alarm으로 실제 공정에서는 Type 1 error에 민감함  공정의 정상 상태의 빈도 수가 이상 상태에 비해 매우 많기 때문임 • 𝐴𝑅𝐿0 = 1 𝜶 로써 공정이 정상상태임에도 불구하고 관리통계량이 관리 한계선 밖에 타점 되는 평균 단위 시간  𝐴𝑅𝐿0값이 클수록 좋은 관리도(Control Chart)라고 할 수 있음 • 𝜷(Type 2 error) : 이상 상태 (통제 가능한 요인) 임에도 불구하고 정상 상태 (통제 불가능한 요인)로 판단하는 오류  이상상태에서 발생하는 Type 2 error  실제 공정에서는 이상 상태는 정상 상태에 비해 빈도수가 적음  일부 공정에서는 Type 2 error에 민감하지만  대부분의 공정에서는 이상 상태에 비해 정상 상태의 빈도수가 매우 높기 때문에 Type 1 error을 줄이는 것이 더 큰 이슈임 • 𝐴𝑅𝐿1 = 1 1−𝜷 로써 공정이 이상 상태일 때, 관리통계량이 관리 한계선 밖에 타점 되는 평균 단위 시간  𝐴𝑅𝐿1 값이 작을수록 좋은 관리도(Control Chart)라고 할 수 있음 4. Experiment  Performance Measure
  • 25. QSRA Lab 5. Result  Multivariate EWMA • Phase 1 (Train Data 사용) CNN-AE Technique (𝛼 = 0.05, 𝜆= 0.05) Statistical Technique (𝛼 = 0.05, 𝜆= 0.05) • Bootstrap 방법을 통해 관리 한계선을 계산함  설정한 𝛼 값만큼 관리 한계선을 벗어나는 Data가 필연적으로 발생함  만약 𝛼가 0.05라면 전체의 5%의 데이터가 관리 한계선을 벗어남
  • 26. QSRA Lab Phase 2 Test data 사용 Test Out Test Normal 5. Result  Statistical Technique (𝜶 = 𝟎. 𝟎𝟓)
  • 27. QSRA Lab Phase 2 Test data 사용 Test Out Test Normal 5. Result  Convolutional Auto-Encoder Technique (𝜶 = 𝟎. 𝟎𝟓)
  • 28. QSRA Lab  Multivariate EWMA • Table 1 – Statistical 방법의 경우 정상에 대해 이상으로 잘못 판단하는 비율(𝛼)이 약 37%로 3번에 한번은 False alarm이 발생한다. 반면, 제시한 방법인 CNN-AE의 𝛼는 5%로 생산자 위험인 False alarm 발생 비율이 비교 방법에 비해 현저히 적음을 알 수 있다. • Table 2 – Statistical 방법에서 이상을 정상으로 잘못 판단하는 비율(𝛽)이 0.1%로 모든 이상 data를 잘 탐지했다. CNN-AE의 경우 AE의 𝛽값이 비교 방법에 비해 상대적으로 다소 높으나 6%로 큰 차이를 보이지는 않는다. • Statistical 방법은 이상은 잘 탐지했으나 정상도 이상이라고 판단하는 비율이 매우 높기 때문에 실제로 사용하기에는 어려움이 존재한다. 반면 CNN-AE의 경우 기존 방법과 비교했을 때 , 𝛽는 상대적으로 다소 높지만 False alarm인 𝛼가 32%를 줄였기 때문에 이상치 탐지에 더 우수한 모델이라고 할 수 있다. Table 1) Table 2) λ Test_Nor_0 Test_Nor_1 Test_Nor_2 Test_Nor_3 Test_Nor_4 Test_Nor_0 Test_Nor_1 Test_Nor_2 Test_Nor_3 Test_Nor_4 λ = 0.05 0.09 0.305 0.663 0.505 0.323 0.003 0.177 0.072 0.017 0 10.913 3.276 1.508 1.981 3.1 375.125 5.568 13.894 58.843 - Multivariate EWMA Phase 2 to Normal Stat CAE α & ARL 0 α ARL 0 Average α Average ARL 0 0.3772 4.1566 0.0538 113.3575 5. Result Expected α =0.05, Expected ARL 0 = 200 λ Test_Out_0 Test_Out_1 Test_Out_2 Test_Out_3 Test_Out_4 Test_Out_0 Test_Out_1 Test_Out_2 Test_Out_3 Test_Out_4 λ = 0.05 0 0 0 0 0.005 0.023 0.223 0.05 0.015 0.004 1 1 1 1 1.005 1.024 1.295 1.053 1.015 1.004 Multivariate EWMA Phase 2 to Out Stat CAE 0.001 1.001 0.063 1.0782 β & ARL 1 β ARL 1 Average β Average ARL 1
  • 30. QSRA Lab 6. Conclusion 1. 우리는 CNN-AE를 활용해 signal의 내재된 패턴을 추출하고 EWMA Control Chart를 통해 signal의 시계열성을 반영함으로써 보다 나은 이상치 탐지 모델을 제시하고자 함 2. 기존의 Statistical 방법론의 경우 𝛽는 낮고 𝜶는 37%로 매우 높은 수치를 보이지만, 우리의 CNN-AE 방법론은 𝛼는 5%, 𝛽는 6%로 기 존의 Statistical 방법론에 비해 𝛽가 다소 높아졌지만 실제 공정에서 큰 영향을 줄 수 있는 𝜶값을 32%p(84%) 줄였음 3. 기존의 다변량관리도인 T2가 반영하지 못하는 시계열 특성을 Multivariate EWMA를 통해 다변량 data에 시계열 특성을 반영 하였고, CNN-AE를 추출된 Latent Variable의 시계열 특성을 충분히 반영하였다. 4. 따라서, 기존의 Statistical Methods보다 CNN-AE를 사용한 경우 더 좋은 탐지 결과가 나온 것으로 보아, 본 프로젝트의 CNN-AE가 Statistical Methods보다 더 효과적인 Feature Extraction 방법이라고 할 수 있음
  • 31. QSRA Lab  Future Work 1. 현재까지는 Raw signal을 그대로 사용하였으나, CNN은 본래 이미지 data를 처리하는데 매우 효과적인 방법론이다. 따라서, signal data를 2-dimension data로 변환하는 다양한 기법들을 활용해 볼 예정임 2. 다양한 구조의 인공 신경망 모델을 실험 및 평가해볼 계획임 3. 더욱 많은 bearing simulation 으로 다양한 dataset에 대한 robustness를 평가해볼 계획임 4. 시 계열성을 반영하기 위해 EWMA 통계량을 적용함  시 계열성을 반영하기 위한 다른 통계량들도 적용해 볼 계획임 5. 기존 연구에서 수행되었던 1-Channel Signal Analytics 방법론들과의 비교 실험도 진행 할 예정임 6. Conclusion