4. QSRA Lab
1. Introduction
• CBM (Condition-Based Maintenance )은 공정의 상태(condition)를 감시(monitoring)해
수집한 정보를 토대로 공정의 변동을 최소화 하기 위한 유지 및 보수 프로그램
CBM을 통해 기계의 가용성을 높이고 유지 비용을 감소시키는데 기여가 가능함
CBM을 통해 공정의 관리자에게 올바른 시간에 올바른 행동을 취하도록 도움을 줄 수 있음
• CBM은 예측을 통해 공정의 장치, 요소를 관리하는 유지 전략임
일반적으로 vibration, Acoustic, Electrical 등의 분석을 통해 이루어짐
• 최근의 CBM 연구의 핵심은 공정의 관리자와 데이터 과학자들에 의해 연구가 진행됨
데이터 분석을 활용한 공정 관리의 예로 고장 진단(Fault Diagnosis), 고장 예측(Fault Prognosis)등이 있음
Condition-Based Maintenance
Fault
Diagnosis
Fig.1. Example Process
5. QSRA Lab
• Fault Diagnosis 이란 부품 혹은 시스템의 상태 정보를 토대로 공정을 진단하는 방법
Faults(고장)을 ‘monitor’, ’locate’, ’identify’ 하는 방법론
• Fault Diagnosis는 “Fault Detection”, “Fault Isolation”, “Fault Identification”으로 분류
Fault Diagnosis에 다음과 같은 세가지 방법론이 포함됨
Fault Diagnosis
Fault Detection
Fault Isolation
Fault
Identification
Fault
Diagnosis
Fault Diagnosis의 가장 기초적인 업무로써 현재 공정이 정상(normal) 상태인지
이상(abnormal) 상태인지를 확인 하는 방법론
현재 공정에 이상이 있는 요소의 위치를 결정하기 위한 방법론
현재 공정의 이상의 유형(type), 크기(size), 모양(shape) 등을 결정하기 위한 방법론
• Fault Detection이 잘 수행 되어야 현재 공정이 정상 상태인지 이상 상태인지를 잘 판단 할 수 있음
정상 상태인지, 이상 상태인지를 잘 구별 해야 이상의 위치를 확인하고 무슨 이상인지를 결정 가능함
Fault Detection이 가장 먼저 수행 되어야함
1. Introduction
Whether?
Where?
How?
6. QSRA Lab
• FD는 공정의 예기치 못한 이상 상태를 탐지함으로써 시스템의 신뢰성 향상 및 비용 감소를 위해 산업에서 많이 사용되는 방법론 중 하나임
• 실제 공정에서는 이상 상태 보다 정상 상태의 비율이 매우 높기 때문에 정상 상태의 data만을 사용하는 비지도학습인 이상치 탐지 모델을 구축하고자 함
• 이상치 탐지 방법론은 정상 데이터만을 학습하여 현재 공정이 정상 상태인지, 이상 상태인지를 탐지 하는 방법
• 이상 상태를 사전에 탐지함으로써 사전 조치를 취할 수 있으며 이는 공정의 효율성을 최대화 할 수 있음
공정의 및 유휴시간(Idle Time) 최소화, 사용자에게 유용한 알림, 인명피해 방지, 공정 비용 감소
Fault Detection : FD
Bearing은 공정의 이상 상태와 많이 연관되어 있는 부품
본 프로젝트는 Bearing Simulation data를 통해 향상된 성능의 Fault Detection 모델을 제시하고자 함
• 실제 공정에서 Bearing은 다양한 산업에 매우 높은 비율로 사용되는 회전 움직임을 돕는 기계 부품
Bearing은 기계 고장을 유발하는 가장 큰 원인 중 하나로 Electric Motor failures중 전체의 대략 41%정도를 차지함
Bearing의 이상 상태는 공정의 이상 상태와 많이 연관되어 있음
Pie chart of motor failures percentage
1. Introduction
Example of Rotating Machine
8. QSRA Lab
2. Literature Review
General Classification for Fault Diagnosis
Knowledge-based fault diagnosis methods
복잡한 산업 공정과 sensor technique 의 발전으로 대량의 공정 historical data 사용이 가능해짐
• Model-based fault diagnosis methods
물리적인 이론이나 systems identification techniques으로 공정 프로세스의 모델이 구축되어야 함
실제 공정 output 과 물리적 model이 예측한 output 의 차이를 통해 이상 여부를 판정
사용자가 시스템 공정의 components 별 변수들의 관계를 이해하고 있어야함
• Signal-based fault diagnosis methods
time-domain에서 frequency-domain으로 분해(decomposition) 후 재구성(reconstruction)함으로써 공정 signal의 패턴을 추출하여 이상 여부 판정
Time-frequency 변환 과정에서 정보 손실이 발생할 수 있음
공정이 정상 상태일 때의 추출된 특징에 대한 사전 정보가 필요함
9. QSRA Lab < Schematic of the knowledge-based fault diagnosis>
통계적인 방법으로 대량의 공정 데이터로부터 공정 상태를 잘 나타내는 특징을 추출
Artificial neural network와 같은 machine learning 기법을 활용해 공정 data로부터 특징을 추출하는 방법
Knowledge-based fault diagnosis methods
• 복잡한 산업 공정과 sensor technique 의 발전으로 대량의 공정 historical data 사용이 가능해짐
• 대량의 공정 data 속에 내재된 정보와 패턴을 추출해 공정의 이상 상태를 탐지
Knowledge-based
fault diagnosis methods
Statistical Analysis methods
2. Literature Review
Non-Statistical methods
10. QSRA Lab
Signal data
Time window
• Signal data는 high abstract data로 개별적인 값은 의미가 없음
• 일정한 길이의 window를 활용해 signal로부터 패턴을 추출하는 것이 필요함
• Signal data는 time-series data이기 때문에 데이터의 순차성 정보를 반영해야
함
2. Literature Review
Extracted feature (statistics)
Statistical Methods • Signal Data의 임의의 구간(window)별 정보를 대표할 통계량들을 이용하는 방법론
• Statistical Technique은 구간내 noise data가 존재한다면 noise에 의한 영향이 매우 큼
• 구간별 통계량이 Signal의 패턴을 충분히 대표한다고 볼 수 없음 Signal의 패턴을 충분히 반영한 Feature Extraction 방법론으로 볼 수 없음
window
Time Vibration Acoustic
0.0001 1.180616 -0.02097
0.0002 0.144769 -0.64248
0.0003 -0.97395 -0.51817
0.0004 -0.33172 -0.00025
0.0005 0.186203 0.020467
0.0006 -0.16599 0.165485
Signal Data
RMS Kurtosis CrF SF
1.899 4.17 1.318 5.063
1.867 4.027 1.331 5.377
1.889 4.624 1.353 5.849
1.943 4.117 1.336 5.667
1.838 4.131 1.315 4.95
Vibration
RMS Kurtosis CrF SF
0.764 2.639 1.172 2.477
0.767 3.335 1.155 3.181
0.779 3.897 1.147 3.231
0.736 3.306 1.149 3.362
0.666 2.921 1.174 2.812
Acoustic
12. QSRA Lab
CNN (Convolution Neural Network)
CNN을 통한 signal data의 내재된 패턴을 반영
3. Proposed Methodology
구조1. Image data와 같은 비정형 data의 Feature Extraction 하는 부분 구조 2. Feature Extraction을 통해 추출된 특징을 통해 분류하는 부분
• CNN은 작고 간단한 패턴을 사용해 더 복잡한 패턴을 표현하는 인공신경망의 한 종류
CNN은 이미지, 영상, 추천 시스템 등의 다양한 분야에 적용됨
• 정상 상태와 이상 상태의 signal은 육안으로 구분하기는 어렵지만, 다른 패턴을 가질 것으로 기대됨
Signal의 패턴을 추출하는 것은 매우 중요함
13. QSRA Lab
Auto-Encoder
• 비지도 학습 기반의 대표적인 차원 축소 방법론
주어진 Input을 작은 차원으로 변환한 뒤 다시 input의 형태로 복원하는 방식으로 학습 및 작동함
Data의 비선형적인 특성을 반영하면서 차원을 축소할 수 있음
• Auto-Encoder의 latent variable(z)는 Input Data의 특징이 요약된 변수임
Input과 Output의 차이(Reconstruction error)가 작다면 Z(latent variable)는 Input Data의 특징을 잘 반영하는 변수로 볼 수 있음
Output이 Input을 잘 복원 했다면 Latent variable은 매우 의미 있는 변수임
Auto-Encoder 구조를 통해 Data의 특징이 압축된 Latent variable을 추출
Fig.4. Architecture of Auto-Encoder
Latent variable
3. Proposed Methodology
14. QSRA Lab
그러나 CNN-AE의 Latent Variable은 data의 시계열성(time-series)은 고려하지 못함
3. Proposed Methodology
Original Signal
𝑿
(1024, 2)
(512, 4)
(256, 8)
(2048, )
(128, 16)
(1024, )
(512, )
(5, )
(512, )
(1024, )
(2048, )
(128, 16)
(256, 8)
(512, 4)
(1024, 2)
𝑿
Reconstructed
Signal
2 channel
Original Signal &
Reconstructed Signal
(input & output)
Convolutional Layer +
Max-Pooling
(or Conv-Transe)
Flatten &
Reshape
Dense Layer Latent Variable
Convolutional Auto-Encoder : 대표적인 패턴 추출 기법인 CNN과 차원 축소 기법인 Auto-encoder를 결합한 방법론
CNN 구조를 통해서 Multi Channel Signal data의 패턴을 추출 가능함
육안으로는 구분하기 힘든 signal data의 특징을 추출함으로써 이상 상태를 탐지할 수 있을 것
CNN 구조를 통해 Signal data의 내재된 패턴을 반영하는 latent variable을 추출할 수 있음
추출된 특징을 Auto-encoder를 통해 학습을 진행하여 특징이 요약된 latent variable을 얻을 수 있음
15. QSRA Lab
Hotelling 𝑻𝟐 Control chart
• 대표적인 다변량 관리도로 변수간의 선형 상관성을 고려하여 이상 상태를 탐지하는 방법론
• T2
= 𝑋 − ത
𝑋 𝑇
S-1(𝑋 - ത
𝑋) 관리 통계량, 𝐶𝐿𝑇2 =
𝑝(𝑛+1)(𝑛−1)
𝑛(𝑛−𝑝)
~𝐹(𝛼, 𝑝, 𝑛 − 𝑝) 관리 한계선
𝐶𝐿𝑇2 관리한계선은 각 변수가 정규분포를 따라야 한다는 가정이 존재함
Data가 정규분포를 따르지 않는다면 data가 정상인지 이상인지를 구분하는 관리 한계선을 찾기 어려운 한계점이 존재함
• 따라서, Non-Parametric 기법인 Bootstrap 기법을 활용하여 관리한계선을 결정함
분포의 가정없이 data가 정상인지 이상인지 구분 가능한 관리한계선을 결정 가능함
𝑇2
관리통계량은 시계열 특성을 반영하지 못하는 한계점이 존재함 시계열 특성(time-serial )을 반영할 수 있는 방법이 필요함
• 일반적으로 1000번의 시행이 권장됨
1000번의 Sampling결과의 평균값을 관리 한계선으로 사용함
3. Proposed Methodology
16. QSRA Lab
변수들간의 상관관계를 고려한 T2 Control Chart를 통해 다수의 Latent variable들 간의 복잡한 상관관계를 반영이 가능함
EWMA ( Exponentially Weighted Moving Averages )를 활용함으로써 시간에 따른 시계열 특성을 반영 가능함
Multivariate EWMA
• 대표적인 다변량 관리도인 T2 Control Chart와 대표적인 시계열 기반의 EWMA Control Chart를 활용한 관리도 기법
EWMA의 관리통계량을 통해 관리 통계량 T2 에 시계열 특성을 반영 가능함
• Multivariate Cusum Control Chart가 존재하지만 성능이 유사함
성능이 유사하다면 Hyper-Parameter가 적은 EWMA가 모델의 복잡성이 낮고, 계산 속도가 빠름
EWMA Control Chart
T square Control Chart
3. Proposed Methodology
17. QSRA Lab
Multivariate EWMA
• 대표적인 다변량 시계열 관리도 ( Control Chart )
관리도는 현재 공정의 상태가 정상 상태인지 이상 상태인지 구분하는 대표적인 SPC 방법론 중 하나임
관리도는 이상 상태를 탐지하는 Fault Detection 방법론이라고 할 수 있음
CNN-AE를 통해 추출된 Latent Variable에 반영하지 못한 시계열 특성을 EWMA 관리 통계량을 통해 반영 가능함
본 프로젝트에서는 CNN-AE로 추출된 Latent Variable을 Multivariate EWMA를 통해 시계열 특성을 반영한 관리통계량으로 도
출함
latent variable
2.77685 0.961164
1.08204 0.290407
3.02571 4.36852
6.13531 1.04173
0.214189 0.216376
2.50808 2.53416
1.03021 0.451097
0.4755 1.48727
3.78554 1.13008
0.335363 0.522877
Column별
EWMA를 계산함
EWMA value
1.71515 1.30203
1.76824 1.28499
1.73393 1.23526
1.79852 1.39192
2.01536 1.37441
1.9253 1.31651
1.95444 1.37739
1.90823 1.33108
1.83659 1.33889
1.93404 1.32845
T_Square
2.359349
3.398281
2.209062
1.811627
1.791934
3.300903
6.017809
11.33499
7.727823
10.61326
EWMA 통계량으로
T2
를 계산함
3. Proposed Methodology
19. QSRA Lab
4. Experiment
정상
외경 이상
Bearing Simulator
Simulator Setting
Data Aquisition
진동 신호 data
Vibration Signal
소리 신호 data
Acoustic Signal
Feature Extraction
Non-Statistical
Method
Statistical
Method
Control Chart
Result
이상 상태 탐지
Fault
Detection
EWMA T Square
Control Chart
두 가지
Feature
Extraction 방법의
성능을 비교
(𝜶, 𝜷, 𝑨𝑹𝑳)
Essential Data
Preprocessing
Result &
Assessment
Overall Process of experiment
20. QSRA Lab
Experiment Condition Signal RPM Fault의 세기
Vibration Acoustic 900 약
Bearing Type
Normal , Outer
Experiment Condition (Bearing Simulator)
Vertical load
500
• Vibration, Acoustic signal(2-Channel)을 사용한 Multi-Channel Signal을 사용
• Rpm = 900, Fault의 정도: 약, Vertical load(수직 하중) = 500으로 실험
강한 실험 환경에서 약한 Fault 상태의 Bearing 이상 탐지 모델을 구축함
• Bearing Type : Normal, Outer race fault => Figure 1 참고
정상과 Outer race fault 를 구분 가능한 Fault Detection 모델을 구축함, 동일한 크기의 Bearing을 사용
4. Experiment
0. Motor
1. Coupling
2. Shaft
3. Bearing
4. Vertical load
5. Amplifier
6. Vibration Sensor
7. Horizontal load
8. Pressure pump
9. Acoustic Sensor
9
8
7
5
6
4
3
1
0
2
• Experiment Condition을 고정해 실험을 진행함
실험 별 1초당 10000개의 데이터를 수집하며, 5분의 실험을 반복적으로 수행함
Normal Bearing Dataset은 Train과 Test로 나누어 사용함
실험 Condition(환경 요인, 외부 요인)은 최대한 통제함, Bearing 회전속도(RPM), 수직 하중 등을 일정한 수치로 설정
Normal
Bearing
Outer race fault
Bearing
Figure 1
21. QSRA Lab
Bearing Simulation
Time Vibration Acoustic
0.0001 1.180616 -0.02097
0.0002 0.144769 -0.64248
0.0003 -0.97395 -0.51817
0.0004 -0.33172 -0.00025
0.0005 0.186203 0.020467
Nominal Bearing
Time Vibration Acoustic
0.0001 0.47624 -0.37316
0.0002 1.63639 -1.09825
0.0003 0.124052 -1.11897
0.0004 -3.79145 -0.39387
0.0005 -3.95719 -0.41459
Outer race fault Bearing
4. Experiment
Normal Signal Outlier Signal
Normal Bearing 과 Outer race fault Bearing을 구분 가능한 Fault Detection이 목표
정상, 이상 (Outer Race Fault) Bearing의 Vibration, Acoustic Signal Data를 수집함
정상 베어링과 이상 베어링의 Signal은 Vibration, Acoustic 모두 육안으로 차이를 구분하기 어려움
각 Signal 별 Feature를 추출하는 것은 매우 중요한 과정임 의미 있는 Feature를 추출하지 못한다면 정상과 이상을 구분하기 어려움
23. QSRA Lab
• 𝜶(Type 1 error) : 정상 상태 (통제 불가능한 요인)임에도 이상 상태 (통제 가능한 요인) 로 판단하는 오류
정상상태에서 발생하는 False Alarm으로 실제 공정에서는 Type 1 error에 민감함 공정의 정상 상태의 빈도 수가 이상 상태에 비해 매우 많기 때문임
• 𝐴𝑅𝐿0 =
1
𝜶
로써 공정이 정상상태임에도 불구하고 관리통계량이 관리 한계선 밖에 타점 되는 평균 단위 시간
𝐴𝑅𝐿0값이 클수록 좋은 관리도(Control Chart)라고 할 수 있음
• 𝜷(Type 2 error) : 이상 상태 (통제 가능한 요인) 임에도 불구하고 정상 상태 (통제 불가능한 요인)로 판단하는 오류
이상상태에서 발생하는 Type 2 error 실제 공정에서는 이상 상태는 정상 상태에 비해 빈도수가 적음
일부 공정에서는 Type 2 error에 민감하지만 대부분의 공정에서는 이상 상태에 비해 정상 상태의 빈도수가 매우 높기 때문에 Type 1 error을 줄이는 것이 더 큰 이슈임
• 𝐴𝑅𝐿1 =
1
1−𝜷
로써 공정이 이상 상태일 때, 관리통계량이 관리 한계선 밖에 타점 되는 평균 단위 시간
𝐴𝑅𝐿1 값이 작을수록 좋은 관리도(Control Chart)라고 할 수 있음
4. Experiment
Performance Measure
25. QSRA Lab
5. Result
Multivariate EWMA
• Phase 1 (Train Data 사용)
CNN-AE Technique
(𝛼 = 0.05, 𝜆= 0.05)
Statistical Technique
(𝛼 = 0.05, 𝜆= 0.05)
• Bootstrap 방법을 통해 관리 한계선을 계산함
설정한 𝛼 값만큼 관리 한계선을 벗어나는 Data가 필연적으로 발생함
만약 𝛼가 0.05라면 전체의 5%의 데이터가 관리 한계선을 벗어남
26. QSRA Lab
Phase 2
Test data 사용
Test Out
Test Normal
5. Result
Statistical Technique (𝜶 = 𝟎. 𝟎𝟓)
27. QSRA Lab
Phase 2
Test data 사용
Test Out
Test Normal
5. Result
Convolutional Auto-Encoder Technique (𝜶 = 𝟎. 𝟎𝟓)
28. QSRA Lab
Multivariate EWMA
• Table 1 – Statistical 방법의 경우 정상에 대해 이상으로 잘못 판단하는 비율(𝛼)이 약 37%로 3번에 한번은 False alarm이 발생한다. 반면, 제시한 방법인 CNN-AE의 𝛼는
5%로 생산자 위험인 False alarm 발생 비율이 비교 방법에 비해 현저히 적음을 알 수 있다.
• Table 2 – Statistical 방법에서 이상을 정상으로 잘못 판단하는 비율(𝛽)이 0.1%로 모든 이상 data를 잘 탐지했다. CNN-AE의 경우 AE의 𝛽값이 비교 방법에 비해 상대적으로
다소 높으나 6%로 큰 차이를 보이지는 않는다.
• Statistical 방법은 이상은 잘 탐지했으나 정상도 이상이라고 판단하는 비율이 매우 높기 때문에 실제로 사용하기에는 어려움이 존재한다. 반면 CNN-AE의 경우 기존 방법과
비교했을 때 , 𝛽는 상대적으로 다소 높지만 False alarm인 𝛼가 32%를 줄였기 때문에 이상치 탐지에 더 우수한 모델이라고 할 수 있다.
Table 1)
Table 2)
λ Test_Nor_0 Test_Nor_1 Test_Nor_2 Test_Nor_3 Test_Nor_4 Test_Nor_0 Test_Nor_1 Test_Nor_2 Test_Nor_3 Test_Nor_4
λ = 0.05 0.09 0.305 0.663 0.505 0.323 0.003 0.177 0.072 0.017 0
10.913 3.276 1.508 1.981 3.1 375.125 5.568 13.894 58.843 -
Multivariate EWMA
Phase 2 to Normal
Stat CAE
α & ARL 0
α
ARL 0
Average α
Average ARL 0
0.3772
4.1566
0.0538
113.3575
5. Result
Expected α =0.05, Expected ARL 0 = 200
λ Test_Out_0 Test_Out_1 Test_Out_2 Test_Out_3 Test_Out_4 Test_Out_0 Test_Out_1 Test_Out_2 Test_Out_3 Test_Out_4
λ = 0.05 0 0 0 0 0.005 0.023 0.223 0.05 0.015 0.004
1 1 1 1 1.005 1.024 1.295 1.053 1.015 1.004
Multivariate EWMA
Phase 2 to Out
Stat CAE
0.001
1.001
0.063
1.0782
β & ARL 1
β
ARL 1
Average β
Average ARL 1
30. QSRA Lab
6. Conclusion
1. 우리는 CNN-AE를 활용해 signal의 내재된 패턴을 추출하고 EWMA Control Chart를 통해 signal의 시계열성을 반영함으로써 보다
나은 이상치 탐지 모델을 제시하고자 함
2. 기존의 Statistical 방법론의 경우 𝛽는 낮고 𝜶는 37%로 매우 높은 수치를 보이지만, 우리의 CNN-AE 방법론은 𝛼는 5%, 𝛽는 6%로 기
존의 Statistical 방법론에 비해 𝛽가 다소 높아졌지만 실제 공정에서 큰 영향을 줄 수 있는 𝜶값을 32%p(84%) 줄였음
3. 기존의 다변량관리도인 T2가 반영하지 못하는 시계열 특성을 Multivariate EWMA를 통해 다변량 data에 시계열 특성을 반영 하였고,
CNN-AE를 추출된 Latent Variable의 시계열 특성을 충분히 반영하였다.
4. 따라서, 기존의 Statistical Methods보다 CNN-AE를 사용한 경우 더 좋은 탐지 결과가 나온 것으로 보아, 본 프로젝트의 CNN-AE가
Statistical Methods보다 더 효과적인 Feature Extraction 방법이라고 할 수 있음
31. QSRA Lab
Future Work
1. 현재까지는 Raw signal을 그대로 사용하였으나, CNN은 본래 이미지 data를 처리하는데 매우 효과적인 방법론이다.
따라서, signal data를 2-dimension data로 변환하는 다양한 기법들을 활용해 볼 예정임
2. 다양한 구조의 인공 신경망 모델을 실험 및 평가해볼 계획임
3. 더욱 많은 bearing simulation 으로 다양한 dataset에 대한 robustness를 평가해볼 계획임
4. 시 계열성을 반영하기 위해 EWMA 통계량을 적용함 시 계열성을 반영하기 위한 다른 통계량들도 적용해 볼 계획임
5. 기존 연구에서 수행되었던 1-Channel Signal Analytics 방법론들과의 비교 실험도 진행 할 예정임
6. Conclusion