SlideShare a Scribd company logo
1 of 19
Download to read offline
코딩 더 매트릭스
Ch11. 특수기저
아꿈사 김진성
11 특수 기저 Intro
• 이 장은 우선 기저의 변경에 대해서 이야기를 시작하고 k-
스파스를 이용한 행렬 연산의 변환을 이야기 한다.
• k-스파스를 이용한 변환의 경우 큰 이미지나 동영상 등을
압축하면 그 시간이 다소 비현실적이다.
• 이 계산을 간략하게 해주는 역할로 특수 기저를 사용한다.
• 특수 기저로 다루는 내용은 크게 웨이브릿 변환과 푸리에
변환이다.
11.1 가장 가까운 

k-스파스 벡터
• Input : 벡터 b , 정수 k
• Output : b에 가장 가까운 k-스파스 벡터 b
• 이 계산은 compression by suppression이라는 프로시저
를 통해서 계산하여 압축할 수 있지만 결과는 알아보기 힘
듬.
~
423p. 이미지 424p. 이미지
11.2 주어진 기저에 대한 표현이
k-스파스인 가장 가까운 벡터
• 앞과 같이 compression by supperssion에 의해 압축을
하게 되면 이미지를 알아보기 힘듬
• 이를 해결하기 위한 방법으로 주어진 기저로 된 표현이 스
파스인 가장 가까운 벡터를 구한다.
• 이제는 기저의 특수한 상황을 알아 보면 기저가
가 정규직교하는 경우에 대해서 알아본다.
• Q는 직교행렬이고 Q의 역행렬을 Q (Corollary 10.7.3에
의거)

Qx=b -> x=Q b
• 하지만 이 연산은 100만 화소의 경우나 동영상의 경우는 연산
을 해야 하는 양이 너무 많으므로 계산을 간략하게 하기 위하여
웨리브릿기저를 사용한다.
• 정규직교 기저의 장점 중에 norm(거리)를 

보존한다.
• 그람-슈미트과정에 의해 정규직교 기저를 

정의했다.
T
T
기저의 모든성분
벡터가 직교
직교기저
성분벡터의 norm = 1
정규직교기저
• 의 증명
결론
11.3 웨이브릿(Wavelets)
• 정의 : 효율적으로 한정된 구간에서 지속되며 그 평균값이
0인 파동형태 (정규직교기저를 사용하여 계산)

이미지나 파형을 블록화하여 평균값으로 샘플링한다.
• 1차원 “이미지”
• Vn을 직합으로 분해(직교여공간을 고려)
• 웨이브릿 기저

의 투영
정리 :
나열화
투영연산
직교
• 투영연산을 통해 평균을 구하여 표현



에서 빼면
• 이 과정을 반복하여 최종적으로



을 구할 수 있다.
• V1에 대한 기저
-벡터의 제곱 norm
• 웨이브렛 변환의 핵심은 선형결합에 있고 그 베이스는 정
규직교 기저에 있다.

그래서 모든 연산의 표현은 선형결합으로 이루어져 있다.
• 첫단계의 계수 계산 과정
• 웨이브렛의 분해
• 웨이브릿 계수(계수의 차를 표현)
총 15개의 웨이브릿 계수
• 지금까지는 기저들을 표현하는데 norm의 값이 1이 아니기
때문에 정규직교 기저가 아니다

정규직교 기저가 되기 위해서는 norm의 값을 1로 만들어
야 하기 때문에 정규화계산을 하여 정규직교 기저로 만들
수 있다.
• 기존의 선형결합으로 

여기서 벡터 에 벡터 의 스칼라 값을 나눠 주어 단위
벡터로 바꾸어 준다.

11.4 다항식 평가와 인터
폴레이션
• 인터폴레이션의 정의 : 통계적 혹은 실험적으로 구해진 데
이터들(xi)로부터, 주어진 데이터를 만족하는 근사 함수
(f(x))를 구하고, 

이 식을 이용하여 주어진 변수에 대한 함수 값을 구하는
일련의 과정을 의미
• 이고 이 모두 다를 경우, 

이를 가역함수
11.5 푸리에 변환(Fourier
transform)
• 정의 : 시간에 대한 함수 (혹은 신호) 를 함수를 구성하고
있는 주파수 성분으로 분해하는 작업
• 푸리에 변환의 직관적인 이해는 주기함수를 이루는 사인
파를 이용하여 각각의 주기함수들의 진폭과 주기, 강도등
을 중첩하여 하나의 파동으로 변환한다.



그림은 하나의 예
푸리에 변환 (그림출처: 위키피디아)
11.6 이산 푸리에 변환
• 먼저 푸리에 급수의 각 항의 값을 이산적으로 풀어나 나열
하여 이해하기 위해서 n개의 스톱워치를 통해 설명
• 는 시간이 증가함에 따라 속도는 다르지만 반지름이
인 원을 따라 돈다.
• 일 때, 나열하여 주기가
n/k임을 확인할 수 있다.
• 기저 함수 샘플링
푸리에 계수
• 푸리에 역행렬은 푸리에 행렬과 모양이 비슷하여 행렬이
형태중에서 특수한 경우이다.
• 푸리에 역행렬의 핵심 :
• 패스트 푸리에 변환(FFT)

FFT 전제 조건 : n=2의 거듭제곱,
• FFT 알고리즘

1) 짝수번과 홀수번으로 나누어서 구성







2) 나눈 방정식을 다음과 같이 표현
11.7 복소수의 필드에 대
한 내적
• 복소수 필드상의 벡터들의 내적
• 복소수 필드상의 자기자신과의 내적은 음이 아닌 실수다.





• 복소수 필드상의 norm
11.8 순환행렬
• 순환행렬의 일반적인 형태





• 순환행렬과 푸리에 행렬의 곱은 계산의 양을 확줄여준다.

같은값
순서

More Related Content

Similar to Ch11.특수기저

[컴퓨터비전과 인공지능] 6. 역전파 2
[컴퓨터비전과 인공지능] 6. 역전파 2[컴퓨터비전과 인공지능] 6. 역전파 2
[컴퓨터비전과 인공지능] 6. 역전파 2jdo
 
Coursera Machine Learning (by Andrew Ng)_강의정리
Coursera Machine Learning (by Andrew Ng)_강의정리Coursera Machine Learning (by Andrew Ng)_강의정리
Coursera Machine Learning (by Andrew Ng)_강의정리SANG WON PARK
 
[컴퓨터비전과 인공지능] 7. 합성곱 신경망 1
[컴퓨터비전과 인공지능] 7. 합성곱 신경망 1[컴퓨터비전과 인공지능] 7. 합성곱 신경망 1
[컴퓨터비전과 인공지능] 7. 합성곱 신경망 1jdo
 
제어-물리적시스템의 수학적모델링
제어-물리적시스템의 수학적모델링제어-물리적시스템의 수학적모델링
제어-물리적시스템의 수학적모델링jdo
 
Pose Graph based SLAM
Pose Graph based SLAMPose Graph based SLAM
Pose Graph based SLAMEdwardIm1
 
[한글] Tutorial: Sparse variational dropout
[한글] Tutorial: Sparse variational dropout[한글] Tutorial: Sparse variational dropout
[한글] Tutorial: Sparse variational dropoutWuhyun Rico Shin
 

Similar to Ch11.특수기저 (6)

[컴퓨터비전과 인공지능] 6. 역전파 2
[컴퓨터비전과 인공지능] 6. 역전파 2[컴퓨터비전과 인공지능] 6. 역전파 2
[컴퓨터비전과 인공지능] 6. 역전파 2
 
Coursera Machine Learning (by Andrew Ng)_강의정리
Coursera Machine Learning (by Andrew Ng)_강의정리Coursera Machine Learning (by Andrew Ng)_강의정리
Coursera Machine Learning (by Andrew Ng)_강의정리
 
[컴퓨터비전과 인공지능] 7. 합성곱 신경망 1
[컴퓨터비전과 인공지능] 7. 합성곱 신경망 1[컴퓨터비전과 인공지능] 7. 합성곱 신경망 1
[컴퓨터비전과 인공지능] 7. 합성곱 신경망 1
 
제어-물리적시스템의 수학적모델링
제어-물리적시스템의 수학적모델링제어-물리적시스템의 수학적모델링
제어-물리적시스템의 수학적모델링
 
Pose Graph based SLAM
Pose Graph based SLAMPose Graph based SLAM
Pose Graph based SLAM
 
[한글] Tutorial: Sparse variational dropout
[한글] Tutorial: Sparse variational dropout[한글] Tutorial: Sparse variational dropout
[한글] Tutorial: Sparse variational dropout
 

More from 진성 김

Ch12.특이값분해
Ch12.특이값분해Ch12.특이값분해
Ch12.특이값분해진성 김
 
코딩더매트릭스 3장
코딩더매트릭스 3장코딩더매트릭스 3장
코딩더매트릭스 3장진성 김
 
머신러닝가이드 Ch12트리학습
머신러닝가이드 Ch12트리학습머신러닝가이드 Ch12트리학습
머신러닝가이드 Ch12트리학습진성 김
 
머신러닝가이드 Ch7 김진성
머신러닝가이드 Ch7 김진성머신러닝가이드 Ch7 김진성
머신러닝가이드 Ch7 김진성진성 김
 

More from 진성 김 (6)

Nlp word2vec
Nlp word2vecNlp word2vec
Nlp word2vec
 
Ch12.특이값분해
Ch12.특이값분해Ch12.특이값분해
Ch12.특이값분해
 
코딩더매트릭스 3장
코딩더매트릭스 3장코딩더매트릭스 3장
코딩더매트릭스 3장
 
3장 lu분해
3장 lu분해3장 lu분해
3장 lu분해
 
머신러닝가이드 Ch12트리학습
머신러닝가이드 Ch12트리학습머신러닝가이드 Ch12트리학습
머신러닝가이드 Ch12트리학습
 
머신러닝가이드 Ch7 김진성
머신러닝가이드 Ch7 김진성머신러닝가이드 Ch7 김진성
머신러닝가이드 Ch7 김진성
 

Ch11.특수기저

  • 1. 코딩 더 매트릭스 Ch11. 특수기저 아꿈사 김진성
  • 2. 11 특수 기저 Intro • 이 장은 우선 기저의 변경에 대해서 이야기를 시작하고 k- 스파스를 이용한 행렬 연산의 변환을 이야기 한다. • k-스파스를 이용한 변환의 경우 큰 이미지나 동영상 등을 압축하면 그 시간이 다소 비현실적이다. • 이 계산을 간략하게 해주는 역할로 특수 기저를 사용한다. • 특수 기저로 다루는 내용은 크게 웨이브릿 변환과 푸리에 변환이다.
  • 3. 11.1 가장 가까운 
 k-스파스 벡터 • Input : 벡터 b , 정수 k • Output : b에 가장 가까운 k-스파스 벡터 b • 이 계산은 compression by suppression이라는 프로시저 를 통해서 계산하여 압축할 수 있지만 결과는 알아보기 힘 듬. ~ 423p. 이미지 424p. 이미지
  • 4. 11.2 주어진 기저에 대한 표현이 k-스파스인 가장 가까운 벡터 • 앞과 같이 compression by supperssion에 의해 압축을 하게 되면 이미지를 알아보기 힘듬 • 이를 해결하기 위한 방법으로 주어진 기저로 된 표현이 스 파스인 가장 가까운 벡터를 구한다.
  • 5. • 이제는 기저의 특수한 상황을 알아 보면 기저가 가 정규직교하는 경우에 대해서 알아본다. • Q는 직교행렬이고 Q의 역행렬을 Q (Corollary 10.7.3에 의거)
 Qx=b -> x=Q b • 하지만 이 연산은 100만 화소의 경우나 동영상의 경우는 연산 을 해야 하는 양이 너무 많으므로 계산을 간략하게 하기 위하여 웨리브릿기저를 사용한다. • 정규직교 기저의 장점 중에 norm(거리)를 
 보존한다. • 그람-슈미트과정에 의해 정규직교 기저를 
 정의했다. T T 기저의 모든성분 벡터가 직교 직교기저 성분벡터의 norm = 1 정규직교기저
  • 7. 11.3 웨이브릿(Wavelets) • 정의 : 효율적으로 한정된 구간에서 지속되며 그 평균값이 0인 파동형태 (정규직교기저를 사용하여 계산)
 이미지나 파형을 블록화하여 평균값으로 샘플링한다. • 1차원 “이미지”
  • 8. • Vn을 직합으로 분해(직교여공간을 고려) • 웨이브릿 기저
 의 투영 정리 : 나열화 투영연산 직교
  • 9. • 투영연산을 통해 평균을 구하여 표현
 
 에서 빼면 • 이 과정을 반복하여 최종적으로
 
 을 구할 수 있다. • V1에 대한 기저 -벡터의 제곱 norm
  • 10. • 웨이브렛 변환의 핵심은 선형결합에 있고 그 베이스는 정 규직교 기저에 있다.
 그래서 모든 연산의 표현은 선형결합으로 이루어져 있다. • 첫단계의 계수 계산 과정
  • 12. • 웨이브릿 계수(계수의 차를 표현) 총 15개의 웨이브릿 계수
  • 13. • 지금까지는 기저들을 표현하는데 norm의 값이 1이 아니기 때문에 정규직교 기저가 아니다
 정규직교 기저가 되기 위해서는 norm의 값을 1로 만들어 야 하기 때문에 정규화계산을 하여 정규직교 기저로 만들 수 있다. • 기존의 선형결합으로 
 여기서 벡터 에 벡터 의 스칼라 값을 나눠 주어 단위 벡터로 바꾸어 준다.

  • 14. 11.4 다항식 평가와 인터 폴레이션 • 인터폴레이션의 정의 : 통계적 혹은 실험적으로 구해진 데 이터들(xi)로부터, 주어진 데이터를 만족하는 근사 함수 (f(x))를 구하고, 
 이 식을 이용하여 주어진 변수에 대한 함수 값을 구하는 일련의 과정을 의미 • 이고 이 모두 다를 경우, 
 이를 가역함수
  • 15. 11.5 푸리에 변환(Fourier transform) • 정의 : 시간에 대한 함수 (혹은 신호) 를 함수를 구성하고 있는 주파수 성분으로 분해하는 작업 • 푸리에 변환의 직관적인 이해는 주기함수를 이루는 사인 파를 이용하여 각각의 주기함수들의 진폭과 주기, 강도등 을 중첩하여 하나의 파동으로 변환한다.
 
 그림은 하나의 예 푸리에 변환 (그림출처: 위키피디아)
  • 16. 11.6 이산 푸리에 변환 • 먼저 푸리에 급수의 각 항의 값을 이산적으로 풀어나 나열 하여 이해하기 위해서 n개의 스톱워치를 통해 설명 • 는 시간이 증가함에 따라 속도는 다르지만 반지름이 인 원을 따라 돈다. • 일 때, 나열하여 주기가 n/k임을 확인할 수 있다. • 기저 함수 샘플링 푸리에 계수
  • 17. • 푸리에 역행렬은 푸리에 행렬과 모양이 비슷하여 행렬이 형태중에서 특수한 경우이다. • 푸리에 역행렬의 핵심 : • 패스트 푸리에 변환(FFT)
 FFT 전제 조건 : n=2의 거듭제곱, • FFT 알고리즘
 1) 짝수번과 홀수번으로 나누어서 구성
 
 
 
 2) 나눈 방정식을 다음과 같이 표현
  • 18. 11.7 복소수의 필드에 대 한 내적 • 복소수 필드상의 벡터들의 내적 • 복소수 필드상의 자기자신과의 내적은 음이 아닌 실수다.
 
 
 • 복소수 필드상의 norm
  • 19. 11.8 순환행렬 • 순환행렬의 일반적인 형태
 
 
 • 순환행렬과 푸리에 행렬의 곱은 계산의 양을 확줄여준다.
 같은값 순서