EXEM research&contents team

1. 제 5회 엑셈 수요 세미나 자료
EXEM seminar report no. 005 (2016.06.23)
Research & Contents Team

2. Table of Agenda
© Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
01.
02.
[MySQL] MVCC 기능 분석을 위한 page dump
[PostgreSQL] vacuum의 거의 모든 것 (1차)

3. Oracle Deep Internal
© Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
01. [MySQL] MVCC 기능 분석을 위한 page dump
발표자: 연구컨텐츠팀 이근오

4. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
MVCC 테스트
INSERT “A”
Session 1 Session 2
“Repeatable read, Read only” 설정
Session1 : T1 테이블에 INSERT “A”
Session2 : “REPEATABLE READ, READ ONLY ;” 설정으로 “17:04:51” 시점 데이타 조회  P1,P2,P3 모두 “A” 조회

5. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
MVCC 테스트
UPDATE “B”
Session 1 Session 3
Session 2
Session1 : T1 테이블에 UPDATE “B” WHERE “P1”
Session2 : “REPEATABLE READ, READ ONLY ;” 설정으로 “17:04:51” 시점데이타 조회  P1,P2,P3 = “A” 조회  MVCC 구현확인
Session3 : “REPEATABLE READ, READ ONLY ;” 설정으로 “17:05:31” 시점데이타 조회  P1 =“B” P2,P3=“A” 조회
“Repeatable read, Read only” 설정

6. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
MVCC 테스트
UPDATE “C”
Session 1 Session 4Session 2
Session 3
Session1 : T1 테이블에 UPDATE “C” WHERE “P1”
Session2 : “REPEATABLE READ, READ ONLY ;” 설정으로 “17:04:51” 시점데이타 조회  P1,P2,P3 = “A” 조회
Session3 : “REPEATABLE READ, READ ONLY ;” 설정으로 “17:05:31” 시점데이타 조회  P1 =“B” P2,P3=“A” 조회  MVCC 구현확인
Session4 : “REPEATABLE READ, READ ONLY ;” 설정으로 “17:05:58” 시점데이타 조회  P1 =“C” P2,P3=“A” 조회  MVCC 구현확인
“Repeatable read, Read only” 설정

7. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
https://dev.mysql.com/doc/internals/en/innodb-page-example.html
MySQL Internals Manual
MySQL 홈페이지에 게시되어 있는
MySQL Internals Manual - Dump 예시

8. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
MySQL Internals
INSERT “QQ1”,“A” 후 Dump (TABLE) INSERT “QQ1”,“A” 후 Dump (UNDO)
T1 테이블에 INSERT “A”를 실행한 후, TABLE PAGE(t1.ibd 파일)와 UNDO PAGE(ibdata1 파일)의
Dump 결과를 확인해보면 동일한 데이터가 저장된 것을 확인할 수 있다.
“QQ2”,“A”
“QQ3”,“A”
“QQ2”,“A”
“QQ3”,“A”

9. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
MySQL Internals
UPDATE “B” WHERE “QQ1” 후 Dump (TABLE) UPDATE “B” WHERE “QQ1” 후 Dump (UNDO)
T1 테이블에 UPDATE “B”를 실행하고 TABLE PAGE(t1.ibd 파일)
와 UNDO PAGE(ibdata1 파일)의 Dump 결과를 확인해 보면
1. TABLE PAGE : “B”로 변경됨
2. UNDO PAGE : 처음 “A”로 INSERT한 데이터와
UPDATE “B” 데이터가 저장된 것을 확인.
 MySQL에서 MVCC 구현을 UNDO 페이지에 페이지를 저장
해서 구현하는 것으로 추정됨.

10. Oracle Deep Internal
© Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
02. [PostgreSQL] vacuum의 거의 모든 것 (1차)
발표자: 연구컨텐츠팀 김숙진

11. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
1. Vacuum 정의 및 필요성
1) 변경 및 삭제된 자료들이 차지하고 있는 디스크 공간을 확보하기 위해서
2) Query Planner가 사용할 자료의 통계 정보를 갱신하기 위해서
3) 실자료 지도(visibility map, VM)의 정보를 갱신하기 위해서
(VM은 인덱스 전용의 검색 성능을 향상시키기 위해 사용함)
4) 트랜잭션 id가 겹침으로 인해 오래된 자료의 손실이 발생하는 것을 방지하기 위해서
2. Vacuum의 필요성
1. Vacuum의 정의 PostgreSQL에서 특정 튜플을 update하거나 delete 한다고 해서 해당 영역이 자동으로 재사용되
거나 사라지지 않는다. 이렇게 오래된 영역을 정리하여 공간을 반환하는 명령어가 Vacuum이다.
≒ 디스크 조각 모음
VM (Visibility Map)
실제 사용하는 자료의 정보만 보관,
FSM과 반대로 사용 공간에 대한 정보를 저장

12. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
FSM
(Free Space Map)
2. Vacuum 실행 구조
FSM (Free Space Map) : Vacuum의 기준
• 페이지의 빈 공간에 대한 정보를 보관
• 데이터베이스 내에 사용하지 않은 공간의 위치를 추적
Oracle, InnoDB는 undo(rollback) segment를 사용하여 MVCC 구현하는 반면, PostgreSQL는 내부 페이지를 사용함.
즉, update, delete된 행을 즉시 제거하지 않고, 이 공간을 VACUUM 작업을 통해서 반환함.
기존 테이블
ID NAME
1 Test1
2 Test2
3 Test3
4 Test4
5 Test5
변경 테이블
ID NAME
1 Test1
2 Test2
3 Test3
4 Test4
5 Test5
3 Test03
• Test3을 Test03으로 변경
• Test5를 삭제
참고: http://blog.gaerae.com/2015/09/postgresql-vacuum-fsm.html

13. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
FSM
(Free Space Map)
2. Vacuum 실행 구조
기존 테이블
ID NAME
1 Test1
2 Test2
3 Test3
4 Test4
5 Test5
3 Test03
변경 테이블
ID NAME
1 Test1
2 Test2
3 Test3
4 Test4
6 Test6
3 Test03
• Test 6 추가
6 Test6
• 새로운 데이터 insert시, FSM 확인 후 빈 공간에 데이터 추가
참고: http://blog.gaerae.com/2015/09/postgresql-vacuum-fsm.html

14. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
변경 테이블
ID NAME
1 Test1
2 Test2
4 Test4
6 Test6
3 Test03
기존 테이블
ID NAME
1 Test1
2 Test2
3 Test3
4 Test4
6 Test6
3 Test03
• Vacuum 실행하면 불필요한 정보가 삭제
Vacuum
참고: http://blog.gaerae.com/2015/09/postgresql-vacuum-fsm.html
2. Vacuum 실행 구조

15. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
3. 표준 vacuum VS Vacuum full
표준 vacuum Vacuum full
처리 방식
• 다른 자료가 저장될 수 있도록 빈 공간으로 표시
• OS 입장에서는 디스크의 여유 공간 확보가 불가
• 새 파일에 저장하는 방식 (pg_class의 relfilenode값이
변경)
• OS 입장에서 디스크의 여유 공간 확보가 가능
• 최적의 물리적 크기로 테이블 생성
처리 속도 vacuum full 보다는 시간이 적게 걸림 처리 속도가 매우 느려 시간이 오래 걸림
Lock 여부
여러 다른 작업들과 함께 사용 가능
Select, update, insert, delete (단, ALTER TABLE는 안됨)
해당 테이블에 배타적 잠금을 지정하기 때문에 어떤 작
업도 함께 사용할 수 없음

16. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
3. 표준 vacuum VS Vacuum full
[postgres@153_40 base]$ createdb vac
[postgres@153_40 base]$ oid2name | grep vac
1237571 vac pg_default
[postgres@153_40 base]$ cd 1237571/
[postgres@153_40 1237571]$ psql -d vac
(postgres@[local]:5432) [vac] > ! pwd
/usr/local/pgsql/data/base/1237571
(postgres@[local]:5432) [vac] > ! ls | head -5
12735
12735_fsm
12735_vm
12737
12737_fsm
(postgres@[local]:5432) [vac] > create table myt(id integer);
CREATE TABLE
(postgres@[local]:5432) [vac] > select pg_relation_filepath('myt');
pg_relation_filepath
----------------------
base/1237571/1237584
(1 row)
(postgres@[local]:5432) [vac] > ! ls -lt 123*
-rw------- 1 postgres postgres 0 Jun 21 16:10 1237584
Vacuum과 vacuum full 비교 시나리오

17. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
3. 표준 vacuum VS Vacuum full
(postgres@[local]:5432) [vac] > select pg_total_relation_size('myt');
pg_total_relation_size
------------------------
0
(1 row)
(postgres@[local]:5432) [vac] > insert into myt select generate_series(1,100000);
INSERT 0 100000
(postgres@[local]:5432) [vac] > select pg_total_relation_size('myt');
pg_total_relation_size
------------------------
3653632
(1 row)
(postgres@[local]:5432) [vac] > ! ls -lt | head -5
total 10380
-rw------- 1 postgres postgres 3629056 Jun 21 16:12 1237584
-rw------- 1 postgres postgres 65536 Jun 21 16:12 12764
-rw------- 1 postgres postgres 57344 Jun 21 16:12 12767
-rw------- 1 postgres postgres 32768 Jun 21 16:12 12744
(postgres@[local]:5432) [vac] > delete from myt where id > 5 and id < 100000;
DELETE 99994
(postgres@[local]:5432) [vac] > select pg_total_relation_size('myt');
pg_total_relation_size
------------------------
3653632
(1 row)

18. © Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.
3. 표준 vacuum VS Vacuum full
(postgres@[local]:5432) [vac] > vacuum myt;
VACUUM
(postgres@[local]:5432) [vac] > select pg_total_relation_size('myt');
pg_total_relation_size
------------------------
3661824
(1 row)
(postgres@[local]:5432) [vac] > insert into myt select generate_series(1,1000);
INSERT 0 1000
(postgres@[local]:5432) [vac] > select pg_total_relation_size('myt');
pg_total_relation_size
------------------------
3661824
(1 row)
(postgres@[local]:5432) [vac] > ! ls -lt 123*
-rw------- 1 postgres postgres 8192 Jun 21 16:13 1237584_vm
-rw------- 1 postgres postgres 3629056 Jun 21 16:12 1237584
-rw------- 1 postgres postgres 24576 Jun 21 16:11 1237584_fsm
(postgres@[local]:5432) [vac] > vacuum full myt;
VACUUM
(postgres@[local]:5432) [vac] > select pg_total_relation_size('myt');
pg_total_relation_size
------------------------
40960
(1 row)
(postgres@[local]:5432) [vac] > select pg_relation_filepath('myt');
pg_relation_filepath
----------------------
base/1237571/1237587
(1 row)
(postgres@[local]:5432) [vac] > ! ls -lt | head -5
total 6852
-rw------- 1 postgres postgres 0 Jun 21 16:14 1237584
-rw------- 1 postgres postgres 40960 Jun 21 16:14 1237587
-rw------- 1 postgres postgres 65536 Jun 21 16:12 12764
-rw------- 1 postgres postgres 57344 Jun 21 16:12 12767
pg_class의 relfilenode값, relation filepath 변경
디스크에 저장된 물리적인 파일의 위치를 찾는 쿼리 :
SELECT oid, pg_relation_filepath(oid), relname, relfilenode FROM pg_class LIMIT 10;
다른 자료가 저장될 수 있도록 빈 공간으로 표시
그래서 Insert 1000건을 해도 용량의 변화가 없음
새로운 빈 공간을 만들고, 이 공간에 변경 전의 튜플들을
옮기고 기존 파일에서 삭제
Vacuum full표준 vacuum
base/1237571/1237584
Vacuum 작업 후, vm 생성
Vacuum verbose [테이블명] ;
Verbose : 해당 테이블에 대한 자세한 vacuum 활동 보고를 나타냄

19. Research & Contents
Blog
Video
E-mail
NAVER http://cafe.naver.com/playexem
ITPUB http://blog.itpub.net/31135309/
Wordpress https://playexem.wordpress.com/
Slideshare http://www.slideshare.net/playexem
Youtube https://www.youtube.com/channel/UC5wKR
_-A0eL_Pn_EMzoauJg
Tudou http://www.tudou.com/home/maxgauge/
교육문의: 연구컨텐츠팀 김숙진
edu@ex-em.com
© Copyrights 2001~2016, EXEM CO.,LTD. All Rights Reserved.