분산 트랙젝션
유승기, Software Engineer, MongoDB
큰 힘에는 책임이 따른다.
여러분들이 어떤 생각을
가지고 계시는 지 알고 있습니다.
하지만, 사실은…
MongoDB 는 ACID 를 준수 합니다.
(물론, 여러 샤드에서도 말이죠.)
트랜잭션을 지원함으로써 개발이 쉬워집니다.
트랜잭션 상태에 대해 개발자가 걱정할 필요가 없음
단일 명령문이 실패할 경우 Rollback/Abort 가 자동 처리
읽기와 쓰기의 특정 시점에서 일관성 유지
def insertDocuments(s):
s.client.db.col.insert_one({'abc': 1}, session=s)
s.client.db.col.insert_one({'xyz': 999}, session=s)
with client.start_session() as s:
s.with_transaction(insertDocuments);
New API MongoDB 4.2!
New in MongoDB 4.2 - Cross Shard Transactions
트랜잭션 보증
Multi- Collection
Database
Statement
Document
Shard
All or nothing execution
TXN
Application
MongoDB
Uncommitted Writes
{ Document 1 } { Document 2 }
{ Document 3 }
Committed Writes
Snapshot Isolation
100 101 102 103 104 105 106 107 108 109 110 111
Snapshot
102
Snapshot
108
Read Your Own Writes
Operation
Read
TXN
{_id: “OWNER12345”,
name: { first: “Aly”,
last: “Cabral”},
accountType: “Paid”,
pets: [ { type: “Dog”,
name: “Lady”}],
contact: { phoneNumber: 8008675309},
Address: { city: “New York”,
street: “94th”,
zipecode: 10025}}
Uncommitted Writes
street: “92nd”
Address.street = 94th
Address.street = 92nd
트랜잭션 가이드라인
기존 JSON 기반으로 한 모델링은 여전히 유효
트랜잭션은 가장 일반적으로 많이 쓰는 작업이 아니어야 함
세션을 통해 모든 명령문을 실행하여야함
트랜잭션은 항상 중단 가능하므로 재시도 로직을 구현 하여야함
불필요한 스냅샷을 열어 두면 안됨
쓰기 작업 충돌을 처리하기 위해선 반드시 같은 Doucment 에 대해 쓰기 작업을 수행하고
있어야 함
DDL 은 현재 지원되지 않음
분산 트랜잭션의 작동 방식
Majority Writes
Majority Write 는 어떤 기능 입니까?
ReplicaSet Cluster에 데이터가 견고하게 저장 되는 기능을 말합니다.
No Abiters
Participant (참가자)
특정 트랜잭션을 대신하여 작업을 실행하는 임의의 샤드
Coordinator
특정 트랜잭션에 대해 여러 샤드에 걸쳐 커밋을 조정하는
책임이 있는 단일 샤드
P
S
S
S
P
S
Query Router
Insert {_id : “abc”}Insert {_id : “xyz”}
Coordinator!
Commit transaction
모든 ReplicaSet Node 에서 커밋이 발생
트랜잭션이 없는 세상을 상상해보십시오.
“ 자체적으로 트랜잭션을 구현해서
실행할 때와 비교할 경우 MongoDB
트랜잭션을 실행할때 2배 이상 성능이
향상 되었습니다.”
분산 환경에서 성능 향상을 내기 위해서는
데이터를 한곳에 모아서
분산 환경에서 성능 향상을 내기 위해서는
하나의 샤드에 쓰기를 수행
Read Isolation
READ CONCERN = READ ISOLATION
Options: LOCAL, MAJORITY,
SNAPSHOT, LINEARIZABLE
흥미로운 점: ReadConcern Majority는
조회 결과를 가지고 오기 위해
노드간에 조정(Cooridnate) 를 할 필요가 없다.
Read
Concern:
Snapshot
P
S
S
P
S
S
P
S
S
time: 102
Majority
or
Local
time: 102 time: 110 time: 104
스냅샷 격리에는 많은 자원이 필요합니다.
모든 샤드는 시간에 대해 조정 작업이 필요함
트랜잭션이 발생하는 시간동안 동일한 스냅샷을
사용
Locking
쓰기
트랜잭션 내부
쓰기 작업은 Document 에 대핸 변경을 시도할때 잠금 획득을 시도한다.
잠금 획득을 성공 못했을 경우 해당 작업은 취소되며 롤백 된다.
트랜잭션 외부
쓰기 작업이 잠금 획득을 시도 하는데 실패하면 exponential back off 를 사용하여 다시 시도 한다.
읽기
쓰기 작업만 잠금 획득을 시도한다.
읽기 전용 트랜잭션이 수행되는 동안, 다른 트랜잭션이 Document 수정을 하게 되면 Stale
Read 가 가능해짐
Document 변경에 대한 트랜잭션이 실패하려면 동일한 Document 수정하고 있어야 한다.
4.2 에 새로 추가된 기능
16MB 이상의 트랜잭션 지원
MongoDB 4.0
{ <statement 1>,
<statement 2>,
<statement 3>,
<statement 4>}
MongoDB 4.2
{<statement 1>},
{<statement 2>},
{<statement 3>},
{<statement 4>}
그렇다고 해서 대량의 트랜잭션이
무한정 가능한 것은 아닙니다.
WiredTiger 는 스냅샷 이후에도 여전히 이력을 유지해야 합니다.
트랜잭션은 트랜잭션 수행시간 동안 동일한 스냅샷을 생성합니다.
트랜잭션은 60초 이후에 자동으로 중단 됩니다. – 변경가능
transactionLifetimeLimitSeconds
변경 가능한 샤드키 값
계층화된 스토리지: 저비용 스토리지 샤드에 오래된 Document 를 저장
글로벌-재분산 : Document 를 다른 지역으로 옮김
MongoDB 4.2 드라이버 사용
단일 샤드를 대상으로 하는 트랜잭션은 여러 샤드에 걸친 트랜잭션 보다
빠르게 수행됨
Best practice: 하나의 트랜잭션에 1,000 이하의 Document 를 수정
Arbiter 없음
청크 마이그레이션은 트랜잭션이 일어나는 동안 중지되어 트랜잭션이
끝난 이후 실행됨
Parting Wisdom
무료 ▪ 온라인 ▪ 9의 챕터로 구성
지금 등록 하십시오! -
https://university.mongodb.com/courses/M042/about
감사합니다!
분산 트랜잭션
[유승기]
https://www.research.net/r/DistributedTransactionsSeoul

분산 트랜잭션 - 큰힘에는 큰 책임이 따른다 [MongoDB]

  • 1.
    분산 트랙젝션 유승기, SoftwareEngineer, MongoDB 큰 힘에는 책임이 따른다.
  • 2.
    여러분들이 어떤 생각을 가지고계시는 지 알고 있습니다.
  • 3.
    하지만, 사실은… MongoDB 는ACID 를 준수 합니다. (물론, 여러 샤드에서도 말이죠.)
  • 4.
    트랜잭션을 지원함으로써 개발이쉬워집니다. 트랜잭션 상태에 대해 개발자가 걱정할 필요가 없음 단일 명령문이 실패할 경우 Rollback/Abort 가 자동 처리 읽기와 쓰기의 특정 시점에서 일관성 유지
  • 5.
    def insertDocuments(s): s.client.db.col.insert_one({'abc': 1},session=s) s.client.db.col.insert_one({'xyz': 999}, session=s) with client.start_session() as s: s.with_transaction(insertDocuments); New API MongoDB 4.2! New in MongoDB 4.2 - Cross Shard Transactions
  • 6.
  • 7.
  • 8.
    All or nothingexecution TXN Application MongoDB Uncommitted Writes { Document 1 } { Document 2 } { Document 3 } Committed Writes
  • 9.
    Snapshot Isolation 100 101102 103 104 105 106 107 108 109 110 111 Snapshot 102 Snapshot 108
  • 10.
    Read Your OwnWrites Operation Read TXN {_id: “OWNER12345”, name: { first: “Aly”, last: “Cabral”}, accountType: “Paid”, pets: [ { type: “Dog”, name: “Lady”}], contact: { phoneNumber: 8008675309}, Address: { city: “New York”, street: “94th”, zipecode: 10025}} Uncommitted Writes street: “92nd” Address.street = 94th Address.street = 92nd
  • 11.
  • 12.
    기존 JSON 기반으로한 모델링은 여전히 유효 트랜잭션은 가장 일반적으로 많이 쓰는 작업이 아니어야 함 세션을 통해 모든 명령문을 실행하여야함 트랜잭션은 항상 중단 가능하므로 재시도 로직을 구현 하여야함 불필요한 스냅샷을 열어 두면 안됨 쓰기 작업 충돌을 처리하기 위해선 반드시 같은 Doucment 에 대해 쓰기 작업을 수행하고 있어야 함 DDL 은 현재 지원되지 않음
  • 13.
  • 14.
    Majority Writes Majority Write는 어떤 기능 입니까? ReplicaSet Cluster에 데이터가 견고하게 저장 되는 기능을 말합니다. No Abiters
  • 15.
    Participant (참가자) 특정 트랜잭션을대신하여 작업을 실행하는 임의의 샤드 Coordinator 특정 트랜잭션에 대해 여러 샤드에 걸쳐 커밋을 조정하는 책임이 있는 단일 샤드
  • 16.
    P S S S P S Query Router Insert {_id: “abc”}Insert {_id : “xyz”} Coordinator! Commit transaction 모든 ReplicaSet Node 에서 커밋이 발생
  • 17.
    트랜잭션이 없는 세상을상상해보십시오. “ 자체적으로 트랜잭션을 구현해서 실행할 때와 비교할 경우 MongoDB 트랜잭션을 실행할때 2배 이상 성능이 향상 되었습니다.”
  • 18.
    분산 환경에서 성능향상을 내기 위해서는 데이터를 한곳에 모아서
  • 19.
    분산 환경에서 성능향상을 내기 위해서는 하나의 샤드에 쓰기를 수행
  • 20.
  • 21.
    READ CONCERN =READ ISOLATION Options: LOCAL, MAJORITY, SNAPSHOT, LINEARIZABLE 흥미로운 점: ReadConcern Majority는 조회 결과를 가지고 오기 위해 노드간에 조정(Cooridnate) 를 할 필요가 없다.
  • 22.
  • 23.
    스냅샷 격리에는 많은자원이 필요합니다. 모든 샤드는 시간에 대해 조정 작업이 필요함 트랜잭션이 발생하는 시간동안 동일한 스냅샷을 사용
  • 24.
  • 25.
    쓰기 트랜잭션 내부 쓰기 작업은Document 에 대핸 변경을 시도할때 잠금 획득을 시도한다. 잠금 획득을 성공 못했을 경우 해당 작업은 취소되며 롤백 된다. 트랜잭션 외부 쓰기 작업이 잠금 획득을 시도 하는데 실패하면 exponential back off 를 사용하여 다시 시도 한다.
  • 26.
    읽기 쓰기 작업만 잠금획득을 시도한다. 읽기 전용 트랜잭션이 수행되는 동안, 다른 트랜잭션이 Document 수정을 하게 되면 Stale Read 가 가능해짐 Document 변경에 대한 트랜잭션이 실패하려면 동일한 Document 수정하고 있어야 한다.
  • 27.
    4.2 에 새로추가된 기능
  • 28.
    16MB 이상의 트랜잭션지원 MongoDB 4.0 { <statement 1>, <statement 2>, <statement 3>, <statement 4>} MongoDB 4.2 {<statement 1>}, {<statement 2>}, {<statement 3>}, {<statement 4>}
  • 29.
    그렇다고 해서 대량의트랜잭션이 무한정 가능한 것은 아닙니다. WiredTiger 는 스냅샷 이후에도 여전히 이력을 유지해야 합니다. 트랜잭션은 트랜잭션 수행시간 동안 동일한 스냅샷을 생성합니다. 트랜잭션은 60초 이후에 자동으로 중단 됩니다. – 변경가능 transactionLifetimeLimitSeconds
  • 30.
    변경 가능한 샤드키값 계층화된 스토리지: 저비용 스토리지 샤드에 오래된 Document 를 저장 글로벌-재분산 : Document 를 다른 지역으로 옮김
  • 31.
    MongoDB 4.2 드라이버사용 단일 샤드를 대상으로 하는 트랜잭션은 여러 샤드에 걸친 트랜잭션 보다 빠르게 수행됨 Best practice: 하나의 트랜잭션에 1,000 이하의 Document 를 수정 Arbiter 없음 청크 마이그레이션은 트랜잭션이 일어나는 동안 중지되어 트랜잭션이 끝난 이후 실행됨 Parting Wisdom
  • 32.
    무료 ▪ 온라인▪ 9의 챕터로 구성 지금 등록 하십시오! - https://university.mongodb.com/courses/M042/about
  • 33.
  • 34.