A4 thread blockingisevil

Thread Blocking Is Evil 게임네트웍컴포넌트팀 김준현

ThreadBlocking

Non-Blocking &순차적 코드 작성

Why doesMulti-Thread matter?

“The Free Lunch is OVER.” Herb Sutter December 2004

Clock speedExecution optimizationCache

HyperthreadingMulticoreCache

Write Multithreaded Application

MULTITHREAD

CONCURRENCY

하지만현실은?

줄을 서서기다린다

도대체왜?

ThreadBlocking

Starvation Deadlock

Starvation

Task A Task B1: Lock 1: Sleep 1msec2: Sleep 2msec3: Unlock

Deadlock Hold & Wait

Thread A Thread B1A: Lock 1B: Lock2A: Request 2B: Send Response3A: Wait for Response 3B: Unlock4A: Do something with Response5A: Unlock

MyProblem

로비-룸 형태의 게임을 제작

Remote Procedure Call

처리 로직을 함수 단위로짜기 때문에 개발이 쉽다

방 입장 RPC 인증 RPCGame Client Room Lobby

Game Client Room Lobby 방 입장 RPC 호출 인증 RPC 호출 방 입장 RPC 인증 RPC 처리 로직 처리 로직 인증 RPC 반환 방 입장 RPC 반환

Game Client Room Lobby 방 입장 RPC 호출 인증 RPC 호출 Lobby 응답 지연 방 입장 RPC 인증 RPC 처리 로직 처리 로직 인증 RPC 반환 방 입장 RPC 반환

Game Client Room Lobby 방 입장 RPC 호출 인증 RPC 호출 Lobby 응답 지연 방 입장 RPC 인증 RPC 처리 로직 처리 로직Room서버 throughput 방 입장 RPC 반환 인증 RPC 반환 저하

악의 축은?

Game Client Room Lobby 방 입장 RPC 호출 인증 RPC 호출 Thread Blocking 인증 RPC 반환 방 입장 RPC 반환

RPC의 태생적 한계

처리 로직을 함수 단위로짜기 때문에 개발이 쉽다

처리 로직을 함수 단위로짜기 때문에 찢을 수 없다

RPC::Result* JoinRoom(…){ … RPC::Result answer = RPC::SyncCall(“VerifyLobbyUserToken”, …); …. return result;}

우리가 원하는 것

RPC의 장점인순차적 코드 작성Non-Blocking

가능한 해결책은?

RPC 이원화

방 입장 요청 RPC 인증 요청 RPCGame Client Room Lobby 방 입장 응답 RPC 인증 응답 RPC

Non-Blocking O 방 입장 요청 RPC 인증 요청 RPCGame Client Room Lobby 방 입장 응답 RPC 인증 응답 RPC 순차적 코딩 X

RPC 이원화

Thread Pool 분리

Room 방 입장 RPC 인증 RPCGame Client TP#1 Lobby TP#2 기타 RPCs

순차적 코딩 O Room 방 입장 RPC 인증 RPCGame Client TP#1 Lobby TP#2 기타 RPCs Non-Blocking X

Thread Pool 분리

이대로 끝인 거야?

Solution

AsynchronousProgramming

Request(callback, …)

Pros:Non-Blocking

Cons:Can’t Write Sequential CodeCan’t Use Stack VariableCan’t Split Programming Construct…

어렵다!

이대로 끝인 거야?

Coroutine

Similar to Thread

Line of Execution

Stack &Local Variable

Non-preemptive

Instruction:YieldYield BreakResume

Coroutine을제공하는 언어는?

C# Erlang HaskellJavaScript(since 1.7) Lua Perl Python(since 2.5) Ruby …

C++은?

손수 구현해야 한다

Windows: FiberLinux:getcontext/setcontextmakecontextswapcontext

AsynchronousProgramming + Coroutine

Non-Blocking &순차적 코드 작성

Solution forStarvation

Task A Task B1: Lock 1: Sleep 1msec2: Sleep 2msec3: Unlock

Task A Task BThread A 1: Sleep 1msec1: Create & Resume Coroutine 2: Request Lock 3: Yield Non-BlockingThread A‟4: Resume 5: Sleep 2msec 6: Yield Break7: Unlock Sequential Code

Solution forDeadlock Hold & Wait

Thread A Thread B1A: Lock 1B: Lock2A: Request 2B: Send Response3A: Wait for Response 3B: Unlock4A: Do something with Response5A: Unlock

Thread A Thread B1A: Lock 1B: Lock2A: Create & Resume Coroutine 2B: Send Response 3A: Request 3B: Unlock 4A: Yield Non-Blocking5A: UnlockThread A‟(invoked by response)6A’: Lock7A’: Resume 8A’: Do something with response 9A’: Yield Break10A’: Unlock Sequential Code

Solution forMy Problem

Game Client Room Lobby 방 입장 RPC 호출 인증 RPC 호출 Thread Blocking 인증 RPC 반환 방 입장 RPC 반환

룸 Thread 로비 서비스1R: 인증 요청 1L: 인증 요청 처리2R: 인증 응답 대기 2L: 인증 응답 보내기3R: 방 입장 처리

룸 Thread 로비 서비스1R: Create & Resume Coroutine 1L: 인증 요청 처리 2R: 인증 요청 2L: 인증 응답 보내기 3R: Yield Non-Blocking룸 Thread‟(invoked by response)4R’: Resume 5R’: 방 입장 처리 6R’: Yield Break Sequential Code

Request & WaitRequest & Yield

RPC의 장점인순차적 코드 작성Non-Blocking

Coroutine(Fiber) User-mode Scheduling Kernel-mode SchedulingThread CPU CPU CPU CPU

RPCCoroutine Execution Pool Thread Pool RPC Task Queue Network I/O Thread Pool

Network I/O RPC Task RPC Execution Coroutine Thread Queue Thread PoolNetwork Event task enqueue task dequeue acquire coroutine coroutine RPC start Execution yield returnNetwork resume Event task resume enqueue task dequeue resume yield break release coroutine pooling

Network I/O RPC Task RPC Execution RPC Execution Coroutine Thread Queue Thread 1 Thread 2 PoolNetwork Event task enqueue task dequeue acquire coroutine coroutine RPC resume Execution yield returnNetwork resume Event task resume enqueue task dequeue resume yield break release coroutine pooling

RPC::Result* JoinRoom(…){ … RPC::Result answer = RPC::SyncCall(“VerifyLobbyUserToken”, …); …. return result;}

RPC::Result* JoinRoom(…){ … RPC::Result answer = RPC::SyncCallYield(“VerifyLobbyUserToken”, …); …. return result;}

TPS 쓰래드 갯수

Wrap-up

“The free lunch is OVER.” Write Multithreaded Application CONCURRENCY

Thread Blocking is Evil Starvation Deadlock

AsynchronousProgramming + Coroutine

Non-Blocking + WritingSequential Code

Request & WaitRequest & Yield

Inspired by Jeffrey Richter ‘Simplified APM WithThe AsyncEnumerator’

완벽함이란더 이상 추가할 것이 없을때가 아니라더 이상 버릴 것이 없을때 완성된다. „성당과 시장‟에서

A4 thread blockingisevil

by deview on Oct 17, 2011

Accessibility

Categories

Upload Details

Usage Rights

2 Embeds 19

Statistics

A4 thread blockingisevil — Presentation Transcript

http://www.scoop.it	15
http://blog.naver.com	4