NDC2015 라이브 프로파일러 작성기 발표자료

1. 언제 어디서나 프로파일링!
JYP, 개발 중이나 배포 후에도
NEXON 인프라기술팀
하재승

2. 프로파일을 여러 상황에서 자주 수행하기 위해
범용 프로파일러를 작성한 경험의 공유
구현에 초점
개발 알파 버전
Windows용 온라인 게임으로 제한
기초적인 수준의 결과 분석
발표 목표

3. 프로파일링?

4. 성능 문제를 확인하기 위한 동적 분석 도구
프로그램 실행 중의
메모리 사용량, 수행 시간/횟수 등을 수집
프로파일러

5. 프로파일링 방식 (CPU)
샘플링
주기적으로 실행 정보를 수집
코드 삽입
측정할 부분에 코드를 삽입하여 수집
그 외
JYP에선 샘플링 방식을 이용해 구현

6. Self, Deep, Total count
샘플링으로 콜스택을 수집
호출 순서: A → B → C → D
D는 스스로가 실행 중에 샘플링됨 → Self ++
A, B, C가 콜스택에 존재하는 상태
→ A, B, C의 Deep ++
모두의 Total ++

7. 참고자료
최적화와 프로파일링
NDC 2008, 송창규님
사례를 통해 살펴보는 프로파일링과 최적화
NDC 2013, 김이선님
프로파일러를 이용한 게임 클라이언트 최적화
KGC 2014, 김종원님

8. 한계
지속적으로 성능 문제를 확인하며 개선해야 함
특정 환경, 특정 시점에서만 재현되는 경우
비개발자 머신에서 발생했을 때
이미 유저에게 배포한 이후
재현된 컴퓨터에 프로파일러 설치하고 attach?
(*VerySleepy)

9. 라이브 프로파일러 JYP

10. 언제든 프로파일링을 할 수 있게
간단한 준비
제공하는 Library를 사용하거나
코드 변경 없이 외부에서 Injection
수집된 내용이 서버로 전송되어 분석
분석 시점에 PDB 파일이 필요 (서버)

11. 배포 후에도 된다더니? (1)
배포 시 보안프로그램이 적용
nProtect, HackShield, XignCode 등
외부 툴 사용이 제한됨
디버거, ReadProcessMemory,
CreateRemoteThread, …

12. 배포 후에도 된다더니? (2)
프로그램 내부에서 수집은 가능
→ Library 통해 JYP 적용시 잘 동작
→ 렉걸리는 집 컴퓨터에서도 바로 성능 테스트
→ ??!?!?!
→ PROFIT!!!

13. 개발 관련 또는 개인 정보 유출 가능성
수집되는 정보
실행 중인 프로그램의 스택 값
읽어들인 모듈 정보
= minidump를 통해 수집되는 정보와 동일
PDB는 노출되지 않음
분석 작업은 서버에서만 이루어짐

14. 대상 프로그램
JYP Client JYP Controller
Binary
User
Web
JYP Server

15. 컨트롤러 프로그램으로 시작/중지
수집한 내용을 서버로 전송 후 분석
웹 인터페이스를 통해 결과 확인

16. 컨트롤러 프로그램으로 시작/중지
수집한 내용을 서버로 전송 후 분석
웹 인터페이스를 통해 결과 확인

17. 시연

18. 테스트 클라이언트
http://www.minetest.net/
C++로 구현된 마인크래프트형 게임
Irrlicht 엔진으로 구현 (이을리흐트)
엔진과 게임을 직접 빌드하여
pdb를 JYP에 추가해둠

19. 캡쳐
컨트롤러로 등록 후 시작/멈춤

21. 분석결과 보기
웹페이지에서 결과 조회하는 내용

23. 숫자들
샘플링 시간 34초
분석 7분
샘플 개수 2472개 72개/초
게임 플레이에 거의 영향 없음

24. JYP 내부 구현

25. 기본 아이디어
쓰레드별 스택을 수집하여 저장
저장된 데이터를 덤프인 것처럼
분석 루틴에 넘겨주자
분석된 콜스택으로부터
Call count, Call graph 등을 추출

26. 대상 프로그램
JYP Client JYP Controller
Binary
User
Web
JYP Server

27. 대상 프로그램
JYP Client JYP Controller
Binary
User
Web
JYP Server

28. JYP 컨트롤러
JYP 서버를 통해 인증
게임 내부의
JYP 클라이언트와 통신
서버 주소를
클라이언트에 전송함

29. 대상 프로그램
JYP Client JYP Controller
Binary
User
Web
JYP Server

30. JYP 클라이언트 (1)
스택 수집 및 전송 – 부하는 적으면서 자주
SuspendThread
→ 수집
→ ResumeThread
→ 전송
수집은 어떻게?

31. 스택
스택이 자라는 방향
ESP / RSP
(Stack Pointer)
스택의 시작
어떻게 알아낼까?

32. Thread Information Block (TIB)
FS:[0x04] Stack Base / Bottom of stack
FS:[0x08] Stack Limit / Ceiling of stack
From http://en.wikipedia.org/wiki/Win32_Thread_Information_Block
x86에선 FS, x64에선 GS에 저장
NtQueryInformationThread 함수로
TIB 주소를 얻어올 수 있음

33. THREAD_BASIC_INFORMATION
typedef enum _THREADINFOCLASS
{
ThreadBasicInformation = 0,
} THREADINFOCLASS;
typedef LONG KPRIORITY;
typedef struct _CLIENT_ID {
HANDLE UniqueProcess;
HANDLE UniqueThread;
} CLIENT_ID;
typedef struct
_THREAD_BASIC_INFORMATION
{
NTSTATUS ExitStatus;
PVOID TebBaseAddress;
CLIENT_ID ClientId;
KAFFINITY AffinityMask;
KPRIORITY Priority;
KPRIORITY BasePriority;
} THREAD_BASIC_INFORMATION,
*PTHREAD_BASIC_INFORMATION;

34. ntdll.dll
NtQueryInformationThread(thread,
ThreadBasicInformation,
&basicInfo, sizeof(basicInfo), NULL);
tib = basicInfo.TebBaseAddress
tib->StackBase

35. JYP 클라이언트 (2)
모든 쓰레드에 대해,
Esp (Rsp)부터 StackBase까지 복사
snappy로 스택 내용을 압축
수십 kb → 수 kb 수준

36. 대상 프로그램
JYP Client JYP Controller
Binary
User
Web
JYP Server

37. JYP 서버 - 수집
asio 서버로 수집
컨트롤러로 인증을 하면 모듈 등록을 시작한다.
컨트롤러를 통해
한 번의 시작/멈춤을 기준으로
분석 작업을 생성

38. JYP 서버 - 분석
수집된 내용을 분석하는 자식 프로세스 생성
DbgHelp.dll 의 함수들을 이용하여 분석
Process Id를 임의로 주면
실제 프로세스 없이
메모리 정보만 가지고 분석할 수 있다.

39. SymLoadModule64
DbgHelp에 분석하려는 덤프에 있는
모듈의 이름, 메모리 상 위치, 크기를 알려줌
SymGetSymFromAddr64
SymGetLineFromAddr64
StackWalk64의 결과로 부터
함수 이름과 줄 위치를 얻어옴

40. StackWalk64
주어진 메모리 정보와
레지스터들이 저장된 CONTEXT로 부터
콜스택을 분석한다.
ReadMemoryRoutine을 커스텀 버전으로 대체
StackWalk64 분석과정에서 코드 영역을 읽어 콜스택
분석에 사용하기 때문에 각 모듈의 이미지 정보도
필요하다.

41. JYP 서버 – 결과 조회
Crow + AngularJS
Deep, Self sample개수 순 정렬
Call graph보여주기
모듈, 쓰레드 필터링

42. JYP 서버 – 결과 조회

43. JYP 서버 – 결과 조회

44. Crow
http://github.com/ipkn/crow
내일 Crow 세션이 준비되어있습니다!
간단히 소개하자면 …

45. Crow inside JYP
crow::App<crow::CookieParser> app;
app.route_dynamic("/")
([&](){ … })
app.route_dynamic("/api/list")
app.route_dynamic("/api/detail")
.methods(crow::HTTPMethod::POST)

46. crow::App<crow::CookieParser> app;
crow::mustache::set_base(".");
auto tpl_index =
crow::mustache::load("index.html");
app.route_dynamic("/")
([&]{
return tpl_index.render();
});

47. crow::json::wvalue val;
for(auto& m : result.modules_)
{
val["ms"][idx][0] = m.moduleName;
val["ms"][idx][1] = m.baseAddr;
val["ms"][idx][2] = m.baseSize;
idx++;
}
...

48. AngularJS
https://angularjs.org/

49. 구현 상의 삽질 (1)
매번 미니 덤프 생성하는 방식 시도
느려서 교체 (초당 10회 수준)
스택 시작 주소를 얻기 위해
VirtualQueryEx로 ESP부터 올라가며
읽기 가능한 페이지 인지 확인했었다
실제 스택보다 더 크게 계산

50. 구현 상의 삽질 (2)
스택의 binary diff 만 전송 시도
diff 크기가 압축에 비해 훨씬 작다
binary diff 생성이 심각하게 느림
snappy 압축만으로 충분히 작아서 해결
가끔 데드락 발생하던 문제 수정
SuspendThread + 메모리 할당

51. 마무리

52. 결론?
여러 도구들을 결합해서 프로파일러를 만듬

53. 앞으로..
서버, 모바일로 확장
리눅스 - ELF, DWARF 포맷 지원
유니티
모니터링 기능 추가
이벤트 기반 자동 기록

54. 그리고 더 앞으로...
넥슨 라이브인프라 실의
실시간 모니터링 시스템을 통한 연계
상황별 정보 (현재 게임 상태, FPS 등)
특정 퀘스트나 맵에서 렉 유발
→ 유저 불만 발생 → 개발팀 인식
→ 서버에 상황 등록
→ 재현시 자동으로 성능 정보 수집 모님의 우주정복 계획 (?)

55. QnA
라이브 프로파일러 JYP
게임 클라이언트에 JYP 심어두기
컨트롤러 프로그램으로 시작/중지
수집한 내용을 서버로 전송 후 분석
웹 인터페이스를 통해 결과 확인