파이썬 생존 안내서 (자막)

1. 파이썬 생존 안내서 이흥섭 @ 왓 스튜디오 2016년 10월 11일 넥슨토크

2. 파이썬 생존 안내서 이흥섭 @ 왓 스튜디오 2016년 10월 11일 넥슨토크 안녕하세요.

3. 이흥섭 게임서버 아키텍트 @ 왓 스튜디오 파이썬을 주제로 발표하게 된 왓 스튜디오의 이흥섭입니다.

4. 이흥섭 게임서버 아키텍트 @ 왓 스튜디오 현재 《야생의 땅: 듀랑고》 프로젝트에서 게임서버 아키텍트로 일하고 있습니다.

5. • 《야생의 땅: 듀랑고》 • 《카트라이더 대시》 • 《카트라이더 코인러시》 • 한글라이즈 • Profiling • TrueSkill 파이썬 구현 이전엔 《카트라이더 대시》와 《코인러시》 시리즈의 서버를 만들었고

6. • 《야생의 땅: 듀랑고》 • 《카트라이더 대시》 • 《카트라이더 코인러시》 • 한글라이즈 • Profiling • TrueSkill 파이썬 구현 틈틈이 GitHub 같은 곳에서 오픈소스 활동도 하고 있어요.

7. • NDC 2014 ― 《야생의 땅: 듀랑고》 서버 아키텍처 • 파이콘 KR 2015 ― Profiling • NDC 2016 ― 《야생의 땅: 듀랑고》 서버 아키텍처 Vol. 2 오늘이 제 4번째 발표인데요

8. • NDC 2014 ― 《야생의 땅: 듀랑고》 서버 아키텍처 • 파이콘 KR 2015 ― Profiling • NDC 2016 ― 《야생의 땅: 듀랑고》 서버 아키텍처 Vol. 2 재작년과 올해 NDC에서 《듀랑고》 서버 아키텍처에 대한 얘기를 했었고

9. • NDC 2014 ― 《야생의 땅: 듀랑고》 서버 아키텍처 • 파이콘 KR 2015 ― Profiling • NDC 2016 ― 《야생의 땅: 듀랑고》 서버 아키텍처 Vol. 2 작년 파이콘 KR에선 저희가 만든 파이썬 프로파일러에 대해 얘기한 적이 있습니다.

10. 2006년 파이썬 2.4~ 저는 2006년, 최신 파이썬 버전이 2.4이던 시절부터 파이썬을 써왔어요.

11. 코드 의도 특히 프로그래머의 의도에 비해서

12. 코드 의도 써야 되는 코드의 양이 적다는 점이 매력으로 느껴졌었는데

13. 코드 의도 아무래도 문법도 C 스타일 언어에 비해선 짧은 코드에 좀 더 맞춰져 있고

14. 코드 의도 표준 라이브러리나 성숙한 써드파티 라이브러리도 풍부해서

15. 코드 의도 어지간한 기능은 직접 짜는 대신 끌어다 쓸 수 있기 때문인 것 같아요.

16. 재작년 NDC 발표에서 소개했듯이

17. • 《야생의 땅: 듀랑고》 서버는 파이썬으로 만들고 있습니다.

18. 파이썬

19. 파이썬 그럼 본격적인 이야기에 앞서 간단히 파이썬을 소개해 볼게요.

20. 1989년 12월 Guido van Rossum 제가 1989년 12월 생인데 마침 파이썬도 같은 달에 시작됐더라고요.

21. 1989년 12월 Guido van Rossum 그때부터 Guido van Rossum이 만든 언어입니다.

22. • https://github.com/python • PEP https://www.python.org/dev/peps/ • 파이콘 파이썬은 오픈소스고

23. • https://github.com/python • PEP https://www.python.org/dev/peps/ • 파이콘 사람들이 PEP이라는 파이썬 개선 제안서를 제출하면

24. • https://github.com/python • PEP https://www.python.org/dev/peps/ • 파이콘 토론한 후 채택하거나 반려하는 식으로 발전해왔어요.

25. • https://github.com/python • PEP https://www.python.org/dev/peps/ • 파이콘 파이콘은 파이썬 공식 컨퍼런스인데

26. • https://github.com/python • PEP https://www.python.org/dev/peps/ • 파이콘 전세계에서 정기적으로 열리고 있고 2014년부터는 한국에서도 진행되고 있습니다.

27. import this class Example(object): pass def example(): return Example() print 'Hello, world' 파이썬 코드는 대충 이렇게 생겼어요.

28. import this class Example(object): pass def example(): return Example() print 'Hello, world' 모듈 체계가 있고

29. import this class Example(object): pass def example(): return Example() print 'Hello, world' 클래스와 함수가 있고

30. import this class Example(object): pass def example(): return Example() print 'Hello, world' Java나 C# 등과 다르게 꼭 메소드 속이 아니더라도 코드를 실행할 수 있어요.

31. for x in numbers: if 2 < x < 4: break else: print 'not found' 그리고 은근히 편한 문법이 많은데

32. for x in numbers: if 2 < x < 4: break else: print 'not found' 가령 숫자 범위를 검사할 때

33. for x in numbers: if 2 < x and x < 4: break else: print 'not found' 부등식 2개를 and로 잇는 대신

34. for x in numbers: if 2 < x < 4: break else: print 'not found' 부등호를 숫자 양 옆에 바로 쓸 수도 있고

35. for x in numbers: if 2 < x < 4: break else: print 'not found' if 문 뿐만 아니라 루프에도 else 절을 달 수 있어서

36. for x in numbers: if 2 < x < 4: break else: print 'not found' 루프가 중간에 멈췄는지 아니면 끝까지 무사히 돌았는지

37. for x in numbers: if 2 < x < 4: break else: print 'not found' 표시해둘 변수를 따로 두지 않아도 되죠.

38. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 다들 아시다시피 파이썬은 동적 타입 언어예요.

39. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 컴파일되는 언어도 아니고 타입을 결정한 채 런타임을 돌릴 수도 없죠.

40. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 그렇다고 타입개념이 아주 희박하진 않은데

41. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 이 사분면은 〈〉란 글에서 따왔어요. Dynamic Typing is NOT Weak Typing

42. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 여기서 “강타입”과 “약타입”은

43. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 얼마나 코드에 명시적으로 쓰지 않고도

44. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 저절로 타입캐스팅 되는 경우가 많은지를 가리켜요.

45. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 이 사분면에서 파이썬은 이쯤 위치한다고 하네요.

46. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 아주 강타입인 것도 아니지만 그렇다고 JavaScript나 PHP처럼

47. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 나도 모르게 숫자와 문자열 사이를 왔다 갔다 하지도 않습니다.

48. Erlang Clojure Python Groovy Ruby Magik C# F# Scala Haskell C C++ Perl VB PHP JavaScript Java 동적 정적 약 강 대신 런타임 에러가 나죠.

49. 과학 SciPy, NumPy, matplotlib 파이썬은 과학계에서 오랫동안 깊게 쓰여왔는데

50. 과학 SciPy, NumPy, matplotlib scipy, numpy, matplotlib 같은 라이브러리가 이 방면에서 아주 유명합니다.

51. 데이터분석 Jupyter, Pandas, PySpark 요즘은 Scala와 더불어서 데이터분석에도 많이 쓰인다고 해요.

52. 데이터분석 Jupyter, Pandas, PySpark Jupyter와 Pandas를 이용해서 데이터에 쿼리를 날려보고

53. 데이터분석 Jupyter, Pandas, PySpark 결과를 읽어서 새로운 통찰을 얻은 다음 다시 새로운 쿼리를 날려보는

54. 데이터분석 Jupyter, Pandas, PySpark “탐색적 자료 분석”을 많이 추천하더라고요.

55. 기계학습 Theano, TensorFlow 김영호, 2016 과학계의 연장인지 최근엔 기계학습 쪽에서도 많이 쓰이고 있어요.

56. 기계학습 Theano, TensorFlow 김영호, 2016 이 영상은 저희 스튜디오 김영호 님이

57. 기계학습 Theano, TensorFlow 김영호, 2016 Google에서 만든 딥러닝 라이브러리인 TensorFlow를 이용해서

58. 기계학습 Theano, TensorFlow 김영호, 2016 알파고처럼 AI에게 총알 피하기 게임을 학습시킨 모습이에요.

59. 웹 Flask, Django, Requests @app.route('/') def hello(): return 'Hello, world' Ruby에 Rails가 있듯이

60. 웹 Flask, Django, Requests @app.route('/') def hello(): return 'Hello, world' 파이썬에도 Flask나 Django 같은 훌륭한 웹 프레임워크들이 있는데

61. 웹 Flask, Django, Requests @app.route('/') def hello(): return 'Hello, world' 우리나라 스타트업에서 많이 쓰이고 있는 것 같아요.

62. 웹 Flask, Django, Requests @app.route('/') def hello(): return 'Hello, world' 제 홈페이지도 Flask로 만들어져 있죠.

63. 웹 Flask, Django, Requests @app.route('/') def hello(): return 'Hello, world' 또 Requests라고 정말 쓰기 편한 HTTP 클라이언트 라이브러리가 있는데

64. 웹 Flask, Django, Requests @app.route('/') def hello(): return 'Hello, world' 이게 너무 편해서 표준 라이브러리를 꺾고 사실상 표준이 됐어요.

65. 웹 Flask, Django, Requests @app.route('/') def hello(): return 'Hello, world' 저 같은 경우 여러가지 RESTful API 클라이언트 만들 때

66. 웹 Flask, Django, Requests @app.route('/') def hello(): return 'Hello, world' Requests 덕을 많이 봤습니다.

67. 게임 이브온라인, 페리아연대기, pygame 게임 쪽 사례로는 《이브온라인》이 가장 유명한데

68. 게임 이브온라인, 페리아연대기, pygame 코루틴을 지원하는 변종 파이썬인 Stackless Python으로 서버를 만들었어요.

69. 게임 이브온라인, 페리아연대기, pygame 《페리아연대기》에서는 유저 스크립트 언어로 파이썬을 쓰는 것 같았습니다.

70. 게임 이브온라인, 페리아연대기, pygame pygame이라는 아주 작은 게임 엔진도 있는데

71. 게임 이브온라인, 페리아연대기, pygame 복잡한 건 만들기 어렵지만 간단한 게임 클라이언트 만들기에는 좋아요.

72. 게임 이브온라인, 페리아연대기, pygame 아까 보신 김영호 님의 총알피하기 게임도 클라이언트를 이것으로 만들었어요.

73. 데스크톱 자동화 SikuliX, AutoPy click( ) type('cmd') type(Key.ENTER) 그밖에 데스크탑 매크로를

74. 데스크톱 자동화 SikuliX, AutoPy click( ) type('cmd') type(Key.ENTER) 스크립트로 짤 수 있게 해주는 프레임워크도 몇 가지 있으니

75. 데스크톱 자동화 SikuliX, AutoPy click( ) type('cmd') type(Key.ENTER) 프로그래밍과는 거리가 먼 사람도, 특히 사무직이라면

76. 데스크톱 자동화 SikuliX, AutoPy click( ) type('cmd') type(Key.ENTER) 이런 것으로 업무 생산성을 많이 높일 수 있을 것 같아요.

77. Awesome Python http://awesome-python.com/ 이곳에 들어가시면 제가 소개한 분야 외에도

78. Awesome Python http://awesome-python.com/ 파이썬이 어떻게 쓰이고 있는지 살펴볼 수 있습니다.

79. •듀랑고 서버 •유닛테스트 •빌드/배포 •각종 CLI 툴 이제 본론으로 들어가 볼게요.

80. •듀랑고 서버 •유닛테스트 •빌드/배포 •각종 CLI 툴 저희 스튜디오에선 파이썬을 《듀랑고》 게임서버와 유닛테스트,

81. •듀랑고 서버 •유닛테스트 •빌드/배포 •각종 CLI 툴 빌드와 배포, 그리고 각종 커맨드라인 툴을 만드는 데 쓰고 있습니다.

82. 1. 파이썬, 인터프리터 2. 동시성 3. 웹 서버 4. 터미널 앱 5. 빌드와 배포 6. 컨벤션 통일 7. REPL 8. 디버깅 9. 자료구조 10. 제너레이터 11. 성능 측정 12. 로드타임 13. 메모리 최적화 14. 흔한 실수 15. 오픈소스 저희가 이런 걸 만들 때 어떤 재료를 써왔고

83. 1. 파이썬, 인터프리터 2. 동시성 3. 웹 서버 4. 터미널 앱 5. 빌드와 배포 6. 컨벤션 통일 7. REPL 8. 디버깅 9. 자료구조 10. 제너레이터 11. 성능 측정 12. 로드타임 13. 메모리 최적화 14. 흔한 실수 15. 오픈소스 또 어떤 재료를 안 썼거나 혹은 못 썼는지

84. 1. 파이썬, 인터프리터 2. 동시성 3. 웹 서버 4. 터미널 앱 5. 빌드와 배포 6. 컨벤션 통일 7. REPL 8. 디버깅 9. 자료구조 10. 제너레이터 11. 성능 측정 12. 로드타임 13. 메모리 최적화 14. 흔한 실수 15. 오픈소스 그리고 코드 품질은 어떻게 관리하고 개선하고 있는지

85. 1. 파이썬, 인터프리터 2. 동시성 3. 웹 서버 4. 터미널 앱 5. 빌드와 배포 6. 컨벤션 통일 7. REPL 8. 디버깅 9. 자료구조 10. 제너레이터 11. 성능 측정 12. 로드타임 13. 메모리 최적화 14. 흔한 실수 15. 오픈소스 주제가 꽤 다양하긴 한데 하나씩 살펴보겠습니다.

86. 파이썬, 인터프리터

87. 파이썬, 인터프리터 저희가 쓰는 파이썬 버전과 인터프리터에 대해 먼저 얘기해 볼게요.

88. CPython, PyPy, Jython, IronPython, Python for .NET 2.6, 2.7, 3.4, 3.5 파이썬엔 여러가지 인터프리터 구현이 있고

89. CPython, PyPy, Jython, IronPython, Python for .NET 2.6, 2.7, 3.4, 3.5 언어 버전에도 여러가지가 있어요.

90. CPython, PyPy, Jython, IronPython, Python for .NET 2.6, 2.7, 3.4, 3.5 그 중 저희가 사용하는 인터프리터는 C로 만든 공식 구현체인 CPython,

91. CPython, PyPy, Jython, IronPython, Python for .NET 2.6, 2.7, 3.4, 3.5 그리고 언어 버전은 2.7이에요.

92. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 파이썬 2는 3와 완전히 호환되진 않는데

93. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 2.7은 그런 파이썬 2 중에서 마지막 버전이죠.

94. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 파이썬 언어 개발자들은 지금 3에 주력하고 있어서

95. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 3에서 이룬 수 많은 개선점을 2에는 제공해주지 않고

96. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 버그픽스와 보안패치 정도만 해주고 있습니다.

97. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 그래서 지금은 굳이 2를 쓸 이유가 없지만

98. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 저희가 서버를 만들기 시작한 2013년에만 해도

99. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 3를 지원하는 써드파티 라이브러리가 그렇게 많지 않아서 2.7을 선택했었는데

100. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 몇 년 새 상황이 많이 달라졌더라고요.

101. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 요즘은 써드파티 라이브러리도 어지간해선 3를 지원해요.

102. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 저희도 넘어가고 싶지만

103. 파이썬 2.7 •파이썬 2 마지막 마이너 버전 •신기능 패치 중단, 버그/보안 패치는 유지 •2013년엔 라이브러리 호환성이 가장 좋았음. 이미 2에 맞춰서 짠 코드가 많아서 쉽게 넘어가진 못 하고 있습니다.

104. 파이썬 3? •명확한 문자열/바이트열 구분 •정돈되고 강해진 표준 라이브러리 •특히 asyncio, typing 파이썬 3를 2와 비교해보면 우선 문자열과 바이트열 구분이 명확해져서

105. 파이썬 3? •명확한 문자열/바이트열 구분 •정돈되고 강해진 표준 라이브러리 •특히 asyncio, typing 둘이 섞어 써서 인코딩 오류가 나는 참사는 발생하지 않아요.

106. 파이썬 3? •명확한 문자열/바이트열 구분 •정돈되고 강해진 표준 라이브러리 •특히 asyncio, typing 또 기존에 있던 표준 라이브러리는 깔끔하게 정돈됐고

107. 파이썬 3? •명확한 문자열/바이트열 구분 •정돈되고 강해진 표준 라이브러리 •특히 asyncio, typing 다만 이 과정에서 하위호환성이 많이 깨졌죠.

108. 파이썬 3? •명확한 문자열/바이트열 구분 •정돈되고 강해진 표준 라이브러리 •특히 asyncio, typing 또 새로운 표준 라이브러리도 여러가지 생겼는데

109. 파이썬 3? •명확한 문자열/바이트열 구분 •정돈되고 강해진 표준 라이브러리 •특히 asyncio, typing 특히 비동기 I/O 라이브러리인 asyncio나

110. 파이썬 3? •명확한 문자열/바이트열 구분 •정돈되고 강해진 표준 라이브러리 •특히 asyncio, typing 파이썬에서 정적 타입힌트를 달 수 있게 해주는 typing 같은 게

111. 파이썬 3? •명확한 문자열/바이트열 구분 •정돈되고 강해진 표준 라이브러리 •특히 asyncio, typing 아주 탐나더라고요. 못 써서 아쉽습니다.

112. from __future__ import unicode_literals import six 아쉬운 대로 저희는 다음 파이썬 버전의 특성 중 일부를 차용할 수 있게 해주는

113. from __future__ import unicode_literals import six __future__ 모듈로 3의 특성 중 유용한 몇 가지를 가져와서 쓰고 있어요.

114. from __future__ import unicode_literals import six 한편 저희 내부 코드가 아닌 외부에 공개할 오픈소스 라이브러리를 만들 땐

115. from __future__ import unicode_literals import six 같은 코드로 파이썬 2와 3를 함께 지원하기 위해서

116. from __future__ import unicode_literals import six six라는 라이브러리로 호환성을 갖추고 있어요.

117. from __future__ import unicode_literals import six＝6＝2×3 여기서 six는 2 곱하기 3을 뜻한다네요.

118. PyPy? 파이썬으로 만든 파이썬 인터프리터 공식 구현체인 CPython 말고

119. PyPy? 파이썬으로 만든 파이썬 인터프리터 파이썬으로 만든 파이썬 인터프리터인 PyPy도 추천합니다.

120. PyPy? 파이썬으로 만든 파이썬 인터프리터 PyPy는 JavaScript의 V8 처럼 파이썬 코드를 JIT 컴파일 해주는데요

121. PyPy ＞ CPython 7.5x 여기서 내세우는 비교자료를 보면 CPython보다 7.5배 정도 빠르다고 합니다.

122. PyPy ＞ CPython 7.5x 다만 C로 구현된 라이브러리 같은 경우는 호환되지 않을 때도 종종 있어서

123. PyPy ＞ CPython 7.5x 저희는 아직 채택하지 못 했어요.

124. 파이썬 3나 PyPy 저희는 파이썬 2.7과 CPython 둘 다 벗어나지 못 했지만

125. 파이썬 3나 PyPy 그래도 언젠가는 파이썬 3나 PyPy로 넘어가고자 합니다.

126. 파이썬 3나 PyPy 여러분이 만약 새 프로젝트를 시작하신다면 저희보다 나은 선택을 하시길 바랄게요.

127. 동시성

128. 동시성 다음 주제는 동시성이에요.

129. gevent 코루틴 기반 비동기 I/O 저흰 gevent라는 코루틴 기반 비동기 I/O 라이브러리를 쓰고 있습니다.

130. greenlet 코루틴 http://lee-seungjae.github.io/greenlet.html ― 이승재, 2011 원래 파이썬엔 코루틴이 없지만 greenlet이라는 라이브러리가

131. greenlet 코루틴 파이썬을 마개조해서 코루틴을 쓸 수 있게 해줬어요. http://lee-seungjae.github.io/greenlet.html ― 이승재, 2011

132. greenlet 코루틴 이 라이브러리는 PyPy 만든 Armin Rigo와 http://lee-seungjae.github.io/greenlet.html ― 이승재, 2011

133. greenlet 코루틴 Stackless Python 만든 Christian Tismer의 합작이에요. http://lee-seungjae.github.io/greenlet.html ― 이승재, 2011

134. greenlet 코루틴 아래 링크는 예전에 데브캣스튜디오 이승재 님께서 http://lee-seungjae.github.io/greenlet.html ― 이승재, 2011

135. greenlet 코루틴 greenlet에 대해 쓰셨던 글인데 기억에 남아서 한 번 가져와봤습니다. http://lee-seungjae.github.io/greenlet.html ― 이승재, 2011

136. g1 = gevent.spawn(requests.get, url1) g2 = gevent.spawn(requests.get, url2) g3 = gevent.spawn(requests.get, url3) gevent.joinall([g1, g2, g3]) print([g.value for g in [g1, g2, g3]]) 코루틴을 직접 다루는 건 굉장히 까다로워요.

137. g1 = gevent.spawn(requests.get, url1) g2 = gevent.spawn(requests.get, url2) g3 = gevent.spawn(requests.get, url3) gevent.joinall([g1, g2, g3]) print([g.value for g in [g1, g2, g3]]) gevent는 다루기 까다로운 greenlet 코루틴을

138. g1 = gevent.spawn(requests.get, url1) g2 = gevent.spawn(requests.get, url2) g3 = gevent.spawn(requests.get, url3) gevent.joinall([g1, g2, g3]) print([g.value for g in [g1, g2, g3]]) 평범한 멀티스레딩 코드처럼 쓸 수 있게 해주죠.

139. g1 = gevent.spawn(requests.get, url1) g2 = gevent.spawn(requests.get, url2) g3 = gevent.spawn(requests.get, url3) gevent.joinall([g1, g2, g3]) print([g.value for g in [g1, g2, g3]]) 특정한 일을 하는 스레드를 띄우고

140. g1 = gevent.spawn(requests.get, url1) g2 = gevent.spawn(requests.get, url2) g3 = gevent.spawn(requests.get, url3) gevent.joinall([g1, g2, g3]) print([g.value for g in [g1, g2, g3]]) 다른 스레드가 일을 다 할 때까지 기다려서 동기화 하는 식이에요.

141. g1 = gevent.spawn(requests.get, url1) g2 = gevent.spawn(requests.get, url2) g3 = gevent.spawn(requests.get, url3) gevent.joinall([g1, g2, g3]) print([g.value for g in [g1, g2, g3]]) 평범하죠?

142. Greenlet Thread gevent 스레드는 방금 얘기한 라이브러리 이름과 같은

143. Greenlet Thread “Greenlet”이라고 불러요.

144. Greenlet Thread Greenlet은 유저스페이스에서 도는 경량 스레드라서

145. Greenlet Thread 표준 스레드보다 오버헤드가 훨씬 적고 가벼워요.

146. Greenlet Thread 그래서 수천 개씩 띄워서 쓸 수 있는데

147. Greenlet Thread 특히 네트워크를 많이 다룰 때 높은 동시성을 얻을 수 있죠.

148. if key in GLOBAL_DICT: gevent.sleep(0.001) del GLOBAL_DICT[key] 쓰는 법이 멀티스레딩과 다르지 않다 보니 코딩할 때 고달플 때도 있어요.

149. if key in GLOBAL_DICT: gevent.sleep(0.001) del GLOBAL_DICT[key] 이렇게 첫 줄에서 아무리 조건을 확보해 놔도

150. if key in GLOBAL_DICT: gevent.sleep(0.001) del GLOBAL_DICT[key] 스레드 봉쇄가 발생한 이후에는

151. if key in GLOBAL_DICT: gevent.sleep(0.001) del GLOBAL_DICT[key] KeyError! 조건이 무효해질 수 있거든요.

152. if key in GLOBAL_DICT: gevent.sleep(0.001) del GLOBAL_DICT[key] KeyError! 그럼에도 저희가 gevent를 택했던 이유는

153. import gevent.monkey gevent.monkey.patch_all() 이미 동기식으로 작성돼있는

154. import gevent.monkey gevent.monkey.patch_all() 표준 라이브러리를 비롯한 수 많은 라이브러리를

155. import gevent.monkey gevent.monkey.patch_all() 모두 그대로 쓸 수 있다는 점 때문이었어요.

156. import gevent.monkey gevent.monkey.patch_all() gevent가 제공하는 멍키패칭을 돌리면

157. import gevent.monkey gevent.monkey.patch_all() threading이나 socket 같은 표준 라이브러리가

158. import gevent.monkey gevent.monkey.patch_all() 전부 gevent 용으로 갈아치워져서

159. import gevent.monkey gevent.monkey.patch_all() 비동기 I/O를 고려하지 않던 기존 코드까지도 모두 동시에 실행할 수 있게 되거든요.

160. import gevent.monkey gevent.monkey.patch_all() JavaScript처럼 콜백을 등록한다거나 C#처럼 async, await 키워드를 쓴다거나

161. import gevent.monkey gevent.monkey.patch_all() 그런 특별한 코딩법을 필요로 하는 다른 동시성 모델로는

162. import gevent.monkey gevent.monkey.patch_all() 달성할 수 없는 강점이죠.

163. 동시성 (Concurrency) 병렬성 (Parallelism) 단 gevent로 확보할 수 있는 건 동시성이지 병렬성은 아닌데

164. 동시성 (Concurrency) 병렬성 (Parallelism) 수 많은 I/O를 동시에 수행할 순 있지만 실제로는 싱글스레디드로 돌아서

165. 동시성 (Concurrency) 병렬성 (Parallelism) 여러 CPU 코어를 활용할 순 없어요.

166. GIL 사실 이 점은 파이썬 표준 멀티스레딩도 마찬가지입니다.

167. GIL 파이썬엔 역사적인 이유로 Global Interpreter Lock이란 게 있는데

168. GIL 이 때문에 파이썬 바이트코드는 동시에 여러 스레드에서 실행될 수 없거든요.

169. +멀티프로세싱 그래서 저희는 부족한 병렬성을 보완하기 위해 멀티프로세싱도 같이 쓰고 있습니다.

170. def hang(): while True: pass gevent.spawn(hang) 표준 멀티스레딩과 달리 gevent를 쓸 땐 주의해야 할 점이 있는데요

171. def hang(): while True: pass gevent.spawn(hang) 선점형 멀티태스킹이 아니다 보니 한 스레드가 쉴 새 없이 돌면

172. def hang(): while True: pass gevent.spawn(hang) 다른 스레드로는 기회가 넘어가지 않는다는 거예요.

173. def hang(): while True: pass gevent.spawn(hang) 특히 게임서버에서는 이런 일이 절대 생기면 안 되겠죠.

174. def hang(): while True: gevent.idle() gevent.spawn(hang) 꼭 sleep이나 idle이라도 넣어서

175. def hang(): while True: gevent.idle() gevent.spawn(hang) 스레드가 잠시나마 봉쇄되게끔 만들어야 이런 일을 방지할 수 있어요.

176. asyncio? 파이썬 3.4~ 한편 파이썬 3.4부터는 asyncio라는

177. asyncio? 파이썬 3.4~ 차세대 비동기 I/O 라이브러리를 쓸 수 있는데

178. @asyncio.coroutine def main(): f1 = aiohttp.get(url1) f2 = aiohttp.get(url2) f3 = aiohttp.get(url3) for fut in [f1, f2, f3]: yield from fut print([fut.result() for fut in [f1, f2, f3]]) 파이썬의 언어 기능인 제너레이터를 이용해서 명시적인 코루틴을 구현하고 있어요.

179. @asyncio.coroutine def main(): f1 = aiohttp.get(url1) f2 = aiohttp.get(url2) f3 = aiohttp.get(url3) for fut in [f1, f2, f3]: yield from fut print([fut.result() for fut in [f1, f2, f3]]) gevent와 다르게 코드만 봐도 어디서 봉쇄가 발생할지 명확하게 보이죠.

180. async def main(): f1 = aiohttp.get(url1) f2 = aiohttp.get(url2) f3 = aiohttp.get(url3) for fut in [f1, f2, f3]: await fut print([fut.result() for fut in [f1, f2, f3]]) 파이썬 3.5에서는 아예 C#처럼 async와 await 키워드까지 추가돼서

181. async def main(): f1 = aiohttp.get(url1) f2 = aiohttp.get(url2) f3 = aiohttp.get(url3) for fut in [f1, f2, f3]: await fut print([fut.result() for fut in [f1, f2, f3]]) 더 편하게 쓸 수 있게 됐어요.

182. async def main(): f1 = aiohttp.get(url1) f2 = aiohttp.get(url2) f3 = aiohttp.get(url3) for fut in [f1, f2, f3]: await fut print([fut.result() for fut in [f1, f2, f3]]) 다만 asyncio를 쓰면

183. async def main(): f1 = aiohttp.get(url1) f2 = aiohttp.get(url2) f3 = aiohttp.get(url3) for fut in [f1, f2, f3]: await fut print([fut.result() for fut in [f1, f2, f3]]) asyncio에 맞춰진 라이브러리만 써야해서 선택의 폭이 좁아지긴 해요.

184. aiobotocore, aiohttp, aiokafka, aiomcache, aiomysql, aioredis, aiorwlock, aiozmq 그래도 보통 이름에 “aio”라는 접두사가 붙어있으니까 쉽게 구별할 순 있을 겁니다.

185. •멀티프로세싱 •멀티스레딩 •asyncio •gevent •eventlet •Twisted 제가 소개한 것 외에도 파이썬에선 여러가지 방법으로 동시성을 확보할 수 있어요.

186. •멀티프로세싱 •멀티스레딩 •asyncio •gevent •eventlet •Twisted 각 방법에는 서로 다른 트레이드오프가 있죠.

187. •멀티프로세싱 •멀티스레딩 •asyncio •gevent •eventlet •Twisted 만약 여러분도 파이썬으로 서버를 만드신다면

188. •멀티프로세싱 •멀티스레딩 •asyncio •gevent •eventlet •Twisted 이런 방법들을 한 번 비교해보고 가장 적합한 걸 고르시면 좋을 것 같습니다.

189. 웹 서버

190. 웹 서버 저희 게임서버는 대부분이 소켓을 직접 다루는 데디케이티드 서버지만

191. 웹 서버 일부는 RESTful한 웹 서버로 돼있어요.

192. Flask 거기엔 앞에서도 소개했던 Flask라는 간단한 웹 서버 프레임워크를 쓰는데

193. •Werkzeug 웹 서버 유틸리티 •Jinja2 템플릿 엔진 Flask는 Werkzeug라는 웹 서버 유틸리티와

194. •Werkzeug 웹 서버 유틸리티 •Jinja2 템플릿 엔진 Jinja2라고, 보통 HTML 페이지 찍어낼 때 쓰는 템플릿엔진 위에서

195. •템플릿 엔진 •URL 라우팅 •세션 •서브도메인 •JSON 지원 •디버깅 콘솔 몇 가지 편의 기능을 함께 제공하는 작은 웹 서버 프레임워크예요.

196. •템플릿 엔진 •URL 라우팅 •세션 •서브도메인 •JSON 지원 •디버깅 콘솔 작은 프레임워크이긴 하지만

197. •템플릿 엔진 •URL 라우팅 •세션 •서브도메인 •JSON 지원 •디버깅 콘솔 일반적으로 웹 개발할 때 필요한 간단한 기능들은 대부분 갖추고 있고

198. •템플릿 엔진 •URL 라우팅 •세션 •서브도메인 •JSON 지원 •디버깅 콘솔 좀 더 복잡한 기능도 플러그인으로 쉽게 구할 수 있어요.

199. app = Flask(__name__) @app.route('/') def index(): return 'Hello, world', 200 간단한 Flask 예제예요.

200. app = Flask(__name__) @app.route('/') def index(): return 'Hello, world', 200 데코레이터를 이용해서 URL 라우팅 테이블을 직관적으로 만들어내는 게 특징이죠.

201. #include "crow.h" int main() { crow::SimpleApp app; CROW_ROUTE(app, "/")([](){ return "Hello world"; }); } 우리 회사 하재승 님이 만드신

202. #include "crow.h" int main() { crow::SimpleApp app; CROW_ROUTE(app, "/")([](){ return "Hello world"; }); } C++ 웹 프레임워크 Crow가 여기서 영감을 얻었다고 합니다.

203. WSGI Web Server Gateway Interface 파이썬엔 WSGI라는 표준화된 웹 애플리케이션 인터페이스가 있어요.

204. WSGI Web Server Gateway Interface Flask를 비롯해 아마도 모든 파이썬 웹 서버 라이브러리가

205. WSGI Web Server Gateway Interface 이 인터페이스를 따르고 있을 거예요.

206. app = Flask(__name__) server = gevent.pywsgi.WSGIServer(socket, app) server.serve_forever() 이 표준 인터페이스 덕분에 Flask를 gevent에도 잘 붙일 수 있었어요.

207. app = Flask(__name__) server = gevent.pywsgi.WSGIServer(socket, app) server.serve_forever() gevent엔 고성능 WSGI 서버가 들어있는데

208. app = Flask(__name__) server = gevent.pywsgi.WSGIServer(socket, app) server.serve_forever() 이것으로 Flask 웹 서버를 바로 서빙할 수 있는 거죠.

209. def wsgi_app(environ, start_response): headers = [('Content-Type', 'text/plain')] start_response('200 OK', headers) yield 'Hello, worldn' WSGI 애플리케이션은 단순히

210. def wsgi_app(environ, start_response): headers = [('Content-Type', 'text/plain')] start_response('200 OK', headers) yield 'Hello, worldn' HTTP 요청정보를 담는 environ 인자와

211. def wsgi_app(environ, start_response): headers = [('Content-Type', 'text/plain')] start_response('200 OK', headers) yield 'Hello, worldn' HTTP 응답시작을 개시하는 함수인 start_response 인자를 받아서

212. def wsgi_app(environ, start_response): headers = [('Content-Type', 'text/plain')] start_response('200 OK', headers) yield 'Hello, worldn' 응답 헤더를 결정한 후 start_response를 불러주고

213. def wsgi_app(environ, start_response): headers = [('Content-Type', 'text/plain')] start_response('200 OK', headers) yield 'Hello, worldn' 내용을 브러우저로 스트리밍할 수 있게끔 yield하거나

214. def wsgi_app(environ, start_response): headers = [('Content-Type', 'text/plain')] start_response('200 OK', headers) return ['Hello, worldn'] 시퀀스 형태로 바로 return하는 함수예요.

215. def wsgi_app(environ, start_response): headers = [('Content-Type', 'text/plain')] start_response('200 OK', headers) return ['Hello, worldn'] 이 인터페이스에만 맞추면 파이썬의 거의 모든 웹 도구를 같이 쓸 수 있어요.

216. def wsgi_app(environ, start_response): headers = [('Content-Type', 'text/plain')] start_response('200 OK', headers) return ['Hello, worldn'] 하지만 생긴 걸 보면 알 수 있듯이

217. HTTP/2.0, WebSocket 아쉽게도 서버사이드 푸시 같은 HTTP/2.0 기능이나

218. HTTP/2.0, WebSocket 웹소켓 같은 요즘 프로토콜을 구현하진 못해요.

219. HTTP/2.0, WebSocket 그래도 메일링리스트에서 논의는 되고 있으니까

220. HTTP/2.0, WebSocket 언젠가 차세대 WSGI가 나오길 기대해봅니다.

221. Django? 파이썬 웹 프레임워크 중에선 저는 안 써봤지만

222. Django? Flask보단 Django가 훨씬 유명하고 많이 쓰여요.

223. Django Flask 구글 트렌드에서 찾아보니까 인기도가 Flask의 4배 정도는 되더라고요.

224. Instagram과 Pinterest가 Django 쓰는 것으로 유명하다고 합니다.

225. • ORM • 템플릿 엔진 • URL 라우팅 • 폼 검증 • 캐싱 • 국제화 • XML/JSON 지원 Django는 MVC 구조를 내장하고 있어요.

226. • ORM • 템플릿 엔진 • URL 라우팅 • 폼 검증 • 캐싱 • 국제화 • XML/JSON 지원 그래서 Flask와 달리 ORM까지 포함하고 있죠.

227. • ORM • 템플릿 엔진 • URL 라우팅 • 폼 검증 • 캐싱 • 국제화 • XML/JSON 지원 그 밖에도 통합돼있는 기능이 매우 많은데

228. • ORM • 템플릿 엔진 • URL 라우팅 • 폼 검증 • 캐싱 • 국제화 • XML/JSON 지원 아마 2000년대 후반에 유행했던 Ruby on Rails랑 비슷하지 않을까 싶어요.

229. •WSGI •Flask •Django 혹시 파이썬으로 웹 서버를 만들려는 분이 계신다면

230. •WSGI •Flask •Django 이 두 프레임워크와 WSGI 지원하는 도구를 한 번 검토해보세요.

231. 터미널 앱

232. 터미널 앱 저희는 서버 개발을 보조하기 위해서

233. 터미널 앱 터미널에서 쓸 수 있는 도구도 많이 만들고 있어요.

234. Click CLI 프레임워크 Click은 CLI를 쉽게, 또 잘 만들 수 있게 해주는 프레임워크예요.

235. Click CLI 프레임워크 앞에서 소개했던 Flask와 이것은 모두 Armin Ronacher가 만들었죠.

236. import click @click.command() @click.option('-n', '--name', help='Your name.') def cli(name): click.echo('Hi %s!' % (name or 'NONAME')) if __name__ == '__main__': cli() Click 애플리케이션 코드는 이렇게 생겼는데

237. import click @click.command() @click.option('-n', '--name', help='Your name.') def cli(name): click.echo('Hi %s!' % (name or 'NONAME')) if __name__ == '__main__': cli() Flask처럼 데코레이터를 적극적으로 활용하고 있어요.

238. import click @click.command() @click.option('-n', '--name', help='Your name.') def cli(name): click.echo('Hi %s!' % (name or 'NONAME')) if __name__ == '__main__': cli() 이렇게 데코레이터로 커맨드 옵션을 선언하면

239. import click @click.command() @click.option('-n', '--name', help='Your name.') def cli(name): click.echo('Hi %s!' % (name or 'NONAME')) if __name__ == '__main__': cli() 같은 이름의 매개변수로 값이 들어오게 돼요.

240. ❯ python cli.py -n "Heungsub Lee" Hi Heungsub Lee! ❯ python cli.py --help Usage: cli.py [OPTIONS] Options: -n, --name TEXT Your name. --help Show this message and exit. 돌려보면 이렇게 동작합니다.

241. ❯ python cli.py -n "Heungsub Lee" Hi Heungsub Lee! ❯ python cli.py --help Usage: cli.py [OPTIONS] Options: -n, --name TEXT Your name. --help Show this message and exit. 보시다시피 리눅스 CLI를 상식적으로 잘 구현하고 있다는 점에서

242. ❯ python cli.py -n "Heungsub Lee" Hi Heungsub Lee! ❯ python cli.py --help Usage: cli.py [OPTIONS] Options: -n, --name TEXT Your name. --help Show this message and exit. 애용하는 프레임워크예요.

243. ❯ python cli.py -n "Heungsub Lee" Hi Heungsub Lee! ❯ python cli.py --help Usage: cli.py [OPTIONS] Options: -n, --name TEXT Your name. --help Show this message and exit. 상식과 미묘하게 다르게 동작하는 프레임워크도 여럿 봐왔거든요.

244. Click을 이용하면 이렇게 사용자입력을 받거나

245. 프로그레스바를 띄우는 것도 쉽게 할 수 있고 색깔도 깔끔하게 다룰 수 있어요.

246. argparse? Click이 나오기 전에는 argparse라는 표준 라이브러리를 썼었는데

247. import argparse parser = argparse.ArgumentParser() parser.add_argument('-n', '--name', help='Your name.') def cli(name): print('Hi %s!' % (name or 'NONAME')) if __name__ == '__main__': args = parser.parse_args() cli(name=args.name) 이렇게

248. import argparse parser = argparse.ArgumentParser() parser.add_argument('-n', '--name', help='Your name.') def cli(name): print('Hi %s!' % (name or 'NONAME')) if __name__ == '__main__': args = parser.parse_args() cli(name=args.name) 옵션을 정의하는 곳과

249. import argparse parser = argparse.ArgumentParser() parser.add_argument('-n', '--name', help='Your name.') def cli(name): print('Hi %s!' % (name or 'NONAME')) if __name__ == '__main__': args = parser.parse_args() cli(name=args.name) 파싱하고 넘겨주는 곳이 따로 떨어져 있어서

250. import argparse parser = argparse.ArgumentParser() parser.add_argument('-n', '--name', help='Your name.') def cli(name): print('Hi %s!' % (name or 'NONAME')) if __name__ == '__main__': args = parser.parse_args() cli(name=args.name) Click에 비해 불편했습니다.

251. Urwid TUI 프레임워크 단순한 CLI 말고 리눅스의 top이나 aptitude 같이

252. Urwid TUI 프레임워크 텍스트로 된 UI를 만들고 싶을 땐 Urwid라는 TUI 프레임워크를 쓰고 있어요.

253. Urwid를 쓰면 위젯을 조합하는 방식으로 꽤 미려한 텍스트 UI를 만들 수 있죠.

254. https://excess.org/article/2012/01/urwid-python-malaysia/ 이건 Urwid로 만든 Speedometer라는 건데 멋지지 않나요?

255. https://excess.org/article/2012/01/urwid-python-malaysia/ 저희 스튜디오에서 만든 파이썬 용 프로파일러에도 Urwid를 사용했는데

256. https://excess.org/article/2012/01/urwid-python-malaysia/ 그건 뒤에서 성능 측정에 대해 얘기할 때 보여드릴게요.

257. curses? Urwid 말고는 curses라는 표준 라이브러리가 대안이 될 수 있어요.

258. curses? 하지만 저는 정말 쓰기 불편했어요.

259. curses? API가 너무 저수준이고 조금만 실수해도 에러가 빵빵 터졌었거든요.

260. win.addstr(y, x, 'Hello, world') 심지어 사용하는 좌표계도

261. win.addstr(y, x, 'Hello, world') x, y가 아니라 y, x예요.

262. win.addstr(y, x, 'Hello, world') “curse”가 “저주”란 뜻이잖아요? 그 이름값을 하는 거라고 생각합니다.

263. •Click •Urwid •argparse •curses 혹시 bash 같은 쉘 스크립트를 대신하기 위해서 파이썬을 검토 중이시라면

264. •Click •Urwid •argparse •curses Click이랑 Urwid도 같이 검토해보세요.

265. •Click •Urwid •argparse •curses 표준 라이브러리인 argparse나 curses보다 분명히 좋습니다.

266. 빌드와 배포

267. 빌드와 배포 저희는 빌드와 배포를 자동화하는 데에도 노력을 많이 기울여왔어요.

268. 빌드와 배포 여기에도 파이썬을 많이 쓰고 있죠.

269. build passing 작업자가 Git 저장소에 push하면 CI가 자동으로 빌드 스크립트를 돌리면서

270. build passing 컴파일해야 할 건 컴파일하고, 코드 품질을 검사한다든가,

271. build passing 유닛테스트를 돌린다든가, 뭐 그런 일을 합니다.

272. build passing 빌드에 성공하면 브랜치에 따라서 서버에 배포하는 것까지 연계하고 있어요.

273. pytest 이때 유닛테스트 프레임워크로 pytest를 쓰는데

274. def test_answer(): assert answer() == 42 pytest를 쓰면 딸랑 assert 문만 적어놔도

275. ❯ pytest test.py ========= FAILURES ========= E assert 24 == 42 E + where 24 = answer() def test_answer(): assert answer() == 42 테스트가 실패했을 때 왜 실패했는지 단서까지 함께 보고받을 수 있어요.

276. ❯ pytest test.py ========= FAILURES ========= E assert 24 == 42 E + where 24 = answer() def test_answer(): assert answer() == 42 여기 보시면 answer의 결과값이 42가 아니라 24였다는 걸 알 수 있죠.

277. def test_answer(self): self.assertEqual(answer(), 42) unittest 파이썬엔 unittest라는 표준 유닛테스트 프레임워크도 있지만

278. def test_answer(self): self.assertEqual(answer(), 42) unittest 이것으로 같은 결과를 얻으려면 assertEqual 같은 전용 메소드를 써야만 해요.

279. assertEqual(a, b) assertNotEqual(a, b) assertIs(a, b) assertIn(a, b) assertGreater(a, b) unittest assert a == b assert a != b assert a is b assert a in b assert a > b pytest 이런 식으로 비교연산 별로 메소드가 따로 마련돼있죠.

280. assertEqual(a, b) assertNotEqual(a, b) assertIs(a, b) assertIn(a, b) assertGreater(a, b) unittest assert a == b assert a != b assert a is b assert a in b assert a > b pytest 훨씬 쓰기 번거로워 보이죠?

281. assertEqual(a, b) assertNotEqual(a, b) assertIs(a, b) assertIn(a, b) assertGreater(a, b) unittest assert a == b assert a != b assert a is b assert a in b assert a > b pytest 사실 처음에 제가 pytest를 쓰기 시작했던 이유는 이 점이 전부였는데

282. assertEqual(a, b) assertNotEqual(a, b) assertIs(a, b) assertIn(a, b) assertGreater(a, b) unittest assert a == b assert a != b assert a is b assert a in b assert a > b pytest 쓰다 보니까 테스트 만드는 수고를 덜어주는 편의 기능도 많다는 걸 알게 됐어요.

283. @pytest.mark.parametrize('x, y', [ (42, 1), (21, 2), (7, 6) ]) def test_answers(x, y): assert x * y == 42 가령 테스트케이스에 매개변수를 선언해놓고 parametrize 데코레이터를 붙여놓으면

284. @pytest.mark.parametrize('x, y', [ (42, 1), (21, 2), (7, 6) ]) def test_answers(x, y): assert x * y == 42 알아서 인자를 바꿔가면서 테스트해주고

285. @pytest.fixture def db(request): db = Database() request.addfinalizer(db.close) return db def test_db(db): db.insert('answer', 42) assert db.get('answer') == 42 “픽스처”란 테스트에서 쓰이는 상태가 일관적인 재료를 말하는데

286. @pytest.fixture def db(request): db = Database() request.addfinalizer(db.close) return db def test_db(db): db.insert('answer', 42) assert db.get('answer') == 42 이렇게 데코레이터로 픽스처를 정의해두면 매개변수 이름을 이용해서

287. @pytest.fixture def db(request): db = Database() request.addfinalizer(db.close) return db def test_db(db): db.insert('answer', 42) assert db.get('answer') == 42 어느 테스트 케이스에서든 쉽게 끌어다 쓸 수 있게 해줘요.

288. def test_answer_pid(monkeypatch): monkeypatch.setattr(time, 'time', answer) assert time.time() == 42 monkeypatch라는 픽스처도 기본으로 제공돼요.

289. def test_answer_pid(monkeypatch): monkeypatch.setattr(time, 'time', answer) assert time.time() == 42 이것을 쓰면 이 테스트에 한해서 다른 모듈의 기능 일부를 바꿔칠 수 있어요.

290. def test_answer_pid(monkeypatch): monkeypatch.setattr(time, 'time', answer) assert time.time() == 42 시간을 다루거나 외부 API를 쓰는 코드를 테스트할 때 굉장히 유용합니다.

291. pytest-cov pytest에도 역시 플러그인이 무척 많은데

292. pytest-cov 그 중 pytest-cov를 쓰면 줄 단위 테스트 커버리지를 구할 수 있어요.

293. ❯ pytest test.py --cov=durango ---------- coverage ---------- TOTAL 42 42 100% 테스트 돌릴 때

294. ❯ pytest test.py --cov=durango ---------- coverage ---------- TOTAL 42 42 100% 커버리지 측정할 모듈을 같이 적어주면

295. ❯ pytest test.py --cov=durango ---------- coverage ---------- TOTAL 42 42 100% 그 모듈에 총 몇 줄이 있고 유닛테스트가 그 중에서

296. ❯ pytest test.py --cov=durango ---------- coverage ---------- TOTAL 42 42 100% 얼마나 건드렸는지 정확하게 알 수 있죠.

297. coverage 71% 저희는 이 방법으로 테스트 커버리지를 지속적으로 관리해왔고

298. coverage 71% 충분히 높은 건 아니지만 약 71% 정도를 확보해둔 상태입니다.

299. •pytest-rerunfailures •pytest-xdist 그 밖에도 테스트케이스가 실패했을 때

300. •pytest-rerunfailures •pytest-xdist 몇 번은 재시도할 수 있게끔 해주는 pytest-rerunfailures란 게 있는데

301. •pytest-rerunfailures •pytest-xdist 보통 시간에 민감한 테스트케이스는 미묘한 시간차로 실패할 때가 있거든요.

302. •pytest-rerunfailures •pytest-xdist 이때 쓰면 좋아요.

303. •pytest-rerunfailures •pytest-xdist 또 테스트 케이스들을 나눠서 여러 스레드나 머신에서 병렬적으로 돌려주는

304. •pytest-rerunfailures •pytest-xdist pytest-xdist 같은 유용한 플러그인이 많이 있으니까

305. •pytest-rerunfailures •pytest-xdist 이것저것 찾아보고 함께 도입해보시면 좋을 것 같습니다.

306. Fabric 서버 소스코드가 빌드를 통과하면 적당한 머신에 자동으로 배포되는데

307. Fabric 여기엔 Fabric를 이용하고 있어요.

308. 빌드머신 원격 원격 원격 원격 원격 원격 원격 원격 원격 명령어 보통 여러 원격 머신에 한 번에 명령어를 날리려면

309. 빌드머신 원격 원격 원격 원격 원격 원격 원격 원격 원격 에이전트 명령어 명령어를 받아줄 에이전트를 띄워 둬야 하는데요

310. 빌드머신 원격 원격 원격 원격 원격 원격 원격 원격 원격 명령어를 SSH로 보통은 sshd가 기본으로 깔려 있잖아요?

311. 빌드머신 원격 원격 원격 원격 원격 원격 원격 원격 원격 명령어를 SSH로 Fabric은 SSH를 명령 채널로 써서 원격 머신에 추가적으로 아무것도 깔지 않아도

312. 빌드머신 원격 원격 원격 원격 원격 원격 원격 원격 원격 명령어를 SSH로 바로 명령어를 날릴 수 있어요.

313. @task def setup_durango(): if files.exists('durango'): run('cd durango') run('git pull') else: run('git clone %s durango' % git_url) run('cd durango') Fabric으로 날리는 명령어는 이렇게 파이썬 코드로 짜게 되는데

314. @task def setup_durango(): if files.exists('durango'): run('cd durango') run('git pull') else: run('git clone %s durango' % git_url) run('cd durango') 기본적으로는 파이썬 틀 안에 쉘 명령어를 직접 써넣는 방식이에요.

315. @task def setup_durango(): if files.exists('durango'): run('cd durango') run('git pull') else: run('git clone %s durango' % git_url) run('cd durango') 배포 스크립트들을 짜다 보면 꼭 이런 식으로

316. @task def setup_durango(): if files.exists('durango'): run('cd durango') run('git pull') else: run('git clone %s durango' % git_url) run('cd durango') 처음 돌린 건지 아닌지에 따라 분기를 나누는 패턴이 많이 나타나는데

317. @task def setup_durango(): if files.exists('durango'): run('cd durango') run('git pull') else: run('git clone %s durango' % git_url) run('cd durango') 저희는 이런 귀찮음을 해소해주는 도구도 쓰고 있어요.

318. fabtools 바로 Fabric의 보조도구인 fabtools입니다.

319. @task def setup_durango(): require.git.working_copy(git_url, 'durango', update=True) fabtools는 방금 본 것과 같은 각종 예외처리 분기를

320. @task def setup_durango(): require.git.working_copy(git_url, 'durango', update=True) 무엇무엇이 필요하다는 형태로 추상화 해줘요.

321. @task def setup_durango(): require.git.working_copy(git_url, 'durango', update=True) 이 코드는 원격 머신이 어떤 상황이든 간에

322. @task def setup_durango(): require.git.working_copy(git_url, 'durango', update=True) Git 저장소가 필요하니 알아서 만들어 달라는 뜻이에요.

323. @task def setup_durango(): require.git.working_copy(git_url, 'durango', update=True) fabtools 덕분에 절차적이던 저희 배포 스크립트를

324. @task def setup_durango(): require.git.working_copy(git_url, 'durango', update=True) 선언적으로 만들 수 있게 됐죠.

325. coverage 71%build passing 저희에게 지속적인 빌드와 배포는

326. coverage 71%build passing 병합요청과 코드리뷰, 그리고 QA 절차에 필수적이었어요.

327. coverage 71%build passing 제가 소개한 도구들을 적당한 CI에서 이용하면

328. coverage 71%build passing 여러분의 개발환경을 개선하는 데에도 도움이 될 것 같습니다.

329. 컨벤션 통일

330. 컨벤션 통일 다른 모든 언어와 마찬가지로

331. 컨벤션 통일 파이썬에서도 코딩 컨벤션을 통일해두는 게

332. 컨벤션 통일 좋은 코드를 짜기에도 좋고 나중에 유지보수 하기에도 편리해요.

333. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase 파이썬엔 표준 컨벤션이 있어요.

334. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase PEP8이라는 8번째 제안서에서 규정하고 있죠.

335. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase 하드탭 대신 4칸짜리 스페이스를 써야 한다든가

336. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase 코드의 최대 폭이 79칸을 넘지 말아야 한다든가

337. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase import문 종류에 따른 순서를 지켜야 한다든가

338. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase snake_case나 PascalCase 등을 용도에 맞춰서 써야 한다든가

339. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase 뭐 그런 식이에요.

340. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase 여기엔 아무리 파이썬에 익숙해져도

341. PEP8 •4칸 소프트탭 •79칸 제한 •import 순서 •snake_case, PascalCase 손으로 일일이 맞추기는 어려운 규칙도 많아요.

342. Flake8 그래서 저희는 Flake8이라는 파이썬 코드 품질 검사기를 쓰고 있어요.

343. ❯ flake8 bad.py bad.py:1:1: F401 'sys' imported but unused bad.py:2:1: F401 'os' imported but unused bad.py:7:6: E111 indentation is not a multiple of four 이런 식으로 어떤 코드가 컨벤션에 안 맞는지 아니면 잘못 쓰였는지

344. ❯ flake8 bad.py bad.py:1:1: F401 'sys' imported but unused bad.py:2:1: F401 'os' imported but unused bad.py:7:6: E111 indentation is not a multiple of four 코드를 읽어서 정적으로 분석해주는 단순한 Lint인데

345. ❯ flake8 bad.py bad.py:1:1: F401 'sys' imported but unused bad.py:2:1: F401 'os' imported but unused bad.py:7:6: E111 indentation is not a multiple of four 이걸 작업자 각자가 에디터에 연동해서 쓰기도 하고

346. ❯ flake8 bad.py bad.py:1:1: F401 'sys' imported but unused bad.py:2:1: F401 'os' imported but unused bad.py:7:6: E111 indentation is not a multiple of four CI에서 빌드 돌릴 때 같이 돌리기도 합니다.

347. •flake8-import-order •flake8-print •flake8-commas Flake8에도 플러그인이 무척 많아서

348. •flake8-import-order •flake8-print •flake8-commas 프로젝트 내부 컨벤션에도 맞춰서 쓸 수 있어요.

349. •flake8-import-order •flake8-print •flake8-commas flake8-import-order는 아까 얘기한 import문의

350. •flake8-import-order •flake8-print •flake8-commas 종류별 순서 뿐 아니라 ABC 순 정렬까지도 맞춰주고

351. •flake8-import-order •flake8-print •flake8-commas flake8-print는 정식 코드에 print문이 들어가는 걸 막아주며

352. •flake8-import-order •flake8-print •flake8-commas flake8-commas는 list나 dict 등의 리터럴을 여러 줄에 걸쳐서 쓸 때

353. •flake8-import-order •flake8-print •flake8-commas 항상 마지막 콤마를 찍게끔 강제해줘요.

354. •flake8-import-order •flake8-print •flake8-commas 물론 이 외에도 아주 많은 플러그인이 있죠.

355. Vim+Syntastic|pymode Vim 쓰시는 분 많죠?

356. Vim+Syntastic|pymode Vim 플러그인인 Syntastic이나 pymode를 쓰면

357. Vim+Syntastic|pymode 이렇게 에디터에서도 실수를 바로바로 확인할 수 있어요.

358. Vim+Syntastic|pymode 저는 이렇게 작업합니다.

359. Emacs+Flycheck 저는 Vim파지만 저희 스튜디오에 Emacs 쓰시는 분도 있는데

360. Emacs+Flycheck 그분은 같은 용도로 Flycheck라는 걸 쓴다고 해요.

361. Emacs+Flycheck 마찬가지로 Flake8 결과를 에디터에서 바로 볼 수 있어요.

362. • PEP8 • The Pocoo Style Guide PEP8은 파이썬 커뮤니티에선 절대적이라서

363. • PEP8 • The Pocoo Style Guide 특히 오픈소스 활동을 할 때는 반드시 지키는 게 좋아요.

364. • PEP8 • The Pocoo Style Guide 하지만 PEP8만으로는 간혹 모호한 경우도 있는데

365. • PEP8 • The Pocoo Style Guide 그래서 저희는 PEP8을 기반으로 좀 더 구체적이고 실용적인 규칙을 제시하는

366. • PEP8 • The Pocoo Style Guide Pocoo 스타일을 따르고 있습니다.

367. REPL

368. REPL 저는 파이썬으로 코딩할 때 REPL을 굉장히 많이 써요.

369. REPL REPL은 Read-Evaluate-Print Loop의 약자인데

370. REPL 터미널에서 인자 없이 python 치면 나오는 대화형 인터프리터 콘솔 있잖아요?

371. REPL 그런 걸 가리켜요.

372. REPL 코드를 파일에 적어서 실행하는 것도 물론 좋지만

373. REPL 문제를 탐색해나가는 REPL만의 방식에도 매력이 있습니다.

374. ❯ python Python 2.7.11+ (default, Apr 17 2016, 14:00:29) [GCC 5.3.1 20160413] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import os >>> os.getpid() 42 파이썬 기본 REPL은 다들 아실 테고

375. ❯ ipython Python 2.7.11+ (default, Apr 17 2016, 14:00:29) Type "copyright", "credits" or "license" for more information. In [1]: import os In [2]: os.getpid() Out[2]: 42 IPython이라는 조금 더 스마트한 REPL도 있는데

376. ❯ ipython Python 2.7.11+ (default, Apr 17 2016, 14:00:29) Type "copyright", "credits" or "license" for more information. In [1]: import os In [2]: os.getpid() Out[2]: 42 문법강조도 되고 자동완성도 되고 그 밖에도 다양한 편의기능이 들어있어요.

377. ❯ ipython Python 2.7.11+ (default, Apr 17 2016, 14:00:29) Type "copyright", "credits" or "license" for more information. In [1]: import os In [2]: os.getpid() Out[2]: 42 이 IPython을 터미널 대신 웹에서도 쓸 수 있게 나온 게

378. Jupyter Notebook인데

379. 중간중간 문서도 집어넣을 수도 있고

380. 데이터를 터미널에서보다 훨씬 풍부하게 시각화할 수 있어요.

381. 그래서 데이터 과학 쪽에선 앞에서 소개했듯이

382. 탐색적 분석하는 데에 이것을 많이 쓴다고 합니다.

383. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 저희가 만드는 게 MMORPG라서 그런지

384. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 간단한 게임플레이 테스트 시나리오 하나 짜려고 해도

385. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 그 시나리오에 필요한 게임 세계를 구축하는데

386. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 굉장히 깊은 의존성을 풀어야 하는 경우가 있어요.

387. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 이 코드는 읽으라고 쓴 게 아니에요.

388. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 여기서 테스트하고 싶은 건

389. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 그저 플레이어를 호수 근처로 옮기는 것 뿐인데

390. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 플레이어와 호수를 준비하려면

391. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 앞쪽에 훨씬 복잡하고 많은 코드가 필요할 수 있다는 걸 보여드리고 싶었어요.

392. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 게임서버에서는 게임 세계가 알아서 구축되잖아요?

393. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 만약 서버를 직접 돌리는 방식으로만 테스트하게 되면

394. >>> world_id = db.find_all(World.id)[0] >>> world = db.load(World, world_id) >>> islands = world.all_islands() >>> for island in islands: ... if 'Python' in island.name: ... break ... else: ... assert False, 'island not found' ... >>> lakes = island.find_lakes() >>> lake = lakes[42] >>> p = Player(id=1) >>> p.level = 0 >>> for item in INITIAL_ITEMS: ... p.inventory.add_item(item) ... >>> homes = island.find_homes() >>> p.home = homes[999] >>> p.move_to(lake) Player-1 moved to lake-42! 이런 부분이 고달플 수 있다는 걸 잘 모르고 넘어갈 수 있어요.

395. >>> lake = find_lake('*/42') >>> p = make_player(1, mock=True) >>> p.move_to(lake) Player-1 moved to lake-42! >>> p.is_nearby(lake) True 하지만 REPL을 주로 쓰면 자연스레 귀찮고 반복적인 의존성 풀기를

396. >>> lake = find_lake('*/42') >>> p = make_player(1, mock=True) >>> p.move_to(lake) Player-1 moved to lake-42! >>> p.is_nearby(lake) True 최대한 쉽게 쓸 수 있게끔 추상화하게 되곤 합니다.

397. >>> lake = find_lake('*/42') >>> p = make_player(1, mock=True) >>> p.move_to(lake) Player-1 moved to lake-42! >>> p.is_nearby(lake) True 그래야 REPL에서 다시 쓰기 편하니까요.

398. >>> lake = find_lake('*/42') >>> p = make_player(1, mock=True) >>> p.move_to(lake) Player-1 moved to lake-42! >>> p.is_nearby(lake) True 이런 식으로 REPL에서 한 번 돌려본 명령어들을

399. def test_move_to(): lake = find_lake('*/42') p = make_player(1, mock=True) p.move_to(lake) assert p.is_nearby(lake) 복붙해서 테스트케이스로 구워 두면 두고두고 도움 될 거예요.

400. def test_move_to(): lake = find_lake('*/42') p = make_player(1, mock=True) p.move_to(lake) assert p.is_nearby(lake) 이렇듯 우리가 만드는 프로그램을 유저로서 테스트하는 데에 그치지 말고

401. def test_move_to(): lake = find_lake('*/42') p = make_player(1, mock=True) p.move_to(lake) assert p.is_nearby(lake) REPL을 주요 개발 도구 중 하나로 삼아서

402. def test_move_to(): lake = find_lake('*/42') p = make_player(1, mock=True) p.move_to(lake) assert p.is_nearby(lake) API를 직접, 그리고 또 자주 써보는 게

403. def test_move_to(): lake = find_lake('*/42') p = make_player(1, mock=True) p.move_to(lake) assert p.is_nearby(lake) API를 더 낫게 만드는 데 도움된다고 생각합니다.

404. 디버깅

405. 디버깅 이번엔 파이썬 코드를 디버깅하는 방법이에요.

406. Pdb 파이썬 표준 라이브러리엔 Pdb라고 gdb 같은 콘솔 디버거가 들어있어요.

407. def hello_world(): hello = 'world' pdb.set_trace() return hello 이렇게 코드 사이에서 pdb.set_trace()를 불러주면

408. def hello_world(): hello = 'world' pdb.set_trace() return hello 다른 IDE에서 많이 보셨을 브레이크포인트가 걸려요.

409. > helloworld.py(7)hello_world() -> return hello (Pdb) hello 'world' (Pdb) l 4 def hello_world(): 5 hello = 'world' 6 pdb.set_trace() 7 -> return hello 8 hello_world() [EOF] 실행 도중에 브레이크포인트에 걸리면 디버깅 콘솔이 뜨는데

410. > helloworld.py(7)hello_world() -> return hello (Pdb) hello 'world' (Pdb) l 4 def hello_world(): 5 hello = 'world' 6 pdb.set_trace() 7 -> return hello 8 hello_world() [EOF] 보통의 IDE 디버거와 마찬가지로

411. > helloworld.py(7)hello_world() -> return hello (Pdb) hello 'world' (Pdb) l 4 def hello_world(): 5 hello = 'world' 6 pdb.set_trace() 7 -> return hello 8 hello_world() [EOF] 변수 내용을 확인한다거나

412. > helloworld.py(7)hello_world() -> return hello (Pdb) hello 'world' (Pdb) l 4 def hello_world(): 5 hello = 'world' 6 pdb.set_trace() 7 -> return hello 8 hello_world() [EOF] 실행중인 코드 위치를 확인한다거나

413. > helloworld.py(7)hello_world() -> return hello (Pdb) hello 'world' (Pdb) l 4 def hello_world(): 5 hello = 'world' 6 pdb.set_trace() 7 -> return hello 8 hello_world() [EOF] 아니면 콜스택 위아래를 오간다거나 한 스텝씩 넘겨본다거나 할 수 있어요.

414. > helloworld.py(7)hello_world() -> return hello (Pdb++) hello 'world' (Pdb++) l 4 def hello_world(): 5 hello = 'world' 6 pdb.set_trace() 7 -> return hello 8 hello_world() [EOF] pdb++ 확장을 깔면 문법강조도 볼 수 있죠.

415. >>> x = 0 >>> x / x Traceback (most recent call last): File "<stdin>", line 1, in <module> ZeroDivisionError: ... >>> pdb.pm() > <stdin>(1)<module>() (Pdb) x 0 Pdb는 REPL에서 놀다가 에러 났을 때도 유용하게 쓸 수 있어요.

416. >>> x = 0 >>> x / x Traceback (most recent call last): File "<stdin>", line 1, in <module> ZeroDivisionError: ... >>> pdb.pm() > <stdin>(1)<module>() (Pdb) x 0 pdb.pm(), “부검”을 뜻하는 “Post-mortem”의 약자죠.

417. >>> x = 0 >>> x / x Traceback (most recent call last): File "<stdin>", line 1, in <module> ZeroDivisionError: ... >>> pdb.pm() > <stdin>(1)<module>() (Pdb) x 0 이것을 실행하면 마지막 에러가 발생했던 곳을 바로 디버깅할 수 있어요.

418. >>> x = 0 >>> x / x Traceback (most recent call last): File "<stdin>", line 1, in <module> ZeroDivisionError: ... >>> pdb.pm() > <stdin>(1)<module>() (Pdb) x 0 저희 서버도 디버깅 용으로 돌리면 서버 실행 도중 pdb.pm()으로

419. >>> x = 0 >>> x / x Traceback (most recent call last): File "<stdin>", line 1, in <module> ZeroDivisionError: ... >>> pdb.pm() > <stdin>(1)<module>() (Pdb) x 0 마지막 에러를 디버깅해볼 수 있게 연동해놨어요.

420. >>> x = 0 >>> x / x Traceback (most recent call last): File "<stdin>", line 1, in <module> ZeroDivisionError: ... >>> pdb.pm() > <stdin>(1)<module>() (Pdb) x 0 다만 디버깅 콘솔 사용법이 처음엔 조금 생소할 수 있는데

421. (Pdb) ? Documented commands (type help <topic>): ======================================== EOF bt cont enable jump pp run unt a c continue exit l q s until alias cl d h list quit step up args clear debug help n r tbreak w b commands disable ignore next restart u whatis break condition down j p return unalias where Miscellaneous help topics: ========================== exec pdb 물음표 치면 설명서가 나오니까

422. (Pdb) ? Documented commands (type help <topic>): ======================================== EOF bt cont enable jump pp run unt a c continue exit l q s until alias cl d h list quit step up args clear debug help n r tbreak w b commands disable ignore next restart u whatis break condition down j p return unalias where Miscellaneous help topics: ========================== exec pdb 조금씩 찾아보면서 익히다 보면 아마 금방 익숙해질 수 있을 거예요.

423. PTVS 저희 스튜디오에서 비주얼스튜디오를 선호하시는 분들은

424. PTVS 마이크로소프트에서 만든 파이썬 개발 플러그인인 PTVS를 씁니다.

425. PTVS 디버거도 굉장히 훌륭해서

426. 서버에 에이전트를 같이 띄워주기만 하면

427. 비주얼스튜디오 IDE를 한껏 활용하면서 GUI로 편하게 디버깅할 수 있어요.

428. print(strange_value) 이렇듯 파이썬에서 print로만 디버깅할 수 있는 건 아니니까

429. print(strange_value) 여러가지 편한 도구를 찾아서 사용해보시면 좋겠습니다.

430. 자료구조

431. 자료구조 프로그램 만들 땐 언제나 가장 적절한 자료구조를 골라야 하죠.

432. 자료구조 그래야 올바른 코드를 짤 수 있고 또 성능을 높이는 데도 도움 되니까요.

433. 자료구조 list나 set 같은 빌트인 자료구조는 이미 다 아실 테니까

434. 자료구조 그 밖의 유용한 파이썬 자료구조를 소개해볼게요.

435. collections 우선 collections 표준 라이브러리부터 살펴볼게요.

436. list.insert(0, x) deque.appendleft(x) collections 안에 있는 deque은

437. list.insert(0, x) deque.appendleft(x) 상수시간에 앞뒤 양 끝 요소를 조작할 수 있는 자료구조예요.

438. list.insert(0, x) deque.appendleft(x) 반면 list는 맨 뒤가 아니면 상수시간에 추가하거나 뺄 수 없죠.

439. stack = [] while f: stack.append(f) f = f.f_back stack.reverse() stack = deque() while f: stack.appendleft(f) 이런 식으로 list에 순차적으로 쌓은 다음 뒤집는 경우가 있는데

440. stack = [] while f: stack.append(f) f = f.f_back stack.reverse() stack = deque() while f: stack.appendleft(f) deque을 쓰면 처음부터 역순으로 쌓을 수 있어요.

441. >>> sub = OrderedDict([('S', 1), ('U', 2), ('B', 3)]) >>> sub['S'] 1 >>> sub.keys() ['S', 'U', 'B'] OrderedDict는 dict의 서브클래스인데 그냥 dict와 달리 순서를 보장해줘서

442. >>> sub = OrderedDict([('S', 1), ('U', 2), ('B', 3)]) >>> sub['S'] 1 >>> sub.keys() ['S', 'U', 'B'] 순서도 중요하고 키로 접근하는 것도 중요할 때 쓰면 좋아요.

443. >>> Vector2 = namedtuple('Vector2', ['x', 'y']) >>> xy = Vector2(20, 59) >>> xy.x 20 >>> x, y = xy namedtuple은 tuple의 서브클래스를 만들어주는 함수인데

444. >>> Vector2 = namedtuple('Vector2', ['x', 'y']) >>> xy = Vector2(20, 59) >>> xy.x 20 >>> x, y = xy 이때 각 원소에 이름을 붙일 수 있어요.

445. >>> Vector2 = namedtuple('Vector2', ['x', 'y']) >>> xy = Vector2(20, 59) >>> xy.x 20 >>> x, y = xy 이것으로 만든 클래스도 tuple 처럼 불변이고 다중대입문에도 쓸 수 있죠.

446. >>> Vector2 = namedtuple('Vector2', ['x', 'y']) >>> xy = Vector2(20, 59) >>> xy.x 20 >>> x, y = xy 저는 사소한 클래스 만들 땐 class문을 직접 쓰는 대신

447. >>> Vector2 = namedtuple('Vector2', ['x', 'y']) >>> xy = Vector2(20, 59) >>> xy.x 20 >>> x, y = xy 이 쪽을 더 선호하는 편이에요.

448. >>> c = Counter('nexon') >>> c['n'] 2 >>> c['x'] 1 Counter는 dict의 서브클래스고 이렇게 뭔가 간단히 셀 때 쓰기 좋아요.

449. >>> d = defaultdict(int) >>> d['yo'] 0 defaultdict는 없는 키에 접근했을 때 KeyError를 내는 대신

450. >>> d = defaultdict(int) >>> d['yo'] 0 팩토리함수 실행 결과를 채워주는 dict예요.

451. def inf_dict(): return defaultdict(inf_dict) 이건 파이콘 KR 2014 구종만 님 발표에서 봤던 코드인데

452. def inf_dict(): return defaultdict(inf_dict) defaultdict 만드는 함수 자체를 defaultdict의 팩토리함수로 쓰고 있죠?

453. root = inf_dict() root[0][1][2][3][4][5][6][7] = 'So deep!' 그래서 아무 키나 끊임 없이 써내려 갈 수 있어요.

454. 써드파티 collections에만 해도 유용한 자료구조가 많이 있지만

455. 써드파티 써드파티에는 더 재밌는 게 많아요.

456. foo = [1, 10, 100, 1000] x = bisect_left(foo, 42) foo.insert(x, 42) from sortedcontainer import SortedList bar = SortedList([1, 10, 100, 1000]) bar.add(42) sortedcontainers는 항상 정렬돼있는 list와 dict를 제공해서

457. foo = [1, 10, 100, 1000] x = bisect_left(foo, 42) foo.insert(x, 42) from sortedcontainer import SortedList bar = SortedList([1, 10, 100, 1000]) bar.add(42) 굉장히 빠르게 원소를 정렬된 상태로 넣거나 빼는 데 쓸 수 있어요.

458. foo = [1, 10, 100, 1000] x = bisect_left(foo, 42) foo.insert(x, 42) from sortedcontainer import SortedList bar = SortedList([1, 10, 100, 1000]) bar.add(42) 표준 list나 set으로는 할 수 없는 일이죠.

459. >>> from bidict import bidict >>> type_table = bidict() >>> type_table[1] = Ping >>> type_table[2] = Pong >>> type_table.inv[Pong] 2 bidict는 양방향 dict로,

460. >>> from bidict import bidict >>> type_table = bidict() >>> type_table[1] = Ping >>> type_table[2] = Pong >>> type_table.inv[Pong] 2 키로 값을 찾는 것 뿐만 아니라 값으로 키를 찾는 것까지 가능해서

461. >>> from bidict import bidict >>> type_table = bidict() >>> type_table[1] = Ping >>> type_table[2] = Pong >>> type_table.inv[Pong] 2 타입코드 테이블 같은 거 만들 때 유용해요.

462. from cachetools import LRUCache cache = LRUCache(256) cachetools에는 LRU나 TTL을 비롯한

463. from cachetools import LRUCache cache = LRUCache(256) 여러가지 캐싱 정책을 구현한 dict의 서브클래스들이 들어있어요.

464. from cachetools import LRUCache cache = LRUCache(256) 서버에 캐싱을 구현할 일이 종종 있는데 그럴 때 쓰기 편하더라고요.

465. namedtuple, deque, OrderedDict, SortedList, bidict, LRUCache, ... 이렇게 빌트인 말고도 여러가지 자료구조를 라이브러리에서 구할 수 있으니까

466. namedtuple, deque, OrderedDict, SortedList, bidict, LRUCache, ... 각각의 용도와 특성을 파악해서 더 효율적인 코드를 쉽게 짜는 데 써보세요.

467. 제너레이터

468. 제너레이터 파이썬에는 함수 실행을 도중에 멈췄다가 재개시킬 수 있는 제너레이터가 있죠.

469. 제너레이터 앞서 소개한 asyncio의 재료가 되기도 했고요.

470. 제너레이터 C# 쓰시는 분들은 이미 익숙하실 거예요.

471. def only_odds(nums): for n in nums: if n % 2 == 1: yield n 함수 중간에 return 대신 yield를 넣으면 그 지점에서 함수 실행이 중단돼요.

472. >>> odds = only_odds(range(100)) >>> next(odds) 1 >>> next(odds) 3 호출한 쪽에선 yield된 값을 받아올 수 있고

473. >>> odds = only_odds(range(100)) >>> next(odds) 1 >>> next(odds) 3 next()를 이용해서 다음 이터레이션으로 넘어갈 수 있어요.

474. def only_odds(nums): for n in nums: if n % 2 == 1: yield n next() next() next() next() next() 이런 식으로 next()하는 만큼 함수가 실행되게 돼서

475. def only_odds(nums): for n in nums: if n % 2 == 1: yield n next() next() next() next() next() 레이지 이터레이터를 아주 쉽게 구현할 수 있죠.

476. seq = xrange(1000000) seq = only_odds(seq) seq = (x ** 2 for x in seq) 특히 한 시퀀스를 여러 번 변형하는 경우

477. seq = xrange(1000000) seq = only_odds(seq) seq = (x ** 2 for x in seq) 제너레이터를 쓰면 실제 이터레이션을 한 바퀴로 줄일 수 있는데

478. seq = xrange(1000000) seq = only_odds(seq) seq = (x ** 2 for x in seq) 이 코드는 0부터 999,999까지의 숫자 중에서

479. seq = xrange(1000000) seq = only_odds(seq) seq = (x ** 2 for x in seq) 홀수만 취한 다음

480. seq = xrange(1000000) seq = only_odds(seq) seq = (x ** 2 for x in seq) 그 제곱을 구하는 코드입니다.

481. seq = xrange(1000000) seq = only_odds(seq) seq = (x ** 2 for x in seq) 세 줄 모두 이터레이터나 제너레이터만 만들고 있고

482. >>> seq <generator object <genexpr>> 실제로 이터레이션을 돌리진 않아요.

483. >>> list(seq) [1, 9, 25, 49, 81, 121, ...] 결과를 보기 위해 list 등으로 감싸면 그때야 비로소 이터레이션이 돌죠.

484. >>> list(seq) [1, 9, 25, 49, 81, 121, ...] 레이지하지 않았다면 이터레이션이 250만 바퀴 돌았을 로직인데

485. >>> list(seq) [1, 9, 25, 49, 81, 121, ...] 이 방법으로 딱 100만 바퀴만 돌 수 있게 됩니다.

486. ❯ python -m timeit -s 'from exm import only_odds' ' seq = xrange(1000000) seq = only_odds(seq) seq = (x ** 2 for x in seq) list(seq) ' 10 loops, best of 3: 137 msec per loop 간단히 벤치마킹해보니까 제너레이터를 쓸 땐 137ms가 걸렸어요.

487. ❯ python -m timeit -s 'from exm import only_odds' ' seq = list(xrange(1000000)) seq = list(only_odds(seq)) seq = [x ** 2 for x in seq] ' 10 loops, best of 3: 456 msec per loop 반면 매번 이터레이션하는 방식으로는 456ms나 걸리는 걸 볼 수 있었습니다.

488. >>> list(gen) [1, 2, 3] >>> list(gen) [] def gen(): yield 1 yield 2 yield 3 제너레이터는 딱 한 바퀴만 돌릴 수 있어서

489. >>> list(gen) [1, 2, 3] >>> list(gen) [] def gen(): yield 1 yield 2 yield 3 여러 번 돌려야 하는 경우에 당황스러울 수 있어요.

490. seq = list(gen) do_something(seq) do_another(seq) 이럴 땐 list 등으로 미리 한번 평가해놓고 쓰거나

491. gen1, gen2 = itertools.tee(gen) do_something(gen1) do_another(gen2) 아니면 표준 라이브러리 itertools에 있는 tee를 이용해서

492. gen1, gen2 = itertools.tee(gen) do_something(gen1) do_another(gen2) 제너레이터를 여러 개의 뷰로 나눠서 쓸 수 있어요.

493. gen1, gen2 = itertools.tee(gen) do_something(gen1) do_another(gen2) tee는 리눅스 커맨드에서 따온 이름인데 T자형 파이프를 뜻합니다.

494. enemy = player.nearest_player() while player.alive() or enemy.alive(): player.move_to(enemy) player.attack(enemy) yield 제너레이터는 AI 만들 때 쓰기에도 굉장히 편리한데

495. enemy = player.nearest_player() while player.alive() or enemy.alive(): player.move_to(enemy) player.attack(enemy) yield 지금이 어떤 상태고 각종 정보를 다음 틱에 어떻게 넘길지

496. enemy = player.nearest_player() while player.alive() or enemy.alive(): player.move_to(enemy) player.attack(enemy) yield 고민할 필요 없이 그냥 지역변수를 쓰면 되거든요.

497. if self.state is not Fighting: self.enemy = player.nearest_player() self.state = Fighting elif player.alive() or self.enemy.alive(): player.move_to(self.enemy) player.attack(self.enemy) 제너레이터가 없다면 어떤 형태로든 스테이트머신이 필요하겠죠?

498. yield 파이썬에서 yield는 raise나 return만큼

499. yield 많이 쓰이는 제어구문이고 그만큼 쓰기도 쉽습니다.

500. yield 제너레이터로 이터레이션을 줄일 수 있거나 복잡도를 낮출 수 있는 곳이 없는지

501. yield 한 번 확인해보시면 좋을 것 같아요.

502. 성능 측정

503. 성능 측정 프로그램을 최적화하려면 일단 성능부터 제대로 측정해야 합니다.

504. 성능 측정 이번엔 저희가 사용하는 몇 가지 성능 측정 방법을 소개해 볼게요.

505. ❯ python -m timeit -s 한 번 실행할 코드 벤치마킹할 코드 timeit은 표준 라이브러리예요.

506. ❯ python -m timeit -s 한 번 실행할 코드 벤치마킹할 코드 앞에서 제너레이터 벤치마킹할 때 이것을 썼었죠.

507. ❯ python -m timeit -s 한 번 실행할 코드 벤치마킹할 코드 그냥 쉘에다가 이렇게 치면

508. ❯ python -m timeit -s 한 번 실행할 코드 벤치마킹할 코드 적당히 너무 오래 걸리지 않는 선에서 반복실행한 다음

509. ❯ python -m timeit -s 한 번 실행할 코드 벤치마킹할 코드 한 번 돌릴 때 실행시간이 얼마나 걸리는지 알려줍니다.

510. ❯ python -m timeit -s 'import math' 'math.log10(99999999)' 10000000 loops, best of 3: 0.108 usec per loop 이런 식으로요.

511. ❯ python -m timeit -s 'import math' 'math.log10(99999999)' 10000000 loops, best of 3: 0.108 usec per loop 이건 math.log10()을 벤치마킹하는 모습이에요.

512. ❯ python -m timeit -s 'import math' 'math.log10(99999999)' 10000000 loops, best of 3: 0.108 usec per loop 여기서 math 모듈을 import하는 부분은 벤치마킹 대상이 아니잖아요?

513. ❯ python -m timeit -s 'import math' 'math.log10(99999999)' 10000000 loops, best of 3: 0.108 usec per loop 그래서 -s 옵션에 넣어서 한 번만 부르게 했어요.

514. ❯ python -m timeit -s 'import math' 'math.log10(99999999)' 10000000 loops, best of 3: 0.108 usec per loop 1,000만 번 씩 3번 돌려봤고

515. ❯ python -m timeit -s 'import math' 'math.log10(99999999)' 10000000 loops, best of 3: 0.108 usec per loop 그 중 가장 빨랐을 때 log10 한 번에 0.108μs가 걸렸다는 내용입니다.

516. •호출 횟수 •고유 실행시간 •하위 콜스택 포함 실행시간 ❯ python -m profile 파이썬 파일 profile 역시 표준 라이브러리인데

517. •호출 횟수 •고유 실행시간 •하위 콜스택 포함 실행시간 ❯ python -m profile 파이썬 파일 함수에 진입하고 나가는 이벤트를 모두 기록해서

518. •호출 횟수 •고유 실행시간 •하위 콜스택 포함 실행시간 ❯ python -m profile 파이썬 파일 함수 별로 호출 횟수와 실행시간을 측정해주죠.

519. •호출 횟수 •고유 실행시간 •하위 콜스택 포함 실행시간 ❯ python -m cProfile 파이썬 파일 표준 라이브러리에 cProfile이라고 C로 만들어서 오버헤드가 적은 버전도 있으니까

520. •호출 횟수 •고유 실행시간 •하위 콜스택 포함 실행시간 ❯ python -m cProfile 파이썬 파일 저희처럼 PyPy가 아닌 CPython을 쓰신다면 이걸 쓰세요.

521. ❯ python -m cProfile log10.py 10000002 function calls in 2.269 seconds Ordered by: standard name ncalls tottime percall cumtime percall filename:lineno(function) 1 0.327 0.327 2.269 2.269 log10.py:1(<module>) 10000000 1.942 0.000 1.942 0.000 {math.log10} 측정 결과는 이런 식으로 출력되는데