서비스를 만들면서 피할 수 없는 주제 중 한가지가 바로 비동기 처리입니다. 무겁고 오래 걸리는 일에 대한 처리뿐 아니라, 주기적으로 수행해야 하는 일까지 대부분 서비스에 반드시 라고 할 만큼 겪게 되는 문제죠. Python을 쓰는 우리에게는 물론 싱싱하고 훌륭한 해법인 Celery가 있습니다. 요구되는 거의 모든 기능을 제공할 뿐만 아니라, 유연하게 설계되어 있고 관리툴 같은 부가 기능까지, 비동기에 관련된 모든 부분을 책임져주죠. 하지만 Celery에 이런 빛과 같은 아름다움만 존재하는 것은 아닙니다. 싱싱한 채소를 맛있게 먹기 위해서는 몇 가지 공부가 필요한 것처럼, 때로는 Celery의 의아스러운 점을 잘 다루고, 우리의 서비스에 맞게 이용하기 위해서는 몇 가지 알아야 할 점이 있습니다. 지난 1년여간 최대 1만 건/초의 요청을 Celery로 처리하면서 제가 얻은 경험을 나누고자 합니다.

1. Celery의 빛과 그림자
PYCON KOREA 2015
정민영
THE BEATPACKING COMPANY

2. 발표자
• 정민영
• 비트패킹컴퍼니 CTO
• PyconKR 2014/Deview 2014 ‘제약을 넘어: Gevent’
발표 (Deview 2014 Top 10)
• AWSKRUG Founder / AWS Community Hero

3. 이런 분들을 위해 준비했어요!
• 비동기 처리를 해야되긴 한다던데… 뭐가 뭔지 모르겠던 분!
• Celery가 뭔가 좋은거 같긴한데…써도 되나 의심스러우셨던
분들!
• Celery를 쓰고 있는데 뭔가 작동이 이상해서 고민이셨던 분
들!

4. Celery?

5. Distributed
Task
Queue

6. 혹은

7. (종합적인)비동기 처리기

8. 비동기 처리기?

9. 비동기 처리기는 왜 필요한걸까?
고갱님 어떤 서비스
진지하게 가입을 해볼까?
이메일, 이름, .. 좋아 가입!

10. 비동기 처리기는 왜 필요한걸까?
어떤 서비스
진지하게 가입을 해볼까?
이메일, 이름, .. 좋아 가입!
에.. 고객님 프로필 사진을
업로드하고.. 크기도 적당히
3개쯤 준비해두고..
고갱님

11. 비동기 처리기는 왜 필요한걸까?
어떤 서비스
진지하게 가입을 해볼까?
이메일, 이름, .. 좋아 가입!
에.. 고객님 프로필 사진을
업로드하고.. 크기도 적당히
3개쯤 준비해두고.. 요즘 유
행이니까 배경 블러도 만들
어 두고…
고갱님

12. 비동기 처리기는 왜 필요한걸까?
어떤 서비스
진지하게 가입을 해볼까?
이메일, 이름, .. 좋아 가입!
에.. 고객님 프로필 사진을
업로드하고.. 크기도 적당히
3개쯤 준비해두고.. 요즘 유
행이니까 배경 블러도 만들
어 두고… 아 친구도 찾아
드려야 하는데 까먹을뻔 했
네 데헷(*^^*)..
고갱님

13. 비동기 처리기는 왜 필요한걸까?
어떤 서비스
에.. 고객님 프로필 사진을
업로드하고.. 크기도 적당히
3개쯤 준비해두고.. 요즘 유
행이니까 배경 블러도 만들
어 두고… 아 친구도 찾아
드려야 하는데 까먹을뻔 했
네 데헷(*^^*).. 자 다했다
이제 이메일 보내드려야지!

14. 비동기 처리기는 왜 필요한걸까?
어떤 서비스
어…어.. 고..고갱님??

15. 비동기 처리기는 왜 필요한걸까?
• 비동기 처리기는 동기적으로 수행하지 않아도 되는 일들을 처
리해 주는 역활을 합니다.
• 즉 결과를 즉시 받을 필요 없거나, 지연하여 처리해야 되는 일
들을 보통 처리합니다.
• 물론 그것이 제대로 처리가 되지 않아도 된다는 이야기는 아
니기 때문에, 별도의 잘 만들어진 처리기가 필요해요!

16. 그런데 왜 꼭
여야 하나요?

17. 근데 왜 꼭 Celery여야 하죠?
• 완전 쉽게 연동할 수 있어요!
• (아마도) 당신이 상상할 수 있는 모든 기능을 제공해요!
• 일단 남들이 제일 많이 써요!

18. Celery… 너란 채소….

19. 완전 쉽게 연동할 수 있어요!
from

20. celery

21. import

22. Celery
app

23. =

24. Celery('hello',

37. broker='amqp://guest@localhost//')

38.
@app.task
def

39. add(a,

40. b):

44. return

45. a

46. +

47. b

48. 완전 쉽게 연동할 수 있어요!
from

49. tasks

50. import

51. add
add.delay(1,

52. 2)

54. 완전 쉽게 연동할 수 있어요!
from

55. tasks

56. import

57. add
r

58. =

59. add(1,

60. 2)
r.get(timeout=1)

62. 완전 쉽게 연동할 수 있어요!

63. (아마도) 당신이 상상할 수 있는 모든 기능

64. (아마도) 당신이 상상할 수 있는 모든 기능

65. (아마도) 당신이 상상할 수 있는 모든 기능
T.delay(arg,

66. kwarg=value)

67.
!
T.apply_async((arg,

68. ),

69. {'kwarg':

70. value})

71.
!
T.apply_async(countdown=10)

72.
!
T.apply_async(eta=now

73. +

74. timedelta(seconds=10))

75.
!
T.apply_async(countdown=60,

76. expires=120)

77.
!
T.apply_async(expires=now

78. +

79. timedelta(days=2))

81. (아마도) 당신이 상상할 수 있는 모든 기능
from celery import chain
# 2 + 2 + 4 + 8
res = chain(add.s(2, 2), add.s(4), add.s(8))()
res.get()
16

82. (아마도) 당신이 상상할 수 있는 모든 기능
from celery import chain
!
# 2 + 2 + 4 + 8
res = chain(add.s(2, 2), add.s(4), add.s(8))()
res.get()
16
!
(add.s(2, 2) | add.s(4) | add.s(8))().get()
16

83. (아마도) 당신이 상상할 수 있는 모든 기능
new_user_workflow = (create_user.s() | group(
import_contacts.s(),
send_welcome_email.s())
)
new_user_workflow.delay(username='artv',
first='Art',
last='Vandelay',
email='art@vandelay.com')

84. (아마도) 당신이 상상할 수 있는 모든 기능
from datetime import timedelta
!
CELERYBEAT_SCHEDULE = {
'add-every-30-seconds': {
'task': 'tasks.add',
'schedule': timedelta(seconds=30),
'args': (16, 16)
},
}
!
CELERY_TIMEZONE = 'UTC'

85. (아마도) 당신이 상상할 수 있는 모든 기능

86. (아마도) 당신이 상상할 수 있는 모든 기능

87. 뭐… 좋은건 알겠는데….

88. There ain't no such thing as a free lunch

89. There ain't no such thing as a free lunch

90. – kkung
비트 성장의 가장 첫번째 난관은 셀러ㄹ…