2016년 말에서 2017년 사이의 공백 기간동안, 케이블 영화 채널의 편성표를 수집하는 웹 사이트를 만들어 보았습니다. PyCon Korea에서 그 동안 겪었던 일들에 대해 발표하였습니다.

1. 케이블 영화 채널 편성표 수집
MovieScheduler
박윤곤

2. 케이블 영화 채널 편성표 수집
MovieScheduler
박윤곤
hahafree12@gmail.com

3. 자기소개
2014.01 ~ 2016.12
유비쿼스
2016.12 ~ 2017.05
2017.05 ~
KERIS (인턴)

4. 문제의 시작

5. 휴식기에 한 일들

6. 영화를 보는 방법
케이블 TV
(영화 채널, VOD)

7. 케이블 TV 영화 채널의 특성
• 언제든지 영화 시청 가능
• 수신료를 제외하면, 별도의 비용 없음
(단, 유료 채널 제외)
• 중간광고
• 원하는 영화의 방송 여부를 확인하기 번거로움

8. 케이블 영화 채널의 편성표 수집
내가 원하는 채널의 편성표만 확인

9. 편성표 수집

10. 우리 동네의 케이블 영화 채널은?

11. 편성표에 문제가 있어요!

12. 그래서, 이정도만 해 보겠습니다.

13. 매일 새벽, 편성표 수집
Django Redis
Celery
(Beat)
Postgre
SQL

14. Celery
• an asynchronous task queue/job queue based on distributed
message passing.
• Celery Beat: 스케줄러
• 특정한 간격으로
• 특정 요일 및 시간에
• 대안: APScheduler

15. Django + Celery
• Celery documentation: First steps with Django
• 디렉터리 구조
Project directory
App directory

16. movie_scheduler/celery.py
• Celery 인스턴스를 정의합니다.

17. movie_scheduler/__init__.py
• Django가 시작할 때 Celery 인스턴스를 로드 합니다.

18. scheduler_core/tasks.py
• 수행하고 싶은 작업을 넣어 줍니다.
Full Source

19. Django + Celery Beat
• Celery documentation: Periodic Tasks
• 특정 시간에 수행될 작업을 설정합시다.
Full Source

20. Redis
• Redis is an open source (BSD licensed), in-memory data
structure store, used as a database, cache and message
broker.
• Task를 worker에게 전달합니다.
• 대안: RabbitMQ, Amazon SQS

21. Redis: 설치에서 적용까지
• 받아서 → 압축 해제 → make → redis-server
• 환경 변수 설정
• movie_scheduler/celery.py
$ export REDIS_URL=redis://
Full Source

22. Django + Celery Beat + Redis
• Django에서 Celery를 쓰기 위한 준비가 끝났습니다.
• Celery Beat + Worker 실행 (이 방법이 권장됨)
• 이런 방법도 있습니다.
$ celery -A movie_scheduler beat
$ celery -A movie_scheduler worker
$ celery -A movie_scheduler worker -B

23. CJ E&M 계열 채널 편성표 수집
Requests로 가져오고, BeautifulSoup로 Parsing
Full Source

24. CJ E&M 계열 채널 편성표 수집

25. t.cast 계열 채널 편성표 수집
다음 주 편성표로 넘어가려면?

26. 네이버의 검색 결과를 parsing?
requests 라이브러리로 가져오려고 시도했으나…

27. 관련된 API가 있나요?

28. 다른 방법이 없을까요?

29. Selenium
• 웹 브라우저를 자동화 하기 위해 쓰입니다.
• 웹 브라우저가 필요합니다.
• WebDriver: 웹 브라우저를 구동하기 위한 도구

30. 웹 브라우저를 돌리려면
GUI가 있어야 하지 않나요?

31. PhantomJS
• Headless Browser: GUI가 필요 없는 웹 브라우저
• PhantomJS
• Chrome(59버전부터, Linux, macOS에서만)
• HtmlUnit
• …
• http://phantomjs.org/

32. 받아서 설치해 봅시다.
• Download Link
• 사용 전에 실행하여 동작 여부를 확인해 보세요.
• 로컬에서 테스트하기 위해 환경 변수 추가
$ export PATH=$PATH:<PhantomJS 실행 파일 경로>

33. Selenium + PhantomJS의 조합
Full Source

34. 내가 원하는 편성표만 확인

35. 최초 접속 시 표시할 방송국 설정
Full Source

36. 체크한 방송사의 쿠키 저장
Full Source

37. 체크한 방송사의 스케줄만 표시
Full Source

38. 배포

39. 2017-03-04: Heroku에 최초 배포

40. Heroku 설정
• 기본 Tutorial부터 시작해 봅시다.
• Getting Started on Heroku with Python
• Procfile 설정
web: gunicorn movie_scheduler.wsgi --log-file -
worker: celery -A movie_scheduler worker --loglevel=DEBUG -B --concurrency=1

41. PhantomJS를 Heroku에서 이용하기
• Heroku Buildpack 설정
• Buildpack 확인: Python, PhantomJS
• Heroku 저장소로 Push하면 설치됩니다.
$ heroku buildpacks:add https://github.com/stomita/heroku-buildpack-phantomjs
$ heroku buildpacks
$ git push heroku master

42. PostgreSQL 사용하기
• Django 프로젝트인 경우, 자동으로 PostgreSQL과 연결됩니다.
(Django가 아니면?)
• DATABASE_URL 환경 변수에 주소가 지정됩니다.
• dj-database-url 패키지가 필요합니다.
• 프로젝트의 settings.py 파일을 수정해야 합니다.

43. Redis 사용하기
• 다음 명령으로 Redis를 추가해 줍니다.
• 추가가 완료되면, application이 자동으로 시작됩니다.
• 환경 변수가 생성된 것을 확인해 봅시다.
$ heroku addons:create heroku-redis:hobby-dev -a <App 이름>
$ heroku config | grep REDIS
REDIS_URL: redis://h:asdfqwer1234asdf@ec2-111-1-1-1.compute-1.amazonaws.com:111

44. Python으로 만든 걸 왜 인식 못할까?
• ‘requirements.txt’ 파일이 없어서 그렇습니다.
• ‘requirement.txt’ 라고 되어 있으면?

45. 편성표 수집을 왜 안 할까?
• Free Dyno인 경우, 30분 동안 접속이 없으면…
• web, worker dyno 모두 sleep

46. 해결책: New Relic
• APM Tool
• 아래 명령으로 설치합니다.
• 로컬 환경에도 pip으로 설치해 주세요.
$ heroku addons:create newrelic:wayne
$ pip install newrelic

47. 주기적으로 생존 여부를 체크합시다.

48. • Application 이름 클릭 → Settings → Availability monitoring
• Procfile 수정
web: newrelic-admin run-program gunicorn movie_scheduler.wsgi --log-file -
주기적으로 생존 여부를 체크합시다.

49. 유지 비용 없애기

50. 무료로 쓸 수 있는 최대 시간?

51. 현재 작동하는 구조
Web Dyno Worker Dyno
PostgreSQLRedis
Gunicorn
Django
Celery
(Beat + Worker)

52. Time goes by, so fast.

53. 시간은 ‘돈’
• 모든 Dyno의 사용량을 합하여 1,000 시간입니다.
• 20(일) * 24(시간) * 2(Dynos) = 960(시간)
• 돈을 내고 업그레이드를 하거나,
다음 달까지 기다려야 합니다.

54. Process Scheduler
• web dyno는 항상 동작해야 하지만,
worker dyno는 새벽에만 동작해도 됩니다.
• Process Scheduler를 이용해 봅시다.
원하는 시간대를
드래그
↓
숫자 입력

55. DB 용량에 제한이 있다고요?

56. Hobby tier에서의 제한

57. 지난 주의 스케줄 지우기

58. 지불해야 하는 비용은?
$ 0

59. 여담

60. 팟플레이어의 영화/애니메이션 채널 정보도 수집?

61. 아직 개선해야 할 사항
• 편성표 로딩 시 그 날의 모든 데이터를 가져옵니다.
• 스케줄 표시하는 페이지의 개선이 필요합니다.
• 날짜 이동하는 부분 고정
• 방송국 표시 순서를 바꿀 수 있도록 개선
• 기타 등등…

62. Q&A

63. 감사합니다
실제 동작 확인: http://moviescheduler.gonigoni.kr
소스: http://github.com/rubysoho07/movie_scheduler
rubysoho07