Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Node.js를 활용한 웹 크롤링(Crawling)

T 아카데미 개발 발표. 어떻게 Node.js를 활용하여 크롤링을 하는가?

  • Login to see the comments

  • Be the first to like this

Node.js를 활용한 웹 크롤링(Crawling)

  1. 1. 1. 대출상담가와 대출고객이라는 두 개의 Router를 나눠어 개발 진행 2. Model 폴더 안에 작성한 데이터 구조와 동일한 클래스 작성 Promise-mysql?Node-schedule? Winston? Cheerio? Cheeerio-tableparser? Request-promise?
  2. 2. 무엇을? 어떻게? 왜?
  3. 3. 하드 코딩 크롤링을 해야만 하는 걸까요?
  4. 4. 분석해봅시다! POSTMAN MAN, CHROME 개발자 도구
  5. 5. 그러나...!! 전체 데이터 크롤링하는데 걸린 시간 8시간
  6. 6. 효과적인 크롤러를 만들어 보자! Node.js 는 싱글 스레드 기반이니까… 여러 프로세스를 생성해서 Clustering하면 어떻까? RDS 접근을 최소화 할 수 있는 방법을 모색해보자 이왕이면 AWS Lambda를 활용해 서버리스하게 만들어 보면 어떻까?
  7. 7. 1. Node.js의 클러스터링 활용 2. 하나의 Promise를 병렬로 실행
  8. 8. 2시간!!!
  9. 9. 1. 이벤트 처리 방식의 컴퓨팅 서비스 AWS Lambda 구축 2. 조금 더 좋은 하드웨어 구축

×