Streaming join & lesson 4.
•Download as PPTX, PDF•
0 likes•263 views
Udacity Real-time Analytics with Apache Storm.
Recommended
Recommended
More Related Content
Viewers also liked
More from Taewoo Kim
Recently uploaded
Recently uploaded (20)
Streaming join & lesson 4.
- 1. Real-Time Analytics with Apache Storm Tae-woo Kim tu_k@naver.com 1
- 2. The Progress of Study 1. Theory, Setup and Basic Storm 2. Storm with Twitter Streams 3. Beyond Storm Basics 4. Storm Project and Hackathon 2
- 3. Practice 3. Streaming Join 3 MyNamesSpout MyLikesSpout ExclamationBolt
- 5. 5 Practice 3-1. Exclamation Topology “my-names” “my-likes” “exclaim1” “exclaim2” “report-bolt” Componet ID로 데이터 스트림을 구분
- 7. Result 7
- 8. Lesson 4. Storm Project and Hackathon 8
- 10. Team B 10 Ebola Sorted Topics Critical Issues
- 11. Used Tools 11
- 12. Team Awesome 12
- 13. Plan of Study 1. Real-Time Analysis with Apache Storm 2. Open CV 13
Editor's Notes
- 유다시티에서 스톰을 이용한 실시간 분석 강의를 듣고 있는 김태우입니다.
- 스터디 진행사항입니다. 이번 시간에는 레슨 3의 마지막 실습예제와 레슨 4. 스톰 프로젝트 앤 해커톤을 듣고 공부한 내용을 발표하도록 하겠습니다.
- 먼저 지난 시간에 발표를 못했던 레슨 3의 마지막 예제를 우선 발표하겠습니다. 마지막 예제의 제목은 스트리밍 조인입니다. 여러 개의 스파우트에서 나온 데이터 스트림을 하나의 볼트에서 처리하는 경우입니다. 마이네임스스파우트에는 이름이 있고 마이라이크스파우트에는 이름 # 좋아하는 것 형태의 스트링이 있습니다. 이와같은 데이터가 느낌표 세개를 붙여주는 기능을 하는 익스크레이메이션볼트로 전달됩니다.
- 이와 같은 토폴로지를 실행하면 다음과 같은 화면을 확인 할 수 있습니다. Lewis # Udacity!!!, Justine # Dogs!!! 와 같이 마이라이크스파우트에서 나온 데이터들이 익스크레이메이션볼트를 거쳐 출력되는 것을 확인할 수 있습니다.
- 다음은 이전에 구성한 토폴로지를 변경하여 새로운 결과를 출력하는 토폴로지를 구성하게 됩니다. 이와 같은 스트리밍 조인 구성에서 익스클레이메이션볼트는 들어오는 데이터에 따라 서로 다른 동작을 수행합니다. 이를 위해서는 데이터의 출처를 알 수있는 Component ID 받아와 비교하여 각각 다른 방식으로 데이터를 처리할 수 있습니다.
- 여기 코드를 보시면, execute() 메소드는 익스크레이메이션볼트의 동작을 정의합니다. 스트링 타입의 변수 컴포넌트아이디는 들어오는 튜플의 근원지의 이름을 저장합니다. 그리고 equal 메소드를 통해서 비교를 하여 서로 다르게 데이터를 처리합니다. My-likes 라는 스파우트에서 오는 데이터는 이름과 좋아하는 것을 추출하여 해쉬맵 자료구조에 저장하고 My-names 라는 스파우트에서 온 데이터는 해쉬맵 자료구조에서 이름과 일치하는 데이터를 꺼내 새로운 문장을 만듭니다. 마지막으로 exclaim1 이라는 곳에서 온 데이터는 느낌표 세개를 이어 붙이는 작업을 수행합니다. 이러한 작업을 수행하고 데이터를 내보냅니다.
- 내보낸 결과는 report-bolt를 통해서 다음과 같이 시각처리가 됩니다.
- 다음은 해당 강의의 마지막 레슨인 레슨4 스톰 프로젝트 앤 해커톤에 대해서 간단히 말씀드리겠습니다. 레슨의 제목처럼 레슨 4는 몇가지 스톰 프로젝트에 대해서 설명하고 있습니다. 해커톤이란 단어는 해킹과 마라톤의 합성어입니다. 이는 난이도 높은 프로그래밍이란 뜻으로 해석할 수 있습니다. 또한 해커톤이란 이름을 사용하는 경진대회도 많이 있습니다.
- 해당 레슨에서는 두 개의 팀을 보여줍니다. 우선 팀 에이는 트윗에 대해 감정을 분석하고 지리학을 더한 프로젝트를 수행하고
- 팀 비는 에볼라 관련 토픽이나 중요한 이슈, 정치적 발언등을 보여주는 프로젝트를 구현 하고자 합니다.
- 그리고 해당 강의의 실습 예제들을 진행하면서 사용한 다양한 툴들을 소개하고 있습니다. 파이썬 기반으로 웹서버를 구동할 수 있는 플라스크 시각화를 위한 D3 가상머신을 위한 버추얼박스 키 벨류 값으로 데이터를 저장하는 레디스 원격으로 가상머신에 접속할 수 있는 vagrant 트위터를 다루기 위한 자바라이브러리 트위터4제이를 소개합니다.
- 그리고 팀 A가 구현한 프로젝트를 보여줍니다. 이 화면은 D3를 통해서 시각화한 미국의 모습입니다. 나눠진 구역은 미국의 도시를 표현하고 있습니다. 팀 awesome에서 수행한 프로젝트는 트윗을 통해 감정을 분석하고 지도로 표현하는 것입니다. 트윗에 있는 이모티콘을 추출하여 감정을 분석하고 분석한 결과를 이처럼 지도로 표현합니다. 푸른색이 긍정적인 감정을 의미하게 됩니다.
- 이렇게 해서 유다시티의 스톰을 이용한 실시간 분석강의를 전부 수강했습니다. 그리고 다음주 부터는 진행중인 프로젝트를 위해 Open CV를 공부할 예정입니다. 자세한 계획은 다음시간에 발표하도록 하겠습니다. 이상입니다.