실무로 배우는 빅데이터 기술 확장-18편 스파크 스트리밍 환경구성 실시간으로 발생하는 데이터를 마이크로 배치 방식으로 처리하는 스파크 기술

1. 빅데이터 ~ 머싞(딥)러닝
실무로 배우는 빅데이터 기술
 Spark Streaming 환경구성
☆ 확장하기 – 18편 ☆
김강원

2. 스파크 스트리밍(Streaming) 는?
실시간으로 발생하는 데이터를 마이크로 배치 방식으로 처리하는
스파크 기술
※ Spark Streaming 기본 개념과 기능들은 구글링을 통해 확인 하세요!

3. 파일럿 프로젝트 확장 (1/2)
스파크 스트리밍
(Spark Streaming)

4. 책 207 페이지 중에서… (개정판)
스파크 스트리밍
개발환경 구성
파일럿 프로젝트 확장 (2/2)

5. 확장편 실습
Spark Streaming
( 개발환경 구성 )

6.  Eclipse 실행 및 프로젝트 생성
File 메뉴 > New > Project > Maven > Maven Project
- Group ID : com.wikibook
- Artifact ID : bigdata.smartcar.spark_stream
Step-1
 Spark Streaming 라이브러리 구성 - pom.xml 파일에 디펜던시 추가
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.2</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>
<version>1.6.2</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka_2.10</artifactId>
<version>1.6.2</version>
</dependency>
Step-2

7.  Spark 드라이버 클래스 생성
com.wikibook.bigdata.smartcar.sparkstream > New > Class > SmartCarSparkStreaming
- public static void main(String[] args) : 체크
Step-4
 컴파일러 JDK 버전 설정
Project > Properties > Java Compiler > JDK Compliance > level > 1.7
Step-3
 Spark Streaming 라이브로리 Import
import java.util.HashMap;
import java.util.Map;
import java.util.regex.Pattern;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaPairReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.kafka.KafkaUtils;
import scala.Tuple2;
Step-5

8.  빌드 및 컴파일
pom.xml 선택 > Run > Run As > Maven Install
 Packing 및 Jar 파일 확인
target > bigdata.smartcar.spark_stream-0.0.1-SNAPSHOT.jar
Step-7
Step-6

9. 실무로 배우는 빅데이터 기술
확장하기 18편 – Spark Streaming 환경구성
[ 강의자료 ]
 동 영 상: 유튜브 www.youtube.com
 실습문서: 슬라이드쉐어 www.slideshare.net