about Presto

1. PRESTO
@JUNGMK

2. 기존 빅데이터 분석
Hadoop MySQL Amazon S3 Cassandra
Hive HQL MySQL쿼리
Download
/ grep
CQL
결과 merge

3. PRESTO도입
Hadoop MySQL Amazon S3 Cassandra
PRESTO
（ANSI SQL)

4. PRESTO란
• Facebook에서 개발한 분산 쿼리엔진
• 2013년 11월부터 OSS 화 (Apache License)
• Contributor
• Facebook, Teradata, Netflix 등

5. PRESTO특징
• On Memory
• Data Federation
• ANSI SQL
• Not a Database

6. PRESTO의 문제점
• 메모리를 사용하기 때문에 한계가 있음
• Spill to disk 대응중
• High Availuability에 대응되어 있지 않음
• 일부 Full push down
• Impersonate
• Connector마다 제공되는 기능에 차이가 있음

7. PRESTO CLIENT
• Rest API
• CLI
• JDBC Driver
• WebUI
• Airpal ( Airbnb)
• Redash
• BI tool

8. PRESTO로 가능한 일들
• Amazon S3에 넣어둔 로그파일을 ANSI SQL로 분석
• MySQL과 Hadoop을 한번에 join해서 분석
• Teradata에서 데이터를 SELECT해서 Hadoop에 INSERT
• 어플리케이션로그를 kafka경유해서 S3에 저장해둔 경우, kafka와 S3를 한번에 SELECT해서 분석