Presto

486 views

Published on

about Presto

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
486
On SlideShare
0
From Embeds
0
Number of Embeds
436
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Presto

  1. 1. PRESTO @JUNGMK
  2. 2. 기존 빅데이터 분석 Hadoop MySQL Amazon S3 Cassandra Hive HQL MySQL쿼리 Download / grep CQL 결과 merge
  3. 3. PRESTO도입 Hadoop MySQL Amazon S3 Cassandra PRESTO (ANSI SQL)
  4. 4. PRESTO란 • Facebook에서 개발한 분산 쿼리엔진 • 2013년 11월부터 OSS 화 (Apache License) • Contributor • Facebook, Teradata, Netflix 등
  5. 5. PRESTO특징 • On Memory • Data Federation • ANSI SQL • Not a Database
  6. 6. PRESTO의 문제점 • 메모리를 사용하기 때문에 한계가 있음 • Spill to disk 대응중 • High Availuability에 대응되어 있지 않음 • 일부 Full push down • Impersonate • Connector마다 제공되는 기능에 차이가 있음
  7. 7. PRESTO CLIENT • Rest API • CLI • JDBC Driver • WebUI • Airpal ( Airbnb) • Redash • BI tool
  8. 8. PRESTO로 가능한 일들 • Amazon S3에 넣어둔 로그파일을 ANSI SQL로 분석 • MySQL과 Hadoop을 한번에 join해서 분석 • Teradata에서 데이터를 SELECT해서 Hadoop에 INSERT • 어플리케이션로그를 kafka경유해서 S3에 저장해둔 경우, kafka와 S3를 한번에 SELECT해서 분석

×