Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Ice dw-v contest2010

346 views

Published on

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Ice dw-v contest2010

  1. 1. Đơn vị: Adtech Thành viên: Trần Văn Giang, Nguyễn Trọng Thành
  2. 2.  Đặt vấn đề về bài toán.  Các giải pháp truyền thống.  Các giải pháp về Data Warehouse (DW).  Giải pháp ICE.  Kết quả đạt được.  Đánh giá.
  3. 3.  Yêu cầu: ◦ Dữ liệu cập nhật/tính toán nhanh. ◦ Có khả năng lưu trữ/tính toán dữ liệu lớn (hàng 100 tỷ rows). ◦ Tối ưu chi phí tài nguyên hệ thống, maintains. ◦ Tính tương thích & ổn định.
  4. 4.  Trên thế giới có rất nhiều giải pháp DW, với nhiều công nghệ đặc thù cho từng giải pháp.
  5. 5. ◦ Tốc độ load data vào table rất nhanh. 1 server thông thường cho tốc độ khoảng 60->80GB/h. ◦ Data up to 50TB. ◦ Open source: cho phép install trên cả windows ,Linux,… (32 & 64 bit). ◦ Chỉ cần setup lên 1 server là chạy tốt.
  6. 6.  Ứng dụng cho bài toán của Admicro: ◦ Máy chủ 2U 2CPU Quad Cores, 32Gb RAM, HDD 6TB RAID10. ◦ Dữ liệu log hàng ngày khoảng 500M rows ~ 100GB raw data (Peak 1.6B rows ~400Gb/day). ◦ Dữ liệu hiện đang lưu trữ: 90 tỷ bản ghi, dữ liệu >1TB (đã nén). ◦ Thời gian xử lý 2->5 phút.
  7. 7.  Sử dụng ICE giúp giảm số servers… chi phí tối thiểu. Thời điểm hiện tại ICE là phù hợp với Admicro.  Nhưng ICE chưa phải là giải pháp lâu dài. (chưa hỗ trợ distributed, HA, giới hạn data size,… ).  Trong tương lai với data hàng PB thì sẽ chuyển sang các nền tảng phân tán như Hbase, HyperTable, Cassandra…
  8. 8. http://www.infobright.org/ http://blog.nahurst.com/visual-guide-to-nosql-systems?c=1 http://www.slideshare.net/jrosoff/scalable-event-analytics- with-mongodb-ruby-on-rails http://nosql-database.org/
  9. 9. Câu hỏi liên quan?

×