Your SlideShare is downloading. ×
0
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Распределенные системы хранения данных, особенности реализации DHT в проекте Elliptics network

9,987

Published on

В этом докладе будет описана система хранения данных Elliptics network, основной задачей которой является предоставление пользователям доступа к данным, расположенным на физически распределенных …

В этом докладе будет описана система хранения данных Elliptics network, основной задачей которой является предоставление пользователям доступа к данным, расположенным на физически распределенных серверах с плоской адресной моделью в децентрализованном окружении. Распределенная система хранения данных, предоставляющая доступ к объекту по ключу (key/value storage), и в частности распределенная хэш-таблица (distributed hash table), является весьма эффективным решением с незначительным набором ограничений. Для подтверждения работоспособности данной идеи и функционала в докладе будет представлена практическая реализация распределенной хэш-таблицы с модульной системой хранения данных и различными системами доступа: от POSIX файловой системы до доступа по протоколу HTTP. Также мы обсудим ограничения, накладываемые технологией распределенной хэш таблицы, и сравним особенности высоконагруженного и высоконадежного доступа в ненадежной среде с классическими моделями, использующими централизованные системы. Опираясь на полученные практические результаты и гибкость реализованной системы, будут предложены способы решения поставленных задач и расширения функционала.

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
9,987
On Slideshare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
23
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Elliptics Network Evgeniy Polyakov <zbr@ioremap.net> <zbr@yandex-team.ru> Distributed hash table Key/value storage
  • 2. How to handle huge dataset? Can existing solutions scale?
  • 3. Existing solutions
  • 4. Distributed hash table Consistent hashing Map and routing table
  • 5. Elliptics network architecture Frontend Core Backend
  • 6. Frontends
  • 7. Frontends: HTTP
  • 8. Frontends: bindings
  • 9. Frontends: command line
  • 10. Frontends: POHMELFS
  • 11. IO backends
  • 12. Eblob random read performance: SAS ● 2 sas shelves (14 disks raid10 each, ext4) ● 1 Tb of data ● ~ 100 millions of objects ● Eblob: 5000 rps ● Eblob: 3500 rps within 100 ms ● Eblob: 4000 rps witin 200 ms ● Filesystem: 600 rps within 200 ms ● Filesystem: 800 rps within 300 ms FS contains about 30 millions of objects actually
  • 13. Eblob random read performance: SATA ● 2 sata raids (4-disks raid10 each, ext4) ● 370 Gb of data ● 30 millions of objects ● Eblob: 1000 rps ● Eblob: 900 rps within 100-150 ms ● Filesystem: 200 rps within 200 ms
  • 14. Elliptics network: core
  • 15. IO models Write always succeed Multiple copy reading Eventual consistency
  • 16. Future plans

×