Download to read offline
Uploaded byYandex
Жидков Игорь - Elliptics
Документ описывает систему хранения данных Elliptics, которая является отказоустойчивым распределённым key-value хранилищем, позволяющим масштабировать данные без единой точки отказа. Рассматриваются архитектурные подходы, такие как использование DHT, RAID уровней и CAP теоремы для достижения согласованности и доступности данных. Также затрагиваются вопросы восстановления данных и масштабируемости системы с упоминанием её преимуществ и недостатков.
Жидков Игорь - Elliptics
- 2. Elliptics Игорь Жидков,системный администратор
- 3. 〉Нужно хранить многоданных, делать это распределенно в нескольких датацентрах 〉Количество данных постоянно растет 〉Данные читают, и читают много 〉Не должно быть единой точки отказа 〉Нужно уметь масштабировать систему 3 Задача хранения данных
- 4. 〉RAID 1 -производительно и надежно 〉RAID 5/6 - надежно и экономично 4 Как насчет RAID?
- 5. Помимо ожидаемого износаоборудования и отказа дисков 〉Машинки перезагружаются и ломаются 〉Случаются перебои в работе сети 〉Целиком отключаются датацентры 5 Мир не идеален :(
- 6. 6 Что такоеelliptics Elliptics Отказоустойчивое распределенное key-value хранилище данных с открытым исходным кодом (распространяется под GPL-лицензией), не имеющее единой точки отказа
- 7. 7 CAP теорема CAP теорема - выбери любые два: 〉согласованность данных (consistency) 〉доступность (availability) 〉устойчивость к разделению (partition tolerance)
- 8.
- 9. Elliptics - APсистема Согласованность в конечном счете (eventual consistency) - в любой момент времени данные могут быть неконсистентны, но будут консистентны в практически обозримое время 9 CAP теорема
- 10. 10 Как работаетelliptics
- 11. 11 Как работаетelliptics
- 12. 12 Как работаетelliptics
- 13. 13 Как работаетelliptics
- 14. 14 Как работаетelliptics
- 15. 15 Как работаетelliptics
- 16. N - суммарноеколичество групп W - количество групп, в которое мы должны записать, чтобы транзакция считалась завершенной R - количество групп, из которых читаются данные В Elliptics в зависимости от задач можно использовать несколько типов согласованности: 〉strong consistency - W+R > N медленно, но более надежно 〉weak consistency - W+R<=N - быстро, но менее надежно 16 Отказоустойчивость
- 17. 17 Как работаетelliptics
- 18. 18 Как работаетelliptics
- 19. 19 Как работаетelliptics
- 20. 20 Как работаетelliptics
- 21. 21 Как работаетelliptics
- 22. 22 Как работаетelliptics
- 23. 23 Как работаетelliptics
- 24. 24 Как работаетelliptics
- 25. 25 Как работаетelliptics
- 26. Каждый документ хранитсяпо 512-битному ключу (sha512 от названия) Все ключи - кольцо с диапазоном значений от 0 до 2512 26 DHT в Elliptics
- 27. 27 DHT вelliptics
- 28. echo -n "hypnotoad.jpg"| sha512sum 〉c9b70e9b62923feba1afd890891937c0486d48db99de3cc0e649319e49dfc ba70132e7cf073d3f1e66d61255df668e1950edddcb310b4597e37402750a2f0 71a echo -n "hypnotoad1.jpg" | sha512sum 〉02c1f6c1413fc3fc522638db83fbd76ddb54413a83e909aeeb7566acbcb19f 1008316ff892bf33ab6f8ef4feb19112ae31e14b9d1108270234eeb29cc8cac9f 8 28 DHT в elliptics
- 29. 29 DHT вelliptics
- 30. 30 DHT вelliptics
- 31. 31 DHT вelliptics
- 32. 32 DHT вelliptics
- 33. 33 DHT вelliptics
- 34. 34 DHT вelliptics
- 35. 35 DHT вelliptics
- 36. 36 DHT вelliptics
- 37. 37 DHT вelliptics
- 38. 38 DHT вelliptics
- 39. 39 DHT вelliptics
- 40. 40 DHT вelliptics
- 41. 41 DHT вelliptics
- 42. 42 DHT вelliptics
- 43. 43 DHT вelliptics
- 44. 44 DHT вelliptics
- 45. 45 DHT вelliptics
- 46. 46 DHT вelliptics
- 47. 47 DHT вelliptics
- 48. 48 DHT вelliptics
- 49. 49 DHT вelliptics
- 50. 50 DHT вelliptics
- 51. 51 DHT вelliptics
- 52. 52 DHT вelliptics
- 53. 53 DHT вдатацентрах
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61. Восстановление - обязательныйрегулярно запускаемый процесс для поддержания консистентности данных в Elliptics 〉Read-recovery - восстановление при чтении 〉Merge - восстановление в рамках одной группы 〉DC - восстановление между группами 61 Восстановление
- 62.
- 63.
- 64.
- 65.
- 66. Легко добавлять ноды,но есть ограничения 〉Итерирование по ноде - длительный ресурсоемкий процесс (упираемся в диск) 〉Перенос и копирование ключей - упирается в сеть 66 Масштабируемость
- 67.
- 68.
- 69.
- 70.
- 71.
- 72.
- 73.
- 74.
- 75.
- 76.
- 77.
- 78.
- 79.
- 80. Обе схемы имеютправо на жизнь, у каждой свои преимущества и недостатки DHT: + не надо хранить ключ + высокая производительность + хорошая отказоустойчивость - долгое восстановление - ограниченные возможности масштабирования 80 Итоги
- 81. Mediastorage: + Легкомасштабируется + Хорошая отказоустойчивость + Гибкость, удобство восстановления - Нет чистого key-value, необходимо хранить couple 81 Итоги
- 82.
- 83. https://tech.yandex.ru/elliptics/ https://github.com/reverbrain/elliptics https://github.com/yandex/mastermind http://reverbrain.com/elliptics/ 83 Ссылки