Downloaded 10 times
![B.get(X)
Affinity: K -> shard -> [Node]](https://image.slidesharecdn.com/4-171116105706/85/Apache-Ignite-Persistence-Persistence-In-Memory-GridGain-44-320.jpg)
Uploaded byOntico
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает / Артем Шитов (GridGain)
Документ обсуждает необходимость и преимущества обеспечения постоянства данных для in-memory технологий, таких как Apache Ignite, в условиях роста объемов данных. Описываются способы масштабирования вычислительных мощностей и эффективные подходы к хранению и обработке данных, включая использование распределенных SQL и архитектуры памяти. Также рассматриваются особенности работы Apache Ignite, в том числе наличие полной транзакционности и возможности обработки данных на разных уровнях хранения.
More Related Content
Similar to Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает / Артем Шитов (GridGain)
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает / Артем Шитов (GridGain)
- 1. Зачем Persistence дляIn-Memory, и как он работает? Артем Шитов Solution Architect, GridGain artem@gridgain.com persistence
- 2. Зачем Persistence дляIn-Memory? • Растущие объемы данных — растущая проблема • Вычислительные мощности • Подходы к хранению и доступу • In-Memory: преимущества и проблемы • Что предлагает Apache Ignite? • Memory-Centric SQL MPP Database • Скорость и надежность • Как это работает внутри? • Страничная организация памяти • Выделение памяти • Дисковое хранилище • Распределенный SQL
- 3. Зачем Persistence дляIn-Memory? • Растущие объемы данных — растущая проблема • Вычислительные мощности • Подходы к хранению и доступу • In-Memory: преимущества и проблемы • Что предлагает Apache Ignite? • Memory-Centric SQL MPP Database • Скорость и надежность • Как это работает внутри? • Страничная организация памяти • Выделение памяти • Дисковое хранилище • Распределенный SQL
- 4. Зачем Persistence дляIn-Memory? • Растущие объемы данных — растущая проблема • Вычислительные мощности • Подходы к хранению и доступу • In-Memory: преимущества и проблемы • Что предлагает Apache Ignite? • Memory-Centric SQL MPP Database • Скорость и надежность • Как это работает внутри? • Страничная организация памяти • Выделение памяти • Дисковое хранилище • Распределенный SQL
- 5. Растущие объемы данных— растущая проблема
- 10. Как мы справляемсяс ростом данных? • Более мощный процессор • гонка гигагерц, Pentium IV — 3.8 Ghz • Больше ядер в процессоре • гонка ядер, Xeon Phi 7210 — 64 ядра • multithreading, parallel computing • Больше машин в кластере • гонка кластеров, Alibaba FuxiSort — 3 377 машин • distributed computing • горизонтальная (и эластичная) масштабируемость • Больше кластеров
- 11. Как мы справляемсяс ростом данных? • Более мощный процессор • гонка гигагерц, Pentium IV — 3.8 Ghz • Больше ядер в процессоре • гонка ядер, Xeon Phi 7210 — 64 ядра • multithreading, parallel computing • Больше машин в кластере • гонка кластеров, Alibaba FuxiSort — 3 377 машин • distributed computing • горизонтальная (и эластичная) масштабируемость • Больше кластеров
- 12. Как мы справляемсяс ростом данных? • Более мощный процессор • гонка гигагерц, Pentium IV — 3.8 Ghz • Больше ядер в процессоре • гонка ядер, Xeon Phi 7210 — 64 ядра • multithreading, parallel computing • Больше машин в кластере • гонка кластеров, Alibaba FuxiSort — 3 377 машин • distributed computing • горизонтальная (и эластичная) масштабируемость • Больше кластеров
- 13. Как мы справляемсяс ростом данных? • Более мощный процессор • гонка гигагерц, Pentium IV — 3.8 Ghz • Больше ядер в процессоре • гонка ядер, Xeon Phi 7210 — 64 ядра • multithreading, parallel computing • Больше машин в кластере • гонка кластеров, Alibaba FuxiSort — 3 377 машин • distributed computing • горизонтальная (и эластичная) масштабируемость • Больше кластеров
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. In-Memory Data Grids горизонтальноемасштабирование SQL
- 23. In-Memory Data Grids горизонтальноемасштабирование strong consistency SQL
- 24. In-Memory Data Grids горизонтальноемасштабирование strong consistency SQL
- 26. Что предлагает ApacheIgnite?
- 28.
- 30.
- 31. Apache Ignite ориентированная напамять платформа, которая устойчива к отказам, строго консистентна и высоко доступна, имеет SQL, Key-Value API, а также возможностью колоцированной обработки данных
- 32. Apache Ignite масштабируется натысячи узлов, в том числе на разных континентах, дает скорость in-memory и надежность диска, применяется крупнейшими компаниями
- 33. Как это работаетвнутри?
- 34. Что внутри? • Переработаннаяархитектура хранения • адаптирована под прозрачное хранение данных как в off-heap памяти, так и на диске • Собственное дисковое хранилище с WAL и checkpointing • H2 для разбора SQL, оптимизации и подготовки плана выполнения • Собственное исполнение SQL по плану поверх высоко распределенного окружения
- 36. Архитектура памяти • Страницы •Выделение памяти • Сегменты (единица выделения памяти) • Регионы • Чтение данных
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 44. B.get(X) Affinity: K ->shard -> [Node]
- 47. Диск • WAL • Checkpoints •Distributed storage
- 49.
- 50.
- 51.
- 53.
- 54. Apache Ignite • Горизонтальномасштабируется • Позволяет использовать SQL • Колоцирует вычисления и данные • Работает с данными со скоростью In-Memory • Безопасно хранит данные на дисках • Full SQL • Lazy Run