Download to read offline
![MapReduce
MapReduce — это фреймворк для вычисления некоторых
наборов распределенных задач с использованием большого
количества компьютеров (называемых «нодами»),
образующих кластер.
function () {
emit( this.type, { count : 1, sum : this.price } );
}
function (key, values) {
var s = 0, c = 0;
for (var i = 0; i < values.length; i++) {
c += values[i].count;
s += values[i].sum;
}
return { count : c, sum : s };
}](https://image.slidesharecdn.com/web20126-130809023147-phpapp02/85/Web-2012-6-18-320.jpg)
More Related Content
Web весна 2012 лекция 6
- 1. NoSQL базы данных БекбулатовАлександр a.bekbulatov@corp.mail.ru
- 2. Особенности Web приложений •Динамичность • Быстродействие • Скорость разработки • Стоимость используемого ПО • Масштабируемость
- 3. Преимущества реляционной и нереляционноймодели • Простота • Устойчивость • Гибкость • Производительность • Масштабируемость • Масштабируемость NoSQLSQL
- 4. Методы оптимизации • Денормализация •Репликация • Партиционирование • Шардинг
- 5. Денормализация Денормализация - намеренноеприведение структуры базы данных в состояние, не соответствующее критериям нормализации, обычно проводимое с целью ускорения операций чтения из базы за счет добавления избыточных данных. • Большое количество соединений таблиц • Расчетные значения • Длинные поля
- 6. Репликация Репликация - этосинхронное/асинхронное копирование данных с ведущих серверов на ведомые (или возможно тоже ведущие) сервера.
- 7. Партиционирование таблиц Партиционирование -это разбиение больших таблиц на логические части по выбранным критериям.
- 8. Шардинг Шардинг - разделениеданных на уровне ресурсов.
- 9. NoSQL (not onlySQL) • Нереляционная модель данных • Открытый исходный код • Хорошая горизонтальная масштабируемость
- 10. Преимущества NoSQL 1. Большиеобъемы 2. Производительность операции записи 3. Быстрый доступ по ключу 4. Гибкость схемы данных и типов 5. Миграция данных 6. Возможность параллельного вычисления 7. Простота в администрировании
- 11. Недостатки NoSQL 1. Отсутствиетранзакций 2. Отсутствие ограничений целостности 3. Зависимость данных от приложения 4. Отсутствие/неполная поддержка SQL 5. Надежность
- 12. Примеры использования 1. Записьбольшого потока данных 2. Два слоя приложения, в которых низкая задержка обеспечивается быстрым NoSQL интерфейсом, но сами данные вычисляются и обновляются долго 3. Хранение иерархических данных 4. Выделение части приложения в отдельный сервис, требующий лучшей производительности/масштабируемости 5. Лента событий в социальных сетях
- 13. Реализации 1. Хранилища «ключ-значение»,кортежные хранилища 2. Поколоночные СУБД (Hadoop, Cassandra) 3. Документо-ориентированные СУБД (CouchDB, MongoDB) 4. Граф базы данных (Neo4j)
- 14. Хранилища «ключ-значение», кортежные хранилища Модельданных: • коллекция пар «ключ-значение», с хеш- таблицей для быстрого доступа к записи Примеры: • Tarantool, Redis, Membase, Riak
- 15. Поколоночные СУБД Модель данных: •Семейство столбцов, т.е. табличная модель, в которой каждая строка может в теории состоять из столбцов Примеры: • HBase, Cassandra, BigTable
- 16. Документо-ориентированные СУБД Модель данных: • коллекциидокументов, которые содержат коллекции «ключ-значение». Значения – объекты JSON Примеры: • CouchDB, MongoDB
- 17. Граф базы данных Модельданных: • узлы и связи, которые хранят пары «ключ- значение» Примеры: • AllegroGraph, InfoGrid, Neo4j
- 18. MapReduce MapReduce — это фреймворкдля вычисления некоторых наборов распределенных задач с использованием большого количества компьютеров (называемых «нодами»), образующих кластер. function () { emit( this.type, { count : 1, sum : this.price } ); } function (key, values) { var s = 0, c = 0; for (var i = 0; i < values.length; i++) { c += values[i].count; s += values[i].sum; } return { count : c, sum : s }; }