Как строить сложные индексы для поиска данных в Redis. How to build complex indexes with Redis

1. Построение индексов
Redis
Петр Трофимов, onliner.by

2. Товар в каталоге
Скомпилировать seo-заголовок товара
Seo, keywords, description
Посчитать обсуждения на форуме
Узнать рейтинг и кол-во отзывов
Скомпилировать краткую строку
Узнать диапазон цен магазинов
Проверить б/у предложения
Загрузить конфигурации
Загрузить галерею, видео, 3d-изображение
Получить группы параметров, сами параметры и их значения для товара

3. Как быстро отображать эту
информацию?
Покрыть кэшем
Нагрузка на сервер все равно остается
Пользователь видит неактуальную информацию
Держать кэш все время поднятым
Огромные интервалы между индексациями
Процессор все время занят

4. Event-based денормализация
Redis
Каталог B2B Баралог Корзина
Сервис
денормализации
DB
...
API

5. Булев параметр
NONE
YES
NO

6. Булев параметр
SET
1
2
5
SADD mobile:memory_cards:true 6
memory_cards=true
SMEMBERS mobile:memory_cards
1
5
2
6
Iphone6 (id = 6)

7. Собственно, содержание
Индексы и объекты
Индексация и поиск по параметрам
Булевы и flag-параметры
Словари и их диапазоны
Числа и их диапазоны
Карты отображения
Сочетание параметров
Сортировка
Числа и строки
Составная
Группировка
Как написать код

8. Индексы и объекты
Индексы
Объект
Объект
Объект
Поиск по
параметрам
Поиск по ID
Ссылки
Redis

9. Flag-параметры
ALL
YES
SADD mobile:onsale 6
onsale=true
SMEMBERS mobile:onsale 1
5
2
6
Iphone6 (id = 6)
SDIFF mobile:all mobile:onsale

10. Словари
SET
1
2
5
SADD mobile:mfr:apple 6
manufacturer=apple
SMEMBERS mobile:mfr:apple
1
5
2
6
Iphone6 (id = 6)
SINTERSTORE tmp mobile:mfr:apple mobile:mfr:samsung
SUNIONSTORE tmp mobile:mfr:apple mobile:mfr:samsung

11. SET
Словарный диапазон
SET
1
2
5
1
5
2
6
SUNIONSTORE tmp mobile:size:2 mobile:size:3 ...

12. Числа
ZADD mobile:price 600 6
Price = 600
5
6
Iphone6 (id = 6)
ZRANGEBYSCORE mobile:price 500 1000
3 => 300
4 => 400
5 => 500
ZRANGEBYSCORE + SADD = ZRANGEBYSCORESTORE (lua)
ZSET

13. Числовые диапазоны
-10 +20
Диапазон рабочих температур
start end
Overlap = start
Overlap = end
Overlap = complete
Overlap = inside
Overlap = partial

14. Карты отображения
Index Objects
1
2
100000
HASH
ID => KEY
6 => {catalog:product:iphone6}

15. Сортировка по числу
ZADD mobile:price 600 6
Price = 600
3
4
Iphone6 (id = 6)
ZRANGE mobile:price 1 2
ZCARD mobile:price
3 => 300
4 => 400
5 => 500
4
ZSET

16. Составная сортировка
3 => 300
4 => 400
5 => 500
3 => 0
4 => 0
5 => 1
price
is_new
ZUNIONSTORE tmp price is_new
WEIGHTS 1 1000
3 => 300
4 => 400
5 => 1500
composite

17. Сортировка по строке
Product:3 => Apple Iphone 3
Product:6 => Apple Iphone 6
3
4
5
SET
STRING KEYS
SORT set BY
Product:* ALPHA
STORE tmp
3
6
LIST
LRANGE list 1 5

18. Группировка
Object_id => parent_id
ZSET
ZINTER tmp set map
WEIGHTS 0 1
parent_id[]

19. Процесс индексации
1.трансформация объекта для индексации
2.построение цепочки index builder-ов
3.вычисление diff
4.выполнение index builder-ов
5.сохранение состояния индекса
6.коммит транзакции
7.событие - оповещение об изменении
индекса

20. Трансформация объекта для
индексации
{
"id": 598247,
"name": "Apple iPhone 6 (16Gb)",
"status": "active",
"rating": 3949,
"reviews_rating": 40,
"date": 1410278953,
"is_actual": true,
"has_no_parent": true,
"parent_id": null,
"manufacturer": "apple",
"key": "iphone6_16gb"
"parameters": {
"bool": {
"accelerometer": { "true": true },
...
},
"number": {
"acc_capacity": 181021,
"birthday": 1998,
...
},
"dictionary": {
"acc_type": { "nimh": true },
...
}
}
}

21. Построение цепочки index builder-
ов
$this->addBuilder(new IdIndex('id'))
->addBuilder(new IdMapIndex('key'))
->addBuilder(new StringOrderIndex('name'))
->addBuilder(new ArrayIndex('manufacturer'))
->addBuilder(new BoolIndex('is_actual'))
->addBuilder(new NumberIndex('rating'))
->addBuilder(new NumberIndex('date'))
->addBuilder(new NumberIndex('reviews_rating'))
->addBuilder(new BoolIndex('parameters.bool.*'))
->addBuilder(new BoolIndex('parameters.dictionary.*'))
->addBuilder(new NumberIndex('parameters.number.*'))
->addBuilder(new RangeIndex('parameters.range.*'))
->addBuilder(new ArrayIndex('parent_id'))
->addBuilder(new NumberIndex('group'));

22. Diff-механизм
Name: Apple Iphone 6
Price: 100000
Parameters:
Bool
Wifi: true
Number
Height: 100
Name: Apple Iphone 6
Price: 100000
parameters.bool.Wifi: true
parameters.number.Height: 100
Name: Apple Iphone 6
Price: 200000
parameters.bool.Wifi: true
Price: 200000
Parameters.number.height: 100
UPDATE
DELETE

23. Интерфейс index builder-а
/**
* This interface should be implemented by various Redis index builders
*/
interface BuilderInterface
{
/**
* Returns true if this key should be indexed by this builder
*/
public function matches($key);
/**
* Executes Redis command to update index
*/
public function update($redis, array $product, $key, $value);
/**
* Executes Redis command to delete index
*/
public function delete($redis, array $product, $key, $value);
}

24. Пример index builder-а
class BoolIndex extends Builder
{
public function matches($key)
{
return str_is($this->filter, $key);
}
public function update($redis, array $product, $key, $value)
{
if ($value) {
$redis->sadd($key, $product['id']);
}
}
public function delete($redis, array $product, $key, $value)
{
if ($value) {
$redis->srem($key, $product['id']);
}
}
}

25. Коммит транзакции
multi/pipeline
redis однопоточный
использование redis array
{catalog:product:1}:title
{catalog:product:1}:name

26. Методы обновления индекса
patchIndex
частичное обновление индекса
new = array_merge(previous, new)
putIndex
полная перезапись индекса
deleteIndex
удаление объекта из индекса
new = []

27. Процесс поиска
1.Создание цепочки Query на основе
аргументов
2.Выполнение подзапросов в рамках
IntersectionQuery в pipeline
3.Сортировка с пагинацией
4.Группировка (опционально)
5.Получение объектов по ID
6.Удаление временных ключей

28. Интерфейс Query
interface QueryInterface
{
/**
* Executes query to search products
*
* @param $redis
* @return string Redis key
*/
public function query($redis);
}

29. Пример Query
class ManufacturerQuery extends AbstractQuery implements QueryInterface
{
public function query($redis)
{
if (!is_array($this->value)) {
return $this->keys->indexKey("manufacturer:$this->value");
}
$unionKey = $this->keys->createKey('manufacturer');
$redis->sUnionStore(
$unionKey,
...$this->keys->mapIndexKeys("manufacturer:%s", $this->value)
);
return $unionKey;
}
}

30. Вопросы?
https://catalog.onliner.by
https://redis.io/documentation