Download to read offline
![first_unprocessed, v1
SELECT id AS event_id, ... FROM events
WHERE locked_at IS NULL
OR locked_at < [1.minute.ago]
ORDER BY event_time ASC LIMIT 1
FOR UPDATE
UPDATE events SET locked_at = [Time.now]
WHERE id = [event_id]
,Находим первое необработанное событие
“ ” :занимаем его и возвращаем оператору
Пример](https://image.slidesharecdn.com/deadlockspresentation2-160316093112/85/slide-15-320.jpg)
![touch v1
UPDATE events SET locked_at = [Time.now]
WHERE id = [event_id]
,Обновляем блокировку если обработка
занимает более одной минуты
(event_id ):получаем от клиента
Пример](https://image.slidesharecdn.com/deadlockspresentation2-160316093112/85/slide-16-320.jpg)
![touch v2
UPDATE events SET locked_at = [Time.now]
WHERE id = [event_id]
Используем результат запроса из
first_unprocessed ,в качестве семафора после
:чего обновляем блокировку
SELECT id AS event_id FROM events
WHERE ...
FOR UPDATE
Пример](https://image.slidesharecdn.com/deadlockspresentation2-160316093112/85/slide-18-320.jpg)
![first_unapproved v2
:Новое требование
.выбирать события для указанного юзера
user_id =В запрос добавляется условие
[user_id]
:Новая проблема
-Для пользователей с малым кол вом записей
MySql user_idиспользует индекс по
( )снова различные пути доступа
?Решение
FORCE INDEX index_events_on_locked_at
Пример](https://image.slidesharecdn.com/deadlockspresentation2-160316093112/85/slide-20-320.jpg)
![Next-key Lock
(-inf.. 3] (3..5] (5..10] (10..15]
(15..+inf)
Next-key Lock =
(Row Lock) +блокировка записи
“ ”блокировка промежутка перед записью
Пример
C MySqlпецифика работы блокировок](https://image.slidesharecdn.com/deadlockspresentation2-160316093112/85/slide-28-320.jpg)
More Related Content
Дэдлоки
- 1. MySqlдедлоков в , Undev.RuСергейПариев spariev@gmail.com
- 2. • -Дедлок чтоэто такое • Неправильная организация доступа к +данным пример • MySqlСпецифика работы блокировок • (SHOW ENGINEУзнаем больше INNODB STATUS) Содержание
- 3. Что это такое -,Дедлок ситуация 2в которой или более процесса ждут друг от друга ,освобождения занятых ресурсов или более двух процессов ждут ресурсы в циклической порядке ( http://en.wikipedia.org/wiki/Deadlock )
- 4. Что это такое 1Транзакция2Транзакция select name from events where id = 1 for update select name from events where id = 2 for update select name from events where id = 2 for update select name from events where id = 1 for updateFAIL InnoDB автоматически распознает дедлоки и откатывает одну из транзакций простой пример
- 5. Что это такое Ещеболее простой пример
- 6. Причины дедлоков • Неправильнаяорганизация доступа к данным • Специфика работы блокировок в БД
- 7. Причины дедлоков • Отсутствиефиксированного порядка обращения к таблицам и записям • Некорректно спроектированная БД Неправильная организация доступа к данным Неправильная организация доступа к данным
- 8.
- 9. Что это такое 1Транзакция2Транзакция select name from events where id = 1 for update select name from events where id = 2 for update select name from events where id = 2 for update select name from events where id = 1 for updateFAIL Отсутствие фиксированного порядка доступа В порядке возрастания В порядке убывания Неправильная организация доступа к данным
- 10. Порядок доступа • всеманипуляции с данными лучше проводить в условленном порядке • ,например в порядке возрастания первичного ключа • это снижает вероятность дедлоков Неправильная организация доступа к данным
- 11. • Отсутствие необходимыхиндексов • 1Иногда нужно разносить таблицу ,на несколько если она несет слишком много смысловой нагрузки Некорректно спроектированная БД Неправильная организация доступа к данным
- 12. ( )основан нареальных событиях
- 13. Исходная задача • (events)очередьсобытий • - ,много операторов клиентов обрабатывающих события в режиме FIFO ( )слегка анонимизирована Пример
- 14. Структура данных EVENTS id titleuser_id event_time locked_at ... ... ... ... ... locked_atИндекс по полю Пример
- 15. first_unprocessed, v1 SELECT idAS event_id, ... FROM events WHERE locked_at IS NULL OR locked_at < [1.minute.ago] ORDER BY event_time ASC LIMIT 1 FOR UPDATE UPDATE events SET locked_at = [Time.now] WHERE id = [event_id] ,Находим первое необработанное событие “ ” :занимаем его и возвращаем оператору Пример
- 16. touch v1 UPDATE eventsSET locked_at = [Time.now] WHERE id = [event_id] ,Обновляем блокировку если обработка занимает более одной минуты (event_id ):получаем от клиента Пример
- 17. DEADLOCK! first_unprocessed touch index_events_on_locked_at (при выборке SELECT* ... FOR UPDATE) PRIMARY_KEY ( UPDATE)в условии PRIMARY_KEY ( )при обновлении index_events_on_locked_at ( )при обновлении ( )Различные пути доступа к данным Пример
- 18. touch v2 UPDATE eventsSET locked_at = [Time.now] WHERE id = [event_id] Используем результат запроса из first_unprocessed ,в качестве семафора после :чего обновляем блокировку SELECT id AS event_id FROM events WHERE ... FOR UPDATE Пример
- 19.
- 20. first_unapproved v2 :Новое требование .выбиратьсобытия для указанного юзера user_id =В запрос добавляется условие [user_id] :Новая проблема -Для пользователей с малым кол вом записей MySql user_idиспользует индекс по ( )снова различные пути доступа ?Решение FORCE INDEX index_events_on_locked_at Пример
- 21. Проблемы • снижение скоростиработы при увеличении размеров таблицы • конфликты с другими частями , Eventsприложения использующими Пример
- 22. Решение • Отдельная таблицадля блокировок • /Записи добавляются удаляются Event#after_create/update/destroyв EVENT_LOCKS id event_id user_id event_time locked_at ... ... ... ... ... Изменения в структуре БД Пример
- 23. Summary • Унифицировать порядокобращения • Разнести конфликтующий функционал по разным таблицам ,Дедлоки обусловленные неправильной организацией , :доступа к данным можно устранить Неправильная организация доступа к данным
- 24.
- 25. Причины дедлоков • MySql5.0 • InnoDB • InnoDB ,блокирует не строки таблицы а записи индексов • ( , InnoDBесли в таблице нет индексов )создает скрытый MySqlспецифика работы блокировок C MySqlпецифика работы блокировок
- 26. MySqlБлокировки в Row LockБлокировка записи индекса Next-key Lock Row lock + блокировка “ ”промежутка записей индекса C MySqlпецифика работы блокировок
- 27. Row Lock • Блокируетсятолько одна запись • Используется только при выборке с использованием уникального индекса SELECT name FROM events WHERE id = 3 (id - )первичный ключ C MySqlпецифика работы блокировок
- 28. Next-key Lock (-inf.. 3](3..5] (5..10] (10..15] (15..+inf) Next-key Lock = (Row Lock) +блокировка записи “ ”блокировка промежутка перед записью Пример C MySqlпецифика работы блокировок
- 29. Next-key Lock phantom readиспользуетсядля предотвращения 1Транзакция 2Транзакция SELECT * FROM events WHERE another_id > 8 FOR UPDATE INSERT INTO events (another_id) VALUES (9) SELECT * FROM events WHERE another_id > 8 FOR UPDATE FAIL 2й запрос возвращает другие данные C MySqlпецифика работы блокировок
- 30. Next-key Lock ... 33..5 5..10 10..15 15... InnoDB блокирует все встреченные записи ,индекса используемого в запросе SELECT * FROM events WHERE another_id > 8 FOR UPDATE C MySqlпецифика работы блокировок
- 31. Next-key Lock , InnoDBЕслине используется индекс фактически !блокирует все таблицу • READизменить уровень изоляции на COMMITTED • включить системную переменную innodb_locks_unsafe_for_binlog Next-key lock :можно отключить ( phantom read)возможен C MySqlпецифика работы блокировок
- 32. MySql 5.1 • READ-меньшеблокировок в COMMITTED DML -при операциях ,блокируются только те строки которые действительно изменяются • более производительная блокировка AUTO_INCREMENTдля полей ( -подробнее тут http://bit.ly/4iF2mu ) C MySqlпецифика работы блокировок
- 33. Проблема Много блокировок + длинная транзакция = многодедлоков C MySqlпецифика работы блокировок
- 34. Решение • Делаем малоблокировок ( )правильные индексы • Используем короткие транзакции C MySqlпецифика работы блокировок
- 35. 1Пример • better_nested_set • неприспособлен к конкурентной -модификации дерева большие , updateтранзакции по всей таблице • has_tree (как альтернатива данные об иерархии хранятся в отдельной ) http://github.com/dima-таблице exe/has_tree C MySqlпецифика работы блокировок
- 36. 2Пример • counters has_manyв •update- ,ы в произвольном порядке вероятность дедлоков выше при длинных транзакциях • -альтернатива вынести счетчики в ,отдельную таблицу уменьшить размеры транзакций C MySqlпецифика работы блокировок
- 37. Что делать • deadlock_retry( http://github.com/rails/deadlock_retry ) - если дедлоков мало • LOCK TABLES - блокировки на уровне (think MyISAM)таблиц • READ-COMMITTEDИспользовать ( phantom-read)помним о C MySqlпецифика работы блокировок
- 38. Summary • Используем индексы •Короткие транзакции • ,Если дедлоков мало их можно ,игнорировать перезапуская транзакции C MySqlпецифика работы блокировок
- 39. Узнаем больше SHOW ENGINEINNODB STATUS
- 41. 2Описаны последние транзакции ипоследние запросы из каждой ( ,не обязательно именно те которые вызвали )дедлок
- 42. Ресурсы• http://dev.mysql.com/doc/refman/5.0/en/innodb-de • http://www.mysqlperformanceblog.com/( http://bit.ly/wchKP , http://bit.ly/1Bz0AY ) • http://www.xaprb.com/blog/ ( http://bit.ly/Ldq2t , http://bit.ly/8nRFn , http://bit.ly/8nRFn ) • High Performance MySQL - O’Reilly