Download as ODP, PPTX
Uploaded bySQALab
Будни тестирования Cassandr-ы
Документ обсуждает тестирование и использование Apache Cassandra, включая различные сценарии, инструменты и методы, такие как YCSB, JMeter и Iago. Описаны тесты производительности, включая уровни согласованности, факторы репликации и оптимизацию работы с диском. Также рассмотрены выводы по мониторингу и анализу работы потоков в процессе тестирования.
More Related Content
![Kiss PageObjects [01-2017]](https://cdn.slidesharecdn.com/ss_thumbnails/kisspageobjects-01-2017-170113192904-thumbnail.jpg?width=640&height=640&fit=bounds)
Будни тестирования Cassandr-ы
- 2.
- 3. Введение Что такое Cassandra? Зачемона нужна?
- 4. 4 Use Case • Read& Write – Раздельные тесты – Смешанные тесты
- 5. 5 Use Case • Read& Write – Раздельные тесты – Смешанные тесты • Size & Types – Различные размеры блобов – Text / Binary
- 6. 6 Use Case • Read& Write – Раздельные тесты – Смешанные тесты • Size & Types – Различные размеры блобов – Text / Binary • Replication Factor & Consistency Level
- 7.
- 8.
- 9.
- 10. 10 Инструментарий • YCSB • cassandra-stress •Iago • Apache JMeter
- 11. 11 Инструментарий • YCSB • cassandra-stress •Iago • Apache JMeter + Netflix plugins
- 12. 12 Инструментарий • YCSB • cassandra-stress •Iago • Apache JMeter + Netflix plugins JAVA
- 13. 13 Apache JMeter +Netflix plugins • Гибкость инструмента – scenario-based – hit-based
- 14. 14 Apache JMeter +Netflix plugins • Гибкость инструмента – scenario-based – hit-based • Простота и открытость инструмента
- 15. 15 Apache JMeter +Netflix plugins • Гибкость инструмента – scenario-based – hit-based • Простота и открытость инструмента • Опыт
- 16. 16 Apache JMeter +Netflix plugins • Гибкость инструмента – scenario-based – hit-based • Простота и открытость инструмента • Опыт • Интеграция – yandex-tank – Лунапарк
- 17. Минимальный кластер CPU E5-2660x 2 RAM 128Gb HDD (7200rpm) x 4 NET 1Gbit/s
- 18. 18 Use Case • Write •1M files text 1kb data • Snappy • Consistency Level 3 • Replication Factor 3
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30. 30 Кешируем прочитанное! ${__ReadNCache()} Concurrent LRUCache https://github.com/sch1z0phren1a/jmeter- readncache
- 31. 31 Синтетический тест (javaheap) ${__ReadNCache(/tmp/shm/test)}
- 32. 32 tmpfs vs javaheap
- 33. 33 tmpfs vs javaheap 216KRPS
- 34. 34 tmpfs → javaheap
- 35. 35 tmpfs → javaheap 35000 RPS
- 36. 36 tmpfs → javaheap 35000 RPS
- 37.
- 38.
- 39. 39 Анализ работы генераторанагрузки • Открытие файла • Формирование запроса • Отправка запроса • Получение ответа • Логирование результата
- 40. 40 Анализ работы генераторанагрузки • Открытие файла • Формирование запроса • Отправка запроса • Получение ответа • Логирование результата
- 41. 41 Анализ работы генераторанагрузки • Открытие файла • Формирование запроса • Отправка запроса • Получение ответа • Логирование результата ?
- 42. 42 Чем занимаются потоки? jstack-l $(pgrep java)
- 43. 43 Thread 2391: (state= BLOCKED) - java.io.PrintWriter.println(java.lang.String) @bci=6, line=738 (Compiled frame) - org.apache.jmeter.reporters.ResultCollector.sampleOccurred(o rg.apache.jmeter.samplers.SampleEvent) @bci=83, line=510 (Compiled frame) Изучаем деятельность потоков
- 44. 44 Анализ работы генераторанагрузки • Открытие файла • Формирование запроса • Отправка запроса • Получение ответа • Логирование результата
- 45. 45 writer = newPrintWriter(new OutputStreamWriter(new BufferedOutputStream(new FileOutputStream(filename, trimmed)), SaveService.getFileEncoding("UTF-8")), true); ResultCollector.sampleOccurred
- 46. 46 writer = newPrintWriter(new OutputStreamWriter(new BufferedOutputStream(new FileOutputStream(filename, trimmed)), SaveService.getFileEncoding("UTF-8")), true); ResultCollector.sampleOccurred
- 47. 47 Ускоряемся! Чем плох autoFlush? Чтобудет если заменим true на false?
- 48.
- 49. 49 Построчно или поблочно? 98vs 280 KRPS
- 50.
- 51. 51 PrintWriter Sampler Thread →PrintWriter
- 52. 52 PrintWriter Sampler Thread Sampler Thread SamplerThread Sampler Thread Sampler Thread Sampler Thread Sampler Thread → PrintWriter Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread
- 53. 53 PrintWriter Sampler Thread Sampler Thread SamplerThread Sampler Thread Sampler Thread Sampler Thread Sampler Thread → PrintWriter Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread
- 54. 54 LF Queue Sampler Thread SamplerThread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread
- 55. 55 LF Queue Sampler Thread SamplerThread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread
- 56. 56 LF Queue Sampler Thread SamplerThread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Logging Thread
- 57.
- 58. 58 Еще быстрее! WritebackPrintWriter! 98vs 216 vs 370 KRPS
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66.
- 67. 67 Выводы • Мониторинг (Hardware/Software) •Синтетические тесты
- 68. 68 Выводы • Мониторинг (Hardware/Software) •Синтетические тесты • Деятельность потоков
- 69. 69 Выводы • Мониторинг (Hardware/Software) •Синтетические тесты • Деятельность потоков • Корректность теста
- 70. Михаил Епихин Танкист +7 (915)344 05 20 schizophrenia@yandex-team.ru Спасибо
- 71.