No sql unsuccessful_story. Владимир Зеленкевич
•
1 like•4,906 views
Рано или поздно каждый разработчик сталкивается с проблемой выбора конкретного технического решения для определенной задачи. В современном мире каждый день появляются новые тенденции и технологии. Одной из самых быстро растущих областей является NoSQL. Наряду с широко известными и успешно используемыми решениями существует ряд малознакомых, но очень амбициозных проектов. В такой ситуации процесс выбора и интеграции играет ключевую роль в успешности выполнения поставленных задач. В своем выступлении я хочу поделиться опытом, который будет полезен всем, кто осуществляет техническую экспертизу и управление командой. Я расскажу об опыте выбора и внедрения NoSQL в Java Enterprise проект, о плюсах и минусах. Но, несмотря на интригующее название, в первую очередь цель доклада - поделиться опытом, а не провести глубокий анализ одного из множества NoSQL решений.
Recommended
More Related Content
More from Alina Dolgikh
More from Alina Dolgikh (16)
No sql unsuccessful_story. Владимир Зеленкевич
- 1. NoSQL unSUCCESSFUL story. Выбор и интеграция NoSQL решения в Enterprise систему Email: v.zenkevich@intetics.com Skype: uladzimir_ziankevich Владимир Зенькевич ведущий разработчик
- 2. Кто я?
- 3. Чем хочу поделиться Experience > NoSQL
- 4. Завязка
- 5. Завязка Republic of Byelarus Republic of Belarus Belarus
- 6. Завязка Republic of Byelarus Republic of Belarus Belarus Weißrussland
- 7. Завязка Bélarus Biélorussie Bielorussie Republic of Byelarus Republic of Belarus Belarus Weißrussland
- 8. Завязка Bélarus Biélorussie Bielorussie Republic of Byelarus Republic of Belarus Belarus Weißrussland 白俄羅斯
- 9. Задача 1. Производительность 2. Custom Locations
- 12. Как?
- 13. Как? MS SQL expert знания legacy, риски
- 14. Как? MS SQL expert знания legacy, риски SOLR advanced знания гарантированная скорость успешное использование реиндексация
- 15. Как? MS SQL expert знания legacy, риски SOLR advanced знания гарантированная скорость успешное использование реиндексация NoSQL novice знания креативность
- 18. Немного теории Graph databases allow you to store entities and relationships between these entities. (Martin Fawler) V1 V2 E1 Entity Vertex Node Edge Relationship
- 19. Немного теории *NoSQL Distilled – Martin Fowler A query on the graph is “traversing” the graph.
- 20. Немного теории От RDBMS к Graph DB RDBMS Graph в RDBMS
- 21. Немного теории
- 23. Competitors Neo4J vs OrientDB •Успешное использование
- 24. Competitors Neo4J vs OrientDB •Успешное использование •SQL подобный язык
- 25. Competitors Neo4J vs OrientDB •Успешное использование •SQL подобный язык SELECT name, out(‘ACTS’).title FROM Person WHERE name = ‘Robin’ MATCH (actor:Person{name:’Robin’})- [:ACTS_IN]->(movie) RETURN actor.name, movie.title
- 26. Competitors Neo4J vs OrientDB •Успешное использование •SQL подобный язык •Реализует BluePrint graph SELECT name, out(‘ACTS’).title FROM Person WHERE name = ‘Robin’ MATCH (actor:Person{name:’Robin’})- [:ACTS_IN]->(movie) RETURN actor.name, movie.title
- 27. Competitors Neo4J vs OrientDB •Успешное использование •SQL подобный язык •Реализует BluePrint graph •Горизонтально масштабируема SELECT name, out(‘ACTS’).title FROM Person WHERE name = ‘Robin’ MATCH (actor:Person{name:’Robin’})- [:ACTS_IN]->(movie) RETURN actor.name, movie.title
- 28. Competitors Neo4J vs OrientDB •Успешное использование •SQL подобный язык •Реализует BluePrint graph •Горизонтально масштабируема •Бесплатна SELECT name, out(‘ACTS’).title FROM Person WHERE name = ‘Robin’ MATCH (actor:Person{name:’Robin’})- [:ACTS_IN]->(movie) RETURN actor.name, movie.title
- 32. Proof of Concept
- 33. PoC 1. Тестовые данные ~600K locations, ~1000K aliases, ~5000K edges 2. Проверка use cases autosuggestion – 2 символа, базовая фильтрация 3. Нагрузочное тестирование jMeter, средняя – 25 rps, пиковая – 50 rps, response time <= 75 ms
- 34. Результаты PoC Разработан тестовый typeahead Нагрузочные тесты успешно пройдены Ошибки в логах во время экспорта данных
- 35. Финальное решение 1. Митинг 2. Участники (исполнитель, stakeholders, CTO, тех. Лид, Programm Manager) 3. Pros and Cons 4. Решение
- 36. Интеграция
- 37. Интеграция Команда из 4-х человек Scrum 1-недельные спринты Сделаем за 1,5 месяца
- 38. Интеграция Процессы и практики: TDD Continues integration Continues delivery Code review Pair programming BlaBlaBla…
- 40. Интеграция «Ах, как все хорошо» select from Location where name_en='Minsk'
- 41. Интеграция Или SELECT FROM Location WHERE name_en CONTAINSTEXT 'Bela' AND locationType IN ['CITY', 'COUNTRY'] ORDER BY population DESC, sortOrder ASC SKIP 0 LIMIT 100
- 42. Интеграция Или select from (traverse out('belongsToLocation') from (select from Location where locationId = 625144)) where $depth >= 1
- 44. Кульминация Minsk Homel Global London Manchester Osaka Tokyo Beijing Shanghai Belarus United Kingdom Japan China Europe Asia
- 45. Кульминация Minsk Homel Global London Manchester Osaka Tokyo Beijing Shanghai Belarus United Kingdom Japan China Europe Asia
- 46. Кульминация Minsk Homel Global London Manchester Osaka Tokyo Beijing Shanghai Belarus United Kingdom Japan China Europe Asia
- 47. Кульминация Minsk Homel Global London Manchester Osaka Tokyo Beijing Shanghai Belarus United Kingdom Japan China Europe Asia
- 48. Кульминация Быстро(PoC case) select from (traverse in('belongsToLocation') from (select from AbstractLocation where locationId = 6255148)) where $depth >= 1 AND locationType IN ['CITY'] LIMIT 20 Медленно select from (traverse in('belongsToLocation') from (select from AbstractLocation where locationId = 6255148)) where $depth >= 1 AND locationType IN ['ADMIN_DIVISION'] LIMIT 20 Очень Медленно select from (traverse in('belongsToLocation') from (select from AbstractLocation where locationId = 6255148)) where $depth >= 1 AND locationType IN ['COUNTRY'] LIMIT 20
- 49. Кульминация Minsk Homel Global London Manchester Osaka Tokyo Beijing Shanghai Belarus United Kingdom Japan China Europe Asia
- 50. Кульминация Minsk Homel Global London Manchester Osaka Tokyo Beijing Shanghai Belarus United Kingdom Japan China Europe Asia
- 51. Кульминация Minsk Homel Global London Manchester Osaka Tokyo Beijing Shanghai Belarus United Kingdom Japan China Europe Asia
- 52. Кульминация Minsk Homel Global London Manchester Osaka Tokyo Beijing Shanghai Belarus United Kingdom Japan China Europe Asia
- 53. Кульминация Но… SELECT FROM Location LET $match = (SELECT FROM (TRAVERSE out('belongsToLocation') FROM $parent.$current) WHERE locationId = 6255148 AND $depth >= 1) WHERE name_en CONTAINSTEXT 'Be' AND $match.size() > 0 ORDER BY population DESC, sortOrder ASC SKIP 0 LIMIT 100 SELECT FROM Location LET $match = (SELECT FROM (TRAVERSE out('belongsToLocation') FROM $parent.$current) WHERE locationId = 6252001 AND $depth >= 1) WHERE name_en CONTAINSTEXT '10' AND $match.size() > 0 ORDER BY population DESC, sortOrder ASC SKIP 0 LIMIT 100 SELECT FROM Location LET $match = (SELECT FROM (TRAVERSE out('belongsToLocation') FROM $parent.$current) WHERE locationId = 4138106 AND $depth >= 1) WHERE name_en CONTAINSTEXT '20' AND $match.size() > 0 ORDER BY population DESC, sortOrder ASC SKIP 0 LIMIT 100
- 54. Кульминация Некоторые бизнес требования привели к select in_uselanguage.out.locationId[0] as locationId, in_uselanguage.out.name_en[0] as locName, in_uselanguage.out.population[0] as population, in_uselanguage.out.locationType[0] as type from LocationAlias let $match = (select from (traverse out('belongsToLocation') from (select expand(in("uselanguage")) from $parent.$parent.$current)) where locationId = 6255148 and $depth >= 1) where upperName CONTAINSTEXT '77' and $match.size() > 0 and in_uselanguage.out.locationType[0] IN ['POSTAL_CODE', 'CITY', 'ADMIN_DIVISION', 'COUNTRY', 'REGION'] group by in_uselanguage.out.locationId order by population desc limit 10
- 55. Кульминация Sharding и Multi-master Replication…
- 60. Кульминация select count(*) from AbstractLocation where locationType = 'COUNTRY' OR isCustom = true select unionall($a,$b) let $a = (select from AbstractLocation where locationType = 'COUNTRY' ), $b = (select from AbstractLocation where isCustom = true )
- 63. FAIL В лайв не вышли Реструктуризация
- 65. Root Cause Analysis Взгляд снаружи
- 66. Root Cause Analysis Взгляд снаружи 1. Профессионализм команды
- 67. Root Cause Analysis Взгляд снаружи 1. Профессионализм команды 2. Сроки
- 68. Root Cause Analysis Взгляд снаружи 1. Профессионализм команды 2. Сроки 3. Процесс
- 69. Root Cause Analysis Взгляд снаружи 1. Профессионализм команды 2. Сроки 3. Процесс 4. Инструментарий???…
- 70. Root Cause Analysis Взгляд снаружи Ошибки и выводы:
- 71. Root Cause Analysis Взгляд снаружи Ошибки и выводы: 1. Экспертиза команды
- 72. Root Cause Analysis Взгляд снаружи Ошибки и выводы: 1. Экспертиза команды 2. Качественный PoC
- 73. Root Cause Analysis Взгляд снаружи Ошибки и выводы: 1. Экспертиза команды 2. Качественный PoC a) Достаточное время b) Время жизни продукта c) Команда продукта d) Документация e) Support в начале f) Примеры интеграции (live references) g) Качественный и обоснованный набор проверяемых историй (the most risky first)
- 74. Root Cause Analysis Взгляд изнутри Конечное решение НЕ за исполнителем Финальное решение должно быть на стороне человека, осуществляющего техническое руководство.
- 75. Root Cause Analysis Взгляд изнутри Нет субъективным оценкам В идеале, лучше воздержаться от субъективных персональных оценок и основываться на объективных результатах наблюдений.
- 76. Root Cause Analysis Взгляд изнутри Доверяй, но проверяй
- 77. Root Cause Analysis Взгляд изнутри Новое – не обязательно лучшее
- 78. Root Cause Analysis Взгляд изнутри Ответственность