Автор поделится опытом боевого использовании XML базы данных Marklogic
Сервисы электронной коммерции, которые позволяют издательствам предоставлять и продавать он-лайн доступ к изданиям, оперируют большими объемами слабо-структурированных данных. Перед подобными системами стоят вопросы доступности, поиска и преобразования информации, производительности, масштабируемости системы в-целом.
"XML база данных? Впервые слышу!". Если это про вас, то приходите на доклад и узнаете:
- чем XML базы данных могут помочь именно вам
- что за зверь - Marklogic
ответ на главный вопрос жизни, вселенной и всего такого
Semantic technologies for business information systems. Semantic engineering. Ontology-Based Data Mining. Inferring Knowledges Over Big Data. Semantic Web Services (SWS). Link-Based Clustering. Knowledge Graphs.
Глеб Белокрыс - Ретроспектива семилетней итерации или как сделать себя несчас...HappyDev
Автор расскажет про опыт осмысления периода, за который ему довелось побывать программистом, тестировщиком, менеджером проектов, менеджером по закупкам, дизайнером интерфейсов, консультантом, руководителем, выступать как на стороне заказчика, так и подрядчика. А так же периодически протягивать сеть и чинить принтер.
Александр Кудымов - Путь самурая от скрама до канбана | HappyDev'12HappyDev
Автор расскажет о том, какая жизнь у проекта Эльба. Почему во младенчестве ему был полезен скрам, и почему в более осознанном возрасте он перелез на канбан.
Всегда сложно выбрать, как начать проект, какие методологии нужно использовать, решить, какие из них принесут пользу, а какие вред.
Мы в нашей команде успели наступить на много разных граблей и продолжаем идти вперед по этому бесконечному минному полю. В своем докладе, я хочу рассказать о том, как мы принимали те или иные решения по выбору того, как нам жить дальше, на чем эти решения были основаны и какие проблемы мы хотели решить.
Надеюсь, что этот опыт поможет молодым командам задуматься, о том, каким они хотят видеть свой процесс разработки и поможет встать на верный путь.
Антон Непомнящих - 100 лет без авралов или зачем проекту креативный менеджер ...HappyDev
Рассказ о развитии проекта объемом 100 человеко-лет с нуля. От BodyShop с четырьмя разработчиками и микроменеджментом к стабильному процессу на 33 человек.
Разница между теорией и практикой заключается в том, что, в теории, этой разницы нет. А на практике оказывается, что она есть." (с) Неизвестный автор.
Являясь ярым приверженцем процессного подхода, я расскажу, как строил процесс разработки на одном из проектов нашей компании. Объем проекта на данный момент составляет 100 человеко-лет. А выстроенный процесс уже прошел проверку временем и остается практически неизменным на протяжении последних 2х лет.
Всё начиналось, как и у многих омских команд, с обычного bodyshop-проекта на 4 разработчика и меня в роли менеджера. Заказчик полностью контролировал работу каждого члена команды. Тотальный микроменеджмент. Но со временем мы доказали заказчику, что можем эффективно организовать работу и отвечать за ее качество. И заказчик передал нам все основные функции по разработке, оставив себе только концептуальную постановку задач. А также, значительно расширил бюджет.
На данный момент в проекте участвует 33 человека. Процесс представляет из себя конвеер по поставке новой функциональности для решения различных нужд компании заказчика. От достаточно простых элементов корпоративного портала, до сложных кластерных систем рендеринга графики или своей собственной системы а-ля Dropbox.
Андрей Шапиро - От дизайн-процесса к дизайн-результату | HappyDev'12HappyDev
Как укладываться в итерацию с дизайном, делая его быстро и качественно. В бюро принято использовать метод прогрессивного джипега и принцип FFF (fix time, fix budget, flex scope). Как сделать так, чтобы они сработали на практике и расскажет автор.
Ситуация:
Потоковая проектная разработка или эволюционирующий продукт. Разработчики научились работать инкрементально и итеративно, а у дизайнеров пока не получается. Дизайн либо получается годным, но не вовремя, либо вовремя, но без кайфушек.
В Бюро используется несколько принципов, помогающих избежать обеих ситуаций. Принципы просты, и многие о них уже наверняка читали:
- метод прогрессивного джипега, описанный Тёмой,
- FFF (fix time, fix budget, flex scope), описанный 37 сигналов,
- система управления временем «Ресурс», на основе ROWE (results oriented working environment).
Расскажу о своём опыте применения этих принципов в дизайнерской практике. Жизнь показала, что подход годится для всех, кто решится его применять: для дизайнеров, управленцев, разработчиков.
Но, дорогой слушатель, — «серебряных пуль» не будет. Чтобы заставить принципы работать, придётся заставить работать себя.
Semantic technologies for business information systems. Semantic engineering. Ontology-Based Data Mining. Inferring Knowledges Over Big Data. Semantic Web Services (SWS). Link-Based Clustering. Knowledge Graphs.
Глеб Белокрыс - Ретроспектива семилетней итерации или как сделать себя несчас...HappyDev
Автор расскажет про опыт осмысления периода, за который ему довелось побывать программистом, тестировщиком, менеджером проектов, менеджером по закупкам, дизайнером интерфейсов, консультантом, руководителем, выступать как на стороне заказчика, так и подрядчика. А так же периодически протягивать сеть и чинить принтер.
Александр Кудымов - Путь самурая от скрама до канбана | HappyDev'12HappyDev
Автор расскажет о том, какая жизнь у проекта Эльба. Почему во младенчестве ему был полезен скрам, и почему в более осознанном возрасте он перелез на канбан.
Всегда сложно выбрать, как начать проект, какие методологии нужно использовать, решить, какие из них принесут пользу, а какие вред.
Мы в нашей команде успели наступить на много разных граблей и продолжаем идти вперед по этому бесконечному минному полю. В своем докладе, я хочу рассказать о том, как мы принимали те или иные решения по выбору того, как нам жить дальше, на чем эти решения были основаны и какие проблемы мы хотели решить.
Надеюсь, что этот опыт поможет молодым командам задуматься, о том, каким они хотят видеть свой процесс разработки и поможет встать на верный путь.
Антон Непомнящих - 100 лет без авралов или зачем проекту креативный менеджер ...HappyDev
Рассказ о развитии проекта объемом 100 человеко-лет с нуля. От BodyShop с четырьмя разработчиками и микроменеджментом к стабильному процессу на 33 человек.
Разница между теорией и практикой заключается в том, что, в теории, этой разницы нет. А на практике оказывается, что она есть." (с) Неизвестный автор.
Являясь ярым приверженцем процессного подхода, я расскажу, как строил процесс разработки на одном из проектов нашей компании. Объем проекта на данный момент составляет 100 человеко-лет. А выстроенный процесс уже прошел проверку временем и остается практически неизменным на протяжении последних 2х лет.
Всё начиналось, как и у многих омских команд, с обычного bodyshop-проекта на 4 разработчика и меня в роли менеджера. Заказчик полностью контролировал работу каждого члена команды. Тотальный микроменеджмент. Но со временем мы доказали заказчику, что можем эффективно организовать работу и отвечать за ее качество. И заказчик передал нам все основные функции по разработке, оставив себе только концептуальную постановку задач. А также, значительно расширил бюджет.
На данный момент в проекте участвует 33 человека. Процесс представляет из себя конвеер по поставке новой функциональности для решения различных нужд компании заказчика. От достаточно простых элементов корпоративного портала, до сложных кластерных систем рендеринга графики или своей собственной системы а-ля Dropbox.
Андрей Шапиро - От дизайн-процесса к дизайн-результату | HappyDev'12HappyDev
Как укладываться в итерацию с дизайном, делая его быстро и качественно. В бюро принято использовать метод прогрессивного джипега и принцип FFF (fix time, fix budget, flex scope). Как сделать так, чтобы они сработали на практике и расскажет автор.
Ситуация:
Потоковая проектная разработка или эволюционирующий продукт. Разработчики научились работать инкрементально и итеративно, а у дизайнеров пока не получается. Дизайн либо получается годным, но не вовремя, либо вовремя, но без кайфушек.
В Бюро используется несколько принципов, помогающих избежать обеих ситуаций. Принципы просты, и многие о них уже наверняка читали:
- метод прогрессивного джипега, описанный Тёмой,
- FFF (fix time, fix budget, flex scope), описанный 37 сигналов,
- система управления временем «Ресурс», на основе ROWE (results oriented working environment).
Расскажу о своём опыте применения этих принципов в дизайнерской практике. Жизнь показала, что подход годится для всех, кто решится его применять: для дизайнеров, управленцев, разработчиков.
Но, дорогой слушатель, — «серебряных пуль» не будет. Чтобы заставить принципы работать, придётся заставить работать себя.
Druid is one useful and popular tool in the Big Data world. It is this OLAP system that allows you to efficiently process, store and query data. Which confirms the demand for Druid among tools in the Big Data processing environment.
With Vladimir Iordanov we will talk about how Druid works, what it consists of and what its capabilities are. Vladimir will introduce us to the Druid components, talk about the cluster architecture, how data processing is going on.
Микросервисная архитектура на базе CoreOS и KubernetesDenis Izmaylov
13 июля 2016 состоялся восьмой Node.js Meetup в Москве. В этом докладе мы рассмотрели Scale Cube, Docker, CoreOS и кратко Kubernetes и Concourse CI.
В следующем докладе взглянем более подробно на Kubernetes и Concourse CI, посмотрим как с помощью этих быстрых и прекрасных инструментов построить Deployment Automation.
Рост популярности NoSQL - одно из важнейших изменений технологий управления данными. За счет "не реляционности" достигается высочайшая гибкость, скорость работы и масштабируемость БД. NoSQL не исключает использование реляционных БД, обе технологии с пользой дополняют друг друга. Как можно моделировать NoSQL данные, не имеющие жестких схем, и какую пользу можно получить в результате. Слайды с вебинара Embarcadero. На русском языке
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
Про некоторые кейсы использования elasticsearch в современных проектах.
- С какими сложностями столкнулись
- Где успешо применили elasticsearch, а где был избыточен
Презентация с мероприятия https://habr.com/ru/company/odnoklassniki/blog/452978/
Андрей Зайчиков "Архитектура распределенных кластеров NoSQL на AWS"IT Event
Мы рассмотрим важные особенности построения архитектуры распреденных кластеров NoSQL с использованием ресурсов Amazon Web Services, мы затронем такие аспекты как: архитектура гео распределенных кластеров, оптимизация производительности, выбор основных опций для деплоймента и ряд других аспектов. В докладе мы сконцентрируемся на таких популярных базах данных, как Cassandra, MongoDB и некоторых других.
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
IBM Cloudant и Apache CouchDB: NoSQL базы данных эпохи облаковMaxim Zinal
Какой должна быть NoSQL СУБД эпохи облаков? Что такое IBM Cloudant и Apache CouchDB?
Как они связаны друг с другом, и есть ли польза для Open Source проекта от коммерческого облачного сервиса на его основе?
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
2015 12-05 Александр Шиповалов - Инструмент для тестирования Sikuli scriptHappyDev
This document provides an overview of SikuliX, an automation tool that uses image recognition to control and interact with graphical user interfaces. It describes the main classes in SikuliX including App, Region, Screen, Offset, Math, Similarity, and Pattern. Methods for these classes are also outlined for performing actions like opening applications, finding regions on the screen, mouse and keyboard input, and image matching.
More Related Content
Similar to Антон Язовский - Marklogic: как обуздать сотни гигабайт неструктурированных данных | HappyDev'12
Druid is one useful and popular tool in the Big Data world. It is this OLAP system that allows you to efficiently process, store and query data. Which confirms the demand for Druid among tools in the Big Data processing environment.
With Vladimir Iordanov we will talk about how Druid works, what it consists of and what its capabilities are. Vladimir will introduce us to the Druid components, talk about the cluster architecture, how data processing is going on.
Микросервисная архитектура на базе CoreOS и KubernetesDenis Izmaylov
13 июля 2016 состоялся восьмой Node.js Meetup в Москве. В этом докладе мы рассмотрели Scale Cube, Docker, CoreOS и кратко Kubernetes и Concourse CI.
В следующем докладе взглянем более подробно на Kubernetes и Concourse CI, посмотрим как с помощью этих быстрых и прекрасных инструментов построить Deployment Automation.
Рост популярности NoSQL - одно из важнейших изменений технологий управления данными. За счет "не реляционности" достигается высочайшая гибкость, скорость работы и масштабируемость БД. NoSQL не исключает использование реляционных БД, обе технологии с пользой дополняют друг друга. Как можно моделировать NoSQL данные, не имеющие жестких схем, и какую пользу можно получить в результате. Слайды с вебинара Embarcadero. На русском языке
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
Про некоторые кейсы использования elasticsearch в современных проектах.
- С какими сложностями столкнулись
- Где успешо применили elasticsearch, а где был избыточен
Презентация с мероприятия https://habr.com/ru/company/odnoklassniki/blog/452978/
Андрей Зайчиков "Архитектура распределенных кластеров NoSQL на AWS"IT Event
Мы рассмотрим важные особенности построения архитектуры распреденных кластеров NoSQL с использованием ресурсов Amazon Web Services, мы затронем такие аспекты как: архитектура гео распределенных кластеров, оптимизация производительности, выбор основных опций для деплоймента и ряд других аспектов. В докладе мы сконцентрируемся на таких популярных базах данных, как Cassandra, MongoDB и некоторых других.
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
IBM Cloudant и Apache CouchDB: NoSQL базы данных эпохи облаковMaxim Zinal
Какой должна быть NoSQL СУБД эпохи облаков? Что такое IBM Cloudant и Apache CouchDB?
Как они связаны друг с другом, и есть ли польза для Open Source проекта от коммерческого облачного сервиса на его основе?
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
2015 12-05 Александр Шиповалов - Инструмент для тестирования Sikuli scriptHappyDev
This document provides an overview of SikuliX, an automation tool that uses image recognition to control and interact with graphical user interfaces. It describes the main classes in SikuliX including App, Region, Screen, Offset, Math, Similarity, and Pattern. Methods for these classes are also outlined for performing actions like opening applications, finding regions on the screen, mouse and keyboard input, and image matching.
2015-12-06 Артем Зиненко - Что делать, если браузеры клиентов действуют проти...HappyDev
This document discusses common browser vulnerabilities that can allow hackers to access user data. It covers topics like cross-site scripting (XSS), cross-site request forgery (CSRF), unvalidated redirects, clickjacking, and cross-origin resource sharing (CORS) configuration issues. The document provides examples of how these vulnerabilities can be exploited, such as hijacking user sessions after login or changing user account details without consent. Proper validation of user input and access controls are necessary to prevent unauthorized access to user data and accounts.
3. О чем проект?
• обрабатывать данные из различных источников
• позволять искать по сложным запросам
• показывать слабо-структурированную информацию
• бизнес логика
• e-commerce (продажи, куда без них)
• social
• etc..
2/21
4. О чем проект?
• 15 млн документов с перспективой в 100 млн
• предоставлять удобный способ поиска
• масштабироваться горизонтально
• гибкость к изменению формата данных VS валидация данных
на соответствие базовым правилам
• обладать высокой отказоустойчивостью
3/21
5. «MarkLogic Server is a document-centric, transactional,
search-centric, structure-aware, schema-agnostic,
XQuery- and XSLT-driven, high performance, clustered,
database server»
4/21
6. «MarkLogic Server is a document-centric, transactional,
search-centric, structure-aware, schema-agnostic,
XQuery- and XSLT-driven, high performance, clustered,
database server»
… масштабируемое транзакционное …
4/21
7. «MarkLogic Server is a document-centric, transactional,
search-centric, structure-aware, schema-agnostic,
XQuery- and XSLT-driven, high performance, clustered,
database server»
… масштабируемое транзакционное хранилище
документов …
4/21
8. «MarkLogic Server is a document-centric, transactional,
search-centric, structure-aware, schema-agnostic,
XQuery- and XSLT-driven, high performance, clustered,
database server»
… масштабируемое транзакционное хранилище
документов с обширными возможностями поиска
используя языки XQuery и/или XSLT…
4/21
9. Marklogic
• актуальный релиз - 6 (19 сентября, 2012)
• номер один XML хранилище в мире *
Среди клиентов:
• Организаторы летних олимпийских игр в Лондоне 2012
• Федеральное управление гражданской авиации США
• Департамент транспорта США
• The Defense Information Systems Agency
5/21
14. Schema Agnostic
• слабо-структурированные
данные VS схема!
• фокус на элементы, а не на
структуру
10/21
15. Search Centric
• XDBC
• HTTP
• WebDAV
• клиентская библиотека
• REST API
• web интерфейс
11/21
16. Search Centric
• полнотекстовый поиск
search:search("blackjack and hookers")
• поиск по значениям элемента или аттрибута
• range индексы (искать с используя сравнения - “>”, “<”, “=”)
• fields - alias для набора элементов
• facets, подсказки, геолокационные запросы
• и еще около сотни поисковых функций
12/21
19. Масштабируемость
Forest - это репозиторий документов (папка на диске)
Host / Node - это один экземпляр Marklogic Server
Роли: Data Node (d-node) и Evaluator Node (e-node)
15/21