MySQL® и MongoDB® - когда что лучше использовать? / Петр Зайцев (Percona)Ontico
Сегодня много дискуссий о том, что лучше - MySQL или PostgreSQL? Однако перед тем, как выбирать именно реляционную базу данных для своего проекта, стоит понять, является ли реляционная база данных наилучшим решением для него.
В рамках этого доклада мы сравним наиболее популярную реляционную базу данных с открытым кодом с наиболее популярным хранилищем документов с открытым кодом. Мы определим, в каких случаях эффективнее всего работает MySQL, а в каких - MongoDB. Мы также рассмотрим ситуации, в которых ни одна из этих баз данных не будет лучшим решением и в которых целесообразно остановить свой выбор на других технологиях.
Виртуализация баз данных с КРОК и Delphix. Кейс ИнгосстрахКРОК
25 августа 2016
Бизнес-ужин «Современный подход к хранению баз данных, или как сократить время на развертывание с 5 дней до 5 минут»
Подробнее http://www.croc.ru/action/detail/65761/
Сергей Аверин "Распространенные ошибки применения баз данных"Tanya Denisyuk
Выбор хранилища данных — сложная задача, с которой часто сталкиваются разработчики. Чаще всего результат этого выбора — это компромисс. Я расскажу о собственном опыте, набитых «шишках», рассмотрю важные, на мой взгляд, связанные с этой задачей проблемы.
"What is available for Ukrainian developers in IaaS?"
What is available for Ukrainian developers in IaaS?
Difference in IaaS vs PaaS
Advantages and Disadvantages of AWS as IaaS provider in Ukrainian market context
Possibilities of Ukrainian IaaS operators for software developers
Как FB, Apple и Google разрушают традиции в компьютерном бизнесе, и почему эт...Ontico
HighLoad - новый взгляд на инфраструктуру центра обработки данных для современных нужд и приложений. Эволюция инфраструктуры датацентра. Как Facebook совершил “открытие” в железной инфраструктуре.
- Тенденции и принципы развития открытых платформ
Как крупный заказчик может заставить работать производителей железа в своих интересах и полностью уйти от зависимости от производителя;
- “Проблема импортозамещения” – видение и решения
Как уйти от порочной зависимости от производителя оборудования? Переработать, переосмыслить, открыть и заставить мировых производителей IТ-оборудования работать на себя на конкурсной основе.
- Открытые системы сегодня и завтра
Это заставило потребителей, производителей оборудования и разработчиков программного обеспечения совместно переосмыслить все аспекты эксплуатации и производства оборудования.
Примеры открытых систем, преимущества и недостатки:
- Facebook OCP. Проблемы, которые стояли перед Facebook и не решались эффективно известными компаниями лидерами IT-нфраструктуры:
-- Виртуальная программно-определяемая инфраструктура;
-- Максимальная унификация;
-- Сверхпреемственность и защита инвестиций;
-- Энергопотребление и тепловыделение;
-- Компактность и плотность платформ;
-- Обслуживание и ремонтопригодность;
-- Минимизация сервисных затрат.
Вадим Мадисон "Опыт разработки через микросервисы"Tanya Denisyuk
Мы начали разработку через микросервисы когда это еще не было трендом, было не ясно - это реально работающий подход или просто очередная модная штука. Не было понимания как это делать правильно, где подводные камни и что за одним словом “микросервисы” по факту стоит куча всего, что придется узнать, изучить и понять.
Сейчас у нас большой парк микросервисов, но оперировать ими становится все проще - сказывается опыт.
В ходе доклада я поделюсь основными моментами в разработке микросервисов, расскажу как это делаем мы и что для этого используем.
MySQL® и MongoDB® - когда что лучше использовать? / Петр Зайцев (Percona)Ontico
Сегодня много дискуссий о том, что лучше - MySQL или PostgreSQL? Однако перед тем, как выбирать именно реляционную базу данных для своего проекта, стоит понять, является ли реляционная база данных наилучшим решением для него.
В рамках этого доклада мы сравним наиболее популярную реляционную базу данных с открытым кодом с наиболее популярным хранилищем документов с открытым кодом. Мы определим, в каких случаях эффективнее всего работает MySQL, а в каких - MongoDB. Мы также рассмотрим ситуации, в которых ни одна из этих баз данных не будет лучшим решением и в которых целесообразно остановить свой выбор на других технологиях.
Виртуализация баз данных с КРОК и Delphix. Кейс ИнгосстрахКРОК
25 августа 2016
Бизнес-ужин «Современный подход к хранению баз данных, или как сократить время на развертывание с 5 дней до 5 минут»
Подробнее http://www.croc.ru/action/detail/65761/
Сергей Аверин "Распространенные ошибки применения баз данных"Tanya Denisyuk
Выбор хранилища данных — сложная задача, с которой часто сталкиваются разработчики. Чаще всего результат этого выбора — это компромисс. Я расскажу о собственном опыте, набитых «шишках», рассмотрю важные, на мой взгляд, связанные с этой задачей проблемы.
"What is available for Ukrainian developers in IaaS?"
What is available for Ukrainian developers in IaaS?
Difference in IaaS vs PaaS
Advantages and Disadvantages of AWS as IaaS provider in Ukrainian market context
Possibilities of Ukrainian IaaS operators for software developers
Как FB, Apple и Google разрушают традиции в компьютерном бизнесе, и почему эт...Ontico
HighLoad - новый взгляд на инфраструктуру центра обработки данных для современных нужд и приложений. Эволюция инфраструктуры датацентра. Как Facebook совершил “открытие” в железной инфраструктуре.
- Тенденции и принципы развития открытых платформ
Как крупный заказчик может заставить работать производителей железа в своих интересах и полностью уйти от зависимости от производителя;
- “Проблема импортозамещения” – видение и решения
Как уйти от порочной зависимости от производителя оборудования? Переработать, переосмыслить, открыть и заставить мировых производителей IТ-оборудования работать на себя на конкурсной основе.
- Открытые системы сегодня и завтра
Это заставило потребителей, производителей оборудования и разработчиков программного обеспечения совместно переосмыслить все аспекты эксплуатации и производства оборудования.
Примеры открытых систем, преимущества и недостатки:
- Facebook OCP. Проблемы, которые стояли перед Facebook и не решались эффективно известными компаниями лидерами IT-нфраструктуры:
-- Виртуальная программно-определяемая инфраструктура;
-- Максимальная унификация;
-- Сверхпреемственность и защита инвестиций;
-- Энергопотребление и тепловыделение;
-- Компактность и плотность платформ;
-- Обслуживание и ремонтопригодность;
-- Минимизация сервисных затрат.
Вадим Мадисон "Опыт разработки через микросервисы"Tanya Denisyuk
Мы начали разработку через микросервисы когда это еще не было трендом, было не ясно - это реально работающий подход или просто очередная модная штука. Не было понимания как это делать правильно, где подводные камни и что за одним словом “микросервисы” по факту стоит куча всего, что придется узнать, изучить и понять.
Сейчас у нас большой парк микросервисов, но оперировать ими становится все проще - сказывается опыт.
В ходе доклада я поделюсь основными моментами в разработке микросервисов, расскажу как это делаем мы и что для этого используем.
Стратегия и тактика улучшения производительности BSS систем оператора мобильн...Ontico
В докладе поделимся опытом построения комплексного процесса последовательного улучшения производительности информационных систем мобильного оператора, расскажем об используемых инструментах и компонентах (Oracle, Tarantool, Java, Jmeter и т.д.).
Особенность нашего оператора в том, что основной канал взаимодействия с клиентом - это мобильное приложение или web Личный кабинет, а не USSD команды и СМС, как у основной массы операторов. Данная особенность создает высокие требования к времени отклика и доступности сервисов и ставит перед нами целый ряд вопросов:
- Как достичь приемлемого времени отрисовки страниц (не более 2х секунд) и не "уронить" backend при увеличении кол-ва абонентов в несколько раз за год до 4х миллионов?
- Как обеспечить приемлемую производительность при наличии сложных оркестрирующих процессов на ESB и достаточно медленного, основанного на Oracle биллинга?
- Как контролировать и улучшать производительность и доступность постоянно и на упреждение, а не когда "жареный петух клюнет"?
Мы расскажем о том, как мы отвечаем на выше обозначенные вопросы. В частности, расскажем о внедрении двух БД - inmemory БД на чтение и Oracle на запись с соответствующей синхронизацией, о технике кэширования на нескольких уровнях, оптимизации синхронных и асинхронных процессов, о постоянном выявлении узких мест на тестировании, о кластеризации и других аспектах улучшения общей и частной производительности и доступности при быстро растущей абонентской базе и беспощадной креативности бизнеса.
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)Ontico
Зачем мы каждый раз изобретаем велосипед, только потому что можем? Корпоративные СХД существуют более 25 лет и умеют очень многое.
Защита данных, качество обслуживания, многоуровневое хранение и кэширование на флэш-памяти. Система хранения данных - это не только гигабайт по минимальной цене, но так же и гарантированная производительность и отказоустойчивость.
Вы узнаете, как можно обеспечить своим данным высокую степень защиты, значительно сократив время реализации проекта. Или, наоборот, убедитесь в том, что СХД корпоративного класса вашему проекту не подходят.
Moбильная база данных Realm. Прошло ли время SQLite?Олег Чебулаев
- Обзор систем хранения данных
- Что такое Realm?
- Realm изнутри и почему он такой быстрый
- Сравнение производительности мобильных баз данных
- Практика использования
Использование Tarantool в качестве платформы виртуализации данных / Константи...Ontico
Инфраструктура хранения данных современного предприятия отражает историю развития бизнеса и индустрии и зачастую разнородна: проприетарные системы хранения и обработки данных, кэширующие системы, системы хранения данных для Интернет-сервисов.
Всё большее проникновение цифровых технологий в бизнес бросает вызов существующей IТ-инфраструктуре. Для сохранения имеющихся позиций на рынке необходимо обрабатывать всё большие объёмы всё быстрее меняющихся данных.
Проприетарные решения не отвечают этому вызову не только в технологической, но и в экономической составляющей: лицензионная политика, общая стоимость владения часто линейно зависят от объёма обрабатываемых данных, что является недопустимым в условиях шквального роста цифровой составляющей бизнеса.
Облачные решения недостаточно сформировались, с одной стороны, и ограничены в применении, с другой, особенно если речь идёт об обработке персональных данных, либо данных, имеющих жизненно
важное значение для бизнеса.
Единственным возможным на сегодняшний день ответом на вызов digital трансформации является внедрение решений с открытым исходным кодом.
В данном докладе будет изложен опыт такого внедрения в крупную компанию телекоммуникационной индустрии. Речь пойдёт о построении платформы виртуализации данных на основе решения Tarantool.
Преимуществами подхода виртуализации данных являются:
- безболезненная интеграция с существующей IТ-инфраструктурой, платформа может выступать в качестве высокопроизводительного "фасада" к существующим источникам данных;
- чрезвычайно высокая скорость работы с данными;
- возможность работать с данными, а не с ис
NoSQL - коротко о главном / Сергей Туленцев (TextMaster)Ontico
В последнее время сайты и веб-приложения растут всё быстрее, а задачи, стоящие перед БД, эволюционируют. Поэтому для (успешных) проектов традиционная реляционная СУБД часто не может удовлетворить все нужды. В ответ на эту проблему возникло большое количество разнообразных решений, очень различающихся по функциональности и характеристикам. При этом они все заносятся под один большой зонтик "NoSQL", что не способствует пониманию вещей. Запутанные веб-разработчики пытаются взять текущую модную и обсуждаемую NoSQL БД и приспособить её под свои нужды, не всегда понимая, нужную ли технологию они выбрали (референс к MongoDB is Web Scale http://www.youtube.com/watch?v=b2F-DItXtZs).
Целью доклада является упорядочение хаоса в головах разработчиков.
- Обзор популярных БД и их классификация (KV store, document store, columnar, etc).
- CAP-теорема и её применение к выбору БД (где-то параметры можно настроить, где-то подпереть сбоку костылем, где-то - увы).
- Типичные примеры применения.
- Антипаттерны применения (из личного опыта и тысяч прочитанных вопросов на stackoverflow :) ).
Настройка и оптимизация высоконагруженных J2EE веб-приложений / Шамим Ахмед (...Ontico
Оптимизация любого веб-приложения — это нетривиальная задача, для решения которой требуется проводить мониторинг загрузки системных ресурсов, выполнять микро-вэнчмаркинг, экспериментировать с настройками, проводить нагрузочное тестирование и т.д.
В текущем году нашей команде довелось поучаствовать в нескольких проектах, в которых перед нами стояла задача оптимизации J2EE веб-приложений. Один из них — портал для ОАО «Сбербанк России» (www.sberbank.ru).
Основной сайт Сбербанка реализован на основе портального движка BackBase и является J2EE-приложением. При проведении оптимизации его работы нам пришлось изучить и собрать много информации и документов, которые связаны с настройкой и оптимизацией высоконагруженных веб-приложений.
В ходе реализации проектов я заметил, что не существует сводного документа с инструкциями по оптимизации работы приложения, поэтому решил поделиться нашим опытом. Этот доклад может послужить в качестве дорожной карты (Road Map) для настройки и оптимизации J2EE веб-приложений.
В докладе будут рассмотрены следующие аспекты:
1) Общие подходы и методология оптимизации веб-приложения.
2) Оптимизация настроек веб-сервера.
3) Оптимизация кода приложения на стороне клиента.
4) Оптимизация на стороне middleware, в том числе на сервере приложений.
5) Оптимизация на уровне Базы Данных.
Дмитрий Меньшиков "Топ-10 фейлов на реальном highload проекте"Fwdays
- как ошибка выбора идентификатора пользователя, обнаруженная после запуска проекта, чуть не стоила 2 лет разработки
- как мы боролись с перегруженным mysql когда даже включение binlog убивает сервер
- почистил партицию mysql под нагрузкой - получи мертвый сервер
- как верстальщик поменял верстку серча и уложил продукт на 4 часа
- ошибка в ядре php которая привела даунтайм на несколько часов
- как незнание особенностей работы GC у redis обошлось в $50к чистой прибыли
- добавлением или удалением серверов из пула memcached инвалидировали весь кэш (кривые настройки php клиента Memcache/Memcached)
- как поправив тест потерять 2 миллиона пользовательских писем
- как релиз одного проекта крэшил хелсчеки соседнего проекта
- самый большой фейл с системами очередей и статистикой: ивенты терялись годами
Реальный кейс создания и сопровождения облачной ИТ-инфраструктуры компании ма...Максим Захаренко
Первая часть. Концепция облачного ИТ-аутсорсера.
Вторая часть. Детальный разбор кейса размещения облачной ИТ на платформе Облакотеки со всеми цифрами и техническими решениями. Партнер - Макс Саппорт
Пишем свою платформу для управления данными. Это очень просто / Суханов Васил...Ontico
На примере платформы SAP HANA рассмотрим подходы к созданию высокопроизводительной платформы для управления большими массивами данных и выполнения сложных вычислений. В ходе сессии будут представлены архитектурные решения, которые частично легли в основу платформы, а также будет проведён сравнительный анализ предложенных решений в приложении к современным разработкам Intel в области архитектуры ЭВМ.
Тезисы - http://www.highload.ru/2015/abstracts/1856.html
Максим Барышников, Что такое типовые проблемы нагруженных проектов и как их р...Tanya Denisyuk
Расскажу, какие подходы и инструменты практически применяются в Wargaming при обработке данных в гигантской, без преувеличений, системе. Частичный список затрагиваемых вопросов
NoSQL versus/with RDBMS или каждый инструмент на своем месте
Синхронные и асинхронные подходы к построению систем: почему асинхронные системы не могут быть быстрее синхронных, но асинхронность, тем не менее, очень полезна
API и интерфейсы — важная составляющая хорошо спроектированной системы
Performance vs Scalability
Мониторинг и профилирование
1. Вводная часть: базовые понятия и определения
1.1. Что такое “файл”
1.2. Роль файлов в современном мире, миф о ненужности файлов
1.3. Файловое хранилище АКА файловая система
1.3.1. внутреннее устройство
1.3.1.1. винтажные и журналируемые. зачем нужен журнал
1.3.1.2. плоские и иерархические
1.3.1.3. контроль доступа
1.3.2. POSIX
1.3.2.1. произвольное чтение
1.3.2.2. произвольная запись
1.3.2.3. атомарные операции
1.3.3. bells and whistles
1.3.3.1. сжатие, шифрование, дедупликация
1.3.3.2. snapshots
1.4. кеширование чтения и записи
2. HighLoad - это сеть
2.1. что вообще такое “HighLoad”, или “ведет ли кроилово к попадалову”
2.2. протоколы доступа: stateless и stateful
2.3. отказоустойчивость и ее двуличие
2.3.1. целостность данных
2.3.2. бесперебойные запись и чтение
2.4. Теорема CAP
3. Так в чем проблема?
3.1. Берем большую-пребольшую СХД и…
3.1.1. локальный кеш?!
3.1.2. конкурентная запись?!!
3.1.3. Берем OCFS2 и…
3.1.3.1. Как “падают виртуалки”?!
3.1.3.2. И почему так медленно?
3.1.4. А еще большую-пребольшую СХД довольно трудно получить в свое распоряжение
3.2. Берем CEPH/Lustre/LeoFS и…
3.2.1. Почему так медленно?!
3.2.2. Что значит “ребалансинг”?!
3.3. И немного о резервном копировании
3.3.1. Резервное копирование - это не отказоустойчивость
3.4. И снова про атомарные операции
3.5. Так почему все-таки нельзя просто сложить файлы в базу?
4. Что же делать?
4.1. В первую очередь это зависит от того, какова наша задача
4.1.1. А надо ли экономить?
4.1.2. POSIX - нужен ли он?
4.1.3. Большие файлы - нужны ли они?
4.1.4. Атомарные операции - нужны ли они?
4.1.5. Версионирование - нужно ли версионирование?
4.1.6. Насколько большим должно быть наше хранилище?
4.1.7. И собираемся ли мы удалять файлы?
4.1.8. И каков будет профиль нагрузки?
4.2. I’m feeling lucky - для некоторых сочет�
SQL Server in Microsoft Azure cloud: IaaS way vs PaaS wayMicrosoft
Для того, чтобы правильно выбрать метод размещения SQL Server в облаке Microsoft, надо знать не только о том, чем отличается PaaS (SQL Azure) от IaaS (SQL Server VM), но и о том, откуда возникли эти различия, и с какими последствиями вы столкнетесь при выборе того или иного метода.
В докладе - различия PaaS от IaaS, почему такие различия возникли, архитектура SQL Azure и IaaS-решения, и многое другое.
ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидо...Ontico
ClickHouse - высокопроизводительная база данных для больших данных и аналитики.
На ClickHouse основана Яндекс.Метрика - крупнейшая система веб-аналитики в России.
Ради чего мы написали свою базу данных? Ради скорости! ClickHouse работает невероятно быстро, быстрее всех известных нам конкурентов, и при этом может обрабатывать запросы по петабайтам данных.
Я расскажу про:
- Краткую историю создания проекта;
- Основные преимущества и особенности ClickHouse;
- Архитектура проекта; подход к хранению данных, отказоустойчивости, исполнению запросов;
- Как работает внутри, почему ClickHouse такой быстрый;
- Текущие кейсы использования в Метрике и других проектах Яндекса;
- Профит, который вы можете получить от ClickHouse.
Стратегия и тактика улучшения производительности BSS систем оператора мобильн...Ontico
В докладе поделимся опытом построения комплексного процесса последовательного улучшения производительности информационных систем мобильного оператора, расскажем об используемых инструментах и компонентах (Oracle, Tarantool, Java, Jmeter и т.д.).
Особенность нашего оператора в том, что основной канал взаимодействия с клиентом - это мобильное приложение или web Личный кабинет, а не USSD команды и СМС, как у основной массы операторов. Данная особенность создает высокие требования к времени отклика и доступности сервисов и ставит перед нами целый ряд вопросов:
- Как достичь приемлемого времени отрисовки страниц (не более 2х секунд) и не "уронить" backend при увеличении кол-ва абонентов в несколько раз за год до 4х миллионов?
- Как обеспечить приемлемую производительность при наличии сложных оркестрирующих процессов на ESB и достаточно медленного, основанного на Oracle биллинга?
- Как контролировать и улучшать производительность и доступность постоянно и на упреждение, а не когда "жареный петух клюнет"?
Мы расскажем о том, как мы отвечаем на выше обозначенные вопросы. В частности, расскажем о внедрении двух БД - inmemory БД на чтение и Oracle на запись с соответствующей синхронизацией, о технике кэширования на нескольких уровнях, оптимизации синхронных и асинхронных процессов, о постоянном выявлении узких мест на тестировании, о кластеризации и других аспектах улучшения общей и частной производительности и доступности при быстро растущей абонентской базе и беспощадной креативности бизнеса.
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)Ontico
Зачем мы каждый раз изобретаем велосипед, только потому что можем? Корпоративные СХД существуют более 25 лет и умеют очень многое.
Защита данных, качество обслуживания, многоуровневое хранение и кэширование на флэш-памяти. Система хранения данных - это не только гигабайт по минимальной цене, но так же и гарантированная производительность и отказоустойчивость.
Вы узнаете, как можно обеспечить своим данным высокую степень защиты, значительно сократив время реализации проекта. Или, наоборот, убедитесь в том, что СХД корпоративного класса вашему проекту не подходят.
Moбильная база данных Realm. Прошло ли время SQLite?Олег Чебулаев
- Обзор систем хранения данных
- Что такое Realm?
- Realm изнутри и почему он такой быстрый
- Сравнение производительности мобильных баз данных
- Практика использования
Использование Tarantool в качестве платформы виртуализации данных / Константи...Ontico
Инфраструктура хранения данных современного предприятия отражает историю развития бизнеса и индустрии и зачастую разнородна: проприетарные системы хранения и обработки данных, кэширующие системы, системы хранения данных для Интернет-сервисов.
Всё большее проникновение цифровых технологий в бизнес бросает вызов существующей IТ-инфраструктуре. Для сохранения имеющихся позиций на рынке необходимо обрабатывать всё большие объёмы всё быстрее меняющихся данных.
Проприетарные решения не отвечают этому вызову не только в технологической, но и в экономической составляющей: лицензионная политика, общая стоимость владения часто линейно зависят от объёма обрабатываемых данных, что является недопустимым в условиях шквального роста цифровой составляющей бизнеса.
Облачные решения недостаточно сформировались, с одной стороны, и ограничены в применении, с другой, особенно если речь идёт об обработке персональных данных, либо данных, имеющих жизненно
важное значение для бизнеса.
Единственным возможным на сегодняшний день ответом на вызов digital трансформации является внедрение решений с открытым исходным кодом.
В данном докладе будет изложен опыт такого внедрения в крупную компанию телекоммуникационной индустрии. Речь пойдёт о построении платформы виртуализации данных на основе решения Tarantool.
Преимуществами подхода виртуализации данных являются:
- безболезненная интеграция с существующей IТ-инфраструктурой, платформа может выступать в качестве высокопроизводительного "фасада" к существующим источникам данных;
- чрезвычайно высокая скорость работы с данными;
- возможность работать с данными, а не с ис
NoSQL - коротко о главном / Сергей Туленцев (TextMaster)Ontico
В последнее время сайты и веб-приложения растут всё быстрее, а задачи, стоящие перед БД, эволюционируют. Поэтому для (успешных) проектов традиционная реляционная СУБД часто не может удовлетворить все нужды. В ответ на эту проблему возникло большое количество разнообразных решений, очень различающихся по функциональности и характеристикам. При этом они все заносятся под один большой зонтик "NoSQL", что не способствует пониманию вещей. Запутанные веб-разработчики пытаются взять текущую модную и обсуждаемую NoSQL БД и приспособить её под свои нужды, не всегда понимая, нужную ли технологию они выбрали (референс к MongoDB is Web Scale http://www.youtube.com/watch?v=b2F-DItXtZs).
Целью доклада является упорядочение хаоса в головах разработчиков.
- Обзор популярных БД и их классификация (KV store, document store, columnar, etc).
- CAP-теорема и её применение к выбору БД (где-то параметры можно настроить, где-то подпереть сбоку костылем, где-то - увы).
- Типичные примеры применения.
- Антипаттерны применения (из личного опыта и тысяч прочитанных вопросов на stackoverflow :) ).
Настройка и оптимизация высоконагруженных J2EE веб-приложений / Шамим Ахмед (...Ontico
Оптимизация любого веб-приложения — это нетривиальная задача, для решения которой требуется проводить мониторинг загрузки системных ресурсов, выполнять микро-вэнчмаркинг, экспериментировать с настройками, проводить нагрузочное тестирование и т.д.
В текущем году нашей команде довелось поучаствовать в нескольких проектах, в которых перед нами стояла задача оптимизации J2EE веб-приложений. Один из них — портал для ОАО «Сбербанк России» (www.sberbank.ru).
Основной сайт Сбербанка реализован на основе портального движка BackBase и является J2EE-приложением. При проведении оптимизации его работы нам пришлось изучить и собрать много информации и документов, которые связаны с настройкой и оптимизацией высоконагруженных веб-приложений.
В ходе реализации проектов я заметил, что не существует сводного документа с инструкциями по оптимизации работы приложения, поэтому решил поделиться нашим опытом. Этот доклад может послужить в качестве дорожной карты (Road Map) для настройки и оптимизации J2EE веб-приложений.
В докладе будут рассмотрены следующие аспекты:
1) Общие подходы и методология оптимизации веб-приложения.
2) Оптимизация настроек веб-сервера.
3) Оптимизация кода приложения на стороне клиента.
4) Оптимизация на стороне middleware, в том числе на сервере приложений.
5) Оптимизация на уровне Базы Данных.
Дмитрий Меньшиков "Топ-10 фейлов на реальном highload проекте"Fwdays
- как ошибка выбора идентификатора пользователя, обнаруженная после запуска проекта, чуть не стоила 2 лет разработки
- как мы боролись с перегруженным mysql когда даже включение binlog убивает сервер
- почистил партицию mysql под нагрузкой - получи мертвый сервер
- как верстальщик поменял верстку серча и уложил продукт на 4 часа
- ошибка в ядре php которая привела даунтайм на несколько часов
- как незнание особенностей работы GC у redis обошлось в $50к чистой прибыли
- добавлением или удалением серверов из пула memcached инвалидировали весь кэш (кривые настройки php клиента Memcache/Memcached)
- как поправив тест потерять 2 миллиона пользовательских писем
- как релиз одного проекта крэшил хелсчеки соседнего проекта
- самый большой фейл с системами очередей и статистикой: ивенты терялись годами
Реальный кейс создания и сопровождения облачной ИТ-инфраструктуры компании ма...Максим Захаренко
Первая часть. Концепция облачного ИТ-аутсорсера.
Вторая часть. Детальный разбор кейса размещения облачной ИТ на платформе Облакотеки со всеми цифрами и техническими решениями. Партнер - Макс Саппорт
Пишем свою платформу для управления данными. Это очень просто / Суханов Васил...Ontico
На примере платформы SAP HANA рассмотрим подходы к созданию высокопроизводительной платформы для управления большими массивами данных и выполнения сложных вычислений. В ходе сессии будут представлены архитектурные решения, которые частично легли в основу платформы, а также будет проведён сравнительный анализ предложенных решений в приложении к современным разработкам Intel в области архитектуры ЭВМ.
Тезисы - http://www.highload.ru/2015/abstracts/1856.html
Максим Барышников, Что такое типовые проблемы нагруженных проектов и как их р...Tanya Denisyuk
Расскажу, какие подходы и инструменты практически применяются в Wargaming при обработке данных в гигантской, без преувеличений, системе. Частичный список затрагиваемых вопросов
NoSQL versus/with RDBMS или каждый инструмент на своем месте
Синхронные и асинхронные подходы к построению систем: почему асинхронные системы не могут быть быстрее синхронных, но асинхронность, тем не менее, очень полезна
API и интерфейсы — важная составляющая хорошо спроектированной системы
Performance vs Scalability
Мониторинг и профилирование
1. Вводная часть: базовые понятия и определения
1.1. Что такое “файл”
1.2. Роль файлов в современном мире, миф о ненужности файлов
1.3. Файловое хранилище АКА файловая система
1.3.1. внутреннее устройство
1.3.1.1. винтажные и журналируемые. зачем нужен журнал
1.3.1.2. плоские и иерархические
1.3.1.3. контроль доступа
1.3.2. POSIX
1.3.2.1. произвольное чтение
1.3.2.2. произвольная запись
1.3.2.3. атомарные операции
1.3.3. bells and whistles
1.3.3.1. сжатие, шифрование, дедупликация
1.3.3.2. snapshots
1.4. кеширование чтения и записи
2. HighLoad - это сеть
2.1. что вообще такое “HighLoad”, или “ведет ли кроилово к попадалову”
2.2. протоколы доступа: stateless и stateful
2.3. отказоустойчивость и ее двуличие
2.3.1. целостность данных
2.3.2. бесперебойные запись и чтение
2.4. Теорема CAP
3. Так в чем проблема?
3.1. Берем большую-пребольшую СХД и…
3.1.1. локальный кеш?!
3.1.2. конкурентная запись?!!
3.1.3. Берем OCFS2 и…
3.1.3.1. Как “падают виртуалки”?!
3.1.3.2. И почему так медленно?
3.1.4. А еще большую-пребольшую СХД довольно трудно получить в свое распоряжение
3.2. Берем CEPH/Lustre/LeoFS и…
3.2.1. Почему так медленно?!
3.2.2. Что значит “ребалансинг”?!
3.3. И немного о резервном копировании
3.3.1. Резервное копирование - это не отказоустойчивость
3.4. И снова про атомарные операции
3.5. Так почему все-таки нельзя просто сложить файлы в базу?
4. Что же делать?
4.1. В первую очередь это зависит от того, какова наша задача
4.1.1. А надо ли экономить?
4.1.2. POSIX - нужен ли он?
4.1.3. Большие файлы - нужны ли они?
4.1.4. Атомарные операции - нужны ли они?
4.1.5. Версионирование - нужно ли версионирование?
4.1.6. Насколько большим должно быть наше хранилище?
4.1.7. И собираемся ли мы удалять файлы?
4.1.8. И каков будет профиль нагрузки?
4.2. I’m feeling lucky - для некоторых сочет�
SQL Server in Microsoft Azure cloud: IaaS way vs PaaS wayMicrosoft
Для того, чтобы правильно выбрать метод размещения SQL Server в облаке Microsoft, надо знать не только о том, чем отличается PaaS (SQL Azure) от IaaS (SQL Server VM), но и о том, откуда возникли эти различия, и с какими последствиями вы столкнетесь при выборе того или иного метода.
В докладе - различия PaaS от IaaS, почему такие различия возникли, архитектура SQL Azure и IaaS-решения, и многое другое.
ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидо...Ontico
ClickHouse - высокопроизводительная база данных для больших данных и аналитики.
На ClickHouse основана Яндекс.Метрика - крупнейшая система веб-аналитики в России.
Ради чего мы написали свою базу данных? Ради скорости! ClickHouse работает невероятно быстро, быстрее всех известных нам конкурентов, и при этом может обрабатывать запросы по петабайтам данных.
Я расскажу про:
- Краткую историю создания проекта;
- Основные преимущества и особенности ClickHouse;
- Архитектура проекта; подход к хранению данных, отказоустойчивости, исполнению запросов;
- Как работает внутри, почему ClickHouse такой быстрый;
- Текущие кейсы использования в Метрике и других проектах Яндекса;
- Профит, который вы можете получить от ClickHouse.
CROC provides cloud services from three data centers in Moscow. It offers solutions similar to Amazon Web Services, including self-service access and advanced networking technologies. CROC's infrastructure uses all-flash storage and is highly available, secure, and tailored to customer needs with 24/7 support. Projects include hosting, big data, migration of IT infrastructure to the cloud, and disaster recovery solutions.
27 апреля 2016 г
Презентации новой услуги КРОК «Service Assistant: сервис будущего сегодня»
Доклад «Service Assistant: сервис будущего сегодня»
Александр Лопухов, заместитель генерального директора КРОК по региональному развитию
Подробнее об услуге http://www.croc.ru/promo-action/serviceassistant/
Оптимизация производительности: магия или методикаКРОК
13 октября 2016
Бизнес-завтрак «Контроль производительности приложений — ключ к успешному взаимодействию с бизнесом»
http://www.croc.ru/action/detail/66468/
13 октября 2016
Бизнес-завтрак «Контроль производительности приложений — ключ к успешному взаимодействию с бизнесом»
http://www.croc.ru/action/detail/66468/
13 октября 2016
Бизнес-завтрак «Контроль производительности приложений — ключ к успешному взаимодействию с бизнесом»
http://www.croc.ru/action/detail/66468/
Семинар КРОК 14 апреля 2016 г «Оптимизация ИТ-инфраструктуры»
Доклад «Оптимизация рабочей среды пользователя»
Сергей Скрыль, эксперт по технологиям виртуализации КРОК
Подробнее http://www.croc.ru/action/webinars/61634/
ERP-системы в облаке: разбор кейсов DataLineDataLine
Рассматриваем реальные кейсы виртуализированных ERP-систем в ритейле, e-commerce и промышленности и изучаем "подводные камни" на примере Oracle E-Business Suite, SAP ERP и Microsoft Dynamics AX.
Как построить недорогое и надежное облачное решение?DataLine
Делимся своим опытом в области проектирования бюджетного и функционального облачного решения (IaaS): рассказываем, на чем можно и нельзя экономить, разбираем и сравниваем различные облачные платформы.
Архитектура и принцип работы катастрофоустойчивого облачного решения CloudLine Metrocluster. В презентации рассмотрены основные сценария сбоев, при которых CloudLine Metrocluster поможет сохранить работоспособность сервисов и доступность данных.
Преимущества CloudLine Metrocluster:
Полная защита business-critical приложений и данных от внутренних сбоев и внешних угроз;
Дублирование элементов СХД в рамках двух площадок: дата-центры OST и NORD, расстояние - 33 км;
Миграция виртуальных машин при недоступности одного из дата-центров на резервную площадку;
Старт виртуальной машины на резервной площадке (Recovery Time Objective, RTO) – от 2 минут;
Зеркалирование данных на уровне СХД между двумя площадками: Recovery Point Objective (RPO) – 0 минут;
Балансировка нагрузки на уровне двух дата-центров.
Оптимизация ЦОД подходы ЕМС и Cisco к построению эффективных ИТ-инфраструктурКРОК
Семинар Центра компетенции КРОК «Решения для резервного копирования, архивирования, IP-систем хранения данных и консолидации файловых хранилищ».
Подробнее о мероприятии http://www.croc.ru/action/detail/2391/
Презентация Дмитрия Дощаного, ведущего инженера компании КРОК
Центр решений ФОРС. Презентации продуктов и технологий. Демонстрационный зал аппаратных средств. Проведение тренингов и тестирований. Проработка и оптимизация решений на стеке Oracle. Oracle Big Data Appliance
Комплекс инструментов для управления эксплуатацией позволит заказчику создать централизованную базу данных на основе информационной 3D-модели по всей инфраструктуре здания или сооружения. Инструменты позволят осуществлять комплексное управление активами организации, техническое, коммерческое и инфраструктурное обслуживание объектов недвижимости, а также оперативно разрабатывать необходимые процессы и управлять ресурсами. Единая информационная площадка объединяет в себе средства контроля и планирования работ по обслуживанию объектов недвижимости, взаимодействию с сервисными подрядчиками и отслеживанию зон ответственности.
Бизнес-ужин «Деловой подход к хранению данных: экономим и повышаем эффективность».
Презентация Сергея Скрыля, эксперта по технологиям виртуализации «КРОК».
Бизнес-ужин «Деловой подход к хранению данных: экономим и повышаем эффективность».
Презентация Ивана Шумовского, руководителя направления программной инфраструктуры «КРОК».
ЕЭК. Создание Программно-Аппаратного Комплекса Мультимедийных СистемКРОК
Специалисты КРОК внедрили в Евразийской Экономической Комиссии программно-аппаратный комплекс мультимедийных систем
(ПАКМС), Комплекс объединил 3 зала совещаний, пресс-центр, видеостудию, 39 перего-
ворных комнат, 18 кабинетов руководителей, расположенных в двух территориально-
распределенных офисах в Москве.
17 мая, 2017 г. «Тест-драйв новинок ВКС и UC. Ещё быстрее, надёжнее и эффективнее». Презентация Михаила Никифорова, руководителя направления видеоконференцсвязи КРОК
18 мая, 2017 г. Бизнес-практикум «Полезные ИТ-инструменты на пути к цифровой трансформации бизнеса». Презентация Вячеслава Петровского, ведущего инженера КРОК.
Решения для видеосвязи в среде Skype for businessКРОК
18 мая, 2017 г. Бизнес-практикум «Полезные ИТ-инструменты на пути к цифровой трансформации бизнеса». Презентация Евгения Нищего, ведущего эксперта КРОК.
18 мая, 2017 г. Бизнес-практикум «Полезные ИТ-инструменты на пути к цифровой трансформации бизнеса». Презентация Михаила Никифорова, руководителя направления видеоконференцсвязи КРОК
4. /64
КОНКУРЕНТНЫЕ ПРЕИМУЩЕСТВА
SLA на диски до
100 000 IOPS
99,9%
Высокая конкуренция = высокие требования к технологичности
Дата-центр Облако Основной бизнес КРОК
5. /65
КОНКУРЕНТНЫЕ ПРЕИМУЩЕСТВА
Сеть из 3 ЦОД
(TIER III Uptime)
SLA на диски до
100 000 IOPS
99,9%
2 облака (HA/DR)
Высокая конкуренция = высокие требования к технологичности
Единая 24/7 СТП
(ЦОД + облако)
Дата-центр Облако Основной бизнес КРОК
6. /66
КОНКУРЕНТНЫЕ ПРЕИМУЩЕСТВА
Сеть из 3 ЦОД
(TIER III Uptime)
SLA на диски до
100 000 IOPS
99,9%
2 облака (HA/DR)
Высокая конкуренция = высокие требования к технологичности
Единая 24/7 СТП
(ЦОД + облако)
EMC Avamar
Enterprise backup
Дата-центр Облако Основной бизнес КРОК
7. /67
КОНКУРЕНТНЫЕ ПРЕИМУЩЕСТВА
Сеть из 3 ЦОД
(TIER III Uptime)
SLA на диски до
100 000 IOPS
99,9%
2 облака (HA/DR)
Высокая конкуренция = высокие требования к технологичности
Единая 24/7 СТП
(ЦОД + облако)
Сертификаты
Пентесты
EMC Avamar
Enterprise backup
Дата-центр Облако Основной бизнес КРОК
8. /68
КОНКУРЕНТНЫЕ ПРЕИМУЩЕСТВА
Сеть из 3 ЦОД
(TIER III Uptime)
SLA на диски до
100 000 IOPS
99,9%
2 облака (HA/DR)
Высокая конкуренция = высокие требования к технологичности
Единая 24/7 СТП
(ЦОД + облако)
Сертификаты
Пентесты
Комплексный
подход интегратора
EMC Avamar
Enterprise backup
Подключение к
облаку
оборудования
Дата-центр Облако Основной бизнес КРОК
9. /69
КОНКУРЕНТНЫЕ ПРЕИМУЩЕСТВА
Сеть из 3 ЦОД
(TIER III Uptime)
SLA на диски до
100 000 IOPS
99,9%
2 облака (HA/DR)
Высокая конкуренция = высокие требования к технологичности
Единая 24/7 СТП
(ЦОД + облако)
Сертификаты
Пентесты
Виртуализация
сетей
VMware NSX
Комплексный
подход интегратора
EMC Avamar
Enterprise backup
Подключение к
облаку
оборудования
Дата-центр Облако Основной бизнес КРОК
10. /610
• Миграцией всего ИТ из-за границы в облако КРОК
• Переезд основной ERP системы с физических
серверов на виртуальные
• Disaster Recovery ландшафт для бизнес
критичных сервисов (2 облака)
• Прямое подключение всех магазинов к облаку
• Около 100 серверов
• Более 30ТБ Flash дисков
• 11ТБ SATA дисков
• Около 1500 пользователей
КРУПНАЯ RETAIL СЕТЬ
Terminal
DB
APP
Terminal
DB
APP
Active Active
Active Active
Active Passive
Main DC Reserve DC
11. /611
• Полный перевод продуктивного ландшафта в облако КРОК
• Организация DR решения (active-passive) между облаком КРОК
и локальной площадкой заказчика
• Отказ от локального ИТ по мере устаревания оборудования и
перевод резерва в облако
• Прямое подключение всех клиентов к облаку
• Сертификация по PCI DSS
• 102 виртуальных сервера
• 36ТБ SATA и Flash дисков
КРУПНАЯ ПЛАТЕЖНАЯ СИСТЕМА
12. /612
• Построение бизнеса с «нуля» в облаке
• Опыт успешной работы с 2014 года
• Полный переход на программные сетевые
маршрутизаторы Cisco CSR
• Более 10 продуктивных БД (Oracle и пр.)
требовательных к высокой производительности
дисков работают с flash дисками (25ТБ)
• Более 70 виртуальных серверов
БАНК С ДИСТАНЦИОННЫМ
ОБСЛУЖИВАНИЕМ
13. /613
• Размещает в облаке решения для конечных клиентов
• Миграция отчасти связана с обработкой ПД
• Bigdata, СЭД, аналитика
• Провели успешный предаудит облака по ISO 27001, подтвердив
безопасность хранения и обработки данных заказчиков
• Готовимся к прохождению аудита ISO27001 со стороны BSI в
рамках всего облака и ЦОД
• Сейчас 89 серверов
• 11ТБ Flash дисков
КРУПНЫЙ ЗАПАДНЫЙ ВЕНДОР ПО
ISO 27001 -
Системы
менеджмента
информационной
безопасности
14. /614
• Весь E-Commerce работает в зеркале между 2
облаками в режиме active-active
• Вся ИТ-инфраструктура внутри облака
поддерживается подрядчиком Ленвендо
• Заказчик получает катастрофоустойчивый сервис
для Интернет торговли
• Успешная работа по проекту с 2012 года
• Более 100 серверов в зеркале
• 10ТБ flash дисков, 57ТБ SATA дисков
RETAIL ЗАКАЗЧИК С КРУПНЫМ ИНТЕРНЕТ
МАГАЗИНОМ ЭЛЕКТРОНИКИ