OpenStack: от enterprise к сервис-провайдеру / Сергей Пимков (Селектел)Ontico
При работе над одним проектом обычно не возникает проблем с распределением ресурсов, так как все ресурсы принадлежат одному проекту, но когда появляется второй, третий и т.д., то всегда возникает вопрос контроля и учета ресурсов по каждому проекту в отдельности. Что немаловажно - это удобство процесса распределения.
В докладе будет описан процесс адаптации ванильного OpenStack под нужды сервис-провайдера и представлено наше видение виртуального приватного облака, которое было построено нами на базе OpenStack.
Мы затронем проблемы ванильного OpenStack и расскажем с чем столкнулись на пути его адаптации.
А также представим новую услугу, которую мы запустили, - "Виртуальное приватное облако" - и расскажем о проблемах, которые мы помогаем решать при её помощи.
Облачные технологии предлагают масс преимуществ для размещения веб-приложений. Надежность, экономия, возможность отказаться от своей инфраструктуры, автоматическое масштабирование и многое другое - вот плюсы облачного размещения.
В этом докладе мы рассмотрим как облачная платформа Azure позволит вам получить все преимущества для хостинга проектов на базе Drupal на Linux или Windows в виде PaaS-решения или просто в виртуальных машинах.
OpenStack: от enterprise к сервис-провайдеру / Сергей Пимков (Селектел)Ontico
При работе над одним проектом обычно не возникает проблем с распределением ресурсов, так как все ресурсы принадлежат одному проекту, но когда появляется второй, третий и т.д., то всегда возникает вопрос контроля и учета ресурсов по каждому проекту в отдельности. Что немаловажно - это удобство процесса распределения.
В докладе будет описан процесс адаптации ванильного OpenStack под нужды сервис-провайдера и представлено наше видение виртуального приватного облака, которое было построено нами на базе OpenStack.
Мы затронем проблемы ванильного OpenStack и расскажем с чем столкнулись на пути его адаптации.
А также представим новую услугу, которую мы запустили, - "Виртуальное приватное облако" - и расскажем о проблемах, которые мы помогаем решать при её помощи.
Облачные технологии предлагают масс преимуществ для размещения веб-приложений. Надежность, экономия, возможность отказаться от своей инфраструктуры, автоматическое масштабирование и многое другое - вот плюсы облачного размещения.
В этом докладе мы рассмотрим как облачная платформа Azure позволит вам получить все преимущества для хостинга проектов на базе Drupal на Linux или Windows в виде PaaS-решения или просто в виртуальных машинах.
EPAM DevOps community meetup: Designing bare metal Kubernetes clustersKatherine Golovinova
Practical approach for designing and deploying Kubernetes cluster on commodity hardware. Caveats with high availability, networking and storage on bare metal clusters.
Александр Шостак, технический директор eComCharge
«Мы делили апельсин»
Александр расскажет о системе процессинга электронных платежей. В докладе будут рассмотрены проблемы, с которыми столкнулась команда, а именно:
- как одно большое приложение было разделено на несколько
- какие сервисы были реализованы
- какие задачи были закрыты с помощь готовых решений
- как внедрить нескольких сущностей (клиентов системы)
- как реализовать безотказную работу особо важных частей системы.
Также будет затронут вопрос мониторинга и разворачивания систем.
WebSite Security Day 2016 - Мониторинг e-commerceСергей Обухов
Нашёл одну из первых своих презентаций) 2016 год
WebSite Security Day https://protosecurity.ru/novosti/website-security-day-2016/
С тех пор уровень презентаций и выступлений сильно прокачался
Мониторинг e-commerce проектов
Сложности и специфика построения систем раздачи адалт видео контентаUP2IT
UP2IT 2017, DEV&QA Stream 1
Володимир Смірнов, Managing Director, Apptimized Operations (Суми)
"Складнощі і специфіка побудови систем роздачі адалт контенту"
Ускорение показа превью изображений в Яндекс.Диске / Сергей Нечаев (Яндекс)Ontico
В сутки Яндекс.Диск отдает более 40 миллионов сгенерированных превью изображений для просмотра в веб-интерфейсе Диска и в мобильных приложениях.
В докладе будет рассказано о поиске узких мест в цепочке от запроса пользователя до показа ему картинки, создания мониторингов скорости показа картинок, мерах по оптимизации: какие варианты рассматривали, какие реализовали, и какие были итоги.
Доклад о влиянии скорости загрузки страниц на конверсию интернет-магазина. Информация об исследовании основных факторов, влияющих на время отображения страниц. Советы по ускорению сайтов.
В среду 10 ноября в конференц-зале гостиницы Radisson Blue была проведена церемония награждения лауреатов Первой Национальной Маркетинговой Премии Ukrainian Marketing Awards™. Предлагаем Вашему вниманию результаты Премии: списки номинантов и лауреатов. Подробнее http://consulting.marketing-ua.com/subscription.php
Геоинформатика как набор инструментов для развития мышления человека в цифров...Fedor S
О роли геоинформатики в развитии пространственного мышления человека. Роль пространственного мышления и возможности, которые оно открывает для человека, государства, бизнеса.
Доклад на секции "Образование и планетарное мышление"
VII международной конференции "Земля из Космоса"
http://conference.scanex.ru/ru
Описание проекта верификации и визуализации строительства ГРЭС с внедрением системы управления несоответствиями (теплоэнергетика). В проекте применялись технологии наземного лазерного сканирования, информационного моделирования (BIM), имитационного моделирования проектов производства сложных и особо сложных работ (ППР).
IV Форум «BIG DATA 2015» http://www.croc.ru/action/detail/44150/
Презентация Егора Осипова, эксперта направления «Хранилища данных, аналитика и BigData»
* — слайды и слайды с комментариями.
Я часто слышу, что заказная разработка — это зло. Заказчик-самодур диктует свои условия, а разработчики пляшут под его дудку, пишут на Друпале (привет Омск), не высыпаются и мечтают о продуктовой разработке. Где, говорят, один внутренний заказчик, который всё знает, пишет подробное ТЗ, сроки гибкие, а разработчиков кормят плюшками с клюквой и возят на конференции. Все счастливы!
На самом деле нет. Есть свои нюансы, которые стоит учитывать.
О них я и расскажу:
— Product team VS feature team VS “dev на 50% времени и frontend на 20%, test на 100%”.
— “Продакт все знает он нам напишет подробное ТЗ” VS прототипы и сплит-тестирование.
— Старожилы VS живчики.
— “Сначала сделаем, потом подумаем как зарабатывать”.
Персонажи и события не выдуманы, буду использовать опыт 2ГИС.
Геоинформационная система - ЦНС агро-предприятияSergey Naumov
Почему агро-предприятия приходят к созданию или аренде гео-системы? Основных причины четыре:
Первая: чтобы иметь постоянно обновляемый прогноз урожайности и прогноз исполнения целевых плановых финансовых показателей от уровня предприятия до уровня отдельного поля. Чтобы знать, как выполняется план по доходам и улучшать бизнес-планирование.
Вторая: чтобы выявлять тренды и возникающие закономерности, которые могут сигнализировать о возможном снижении урожайности в будущем - или о возможных проблемах с тем, чтобы сохранить собранный урожай. Чтобы проактивно реагировать на приближающиеся проблемы в попытке снизить негативные последствия.
Третья: чтобы детально планировать арго-мероприятия с учетом особенностей каждого поля. Чтобы переходить от макро-планирования (регион или отдельное хозяйство) к микро-планирования (какое поле) и снижать нерациональные затраты.
Четвертая: чтобы отслеживать исполнение заданий и производственных операций. Чтобы контролировать и снижать уровень ошибок и… воровства, если говорить прямо.
Геомаркетинг: что это и как это можно использовать в высшем образованииSergey Naumov
Геомаркетинг (гео-маркетинг) применяется в коммерческом секторе все более активно. Что это, какие инструменты есть, как Esri ArcGIS позволяет решать задачи геомаркетинга?
EPAM DevOps community meetup: Designing bare metal Kubernetes clustersKatherine Golovinova
Practical approach for designing and deploying Kubernetes cluster on commodity hardware. Caveats with high availability, networking and storage on bare metal clusters.
Александр Шостак, технический директор eComCharge
«Мы делили апельсин»
Александр расскажет о системе процессинга электронных платежей. В докладе будут рассмотрены проблемы, с которыми столкнулась команда, а именно:
- как одно большое приложение было разделено на несколько
- какие сервисы были реализованы
- какие задачи были закрыты с помощь готовых решений
- как внедрить нескольких сущностей (клиентов системы)
- как реализовать безотказную работу особо важных частей системы.
Также будет затронут вопрос мониторинга и разворачивания систем.
WebSite Security Day 2016 - Мониторинг e-commerceСергей Обухов
Нашёл одну из первых своих презентаций) 2016 год
WebSite Security Day https://protosecurity.ru/novosti/website-security-day-2016/
С тех пор уровень презентаций и выступлений сильно прокачался
Мониторинг e-commerce проектов
Сложности и специфика построения систем раздачи адалт видео контентаUP2IT
UP2IT 2017, DEV&QA Stream 1
Володимир Смірнов, Managing Director, Apptimized Operations (Суми)
"Складнощі і специфіка побудови систем роздачі адалт контенту"
Ускорение показа превью изображений в Яндекс.Диске / Сергей Нечаев (Яндекс)Ontico
В сутки Яндекс.Диск отдает более 40 миллионов сгенерированных превью изображений для просмотра в веб-интерфейсе Диска и в мобильных приложениях.
В докладе будет рассказано о поиске узких мест в цепочке от запроса пользователя до показа ему картинки, создания мониторингов скорости показа картинок, мерах по оптимизации: какие варианты рассматривали, какие реализовали, и какие были итоги.
Доклад о влиянии скорости загрузки страниц на конверсию интернет-магазина. Информация об исследовании основных факторов, влияющих на время отображения страниц. Советы по ускорению сайтов.
В среду 10 ноября в конференц-зале гостиницы Radisson Blue была проведена церемония награждения лауреатов Первой Национальной Маркетинговой Премии Ukrainian Marketing Awards™. Предлагаем Вашему вниманию результаты Премии: списки номинантов и лауреатов. Подробнее http://consulting.marketing-ua.com/subscription.php
Геоинформатика как набор инструментов для развития мышления человека в цифров...Fedor S
О роли геоинформатики в развитии пространственного мышления человека. Роль пространственного мышления и возможности, которые оно открывает для человека, государства, бизнеса.
Доклад на секции "Образование и планетарное мышление"
VII международной конференции "Земля из Космоса"
http://conference.scanex.ru/ru
Описание проекта верификации и визуализации строительства ГРЭС с внедрением системы управления несоответствиями (теплоэнергетика). В проекте применялись технологии наземного лазерного сканирования, информационного моделирования (BIM), имитационного моделирования проектов производства сложных и особо сложных работ (ППР).
IV Форум «BIG DATA 2015» http://www.croc.ru/action/detail/44150/
Презентация Егора Осипова, эксперта направления «Хранилища данных, аналитика и BigData»
* — слайды и слайды с комментариями.
Я часто слышу, что заказная разработка — это зло. Заказчик-самодур диктует свои условия, а разработчики пляшут под его дудку, пишут на Друпале (привет Омск), не высыпаются и мечтают о продуктовой разработке. Где, говорят, один внутренний заказчик, который всё знает, пишет подробное ТЗ, сроки гибкие, а разработчиков кормят плюшками с клюквой и возят на конференции. Все счастливы!
На самом деле нет. Есть свои нюансы, которые стоит учитывать.
О них я и расскажу:
— Product team VS feature team VS “dev на 50% времени и frontend на 20%, test на 100%”.
— “Продакт все знает он нам напишет подробное ТЗ” VS прототипы и сплит-тестирование.
— Старожилы VS живчики.
— “Сначала сделаем, потом подумаем как зарабатывать”.
Персонажи и события не выдуманы, буду использовать опыт 2ГИС.
Геоинформационная система - ЦНС агро-предприятияSergey Naumov
Почему агро-предприятия приходят к созданию или аренде гео-системы? Основных причины четыре:
Первая: чтобы иметь постоянно обновляемый прогноз урожайности и прогноз исполнения целевых плановых финансовых показателей от уровня предприятия до уровня отдельного поля. Чтобы знать, как выполняется план по доходам и улучшать бизнес-планирование.
Вторая: чтобы выявлять тренды и возникающие закономерности, которые могут сигнализировать о возможном снижении урожайности в будущем - или о возможных проблемах с тем, чтобы сохранить собранный урожай. Чтобы проактивно реагировать на приближающиеся проблемы в попытке снизить негативные последствия.
Третья: чтобы детально планировать арго-мероприятия с учетом особенностей каждого поля. Чтобы переходить от макро-планирования (регион или отдельное хозяйство) к микро-планирования (какое поле) и снижать нерациональные затраты.
Четвертая: чтобы отслеживать исполнение заданий и производственных операций. Чтобы контролировать и снижать уровень ошибок и… воровства, если говорить прямо.
Геомаркетинг: что это и как это можно использовать в высшем образованииSergey Naumov
Геомаркетинг (гео-маркетинг) применяется в коммерческом секторе все более активно. Что это, какие инструменты есть, как Esri ArcGIS позволяет решать задачи геомаркетинга?
Описание подходов, программного обеспечения к моделированию затопления территории для пользователей ArcGIS, в том числе специального модуля расширения "Гидро ЧС"
Valerii Iakovenko Drones as the part of the presentАліна Шепшелей
Drones, these are the tools that have densely entered to our life now. These are sources of geospatial information which form the basis and supplements many systems of monitoring and control. In detail, the speech will be about agribusiness.
Пилотный проект КРОК с использованием технологий BigData для ЦППКMaxim Andreyev
Презентация пилотного проекта КРОК по прогнозированию пассажиропотоков для компании "Центральная пригородная пассажирская компания" на технологиях EMC GreenPlum (Pivotal) и RapidMiner, которая была представлена на Четвертом Российском форуме Big Data 2015
Esri Geoportal Server – учет и поиск корпоративных пространственных данныхVitaly Zagorovskiy
Презентация на коференции 11-й научно-практический семинар «Использование ГИС-технологий Esri в нефтегазовой отрасли» 24 – 25 мая 2012 года в городе Тюмень
Настройка и оптимизация высоконагруженных J2EE веб-приложений / Шамим Ахмед (...Ontico
Оптимизация любого веб-приложения — это нетривиальная задача, для решения которой требуется проводить мониторинг загрузки системных ресурсов, выполнять микро-вэнчмаркинг, экспериментировать с настройками, проводить нагрузочное тестирование и т.д.
В текущем году нашей команде довелось поучаствовать в нескольких проектах, в которых перед нами стояла задача оптимизации J2EE веб-приложений. Один из них — портал для ОАО «Сбербанк России» (www.sberbank.ru).
Основной сайт Сбербанка реализован на основе портального движка BackBase и является J2EE-приложением. При проведении оптимизации его работы нам пришлось изучить и собрать много информации и документов, которые связаны с настройкой и оптимизацией высоконагруженных веб-приложений.
В ходе реализации проектов я заметил, что не существует сводного документа с инструкциями по оптимизации работы приложения, поэтому решил поделиться нашим опытом. Этот доклад может послужить в качестве дорожной карты (Road Map) для настройки и оптимизации J2EE веб-приложений.
В докладе будут рассмотрены следующие аспекты:
1) Общие подходы и методология оптимизации веб-приложения.
2) Оптимизация настроек веб-сервера.
3) Оптимизация кода приложения на стороне клиента.
4) Оптимизация на стороне middleware, в том числе на сервере приложений.
5) Оптимизация на уровне Базы Данных.
Весной 2016 года мы проводили семинар "Неизвестный ArcGIS for Server". Доклад для администраторов ArcGIS Server вашему вниманию. Записи всех докладов доступны https://youtu.be/Mb_PyVyIsJ0?list=PLyb5x8bh6bNkkv4GlToWfyd0uSTkF0nRl
Мониторинг в высоконагруженных (и не только) проектах: сравнительный анализ с...Ontico
Выбор системы мониторинга - это практически holy-war-ная тема среди администраторов и разработчиков. Какая система лучше? Что удобнее? Какая система сможет выдержать большое количество статистики, а какая - лучше собрать и представить данные?
В своем докладе мы попробуем предельно непредвзято рассмотреть существующие решения и понять, что и когда можно использовать.
См. тезисы - http://rootconf.ru/2015/abstracts/1746
Мониторинг в высоконагруженных (и не только) проектах: сравнительный анализ с...Anton Baranov
Выбор системы мониторинга - это практически holy-war-ная тема среди администраторов и разработчиков. Какая система лучше? Что удобнее? Какая система сможет выдержать большое количество статистики, а какая - лучше собрать и представить данные?
В своем докладе мы попробуем предельно непредвзято рассмотреть существующие решения и понять, что и когда можно использовать.
Прежде всего, мы постараемся сделать доклад не сравнением feature-листов, а рассмотреть особенности практического применения разных систем для конкретной задачи - для сайта, который не должен падать (а точнее - для возможности оперативно отреагировать на аварию, понять что к ней привело, и как можно ее исправить).
Как жить в облаке почти без админов: мониторинг и эксплуатация сотен виртуаль...Uptime community
Александр Демидов, директор направления облачных сервисов Битрикс24
1. Почему Битрикс24 и другие сервисы 1С-Битрикс живут в облаке, как мы администрируем всю нашу инфраструктуру и как справляемся с сотнями виртуальных машин и сервисов силами трех человек. Как коммуницируем с разработчиками и QA, как деплоим, да и вообще — как живем и развиваемся.
2. Мониторинг — наше всё! Распределенная система real-time мониторинга (был nagios, стал shinken), аналитика, автоматизация, работа с инцидентами.
3. Бонус — на какие самые серьезные грабли мы наступали за пять лет, прошедших с запуска «Битрикс24», и как научились их обходить.
Как Vagrant и Chef ускорили разработку в несколько раз / Тимур Батыршин (Cina...Ontico
Год назад у нас в компании еще никто специально не занимался серверами и их конфигурацией.
Был целый спектр проблем, обычных для такого случая:
* ручная выкатка новых версий на продакшн занимала несколько часов;
* большая часть времени программистов уходила на настройку своих окружений разработки и синхронизацию их между собой;
* везде на тестовых серверах стояли неизвестно какие версии, и из-за этого куча времени уходила на баги, которые могли быть уже исправлены несколько дней назад;
* неправильная конфигурация каких-то компонентов приложения приводила к неработоспособности приложения целиком.
Чтобы исправить положение мы сделали следующее:
* завернули всю конфигурацию в Chef;
* для управления конфигами приложений начали использовать augeas (у нас большие и часто меняющиеся конфиги;
* теперь ежедневно автоматически собирается образ сервера со всеми установленными и настроенными приложениями последней версии, из которого разработчики при помощи Vagrant могут создавать себе сервера по мере необходимости, не отвлекаясь на установку, обновление и настройку;
* Ежедневно Jenkins из того же образа Vagrant-ом поднимает сервера и прогоняет на них тесты.
Теперь наши разработчики спокойно спят ночами, вместо того, чтобы спешно фиксить баги.
Процесс разработки стал более предсказуемым. Скорость исправления багов возросла. Все счастливы.
Ориентированная на приложения инфраструктура Cisco ACI Cisco Russia
Ориентированная на приложения
инфраструктура Cisco ACI. Решаемые задачи и преимущества.
Запись вебинара можно найти по ссылке: http://ciscoclub.ru/tektorial-po-cod-cisco-aci-arhitektura-preimushchestva-praktika-proektirovaniya-i-vnedreniya
Технология уточнения географической привязки и геометрической точности картог...Vitaly Zagorovskiy
Доклад "Технология уточнения географической привязки и геометрической точности картографической основой ГКН по результатам кадастровых измерений" на 17-й Всероссийской конференции "Организация, технологии и опыт ведения кадастровых работ"
Архитектура портала услуг Росреестра и возможности использования картографиче...Vitaly Zagorovskiy
Презентация на коференции 11-й научно-практический семинар «Использование ГИС-технологий Esri в нефтегазовой отрасли» 24 – 25 мая 2012 года в городе Тюмень
Геоинформационная система предприятия ОАО СамотлорнефтегазVitaly Zagorovskiy
Презентация на коференции 11-й научно-практический семинар «Использование ГИС-технологий Esri в нефтегазовой отрасли» 24 – 25 мая 2012 года в городе Тюмень
Презентация 11 июля 2012 г. на семинаре «Построение инфраструктуры пространственных данных». Семинар подготовлен по материалам прошедшей в конце июня в Стамбуле конференции «INSPIRE CONFERENCE 2012» – крупнейшего международного события, посвященного вопросам построения национальных инфраструктуры пространственных данных (ИПД).
Семинар посвящен обзору технологий и практики внедрения европейской инфраструктуры пространственных данных INSPIRE, законодательным, организационным и технологическими аспектам создания национальных ИПД, новым тенденциям реализации INSPIRE, обобщению и анализу лучшего европейского опыта и практических решений, представленных в ходе стамбульской конференции.
4. Размещение на одной машине
Web Server
http://80
Web Adaptor
GIS siteGIS Server
http://6080
Data
Server directories
Configuration store
Firewall
5. Размещение на нескольких машинах
Web Server
http://80
Web Adaptor
Data
Server directories
Configuration store
GIS Server
1
GIS Server
2
ArcGIS Server site
6. Размещение на нескольких машинах с
использованием кластеров ArcGIS
cluster Bcluster A
Web Server
http://80
Data
Server directories
Configuration store
GIS Server
1
GIS Server
2
GIS Server
3
ArcGIS Server site
Web Adaptor
9. Web Adaptor
• Используйте Web Adaptor только в том случае, если вам
нужна поддержка авторизации на уровне веб-сервера,
например при реализации SSO
• В остальных случаях используйте аппаратные или
программные балансировщики
18. Оптимизация базы геоданных
• Не используйте версионирование
• Если используете версионирование старайтесь чтобы
таблицы изменений и дерево версий было минимально.
Для этого регулярно выполняйте
- Reconcile и post
- Compress
- Synchronize replica
• Перестраивайте индексы
• Обновляйте статистику
28. Статистика использования сервисов в 10.3
• Количество запросов к сервисам за последнюю неделю
• Распределение нагрузки за последнюю неделю
• Производительность для каждого сервиса по часам
• Количество используемых экземпляров для каждого
сервиса.
31. Используйте logparser для анализа логов
веб-сервера
- Top 10 URL с наибольшим временем обслуживания
logparser -i:IISW3C -o:NAT "SELECT TOP 10 cs-uri-stem, max(time-
taken) as MaxTime, avg(time-taken) as AvgTime INTO
toptimetaken.txt FROM d:logu_ex130130.log WHERE cs-uri-stem
like '%%arcgis%%' GROUP BY cs-uri-stem ORDER BY MaxTime
DESC"
33. Используйте logparser для анализа логов
ArcGIS for Server
• LogParser -i XML -o CSV "SELECT * INTO errors.csv FROM
SERVER-SERVER-20120227-000000.xml#/Log/Msg WHERE
type='ERROR'"
34. «Медленным пользователям – немедленная смерть!
Используйте varnish или другой прокси для управления сессиями
пользователей
backend arcgis1 {
.host = "10.129.220.1";
.port = "6080";
.connect_timeout = 30s;
.first_byte_timeout = 30s;
.between_bytes_timeout = 30s;
.max_connections = 100;
.probe = healthcheck;}