MongoDB - About Performance Optimization, Ivan Griga - Smart GammaEvgeniy Kuzmin
- For which data types MongoDB is more suitable.
- Basic tips for optimizing performance.
- How to quickly and easily speed up a high-load project that uses MongoDB as the main data repository.
- How to build queries and use indexes.
Андрей Дроздов "Создание высокопроизводительных rest api на tarantool"Tanya Denisyuk
Тезисы:
За последние 2 года экосистема tarantool пополнилась огромным количеством батареек: дисковое хранение, lua-шардинг, работа со схемами данных и версиями, nginx upstream модуль. Используя эти компоненты, можно создавать высокопроизводительные приложения без использования дополнительных технологий.
В докладе будет описан опыт использования Tarantool для разработки performance-critical restful api: расскажу в чем плюсы и минусы текущей реализации lua-шардинга, как создать restful api прямо в базе данных и почему это быстрее многих популярных решений на примере реальных данных. Кроме того, будет рассмотрен подход использования avro схем для валидации, версионирования и хранения json документов в Tarantool. Для наглядности во время доклада будет разработан микросервис и проведено нагрузочное тестирование.
2014.12.23 Николай Самохвалов, Ещё раз о JSON(b) в PostgreSQL 9.4Nikolay Samokhvalov
Тип данных JSONb – это, пожалуй, самая яркая новинка PostgreSQL 9.4, который вышел 18 декабря 2014.
Уже немало докладов и статей посвящено этому типу данных, работе с ним и индексации. Но как правило, информация в них перегружена специфичными для PostgreSQL терминами.
Запутались в моделях данных? В том, какие индексы могут вам помочь ускорить вашу работу с СУБД?
Этот доклад помогает сложить паттерн. Он для тех, кто начал использовать PostgreSQL совсем недавно или только планирует работать с ним. В нём рассказано о месте PostgreSQL в современном мире СУБД, о борьбе различных моделей данных за место под солнцем на этом рынке и то, как это отразилось на развитие Postgres.
Помимо прочего, рассказывается о том, какие вообще бывают деревья, как они помогают ускорять базы данных и почему PostgreSQL — просто райский лес для деревьев самого разного типа :)
См. также видео: http://postgresmen.ru/meetup/2014-12-23-parallels
MongoDB - About Performance Optimization, Ivan Griga - Smart GammaEvgeniy Kuzmin
- For which data types MongoDB is more suitable.
- Basic tips for optimizing performance.
- How to quickly and easily speed up a high-load project that uses MongoDB as the main data repository.
- How to build queries and use indexes.
Андрей Дроздов "Создание высокопроизводительных rest api на tarantool"Tanya Denisyuk
Тезисы:
За последние 2 года экосистема tarantool пополнилась огромным количеством батареек: дисковое хранение, lua-шардинг, работа со схемами данных и версиями, nginx upstream модуль. Используя эти компоненты, можно создавать высокопроизводительные приложения без использования дополнительных технологий.
В докладе будет описан опыт использования Tarantool для разработки performance-critical restful api: расскажу в чем плюсы и минусы текущей реализации lua-шардинга, как создать restful api прямо в базе данных и почему это быстрее многих популярных решений на примере реальных данных. Кроме того, будет рассмотрен подход использования avro схем для валидации, версионирования и хранения json документов в Tarantool. Для наглядности во время доклада будет разработан микросервис и проведено нагрузочное тестирование.
2014.12.23 Николай Самохвалов, Ещё раз о JSON(b) в PostgreSQL 9.4Nikolay Samokhvalov
Тип данных JSONb – это, пожалуй, самая яркая новинка PostgreSQL 9.4, который вышел 18 декабря 2014.
Уже немало докладов и статей посвящено этому типу данных, работе с ним и индексации. Но как правило, информация в них перегружена специфичными для PostgreSQL терминами.
Запутались в моделях данных? В том, какие индексы могут вам помочь ускорить вашу работу с СУБД?
Этот доклад помогает сложить паттерн. Он для тех, кто начал использовать PostgreSQL совсем недавно или только планирует работать с ним. В нём рассказано о месте PostgreSQL в современном мире СУБД, о борьбе различных моделей данных за место под солнцем на этом рынке и то, как это отразилось на развитие Postgres.
Помимо прочего, рассказывается о том, какие вообще бывают деревья, как они помогают ускорять базы данных и почему PostgreSQL — просто райский лес для деревьев самого разного типа :)
См. также видео: http://postgresmen.ru/meetup/2014-12-23-parallels
Доклад о разработке (а главное - оптимизации) программы на Perl под Raspberry PI.
Наглядно показывает, что в Perl есть немало возможностей, а также инструментов, которые позволяют делать программы быстрее и эффективнее - используя как преимущества самого языка, так и оптимизацию алгоритма программы.
Что нового в Google BigQuery :
✔ Как Google BigQuery развивает возможности Standard SQL.
✔ Data Manipulation Language. Как удалить или изменить данные, уже записанные в таблицы (актуально для тех, кто исповедует GDPR).
✔ Что такое Data Definition Language и как с его помощью управлять таблицами и представлениями через SQL-запрос.
✔ Партиционирование таблиц по полю. Как разбивать большие таблицы на части, чтобы ускорить выполнение запросов.
И еще много небольших, но полезных обновлений:
✔ Как оптимизировать ваши запросы
✔ Золотые правила, которые помогут уменьшить объем обрабатываемых данных и ускорить выполнение запросов.
✔ Как и зачем использовать Query Plan Explanation. Расскажем о стадиях выполнения запроса и объясним, как читать графики, которые BigQuery показывает после выполнения запроса.
Андрей Субботин "Локализация приложений для iOS: как не прострелить себе ногу"Yandex
Ужасы локализации и как с ними бороться на пошаговом примере: от «Эврика, нам нужно перевести проект на язык Х!» до «Как не прострелить себе ногу, когда у вас есть Xcode, разработчики, переводчики и дедлайн». Рассматриваются все базовые инструменты локализации (genstrings, ibtool) в целях понимания, как их использовать с наименьшими телодвижениями. Отдельно рассказывается про то, как мы подружили весь этот «зоопарк» в Яндексе и чем готовы поделиться.
Приложения для Windows Phone: как мы это делаем #codefestActis Wunderman
Презентация руководителя отдела мобильных приложений Григория Никонова для конференции CodeFest 2013. Рассказ о нашем опыте в разработке мобильных приложений и, в частности, о том, как сэкономить время и усилия за счёт фреймворков.
FrontTalks: Константин Лебедев (Mail.ru), File API: обработка файлов на клиен...Yandex
История появления open source библиотеки для работы с файлами. Создание предпросмотра изображений на клиенте. Чтение файлов (exif, id3 и т.п.), загрузка результата на сервер. Всё это работает даже в IE6.
Надежный обмен данными в гетерогенной среде, между разными платформами и технологиями является одним из ключевых моментов разработки сложных систем. Во время обмена данные преобразуются в некоторый промежуточный формат совместимый между платформами. Преобразование в подобный формат и из него — крайне рутинная и подверженная ошибкам работа.
Метаописание данных неким декларативным языком с последующей автогенерацией типизированных структур облегчает жизнь разработчику. Снимает с него необходимость задумываться о промежуточном формате, о правильном порядке полей, а типизированность гарантирует выявление ошибок еще на этапе компиляции кода.
В докладе будет рассмотрено несколько подобных решений, их плюсы и минусы. Также будет рассмотрен с практической стороны наш собственный формат метаданных, используемый нами на протяжении более 5 лет.
Целевая аудитория:
Ограничений нет, но в большей степени разработчики, имеющие уже определенный опыт разработки разнородных систем или приступающие к подобной задаче.
Доклад о разработке (а главное - оптимизации) программы на Perl под Raspberry PI.
Наглядно показывает, что в Perl есть немало возможностей, а также инструментов, которые позволяют делать программы быстрее и эффективнее - используя как преимущества самого языка, так и оптимизацию алгоритма программы.
Что нового в Google BigQuery :
✔ Как Google BigQuery развивает возможности Standard SQL.
✔ Data Manipulation Language. Как удалить или изменить данные, уже записанные в таблицы (актуально для тех, кто исповедует GDPR).
✔ Что такое Data Definition Language и как с его помощью управлять таблицами и представлениями через SQL-запрос.
✔ Партиционирование таблиц по полю. Как разбивать большие таблицы на части, чтобы ускорить выполнение запросов.
И еще много небольших, но полезных обновлений:
✔ Как оптимизировать ваши запросы
✔ Золотые правила, которые помогут уменьшить объем обрабатываемых данных и ускорить выполнение запросов.
✔ Как и зачем использовать Query Plan Explanation. Расскажем о стадиях выполнения запроса и объясним, как читать графики, которые BigQuery показывает после выполнения запроса.
Андрей Субботин "Локализация приложений для iOS: как не прострелить себе ногу"Yandex
Ужасы локализации и как с ними бороться на пошаговом примере: от «Эврика, нам нужно перевести проект на язык Х!» до «Как не прострелить себе ногу, когда у вас есть Xcode, разработчики, переводчики и дедлайн». Рассматриваются все базовые инструменты локализации (genstrings, ibtool) в целях понимания, как их использовать с наименьшими телодвижениями. Отдельно рассказывается про то, как мы подружили весь этот «зоопарк» в Яндексе и чем готовы поделиться.
Приложения для Windows Phone: как мы это делаем #codefestActis Wunderman
Презентация руководителя отдела мобильных приложений Григория Никонова для конференции CodeFest 2013. Рассказ о нашем опыте в разработке мобильных приложений и, в частности, о том, как сэкономить время и усилия за счёт фреймворков.
FrontTalks: Константин Лебедев (Mail.ru), File API: обработка файлов на клиен...Yandex
История появления open source библиотеки для работы с файлами. Создание предпросмотра изображений на клиенте. Чтение файлов (exif, id3 и т.п.), загрузка результата на сервер. Всё это работает даже в IE6.
Надежный обмен данными в гетерогенной среде, между разными платформами и технологиями является одним из ключевых моментов разработки сложных систем. Во время обмена данные преобразуются в некоторый промежуточный формат совместимый между платформами. Преобразование в подобный формат и из него — крайне рутинная и подверженная ошибкам работа.
Метаописание данных неким декларативным языком с последующей автогенерацией типизированных структур облегчает жизнь разработчику. Снимает с него необходимость задумываться о промежуточном формате, о правильном порядке полей, а типизированность гарантирует выявление ошибок еще на этапе компиляции кода.
В докладе будет рассмотрено несколько подобных решений, их плюсы и минусы. Также будет рассмотрен с практической стороны наш собственный формат метаданных, используемый нами на протяжении более 5 лет.
Целевая аудитория:
Ограничений нет, но в большей степени разработчики, имеющие уже определенный опыт разработки разнородных систем или приступающие к подобной задаче.
Designed to construct a statistical model describing the impact of a two or more quantitative factors on a dependent variable. The fitted model may be used to make predictions, including confidence limits and/or prediction limits. Residuals may also be plotted and influential observations identified.
Scala, Play Framework и SBT для быстрого прототипирования и разработки веб-пр...Magneta AI
Антон Кириллов, Zeptolab (Москва)
Доклад посвящен обзору ключевых технологий стека Typesafe и анализу ключевых преимуществ и недостатков на примере реального проекта:
* Действительно ли Scala - “более лучшая” Java? Что следует знать, начиная внедрять Scala.
* Play Framework: больше чем просто контейнер. Архитектура и возможности.
* Доступ к базам данных: библиотеки и подходы, эволюция схемы БД во времени
* Actors: безболезненная многопоточность!
* Simple Build Tool: не совсем simple, но крайне функциональный инструмент автоматической сборки.
Рассматриваемые технологии позволяют “из коробки” начать создавать прототипы веб-приложений за очень короткое время и в дальнейшем наращивать их функционал. Тем не менее, из-за молодости стека существует большое количество “граблей”, о которых следует знать, принимая решение об использовании данного набора технологий.
Pony ORM - маппер нового поколения (Алексей Малашкевич и Александр Козловский)IT-Доминанта
Алексей Малашкевич - Автор и разработчик Pony ORM / Pony ORM / Россия, Санкт-Петербург
Александр Козловский - Автор и разработчик Pony ORM / Pony ORM / Россия, Санкт-Петербург
Pony ORM - маппер, который позволяет работать с базой данных с помощью генераторных выражений языка Питон. С помощью такого подхода Pony позволяет формулировать очень компактные и понятные запросы, которые автоматически транслируются в оптимизированный SQL. Pony обладает графическим редактором ER диаграмм - удобным инструментом для создания и редактирования модели данных.
В докладе разработчики Pony ORM расскажут про процесс перевода объектно-ориентированного запроса в запрос на языке SQL, о том какие оптимизации Pony применяет на каждом этапе обработки запроса, какие сложности стояли при разработке высокопроизводительного ORM и как Pony ORM облегчает и ускоряет разработку приложений.
http://www.it-sobytie.ru/events/2040
12. MongoDB в Scala
Основные драйвера для работы с MongoDB:
• Casbah – синхронный, поверх драйвера для Java.
.
13. MongoDB в Scala
Основные драйвера для работы с MongoDB:
• Casbah – синхронный, поверх драйвера для Java.
• ReactiveMongo – асинхронный, основан на акторах
Akka.
.
14. MongoDB в Scala
Основные драйвера для работы с MongoDB:
• Casbah – синхронный, поверх драйвера для Java.
• ReactiveMongo – асинхронный, основан на акторах
Akka.
• Tepkin – реактивный, на Akka IO и Akka Streams.
.
15. Пример использования Casbah
val name = ”John Doe”
people.insert(MongoDBObject(
”name” -> ”James Bond”,
”age” -> 80,
”phone” -> List(”007007”),
”address” -> MongoDBObject(”country” -> ”UK”)))
.
16. Пример использования Casbah
val name = ”John Doe”
people.insert(MongoDBObject(
”name” -> ”James Bond”,
”age” -> 80,
”phone” -> List(”007007”),
”address” -> MongoDBObject(”country” -> ”UK”)))
val a = people.findOne(MongoDBObject(”name” -> name))
val b = people.find(MongoDBObject(”age” ->
MongoDBObject(”$lt” -> 30)))
.
17. Пример использования Casbah
val name = ”John Doe”
people.insert(MongoDBObject(
”name” -> ”James Bond”,
”age” -> 80,
”phone” -> List(”007007”),
”address” -> MongoDBObject(”country” -> ”UK”)))
val a = people.findOne(MongoDBObject(”name” -> name))
val b = people.find(MongoDBObject(”age” ->
MongoDBObject(”$lt” -> 30)))
// Using Casbah DSL
val c = people.find(”age” $lt 30)
val d = people.find(”phone” -> $not(_ $size 0))
people.update(MongoDBObject(”age” -> 42),
$set(”name” -> ”Ford Prefect”))
.
18. Пример использования Casbah
val name = ”John Doe”
people.insert(MongoDBObject(
”name” -> ”James Bond”,
”age” -> 80,
”phone” -> List(”007007”),
”address” -> MongoDBObject(”country” -> ”UK”)))
val a = people.findOne(MongoDBObject(”name” -> name))
val b = people.find(MongoDBObject(”age” ->
MongoDBObject(”$lt” -> 30)))
// Using Casbah DSL
val c = people.find(”age” $lt 30)
val d = people.find(”phone” -> $not(_ $size 0))
people.update(MongoDBObject(”age” -> 42),
$set(”name” -> ”Ford Prefect”))
val e = people.aggregate(List(
MongoDBObject(”$group” ->
MongoDBObject(”_id” -> ”$age”, ”count” ->
MongoDBObject(”$sum” -> 1))),
MongoDBObject(”$sort” -> MongoDBObject(”count” -> -1)),
MongoDBObject(”$limit” -> 5)))
.
22. Meet MongoQuery
Пример использования MongoQuery с Casbah:
import com.github.limansky.mongoquery.casbah._
val name = ”John Doe”
val a = people.findOne(mq”{ name : $name }”)
.
23. Meet MongoQuery
Пример использования MongoQuery с Casbah:
import com.github.limansky.mongoquery.casbah._
val name = ”John Doe”
val a = people.findOne(mq”{ name : $name }”)
val b = people.find(mq”{age : { $$lt : 30 }}”)
.
24. Meet MongoQuery
Пример использования MongoQuery с Casbah:
import com.github.limansky.mongoquery.casbah._
val name = ”John Doe”
val a = people.findOne(mq”{ name : $name }”)
val b = people.find(mq”{age : { $$lt : 30 }}”)
val d = people.find(
mq”{ phone : { $$not : { $$size : 0 }}}”)
people.update(mq”{ age : 42 }”,
mq”{ $$set { name : ’Ford Prefect’ }}”)
val e = people.aggregate(List(
mq”””{ $$group :
{ _id : ”$$age”, count : { $$sum : 1 }}}”””,
mq”{ $$sort : { count : -1 }}”,
mq”{ $$limit : 5}”))
.
50. Тестируем интерполятор
it should ”support nested objects” in {
val q = mq”””{ user : ”Joe”, age : {$$gt : 25}}”””
q should equal(MongoDBObject(”user” -> ”Joe”,
”age” -> MongoDBObject(”$gt” -> 25)))
}
.
51. Тестируем ошибки
import scala.reflect.runtime.{ universe => ru }
class CompileTest extends FlatSpec {
val cl = getClass.getClassLoader.asInstanceOf[URLClassLoader]
val cp = cl.getURLs.map(_.getFile).mkString(File.pathSeparator)
val mirror = ru.runtimeMirror(cl)
val tb = mirror.mkToolBox(options = s”-cp $cp”)
.
52. Тестируем ошибки
import scala.reflect.runtime.{ universe => ru }
class CompileTest extends FlatSpec {
val cl = getClass.getClassLoader.asInstanceOf[URLClassLoader]
val cp = cl.getURLs.map(_.getFile).mkString(File.pathSeparator)
val mirror = ru.runtimeMirror(cl)
val tb = mirror.mkToolBox(options = s”-cp $cp”)
def getError(q: String): String = {
val e = intercept[ToolBoxError] {
tb.eval(tb.parse(q))
}
e.message
}
.
53. Тестируем ошибки
import scala.reflect.runtime.{ universe => ru }
class CompileTest extends FlatSpec {
val cl = getClass.getClassLoader.asInstanceOf[URLClassLoader]
val cp = cl.getURLs.map(_.getFile).mkString(File.pathSeparator)
val mirror = ru.runtimeMirror(cl)
val tb = mirror.mkToolBox(options = s”-cp $cp”)
def getError(q: String): String = {
val e = intercept[ToolBoxError] {
tb.eval(tb.parse(q))
}
e.message
}
it should ”fail on malformed BSON objects” in {
val e = getError(”””mq”{ test 5 }” ”””)
e should include(”‘:’ expected, but 5 found”)
}
}
.
59. Выводы
Минусы
• Достаточно сложная реализация
• Не подсвечивается в IDE
Плюсы
• Меньше ограничений на встраиваемый язык
• Можно сохранить имеющийся язык
.
60. Выводы
Минусы
• Достаточно сложная реализация
• Не подсвечивается в IDE
Плюсы
• Меньше ограничений на встраиваемый язык
• Можно сохранить имеющийся язык
• Мартин Одерски сказал, что интерполяторы это круто
.