Presentation from EST geo hackathon about effective recommendation system for Taxi drivers based on their order history.
Habrhabr paper: http://habrahabr.ru/company/est/blog/225285/
Юрий Леонычев «Безопасность мобильных приложений для Android. Теория и практика»Yandex
Научно-технический семинар «Android и iOS: безопасность мобильных приложений» в московском офисе Яндекса, 7 марта 2013 г.
Юрий Леонычев, администратор ИБ, Яндекс.
Юрий Леонычев «Безопасность мобильных приложений для Android. Теория и практика»Yandex
Научно-технический семинар «Android и iOS: безопасность мобильных приложений» в московском офисе Яндекса, 7 марта 2013 г.
Юрий Леонычев, администратор ИБ, Яндекс.
Baseride Technologies - solutions for smart transportation & logisticsEvgeni
Baseride Technologies provide solutions for smart transportation and analytics - GPS tracking, Fleet management, mobile workforce management and transportation analytics.
talk at KTH 14 May 2014 about matrix factorization, different latent and neighborhood models, graphs and energy diffusion for recommender systems, as well as what makes good/bad recommendations.
Group presentation done on GPS technology it covers
1.Introduction -History,Background
2.What is GPS - Technology, infrastructure
3.How GPS Works - Theory,Mathematical explanation
4.Applications of GPS
5.Drawbacks of GPS
6.Future Development
#References are added to the note section of the slides.
By Martin de Kievit (Sales Manager Marine at Trimble, The Netherlands)
The demand for greater positioning accuracy with more reliability for waterways and marine positioning is aided with more satellite availability. While GPS from USA, and GLONASS from Russia, have been the mainstay of GNSS for the last few years we have seen three new constellations – QZSS from Japan, BeiDou (Compass) from China and GALILEO from Europe.
This presentation reviews the current status of all the GNSS constellations. Other new developments which will be touched briefly;
-Updated Geoid Model EGM-96,
-Due to doubling of the number of satellites, the corrections needed for precise GNSS, have also doubled so a new correction format is explained.
Furthermore we will tell you something about the latest RTX service (corrections over satellite) and xFILL technology (maintaining your positioning after you lose your GNSS signal).
Navigation system for blind using GPS & GSMPrateek Anand
Currently, blind people use a traditional cane as a tool for directing them when they move from one place to another. Although, the traditional cane is the most widespread means that is used today by the visually impaired people, it could not help them to detect dangers from all levels of obstacles. In this context, we propose a new intelligent system for guiding individuals who are blind or partially sighted. The system is used to enable blind people to move with the same ease and confidence as a sighted people. The system is linked with a GSM-GPS module to pin-point the location of the blind person and to establish a two way communication path in a wireless fashion. Moreover, it provides the direction information as well as information to avoid obstacles based on ultrasonic sensors. A beeper, an accelerometer sensor and vibrator are also added to the system. The whole system is designed to be small, light and is used in conjunction with the white cane. The results have shown that the blinds that used this system could move independently and safely.
IoT ( M2M) - Big Data - Analytics: Emulation and DemonstrationCHAKER ALLAOUI
Study and simulation of the systems modern IoT with examples of connected objects such as: GPS(GLOBAL POSITIONING SYSTEM), Philips Hue, Thermometer, and connected cars implemented with the technology nodeJS and Node-Red with the communication protocol of M2M ( MQTT).
As well as an analytical study based on Elasticsearch, MongoDB, Apache Hadoop, Apache Hive and Jaspersoft.
This is second part of Spark 2 new features overview
This topic covers API changes; Structured Streaming; Output Modes, Apache Kafka, Kafka Direct Streams, Kafka source/sink in Spark 2.2)
This is first part of Spark 2 new features overview
This topic covers API changes; Structured Streaming; Encoders; Memory Management in Spark; Tungsten issues; Catalyst features)
Alexey Zinoviev presented this paper on the JBreak'16 conference http://jbreak.ru/talks/zinoviev.html
This paper covers next topics: Java, Hadoop, HDFS, MapReduce, Join Algorithms, HDP
HappyDev'15 Keynote: Когда все данные станут большими...Alexey Zinoviev
Этот момент обязательно наступит, если ваш проект, ваш бизнес сделаны не для того, чтобы вспыхнуть Фениксом в пламени бюджетов. Его важно не пропустить и начать обряд масштабирования как можно раньше.
Однако, не для каждой ситуации может подойти простое натравливание Hadoop на ваши логи, перелив данных из PostgreSQL в Cassandra или беспощадный тюнинг nginx и JVM.
Всегда стоит идти от задач, от представления о системе аналитики или от определенного заранее уровня отзывчивости системы. В этом докладе я хотел бы сосредоточиться не на инструментарии, столь важном для разработчика, а, напротив, поговорить о различных типах вопросов и болей с которыми приходят к нам заказчики в реальном мире, где никому нет дела до ваших результатов на Kaggle (онлайн-олимпиада по анализу данных) и синтетических тестов производительности, а также о процессе поиска ответов на эти вопросы. В реальном мире конечная идея приложения может измениться до неузнаваемости в один момент.
Приходите, разберем как хорошие случаи, так и типичные ошибки в построении приложений.
Для кого хорошо подойдет данный доклад: для тех, кто не слишком знаком с концепцией BigData, либо хорошо знаком с инструментарием разработчика, но нет определенной ясности в том, а для чего все это нужно. Ну и если вы идете на мастер-класс, то заходите, лишним не будет.
Мастер-класс по BigData Tools для HappyDev'15Alexey Zinoviev
Данила, BigData Tool Master,
собрал Hadoop - кластер,
Запустил Dataset
Он скрипты на Scala
Run'ил на Spark постоянно
И писал в HDFSssss
Если во время доклада "Когда все данные станут большими..." мы будем говорить о вопросах и ответах, то на этом мастер-классе мы уже потопчемся в вотчине BigData-разработчиков.
Начнем с классики на Hadoop, познаем боль MapReduce job, потыкаем Pig + Hive, затем плавно свальсируем в сторону Spark и попишем код в легком и удобном pipeline - стиле.
Для кого хорошо подходит данный мастер-класс: вы умеете читать и понимать код на Java на уровне хотя бы Junior, умеете писать SQL-запросы, в универе вы ходили хоть на одну пару по матану или терверу, вас либо недавно поставили, либо вскоре поставят на проект, где надо уметь ручками работать с вышеперечисленным зверинцем. Ну или вам просто интересно посмотреть на мощь даннодробилок, написанных на Java, и у вас в анамнезе неудачный опыт с NoSQL/SQL, как хранилищем, которое было ответственно за все, включая аналитику.
JavaDayKiev'15 Java in production for Data Mining Research projectsAlexey Zinoviev
Alexey Zinoviev presented this paper on the JavaDayKiev'15 conference http://javaday.org.ua/kyiv/#schedule
This paper covers next topics: Java, Spark, Hadoop, Mahout, MLlib, Weka, Machine Learning, Data Mining
Alexey Zinoviev presented this paper on the Joker'15 conference http://jokerconf.com/talks/zynovyev/
This paper covers next topics: Java, Morphia, Hibernate OGM, JPA, Spring Data, Kundera, NoSQL, Mongo, Jongo
Baseride Technologies - solutions for smart transportation & logisticsEvgeni
Baseride Technologies provide solutions for smart transportation and analytics - GPS tracking, Fleet management, mobile workforce management and transportation analytics.
talk at KTH 14 May 2014 about matrix factorization, different latent and neighborhood models, graphs and energy diffusion for recommender systems, as well as what makes good/bad recommendations.
Group presentation done on GPS technology it covers
1.Introduction -History,Background
2.What is GPS - Technology, infrastructure
3.How GPS Works - Theory,Mathematical explanation
4.Applications of GPS
5.Drawbacks of GPS
6.Future Development
#References are added to the note section of the slides.
By Martin de Kievit (Sales Manager Marine at Trimble, The Netherlands)
The demand for greater positioning accuracy with more reliability for waterways and marine positioning is aided with more satellite availability. While GPS from USA, and GLONASS from Russia, have been the mainstay of GNSS for the last few years we have seen three new constellations – QZSS from Japan, BeiDou (Compass) from China and GALILEO from Europe.
This presentation reviews the current status of all the GNSS constellations. Other new developments which will be touched briefly;
-Updated Geoid Model EGM-96,
-Due to doubling of the number of satellites, the corrections needed for precise GNSS, have also doubled so a new correction format is explained.
Furthermore we will tell you something about the latest RTX service (corrections over satellite) and xFILL technology (maintaining your positioning after you lose your GNSS signal).
Navigation system for blind using GPS & GSMPrateek Anand
Currently, blind people use a traditional cane as a tool for directing them when they move from one place to another. Although, the traditional cane is the most widespread means that is used today by the visually impaired people, it could not help them to detect dangers from all levels of obstacles. In this context, we propose a new intelligent system for guiding individuals who are blind or partially sighted. The system is used to enable blind people to move with the same ease and confidence as a sighted people. The system is linked with a GSM-GPS module to pin-point the location of the blind person and to establish a two way communication path in a wireless fashion. Moreover, it provides the direction information as well as information to avoid obstacles based on ultrasonic sensors. A beeper, an accelerometer sensor and vibrator are also added to the system. The whole system is designed to be small, light and is used in conjunction with the white cane. The results have shown that the blinds that used this system could move independently and safely.
IoT ( M2M) - Big Data - Analytics: Emulation and DemonstrationCHAKER ALLAOUI
Study and simulation of the systems modern IoT with examples of connected objects such as: GPS(GLOBAL POSITIONING SYSTEM), Philips Hue, Thermometer, and connected cars implemented with the technology nodeJS and Node-Red with the communication protocol of M2M ( MQTT).
As well as an analytical study based on Elasticsearch, MongoDB, Apache Hadoop, Apache Hive and Jaspersoft.
This is second part of Spark 2 new features overview
This topic covers API changes; Structured Streaming; Output Modes, Apache Kafka, Kafka Direct Streams, Kafka source/sink in Spark 2.2)
This is first part of Spark 2 new features overview
This topic covers API changes; Structured Streaming; Encoders; Memory Management in Spark; Tungsten issues; Catalyst features)
Alexey Zinoviev presented this paper on the JBreak'16 conference http://jbreak.ru/talks/zinoviev.html
This paper covers next topics: Java, Hadoop, HDFS, MapReduce, Join Algorithms, HDP
HappyDev'15 Keynote: Когда все данные станут большими...Alexey Zinoviev
Этот момент обязательно наступит, если ваш проект, ваш бизнес сделаны не для того, чтобы вспыхнуть Фениксом в пламени бюджетов. Его важно не пропустить и начать обряд масштабирования как можно раньше.
Однако, не для каждой ситуации может подойти простое натравливание Hadoop на ваши логи, перелив данных из PostgreSQL в Cassandra или беспощадный тюнинг nginx и JVM.
Всегда стоит идти от задач, от представления о системе аналитики или от определенного заранее уровня отзывчивости системы. В этом докладе я хотел бы сосредоточиться не на инструментарии, столь важном для разработчика, а, напротив, поговорить о различных типах вопросов и болей с которыми приходят к нам заказчики в реальном мире, где никому нет дела до ваших результатов на Kaggle (онлайн-олимпиада по анализу данных) и синтетических тестов производительности, а также о процессе поиска ответов на эти вопросы. В реальном мире конечная идея приложения может измениться до неузнаваемости в один момент.
Приходите, разберем как хорошие случаи, так и типичные ошибки в построении приложений.
Для кого хорошо подойдет данный доклад: для тех, кто не слишком знаком с концепцией BigData, либо хорошо знаком с инструментарием разработчика, но нет определенной ясности в том, а для чего все это нужно. Ну и если вы идете на мастер-класс, то заходите, лишним не будет.
Мастер-класс по BigData Tools для HappyDev'15Alexey Zinoviev
Данила, BigData Tool Master,
собрал Hadoop - кластер,
Запустил Dataset
Он скрипты на Scala
Run'ил на Spark постоянно
И писал в HDFSssss
Если во время доклада "Когда все данные станут большими..." мы будем говорить о вопросах и ответах, то на этом мастер-классе мы уже потопчемся в вотчине BigData-разработчиков.
Начнем с классики на Hadoop, познаем боль MapReduce job, потыкаем Pig + Hive, затем плавно свальсируем в сторону Spark и попишем код в легком и удобном pipeline - стиле.
Для кого хорошо подходит данный мастер-класс: вы умеете читать и понимать код на Java на уровне хотя бы Junior, умеете писать SQL-запросы, в универе вы ходили хоть на одну пару по матану или терверу, вас либо недавно поставили, либо вскоре поставят на проект, где надо уметь ручками работать с вышеперечисленным зверинцем. Ну или вам просто интересно посмотреть на мощь даннодробилок, написанных на Java, и у вас в анамнезе неудачный опыт с NoSQL/SQL, как хранилищем, которое было ответственно за все, включая аналитику.
JavaDayKiev'15 Java in production for Data Mining Research projectsAlexey Zinoviev
Alexey Zinoviev presented this paper on the JavaDayKiev'15 conference http://javaday.org.ua/kyiv/#schedule
This paper covers next topics: Java, Spark, Hadoop, Mahout, MLlib, Weka, Machine Learning, Data Mining
Alexey Zinoviev presented this paper on the Joker'15 conference http://jokerconf.com/talks/zynovyev/
This paper covers next topics: Java, Morphia, Hibernate OGM, JPA, Spring Data, Kundera, NoSQL, Mongo, Jongo
JPoint'15 Mom, I so wish Hibernate for my NoSQL database...Alexey Zinoviev
Alexey Zinoviev presented this paper on the JPoint'15 conference javapoint.ru/talks/#zinoviev.
This paper covers next topics: Java, JPA, Morphia, Hibernate OGM, Spring Data, Hector, Kundera, NoSQL, Mongo, Cassandra, HBase, Riak
Python's slippy path and Tao of thick Pandas: give my data, Rrrrr...Alexey Zinoviev
Alexey Zinoviev presented this paper on the PiterPy conference http://it-sobytie.ru/events/3275.
This paper covers next topics: Data Mining, Machine Learning, Python, SciPy, NumPy, Pandas, NetworkX, Scikit-learn, Octave, R language
Thorny path to the Large-Scale Graph Processing (Highload++, 2014)Alexey Zinoviev
Alexey Zinoviev presented this paper on the Highload++ conference http://www.highload.ru/2014/abstracts/1516.html
This paper covers next topics: Pregel, Graph Theory, Giraph, Okapi, GraphX, GraphChi, Spark, Shrotest Path Problem, Road Network, Road Graph
Joker'14 Java as a fundamental working tool of the Data ScientistAlexey Zinoviev
Alexey Zinoviev presented this paper on the Jocker conference http://jokerconf.com/#zinoviev.
This paper covers next topics: Data Mining, Machine Learning, Mahout, Spark, MLlib, Python, Octave, R language
Alexey Zinoviev presented this paper on Second Thumbtack Technology Expert Day.
This paper covers next topics: Data Mining, Machine Learning, Octave, R language
YouTube: http://youtu.be/kGIP6XeWiaA
Android Geo Apps in Soviet Russia: Latitude and longitude find youAlexey Zinoviev
Alexey Zinoviev presented this paper on DroidCon Moscow 2014 http://ru.droidcon.com/2014/android-geo-apps/ and on Thumbtack Technology Expert Day.
Youtube video is here https://www.youtube.com/watch?v=AstDJbcT2lQ
This paper covers next topics: Android, Google Maps, Open Street Maps, Yandex Map Kit, HERE Maps, GPS, localization.
Keynote on JavaDay Omsk 2014 about new features in Java 8Alexey Zinoviev
Zinoviev Alexey presented this paper on JavaDay Omsk 2014. Paper covers next topics: Java 8, Stream API, Method reference, roadmap for Java 9, default methods in interfaes, SAM, functional interface.
Big data algorithms and data structures for large scale graphsAlexey Zinoviev
Alexey Zinoviev presents graph processing tools and new algorythms for shortest path problem on the DUMP-2014 (popular Ural IT conference)
Keywords: Pregel, Apache Giraph, shortest path problem
Video: http://youtu.be/MGccYYrP9f0
Выбор NoSQL базы данных для вашего проекта: "Не в свои сани не садись"Alexey Zinoviev
Alexey Zinoviev Алексей Зиновьев рассказывает о выборе одной из следующих баз данных CouchDB, Neo4j, Mongo, Cassandra, HBase, Riak на Happydev 2013
Article "Choice of NoSQL database for your project: Don't bite off more than you can chew" presented on HappyDev 2013 (IT-conference in Omsk) by Alexey Zinoviev
The main idea of this article is comparison of the most popular NoSQL databases: CouchDB, Cassandra, Mongodb, Riak, Neo4j, HBase
Алгоритмы и структуры данных BigData для графов большой размерностиAlexey Zinoviev
Article "Algorithms and Data Structures Big Data for large-scale graphs" presented on School-conference on Mathematical Problems of Informatics http://omskconf2013.oscsbras.ru/index.html by Alexey Zinoviev
2. Модель дохода ДС
● процент от продаж
● фиксированная ставка
за вызов
● абонентская плата
● покупка патента
● свой автопарк и
водители на окладе
3. Угрозы для рынка
● потеря водителя
● потери при
перепродаже заказов
● нестабильные водители
● потеря клиентов из-за
недостаточного
профессионализма
водителей
● несправедливые
тарифы
5. Рабочее место экономиста
планового отдела
● калькулятор базового
тарифа
● построение набора
признаков каждого водителя
(выбор из предложенных)
● ранжирование водителей
согласно их характеристик
● рекомендация ставки
каждому водителю
7. Под капотом
● Визуализация для data miner
● Выделение классов
водителей
● Классификация водителей
на основе заказов и треков
● Построение
характеристического
вектора μ
8. Принцип простоты
● Простой калькулятор для
новичков
● Набор “умных” признаков
для экспертов
● Графическая визуализация
характеристик водителя
● Простой рейтинг водителей
● Конструктор тарифного
плана
9. Чистка данных
● Где нет водителя
● Где нет расстояния
● Где продолжительность нулевая
● Где скорость меньше 4 км/ч или больше
80 км/ч
250 000 => 125 000
10.
11.
12.
13.
14.
15.
16.
17. Технологии
● Java + Spring + Hibernate -
плохой вариант для
хакатона
● GlassFish
● R (k-means, kNN)
● Javascript
● CSS + HTML
● Авторитарный R&D
● PHP + Yii (DB conversion)
● SQL, больше SQL!
18. Командная работа
● 1 девелопер, 1 DevOps, 1
дизайнер, 1 аналитик
бищнес-процессов, 1
менеджер
● Но нас только трое!
● Слоистая Java как подход к
разделению обязанностей
● Нет переработкам!