This document outlines the methodology for a data science project using the Cross-Industry Standard Process for Data Mining (CRISP-DM). It describes the 6 phases of the project - business understanding, data understanding, data preparation, modeling, evaluation, and deployment. For each phase, it provides examples of the types of activities and questions that should be addressed to successfully complete that phase of the project.
Slides for the presentation given at the Data Science Scotland Meetup (https://www.meetup.com/Scotland-Data-Science-Technology-Meetup/events/256269263/).
This talk aimed to give some general advice, tips, and tricks about how to run a successful data science project.
Hosted by:
Incremental Group - https://www.linkedin.com/company/incremental-group/
MBN Solutions - https://www.linkedin.com/company/mbn-recruitment-solutions/
The Datalab - https://www.linkedin.com/company/the-data-lab-innovation-centre/
Slides for the presentation given at the Data Science Scotland Meetup (https://www.meetup.com/Scotland-Data-Science-Technology-Meetup/events/256269263/).
This talk aimed to give some general advice, tips, and tricks about how to run a successful data science project.
Hosted by:
Incremental Group - https://www.linkedin.com/company/incremental-group/
MBN Solutions - https://www.linkedin.com/company/mbn-recruitment-solutions/
The Datalab - https://www.linkedin.com/company/the-data-lab-innovation-centre/
Practicing Structured Problem Solving MethodologySarthak Banerjee
This Presentation shows how to practice Structured Problem Solving Approach in order to identify root cause of the problem and implementing solutions for the same.
Delivering Machine Learning Solutions by fmr Sears Dir of PMProduct School
Main takeaways:
- Key stages in the Data Science process
- Unique challenges ML products present
- Opportunities for Product Managers to make a big impact
Introduction to Business Analytics Part 1 published by BeamSync.
BeamSync is providing business analytics training course in Bangalore. If you are looking for analytics training then visit BeamSync. Regular classes are running during the weekend.
For details visit: http://beamsync.com/business-analytics-training-bangalore/
Predictive Analytics Project in Automotive IndustryMatouš Havlena
Original article: http://www.havlena.net/en/business-analytics-intelligence/predictive-analytics-project-in-automotive-industry/
I had a chance to work on a predictive analytics project for a US car manufacturer. The goal of the project was to evaluate the feasibility to use Big Data analysis solutions for manufacturing to solve different operational needs. The objective was to determine a business case and identify a technical solution (vendor). Our task was to analyze production history data and predict car inspection failures from the production line. We obtained historical data on defects on the car, how the car moved along the assembly line and car specific information like engine type, model, color, transmission type, and so on. The data covered the whole manufacturing history for one year. We used IBM BigInsights and SPSS Modeler to make the predictions.
Common Data Driven Mistakes with HAVI's Sr. Director of Advanced AnalyticsPromotable
You've received your data, found important insights for your business and are ready to present the information to your leadership. Could you be making a costly mistake?
In this talk, we discuss the importance of exploratory data analysis, what questions to ask from your data to make sure that the results are accurate, and the importance of applying business domain knowledge to your findings so you don't identify insights that could be both incorrect and very costly.
Takeaways:
What are the right questions to ask?
Common mistakes that lead to inaccurate results.
What to watch out for (correlation vs. causality, spurious results, and more)
Your Instructor: Jeanette Shutay is Senior Director of Advanced Analytics where she leads the Center of Excellence at HAVI, which is a leading organization whose services provide insights and solutions for the world’s largest foodservice brands.
JS Lab2017, 25 марта, Одесса
React Fiber
Алексей Заславский (Front-End developer at WebbyLab)
В докладе будет рассмотрен новый экспериментальный алгоритм построения и сравнения Virtual DOM, который появится в новой версии React. Рассмотрим основные проблемы текущей реализации и как React Fiber позволяет их решить.
Все материалы: http://jslab.in.ua/
Организаторы: http://geekslab.org.ua/
JS Lab`16. Виктор Клочихин: "Redux в реальной жизни"GeeksLab Odessa
12.3.16 JS Lab.
Upcoming events: http://goo.gl/I2gJ4H
Эволюция Flux. Как возник Redux. Как Redux помогает решать реальные проблемы:
1) независимые компоненты, которые легко удалить
2) тайм-машина и отладка приложения
3) продуктовые метрики.
Practicing Structured Problem Solving MethodologySarthak Banerjee
This Presentation shows how to practice Structured Problem Solving Approach in order to identify root cause of the problem and implementing solutions for the same.
Delivering Machine Learning Solutions by fmr Sears Dir of PMProduct School
Main takeaways:
- Key stages in the Data Science process
- Unique challenges ML products present
- Opportunities for Product Managers to make a big impact
Introduction to Business Analytics Part 1 published by BeamSync.
BeamSync is providing business analytics training course in Bangalore. If you are looking for analytics training then visit BeamSync. Regular classes are running during the weekend.
For details visit: http://beamsync.com/business-analytics-training-bangalore/
Predictive Analytics Project in Automotive IndustryMatouš Havlena
Original article: http://www.havlena.net/en/business-analytics-intelligence/predictive-analytics-project-in-automotive-industry/
I had a chance to work on a predictive analytics project for a US car manufacturer. The goal of the project was to evaluate the feasibility to use Big Data analysis solutions for manufacturing to solve different operational needs. The objective was to determine a business case and identify a technical solution (vendor). Our task was to analyze production history data and predict car inspection failures from the production line. We obtained historical data on defects on the car, how the car moved along the assembly line and car specific information like engine type, model, color, transmission type, and so on. The data covered the whole manufacturing history for one year. We used IBM BigInsights and SPSS Modeler to make the predictions.
Common Data Driven Mistakes with HAVI's Sr. Director of Advanced AnalyticsPromotable
You've received your data, found important insights for your business and are ready to present the information to your leadership. Could you be making a costly mistake?
In this talk, we discuss the importance of exploratory data analysis, what questions to ask from your data to make sure that the results are accurate, and the importance of applying business domain knowledge to your findings so you don't identify insights that could be both incorrect and very costly.
Takeaways:
What are the right questions to ask?
Common mistakes that lead to inaccurate results.
What to watch out for (correlation vs. causality, spurious results, and more)
Your Instructor: Jeanette Shutay is Senior Director of Advanced Analytics where she leads the Center of Excellence at HAVI, which is a leading organization whose services provide insights and solutions for the world’s largest foodservice brands.
JS Lab2017, 25 марта, Одесса
React Fiber
Алексей Заславский (Front-End developer at WebbyLab)
В докладе будет рассмотрен новый экспериментальный алгоритм построения и сравнения Virtual DOM, который появится в новой версии React. Рассмотрим основные проблемы текущей реализации и как React Fiber позволяет их решить.
Все материалы: http://jslab.in.ua/
Организаторы: http://geekslab.org.ua/
JS Lab`16. Виктор Клочихин: "Redux в реальной жизни"GeeksLab Odessa
12.3.16 JS Lab.
Upcoming events: http://goo.gl/I2gJ4H
Эволюция Flux. Как возник Redux. Как Redux помогает решать реальные проблемы:
1) независимые компоненты, которые легко удалить
2) тайм-машина и отладка приложения
3) продуктовые метрики.
AI&BigData Lab 2016. Игорь Костюк: Как приручить музыкальную рекомендательную...GeeksLab Odessa
4.6.16 AI&BigData Lab
Upcoming events: goo.gl/I2gJ4H
Это — рекомендательная система. Если взглянуть на нее со стороны, то она крепко застряла между Collaborative filtering и Content-based filtering. Используются рекомендательные системы уже давно, но рекомендации все еще не идеальны. Обычно проблемы — это выбор технологий или там фреймворка… А у нас — cold-start problem, semantic gap и др.!
Java/Scala Lab 2016. Руслан Шевченко: Несколько трюков scala-разработки, приг...GeeksLab Odessa
16.4.16 Java/Scala Lab
Upcoming events: goo.gl/I2gJ4H
Рассказ о сравнительно простых техниках программирования в scala, редко применяющихся за пределами широкоизвестных библиотек из-за ореола таинственности вокруг них, вызванных чрезмерным употреблением математической терминологии при их первоначальном описании.
AI&BigData Lab 2016. Артем Чернодуб: Обучение глубоких, очень глубоких и реку...GeeksLab Odessa
4.6.16 AI&BigData Lab
Upcoming events: goo.gl/I2gJ4H
В докладе представлен обзор новых подходов к обучению глубоких и рекуррентных нейросетей. Обсуждаются ортогональная инициализация весов для сверточных и рекуррентных нейросетей и ее влияние на проблему исчезновения градиентов (vanishing gradient effect), нормализацию мини-пакетов (batch normalization), разностное обучение (residual learning).
AI&BigData Lab 2016. Александр Баев: Transfer learning - зачем, как и где.GeeksLab Odessa
4.6.16 AI&BigData Lab
Upcoming events: goo.gl/I2gJ4H
Поговорим об одной из базовых практических техник обучения нейронных сетей - предобучение, finetuning, transfer learning. В каких случаях применять, какие модели использовать, где их брать и как адаптировать.
PMLab. Михаил Пергаменщик. "Особенности договоров на agile-разработку ПО"GeeksLab Odessa
11.04.2015 Одесса. Impact Hub Odessa. Конференция PMLab
Михаил Пергаменщик. "Особенности договоров на agile-разработку ПО"
"Поговорим о проблемах совместимости традиционных договоров на разработку ПО с agile-методами разработки ПО, о нужности agile-договоров как отдельного вида и об их особенностях."
Подробнее:
http://geekslab.co/
https://www.facebook.com/GeeksLab.co
https://www.youtube.com/user/GeeksLabVideo
JS Lab`16. Андрей Копенкин: "RethinkDB + Socket.io. Real-time web 2.0"GeeksLab Odessa
12.3.16. JS Lab
В докладе будет описана новая real-time база данных rethinkdb, её преимущества, почему её стоит использовать уже сейчас, также будет продемонстрирована работа крутейшей связки RethinkDB + Node.js + Socket.io
JS Lab`16. Андрей Колодницкий: "Разработка REST сервисов на SailsJS"GeeksLab Odessa
12.3.16. JS Lab
SailsJs - это NodeJS фрэйморк, позволяющий очень быстро и эффективно разрабатывать REST сервисы и Real Time приложения. В рамках этого доклада мы рассмотрим основные возможности фрейморка и напишем небольшое приложение.
WebCamp:Designers Day. Алексей Кухаренко "Как провести UX исследования"GeeksLab Odessa
04.07.2015 WebCamp:Designers Day
Алексей Кухаренко (UX/UI Anglo.com)
"Как провести UX исследования"
У каждого айтишника на слуху такие слова как “пользовательский опыт” и “UX-исследование”, но не каждый знает что это и как это проводить. Вас ждет краткий обзор самых популярных методов изучения пользовательского опыта и интересные кейсы от автора и UX-команд.
Подробнее:
http://geekslab.co,
http://webcamp.in.ua/
https://www.facebook.com/GeeksLab.co , https://www.facebook.com/OdessaInnovationWeek
https://www.youtube.com/user/GeeksLabVideo
JS Lab2017_Lightning Talks_PostCSS - there is a plugin for thatGeeksLab Odessa
JS Lab2017, 25 марта, Одесса
Lightning Talks
PostCSS - there is a plugin for that (Сергей Лысенко)
Все материалы: http://jslab.in.ua/
Организаторы: http://geekslab.org.ua/
JS Lab2017, 25 марта, Одесса
Андрей Кучеренко (Lead Software Engineer at EPAM Systems)
Разработка мультипакетных приложения: причины, способы, риски
Доклад раскроет тему разработки многопакетных приложений на javascript. Доклад сделан на основе реального опыта внедрения подобной разработки на проекте.
Все материалы: http://jslab.in.ua/
Организаторы: http://geekslab.org.ua/
JS Lab2017_Роман Якобчук_Почему так важно быть программистом в фронтенде GeeksLab Odessa
JS Lab2017, 25 марта, Одесса
Почему так важно быть программистом в фронтенде
Роман Якобчук (Senior Software Engineer at RevJet)
Может это неприятно слышать, но большинство фронтендщиков далеки от программирования. Проблема совершенно не новая, она всем известна, но почему-то лучше не становится. Фреймворки заменили необходимость понимать базовые принципы: паттерны, алгоритмы, структуры данных…Или так только кажется? Мы попробуем разобраться что пошло не так, и как быстро можно стать более ценным специалистом.
Все материалы: http://jslab.in.ua/
Организаторы: http://geekslab.org.ua/
JS Lab2017_Виталий Лебедев_Практические сложности при разработке на node.js GeeksLab Odessa
JS Lab2017, 25 марта, Одесса
Виталий Лебедев (Software Developer at DataArt)
Практические сложности при разработке на node.js
В этом докладе я расскажу, с какими непосредственными практическими сложностями можно встретиться при разработке на node.js, в силу тех или иных ограничений самого node.js, и какие для этих задач существуют возможные решения.
Все материалы: http://jslab.in.ua/
Организаторы: http://geekslab.org.ua/
JS Lab2017_Юлия Пучнина_PhaserJS и что он умеетGeeksLab Odessa
JS Lab2017, 25 марта, Одесса
Юлия Пучнина (JS Engineer at Lifestreet Media)
PhaserJS и что он умеет
Написание игр очень отличается от привычной веб-разработки. Во-первых, это красиво: много графики, много эффектов. Во-вторых, это интересно: очень много задач, связанных с производительностью, ведь нам нужно чтоб игры не лагали ни на одном устройстве. PhaserJS дает отличную возможность писать игры практически без боли!
Все материалы: http://jslab.in.ua/
Организаторы: http://geekslab.org.ua/
BA is used to gain insights that inform business decisions and can be used to automate and optimize business processes. Data-driven companies treat their data as a corporate asset and leverage it for a competitive advantage. Successful business analytics depends on data quality, skilled analysts who understand the technologies and the business, and an organizational commitment to data-driven decision-making.
Business analytics examples
Business analytics techniques break down into two main areas. The first is basic business intelligence. This involves examining historical data to get a sense of how a business department, team or staff member performed over a particular time. This is a mature practice that most enterprises are fairly accomplished at using.
An overview of Santander's data journey in developing its strategic roadmap using enterprise architecture thinking, best practice data management frameworks and model driven initiatives.
References are given to find information on theory and frameworks with case study examples from Santander.
[DSC Europe 22] The Making of a Data Organization - Denys HolovatyiDataScienceConferenc1
Data teams often struggle to deliver value. KPIs, data pipelines, or ML driven predictions aren't inherently useful - unless the data team enables the business to use them. Having worked on 37 data projects over the past 5 years, with total client revenue clocking at about $350B, I started noticing simple success factors - and summarized those in the Operating Model Canvas & the Value Delivery Process. With those, I branched out into what I call data organization consulting and help clients build their data teams for success, the one you see not only on paper but also in your P&L. In this talk, I'll share some insight with you.
DAT 520 Final Project Guidelines and Rubric Overview .docxsimonithomas47935
DAT 520 Final Project Guidelines and Rubric
Overview
You must complete a decision analysis research project as your final project for this course. Your research project will focus on a real-world topic of your choice,
as approved by your instructor. You will pick a topic from the list provided or with approval from your instructor, and create a data analysis plan and decision
tree model based on a real-world scenario. This assessment will provide you with the opportunity to employ highly valued decision support skills and concepts
for data within a real-world context. You can use the Final Project Notes document, found in the Assignment Guidelines and Rubrics section of the course.
The project is divided into three milestones, which will be submitted at various points throughout the course to scaffold learning and ensure quality final
submissions. These milestones will be submitted in Modules Two, Five, and Seven. The final submission will occur in Module Nine.
This project will address the following course outcomes:
Appraise data in context according to industry-standard methods and techniques for its utility in supporting decision making
Determine suitable data manipulation and modeling methods for decision support
Articulate data frameworks for organizational decision support by applying data manipulation, modeling, and management concepts
Evaluate the ethical issues surrounding organizational use of decision-oriented data based on industry standards and one’s personal ethical criteria
Create and assess the agility of solutions through application of data-mining procedures for decision support in various industries
Prompt
Your decision analysis model and report should answer the following prompt: How does your model and evaluation resolve uncertainty in making a decision? In
order to produce your analytic report, you will need to choose and investigate a data set using the decision analysis techniques you learned in class. Then you
will formulate a research question, write an analytic plan, and implement it. Your report should not solely consist of descriptions of what you did. It should also
contain detailed explorations into the meaning behind your model and the implications of its results. You will also be testing your model’s fitness and evaluating
its strengths and weaknesses.
The project in a nutshell:
1. Choose a data set (get ideas from the source list in the spreadsheet Final Project Topics and Sources.xls)
2. Formulate your decision analysis research question
3. Write an analytic plan
4. Perform the top-down or bottom-up modeling
5. Perform model diagnostics
6. Evaluate
These activities are broken up into milestones so that the work is spread throughout the term and you can get early assistance with any obstacles.
A decision analysis report is similar to any other analytic report. These reports introduce a problem, state a line of inquiry, explain a model th.
A practical guide for startups to drive growth and innovation.
Denver Startup Week Product Track presentation by Argie Angeleas, Taylor Names, Matt Reynolds
What is data mining? The process of analyzing data to discover hidden patterns and relationships that can help you manage and improve your business.
Check out: www.eleaderstochange.com
Follow #eleaders2change
Predictive analytics are increasingly a must-have competitive tool. A well-defined workflow and effective decision modeling approach ensures that the right predictive analytic models get built and deployed.
Doing Analytics Right - Selecting AnalyticsTasktop
This webinar lays out the principles and key concerns for selecting analytics.
It covers:
* The proper purpose of analytics,
* enabling feedback loops to attain your goals such as efficiency and predictability, and
* how to avoid doing more harm than good.
In particular, we will cover: the dimensions of analytics, the key driving principles, analytics maturity, adapting the analytics to your mix of development efforts, and integrating analytics across the levels of the organization.
Technical Documentation 101 for Data Engineers.pdfShristi Shrestha
Introduction to technical documentation for data engineers. This presentation contains details about metadata management software, documentation good practices, data documentation principles, data pipeline documentation practices and data pipeline documentation standards like CRISP-DM.
Big Data and Hadoop Training batch in Pune is scheduled to commence on December 7th, 2013.This batch will be as per a new revamped four day schedule, contents and focus, based on feedback from participants of earlier courses. The training is conducted in a workshop like environment with an effective blend of hands-on practicals and assignments to augment the fundamental theory covered.
About the Faculty:
He is a Doctorate in Engineering and an industry veteran with more than twenty five years experience in launching new technologies, products and businesses. He has been involved in acquiring five patents for the company that he has worked for.
Big Data Analytics – Why?
Data is now generated by more sources and at ever increasing rates. Examples include Social Media sites, GPS based tracking systems, point of sale equipment, etc. The ability to process such data can provide that essential edge required for business success. Demand for Big Data professionals is rapidly increasing. Knowledge of Big Data can provide an advantage leading to faster professional advancement
About this course
This course on Big Data Analytics for Business is a combination of essential fundamentals, practical techniques, hands-on sessions on Hadoop, and case studies to cement all this together.
By completing this course you will be able to …
Understand fundamentals of analytics: Descriptive, Predictive and Prescriptive Analytics
Know what ‘Big Data’, Map Reduce and Hadoop are all about
Get a grip on the structure of Big Data applications
Effectively use Big Data techniques like Map Reduce and tools like Hadoop, Hive, Hbase, Pig
Choose the most appropriate tools to solve Big Data problems
Identify, propose and lead Big Data projects in your organizations
Course Content -
What is Big Data?
Overview of Big Data tools and techniques
In-depth coverage of Map-reduce techniques to manage Big Data
Hadoop - In Depth
HDFS – In Depth
Installing and managing Hadoop – Hands-on
Introduction to Hadoop Clusters
Hands-on session using native installation and Amazon EMR implementation of Hadoop
The Hadoop ecosystem: Pig, HIVE, HBase, Pig, SQOOP and Flume
Analytics: Descriptive, Predictive and Prescriptive
What is Big Data Analytics
Introducing Analytics in the enterprise: Case Studies
Trends in Big Data Analytics
The course takes a "hands-on" approach to ensure that the basics are understood very well and assimilated concepts are applied in practice.
Essential pre-requisite for practitioner course: Java programming language.
Note: Basic Java Module for participants those who are new to Java.
SAP Applications and the Modern Data Scientist - Predictive Analytics for the...Dickinson + Associates
Abstract: SAP Predictive Analytics 2.3 bridges the gaps between IT, Business and Analytics. Learn how SAP Predictive Analytics 2.3 leverages current SAP infrastructure and provides the data preparation, visualization and data modeling tools necessary to gain insights from your data.
Join us as we will take a look at SAP Predictive Analytics (PA) 2.3 and demonstrate the value by analyzing data that will help drive real-world decisions:
• Understand where SAP PA 2.3 resides in SAP’s analytics roadmap
• Outline system and hardware requirements for implementation
• Learn how SAP PA 2.3 is not just for Data Scientists
• Demonstrate capabilities within SAP PA 2.3
• Answer questions and discuss how PA 2.3 can improve your business
In the field of business and management, data science is transforming how companies organize, operate, manage talent, and create value. In this talk, David will share his experience as a data scientist and consultant on data science in business – from business experimentation to planning process optimization. He will also reflect on the career progress as a data scientist and provide suggestions to young data scientists
DataScience Lab, 13 мая 2017
Коррекция геометрических искажений оптических спутниковых снимков
Алексей Кравченко (Senior Data Scientist at Zoral Labs)
Мы рассмотрим разнообразие существующих спутниковых данных и способов их применения в сельском и лесном хозяйстве, картографировании земной поверхности. Далее сфокусируемся на задаче геометрической коррекции снимков как первом шаге процесса обработки спутниковых данных, включая геопривязку снимков, регистрацию изображений, субпиксельную идентификацию контрольных точек, совмещение каналов. Также расскажем о некоторых интересных и неожиданных подходах к определению ориентации и jitter спутников и построению маски облачности.
Все материалы: http://datascience.in.ua/report2017
DataScience Lab 2017_Kappa Architecture: How to implement a real-time streami...GeeksLab Odessa
DataScience Lab, 13 мая 2017
Kappa Architecture: How to implement a real-time streaming data analytics engine
Juantomás García (Data Solutions Manager at OpenSistemas, Madrid, Spain)
We will have an introduction of what is the kappa architecture vs lambda architecture. We will see how kappa architecture is a good solution to implement solutions in (almost) real time when we need to analyze data in streaming. We will show in a case of real use: how architecture is designed, how pipelines are organized and how data scientists use it. We will review the most used technologies to implement it from apache Kafka + spark using Scala to new tools like apache beam / google dataflow.
Все материалы: http://datascience.in.ua/report2017
DataScience Lab 2017_Обзор методов детекции лиц на изображениеGeeksLab Odessa
DataScience Lab, 13 мая 2017
Обзор методов детекции лиц на изображение
Юрий Пащенко ( Research Engineer, Ring Labs)
В данном докладе мы предлагаем обзор наиболее новых и популярных методов обнаружения лиц, таких как Viola-Jones, Faster-RCNN, MTCCN и прочих. Мы обсудим основные критерии оценки качества алгоритма а также базы, включая FDDB, WIDER, IJB-A.
Все материалы: http://datascience.in.ua/report2017
DataScienceLab2017_Сходство пациентов: вычистка дубликатов и предсказание про...GeeksLab Odessa
DataScience Lab, 13 мая 2017
Сходство пациентов: вычистка дубликатов и предсказание пропущенных диагнозов
Виктор Сарапин (CEO at V.I.Tech)
Как эффективно определять дубликаты на десятках миллионов пациентов, и как определять пропущенные диагнозы и лечебные действия.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
DataScience Lab, 13 мая 2017
Recent deep learning approaches for speech generation
Дмитрий Белевцов (Techlead at IBDI)
В последние пол года появилось несколько важных моделей на базе глубоких нейронных сетей, способных успешно синтезировать человеческую речь на уровне отдельных сэмплов. Это позволило обойти многие недостатки классических спектральных подходов. В этом докладе я сделаю небольшой обзор архитектур наиболее популярных сетей, таких как Wavenet и SampleRNN.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
DataScience Lab, 13 мая 2017
Распределенные вычисления: использование BOINC в Data Science
Виталий Кошура (Software Developer at Lohika)
BOINC - это открытое программное обеспечение для распределенных вычислений. Данный доклад освещает использование приложения BOINC в различных областях науки, которые связаны с обработкой огромных массивов данных, на примере текущих активных исследовательских проектов.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
DataScience Lab, 13 мая 2017
Магистерская программа "Data Science" в УКУ
Орест Купин(Master's Student at UCU)
В этом докладе я расскажу вам о магистерской программе со специализацией в анализе данных в Украинском Католическом Университете. Я расскажу про структуру программы, основные курсы, а также опишу свой опыт как студента УКУ и поговорю об вызовах с которыми мы столкнулись в этом году.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
DataScienceLab2017_Cервинг моделей, построенных на больших данных с помощью A...GeeksLab Odessa
DataScience Lab, 13 мая 2017
Cервинг моделей, построенных на больших данных с помощью Apache Spark
Степан Пушкарев (GM (Kazan) at Provectus / CTO at Hydrosphere.io)
После подготовки данных и обучения моделей на больших данных с использованием Apache Spark встает вопрос о том, как использовать обученные модели в реальных приложениях. Помимо модели важно не забывать про весь пайплайн пре-процессинга данных, который должен попасть в продакшн в том виде, в котором его спроектировал и реализовал дата саентист. Такие решения, как PMML/PFA, основанные на экспорте/импорте модели и алгоритма имеют очевидные недостатки и ограничения. В данном докладе мы предложим альтернативное решение, которое упрощает процесс использования моделей и пайплайнов в реальных боевых приложениях.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
DataScienceLab2017_BioVec: Word2Vec в задачах анализа геномных данных и биоин...GeeksLab Odessa
DataScience Lab, 13 мая 2017
BioVec: Word2Vec в задачах анализа геномных данных и биоинформатики
Дмитрий Новицкий (Старший научный сотрудник в ИПММС НАНУ)
Этот доклад посвящен bioVec: применению технологии word2vec в задачах биоинфоматики. Сначала мы напомним как работает Word2vec и аналогичные ему методы Word Embedding. Затем расскажем об особенностях Word2vec в применении к геномным последовательностям-- основному виду данных в биоинформатике. Как обучать bioVec, и применять эту технологию к задачам классификации белков, предсказания их функции и др. В заключении мы продемонстрируем примеры кода для обучения и использования bioVec.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
DataScienceLab2017_Data Sciences и Big Data в Телекоме_Александр Саенко GeeksLab Odessa
DataScience Lab, 13 мая 2017
Data Sciences и Big Data в Телекоме
Александр Саенко (Software Engineer at SoftServe/CISCO)
Александр расскажет о некоторых интересных примерах использования Big Data и Data Science в Телекоме: оптимизация сотовой сети, улучшение клиентского опыта, модели прогнозирования местоположения мобильных устройств, предотвращения оттока абонентов, обнаружение фрода и других. Рассмотрит основные современные подходы к их решению на основе алгоритмов машинного обучения.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
DataScienceLab2017_Высокопроизводительные вычислительные возможности для сист...GeeksLab Odessa
DataScience Lab, 13 мая 2017
Высокопроизводительные вычислительные возможности для систем анализа данных
Михаил Федосеев ( Архитектор инфраструктурных решений, LanTec)
В докладе мы поговорим о hardware стороне систем анализа данных для случаев построения приватных облаков или локальных высокопроизводительных вычислительных кластеров. Рассмотрим какие технологии и комплексные решения от компании Hewlett Packard Enterprise позволяют ускорить процесс анализа данных. Это не только зарекомендовавшие в своей области лучшие в своем сегменте сервера линейки HPE Apollo, а так же высокоскоростные сетевые коммутаторы HPE, но и дополнительные вспомогательные элементы решения, такие как мощные графические карты NVIDIA и хост-процессоры Xeon Phi. Так же будет рассмотрен стек HPE Core HPC Software Stack, который позволяет администраторам контролировать использование ресурсов системы.
Все материалы доступны по ссылке: http://datascience.in.ua/report2017
DataScience Lab 2017_Мониторинг модных трендов с помощью глубокого обучения и...GeeksLab Odessa
DataScience Lab, 13 мая 2017
Мониторинг модных трендов с помощью глубокого обучения и TensorFlow, Ольга Романюк (Data Scientist at Eleks)
В течении последних 8 месяцев мы в Eleks работали над системой отслеживания модных трендов, основанной на глубинной остаточной нейронной сети с тождественным отображением. При тренировке сети мы использовали онлайн увеличение объема данных, а также распараллеливание данных по двум картам GPU. Мы создали эту систему с нуля при помощи TensorFlow. В презентации я расскажу о практической стороне проекта, нюансах реализации и подводных камнях, с которыми мы столкнулись во время работы.
Все материалы: http://datascience.in.ua/report2017
DataScience Lab 2017_Кто здесь? Автоматическая разметка спикеров на телефонны...GeeksLab Odessa
DataScience Lab, 13 мая 2017
Кто здесь? Автоматическая разметка спикеров на телефонных разговорах
Юрий Гуц (Machine Learning Engineer, DataRobot)
Автоматическая аннотация спикеров — интересная задача в обработке мультимедиа-данных. Нам нужно ответить на вопрос "Кто говорит когда?", не зная ничего о количестве и личности спикеров, присутствующих на записи. В этом докладе мы рассмотрим работающие методы для аннотации спикеров на телефонных разговорах.
Все материалы: http://datascience.in.ua/report2017
DataScience Lab 2017_From bag of texts to bag of clusters_Терпиль Евгений / П...GeeksLab Odessa
From bag of texts to bag of clusters
Терпиль Евгений / Павел Худан (Data Scientists / NLP Engineer at YouScan)
Мы рассмотрим современные подходы к кластеризации текстов и их визуализации. Начиная от классического K-means на TF-IDF и заканчивая Deep Learning репрезентациями текстов. В качестве практического примера, мы проанализируем набор сообщений из соц. сетей и попробуем найти основные темы обсуждения.
Все материалы: http://datascience.in.ua/report2017
DataScience Lab 2017_Графические вероятностные модели для принятия решений в ...GeeksLab Odessa
Графические вероятностные модели для принятия решений в проектном управлении
Ольга Татаринцева (Data Scientist at Eleks)
Как часто вам приходится принимать решения, используя знания в определенной предметной области? На сколько хороши такие решения? А теперь представьте, что вы собрали знания лучших экспертов в предметной области. Похоже, что ваши решения, основанные на этих знаниях, будут куда более взвешенными, не так ли? Мы будем говорить о системе ProjectHealth, которая была построена на основе опыта лучших экспертов в проектном управлении в компании Eleks. Для реализации поставленной задачи была использована графовая вероятностная модель, а именно байесовская сеть, имплементированная на Python. За время работы над проектом мы прошли шаги от извлечения требований, поиска данных и построения модели с нуля до реализации BI дашборда с возможностью углубиться в детали, доходя до сырых данных. Сейчас ProjectHealth экономит большое количество времени для топ менеджмента и ресурсов компании, так как мониторит состояние бизнеса в малейших деталях ежедневно и делает это как настоящий эксперт.
Все материалы: http://datascience.in.ua/report2017
DataScienceLab2017_Оптимизация гиперпараметров машинного обучения при помощи ...GeeksLab Odessa
DataScienceLab, 13 мая 2017
Оптимизация гиперпараметров машинного обучения при помощи Байесовской оптимизации
Максим Бевза (Research Engineer at Grammarly)
Все алгоритмы машинного обучения нуждаются в настройке (тьюнинге). Часто мы используем Grid Search или Randomized Search или нашу интуицию для подбора гиперпараметров. Байесовская оптимизация поможет нам направить Randomized Search в те места, которые наиболее перспективны, так, чтобы тот же (или лучший) результат мы получили за меньшее количество итераций.
Все материалы: http://datascience.in.ua/report2017
DataScienceLab2017_Как знать всё о покупателях (или почти всё)?_Дарина Перемот GeeksLab Odessa
DataScienceLab, 13 мая 2017
Как знать всё о покупателях (или почти всё)?
Дарина Перемот (ML Engineer at SynergyOne)
Раскроем собственный ответ на вопрос "Чего же хочет покупатель?". Поделимся результатами исследований транзакций и расскажем, есть ли у вас домашний питомец. А так же, продемонстрируем, как машинное обучение уже сейчас помогает узнавать вас ближе.
Все материалы: http://datascience.in.ua/report2017
JS Lab 2017_Mapbox GL: как работают современные интерактивные карты_Владимир ...GeeksLab Odessa
JS Lab 2017, 25 марта
Mapbox GL: как работают современные интерактивные карты
Владимир Агафонкин (Lead JavaScript Engineer at MapBox)
Mapbox GL JS — открытая JS-библиотека для создания современных интерактивных карт на основе WebGL. В разработке более трех лет, она сочетает в себе множество удивительных технологий, сложных алгоритмов и идей для достижения плавной отрисовки тысяч векторных объектов с миллионами точек в реальном времени. В этом докладе вы узнаете, как работает библиотека внутри, и с какими сложностями сталкиваются разработчики современных WebGL-приложений. В докладе: отрисовка шрифтов, триангуляция линий и полигонов, пространственные индексы, определение коллизий, расстановка надписей, кластеризация точек, обрезка фигур, упрощение линий, упаковка спрайтов, компактные бинарные форматы, параллельная обработка данных в браузере, тестирование отрисовки и другие сложности.
Все материалы: http://jslab.in.ua/2017
JS Lab2017_Под микроскопом: блеск и нищета микросервисов на node.js GeeksLab Odessa
JS Lab2017, 25 марта, Одесса
Под микроскопом: блеск и нищета микросервисов на node.js
Илья Климов (CEO at Javascript.Ninja)
"- Что это?
- Микросервис!
- И что он делает?
- Микропадает".
Про микросервисы сейчас не рассуждает только ленивый. Все рассказывают про то, как микросервисы спасают от сложности разработки, снижают время развертывание и повышают общую надежность систем. Этот доклад - про подводные камни, которые ждут оседлавших волну этого хайпа с Node.JS. Мы поговорим про ошибки, которые стоили мне и моей компании бессонных ночей, потерянной прибыли и, временами, веры в могущество микросервисной архитектуры.
Все материалы: http://jslab.in.ua/
Организаторы: http://geekslab.org.ua/
LF Energy Webinar: Electrical Grid Modelling and Simulation Through PowSyBl -...DanBrown980551
Do you want to learn how to model and simulate an electrical network from scratch in under an hour?
Then welcome to this PowSyBl workshop, hosted by Rte, the French Transmission System Operator (TSO)!
During the webinar, you will discover the PowSyBl ecosystem as well as handle and study an electrical network through an interactive Python notebook.
PowSyBl is an open source project hosted by LF Energy, which offers a comprehensive set of features for electrical grid modelling and simulation. Among other advanced features, PowSyBl provides:
- A fully editable and extendable library for grid component modelling;
- Visualization tools to display your network;
- Grid simulation tools, such as power flows, security analyses (with or without remedial actions) and sensitivity analyses;
The framework is mostly written in Java, with a Python binding so that Python developers can access PowSyBl functionalities as well.
What you will learn during the webinar:
- For beginners: discover PowSyBl's functionalities through a quick general presentation and the notebook, without needing any expert coding skills;
- For advanced developers: master the skills to efficiently apply PowSyBl functionalities to your real-world scenarios.
Software Delivery At the Speed of AI: Inflectra Invests In AI-Powered QualityInflectra
In this insightful webinar, Inflectra explores how artificial intelligence (AI) is transforming software development and testing. Discover how AI-powered tools are revolutionizing every stage of the software development lifecycle (SDLC), from design and prototyping to testing, deployment, and monitoring.
Learn about:
• The Future of Testing: How AI is shifting testing towards verification, analysis, and higher-level skills, while reducing repetitive tasks.
• Test Automation: How AI-powered test case generation, optimization, and self-healing tests are making testing more efficient and effective.
• Visual Testing: Explore the emerging capabilities of AI in visual testing and how it's set to revolutionize UI verification.
• Inflectra's AI Solutions: See demonstrations of Inflectra's cutting-edge AI tools like the ChatGPT plugin and Azure Open AI platform, designed to streamline your testing process.
Whether you're a developer, tester, or QA professional, this webinar will give you valuable insights into how AI is shaping the future of software delivery.
Connector Corner: Automate dynamic content and events by pushing a buttonDianaGray10
Here is something new! In our next Connector Corner webinar, we will demonstrate how you can use a single workflow to:
Create a campaign using Mailchimp with merge tags/fields
Send an interactive Slack channel message (using buttons)
Have the message received by managers and peers along with a test email for review
But there’s more:
In a second workflow supporting the same use case, you’ll see:
Your campaign sent to target colleagues for approval
If the “Approve” button is clicked, a Jira/Zendesk ticket is created for the marketing design team
But—if the “Reject” button is pushed, colleagues will be alerted via Slack message
Join us to learn more about this new, human-in-the-loop capability, brought to you by Integration Service connectors.
And...
Speakers:
Akshay Agnihotri, Product Manager
Charlie Greenberg, Host
Encryption in Microsoft 365 - ExpertsLive Netherlands 2024Albert Hoitingh
In this session I delve into the encryption technology used in Microsoft 365 and Microsoft Purview. Including the concepts of Customer Key and Double Key Encryption.
Kubernetes & AI - Beauty and the Beast !?! @KCD Istanbul 2024Tobias Schneck
As AI technology is pushing into IT I was wondering myself, as an “infrastructure container kubernetes guy”, how get this fancy AI technology get managed from an infrastructure operational view? Is it possible to apply our lovely cloud native principals as well? What benefit’s both technologies could bring to each other?
Let me take this questions and provide you a short journey through existing deployment models and use cases for AI software. On practical examples, we discuss what cloud/on-premise strategy we may need for applying it to our own infrastructure to get it to work from an enterprise perspective. I want to give an overview about infrastructure requirements and technologies, what could be beneficial or limiting your AI use cases in an enterprise environment. An interactive Demo will give you some insides, what approaches I got already working for real.
GDG Cloud Southlake #33: Boule & Rebala: Effective AppSec in SDLC using Deplo...James Anderson
Effective Application Security in Software Delivery lifecycle using Deployment Firewall and DBOM
The modern software delivery process (or the CI/CD process) includes many tools, distributed teams, open-source code, and cloud platforms. Constant focus on speed to release software to market, along with the traditional slow and manual security checks has caused gaps in continuous security as an important piece in the software supply chain. Today organizations feel more susceptible to external and internal cyber threats due to the vast attack surface in their applications supply chain and the lack of end-to-end governance and risk management.
The software team must secure its software delivery process to avoid vulnerability and security breaches. This needs to be achieved with existing tool chains and without extensive rework of the delivery processes. This talk will present strategies and techniques for providing visibility into the true risk of the existing vulnerabilities, preventing the introduction of security issues in the software, resolving vulnerabilities in production environments quickly, and capturing the deployment bill of materials (DBOM).
Speakers:
Bob Boule
Robert Boule is a technology enthusiast with PASSION for technology and making things work along with a knack for helping others understand how things work. He comes with around 20 years of solution engineering experience in application security, software continuous delivery, and SaaS platforms. He is known for his dynamic presentations in CI/CD and application security integrated in software delivery lifecycle.
Gopinath Rebala
Gopinath Rebala is the CTO of OpsMx, where he has overall responsibility for the machine learning and data processing architectures for Secure Software Delivery. Gopi also has a strong connection with our customers, leading design and architecture for strategic implementations. Gopi is a frequent speaker and well-known leader in continuous delivery and integrating security into software delivery.