Олег Ивонин / oivonin@google.com
● Cloud Web Solutions Engineer @ Google Netherlands B.V.
● Разработка инструментов для анализа стоимости конфигураций и
планирования архитектуры облачных решений на основе GCP
○ Google Cloud Platform Pricing Calculator и другие
Владислав Флакс / fv@google.com
● CEO @ OWOX Inc.
● Развитие продуктов OWOX и консультация ключевых клиентов в
области аналитики и электронной коммерции
Получить запись вебинара
про Google Cloud Platform:
https://www.owox.com/c/1vg
Google Cloud Platform 4
Сегодня в программе
● Вступление: зачем бизнесам использовать GCP
● Part 1. Основы Google Cloud Platform
● Part 2. Big Data и Machine Learning на основе GCP
● Part 3. Примеры и итоги
● Заключение: как OWOX BI работает с GCP
Зачем бизнесам использовать GCP
1. Быстрое выделение ресурсов под новые проекты
2. Резервное копирование
3. Организация резервной площадки
4. Разработка и тестирование
5. Предоставление ресурсов для партнеров
● Часть 1: Основы Google Cloud Platform
○ Наборы облачных сервисов и их назначение
○ Преимущества на рынке
● Часть 2: Big Data и Machine Learning на основе GCP
● Часть 3: Примеры, итоги и вопросы/ответы
О чем я расскажу?
Google Cloud Platform 8
Disclaimer
Google Cloud Platform 9
Часть 1:
Основы Google Cloud
Platform
Google Cloud Platform 10
Physical /
Colo / VPS
Serverless /
NoOps / PaaS
Storage Processing Memory Network
Self-Service /
Elastic / IaaS
Storage Processing Memory Network
Путь IT-инфраструктуры в “облако”
Что такое Google Cloud Platform?
GCP - это набор коммерческих облачных сервисов,
основанных на разработках и опыте Google для
собственных продуктов:
● Google Search
● YouTube
● Google Maps
● и др.
Google’s Data Research
2002 2004 2006 2008 2010 2012 2014 2016
GFS
MapReduce TensorFlow
BigTable
Dremel
Colossus
Flume
Megastore
Spanner
Millwheel
PubSub
F1
Google’s Data Products
2002 2004 2006 2008 2010 2012 2014 2016
Cloud ML
PubSub
DataFlow
DataStore
DataFlow
Cloud Storage
BigQuery
BigTable
DataProc
Cloud Storage
Google Cloud Platform 14
Вычисления
Compute
Engine
App
Engine
Container
Engine
Container
Registry
Cloud
Functions
Сетевые сервисы
Cloud Virtual
Network
Cloud Load
Balancing
Cloud
CDN
Cloud
Interconnect
Cloud
DNS
Big Data
BigQuery
Cloud
Dataflow
Cloud
Dataproc
Cloud
Pub/Sub
Хранение данных
Cloud
Storage
Cloud
Bigtable
Cloud
Datastore
Cloud SQL
Persistent
Disk
Machine Learning
Cloud Machine
Learning
Vision API
Speech
API
Natural
Language API
Translation
APICloud
Datalab
Google Cloud Platform сегодня
Google Cloud Platform 15
Преимущества Google Cloud Platform
Безопасность
● Безопасность в облаке: 600 экспертов, “purpose-built” аппаратная и
программная инфраструктура (датацентры, сервера, ПО)
● Шифрование данных клиента at rest и in transit
● Самая большая в мире сеть облачного провайдера, построена и
управляется Google
● 70 точек присутствия, глобальный load balancing, low latency, CDN
● Обширный набор сервисов для хранения и обработки больших данных
● Google разрабатывает предлагает лучшие open-source инструменты
(Tensorflow, MapReduсe и др), GCP делает их легкодоступными
NoOps
● Google App Engine, BigQuery, Dataproc и другие managed сервисы
ускоряют и упрощают разработку проектов и обработку данных. Время и
затраты на поддержку инфраструктуры становятся не нужны
Глобальная
сеть
Big Data и ML
Снижение
затрат
● GCE дешевле других публичных облаков в среднем на 21% (до 60%) в
зависимости от конфигурации ВМ
Безопасность Google Cloud Platform
● Модель безопасности Google постоянно улучшается на протяжении
последних 15 лет
● Google Cloud Platform предлагает пользователям уровень защиты
аналогичный используемому для таких сервисов как GMail, Google
Search и др. Например:
○ Шифрование данных в Google Cloud включено по умолчанию, как
для среды передачи (“in transit”, HTTPS/TLS), так и для хранения
(“at rest”, AES-256)
○ Google Cloud Key Management Service позволяет клиентам
шифровать данные собственными ключами шифрования
● Google Cloud Terms of Service регламентирует обработку данных
клиента в строгом соответствии с инструкциями клиента - и никак
иначе
● Google Cloud Platform проходит регулярный аудит технической
инфраструктуры и процессов управления
● Сервисы Google Cloud Platform соответствуют таким международным
стандартам аудита и сертификации как:
○ SSAE16 / ISAE 3402 Type II
○ ISO 27001
○ ISO 27017, Cloud Security
○ ISO 27018, Cloud Privacy
○ FedRamp ATO
○ PCI DSS v3.1
● Google Cloud Platform поддерживает доп. соглашения для
соответствия стандартам HIPAA и EU Data Protection Directive
Сертификации и аудит Google Cloud Platform
Google Cloud Platform 18
Google Cloud Platform снижает затраты
Детали
Калькуляторы
AWS vs GCP цены
AWS vs GCP продукты
Google Cloud Platform 19
Google Cloud Platform снижает затраты
Более 70 точек присутствия
POPs в 33 странах создают
самую крупную сеть
облачного провайдера.
Сервисы Google достигают
пользователей по этой сети!
Глобальная сеть
Google Innovations
Google Cloud Platform 21
Part 2:
Big Data и Machine Learning
на основе GCP
Google Cloud Platform 22
Big Data, ML и хранение данных в GCP
Вычисления
Compute
Engine
App
Engine
Container
Engine
Container
Registry
Cloud
Functions
Сетевые сервисы
Cloud Virtual
Network
Cloud Load
Balancing
Cloud
CDN
Cloud
Interconnect
Cloud
DNS
Big Data
BigQuery
Cloud
Dataflow
Cloud
Dataproc
Cloud
Pub/Sub
Хранение данных
Cloud
Storage
Cloud
Bigtable
Cloud
Datastore
Cloud SQL
Persistent
Disk
Machine Learning
Cloud Machine
Learning
Vision API
Speech
API
Natural
Language API
Translation
API
Cloud
Datalab
Google Cloud Platform 23
27 лет скачивания
по каналу 4G
27 years
Стопка дискет в 5
тысяч раз выше башни
Федерация в Москве
x5000
50 х всех когда-либо
написанных твитов
x50
100 Библиотек
Конгресса
100
1 Петабайт - это много
Google Cloud Platform 24
Объем видео загруженных на
YouTube за 1 день
2 микрограмма ДНК
Объем логов 200 серверов. 50
записей в секунду за три года.
1 Петабайт - это мало
25
Cloud Dataproc
Fully managed Hadoop и Spark кластеры с высокой
производительностью в облаке
Cloud Pub/Sub
Fully managed сервис очередей сообщений для обмена
данными между приложениями
Cloud Dataflow
ETL инструментарий для обработки потоковых и пакетных
данных
BigQuery
Fully managed DWH (хранилище данных) для обработки и
аналитики
26
Пример архитектуры
Right at the start of the partnership
we were able to reduce time to
insight from 96 hours to 30 minutes
by using BigQuery.
Gary Sanders
Head of Digital Analytics
Lloyds Banking Group
“
Google Cloud Platform 28
Big Data, ML и хранение данных в GCP
Вычисления
Compute
Engine
App
Engine
Container
Engine
Container
Registry
Cloud
Functions
Сетевые сервисы
Cloud Virtual
Network
Cloud Load
Balancing
Cloud
CDN
Cloud
Interconnect
Cloud
DNS
Big Data
BigQuery
Cloud
Dataflow
Cloud
Dataproc
Cloud
Pub/Sub
Хранение данных
Cloud
Storage
Cloud
Bigtable
Cloud
Datastore
Cloud SQL
Persistent
Disk
Machine Learning
Cloud Machine
Learning
Vision API
Speech
API
Natural
Language API
Translation
API
Cloud
Datalab
Google Cloud Platform 29
● Что:
○ Алгоритмы, находящие новый смысл в входных данных на
основе обучения по прошлым выборкам
● Зачем:
○ Чтобы решать сложные аналитические задачи быстрее, точнее
и на большем объеме данных чем способен человек
● Как:
○ Посредством поиска и анализа закономерностей в данных
Machine Learning
Cloud
Vision
API
Идентификация
объектов
Идентификация
достопримеча-
тельностей
Распознавание
текста
Идентификация
логотипов
Обнаружение
лиц
Определение
запрещенного
контента
DEMO
Google Cloud Platform 31
Beta
Cloud
Natural Language
Machine Learning APIs
Beta
Cloud
Speech
Cloud
Translate
Cloud
Vision
Stay tuned...
Полностью обученные ML модели от Google Cloud, которые позволяют разработчикам
использовать всю мощность машинного обучения с помощью простых REST сервисов.
Google Cloud Platform 32
Google Machine Learning
Open source tool for building and running neural network models
● Гибкая архитектура:
○ CPU или GPU
○ ПК, мобильное устройство, сервер или облако
● Разработано исследователями и инженерами Google Brain
● ML проект #1по на GitHub (дата релиза ноябрь 2015)
Fully managed ML service -- no Ops
● Высокая скорость, тренировка индивидуальных моделей, максимальная точность
● Оптимизация для инфраструктуры GCP, интеграция с BigQuery и GCS -
прогнозирование в масштабе
● Совместимость с TensorFlow моделями
Cloud ML
Platform
Google Cloud Platform 33
Part 3:
Примеры и итоги
Google Confidential and Proprietary
Host Wix Editor
on App Engine
Uses Google Cloud
Storage to store static
media files
Serve production media
traffic from Compute
Engine
“We chose Google Cloud Platform because
of its ease of management, scalability and
speed of development.”
~11 Million
files uploaded per day
of storage
managed per day
600TB 8.6M
images resized
per day
700million
“App Engine enabled us to focus on developing the
application. We wouldn’t have gotten here without the
ease of development that App Engine gave us.”
Bobby Murphy, CTO
Snapchat sends
photos and videos each day Google App Engine
scaled seamlessly
during growth to
millions of users
Small team is able
to innovate quickly
and expand
globally
Music for Everyone
75M+ Users
2B+ Playlists
30M+ Songs
Data is the center
of the Spotify
music experience
With GCP, data
teams get big data
insights in minutes
versus hours
37Google Cloud Platform
“This is no small achievement as the transition means moving approximately 3 to
3.5 petabytes of user data from Evernote's two current data centers into the
Google Cloud Platform.”
fortune.com
cloudplatform.googleblog
38Google Cloud Platform
“Ulmart can now create actionable dashboards, analyze its pricing against the
market, and maximize its margin without losing market leadership.”
● Ulmart выбрал Google BigQuery для
решения сложных аналитических
задач
● Знакомый синтаксис SQL запросов
and быстрая обработка в Google
BigQuery позволяют Ulmart работать с
огромными объемами данных в
реальном времени
● Ulmart экономит тысячи долларов на
тренингах и лицензировании
Google Cloud Platform 39
Google Cloud Platform - это:
IaaS/PaaS
Полнофункциональная
платформа с
экономией затрат Big Data /
Machine
Learning
Масштабируемые
облачные сервисы
для работы с
данными
NoOps
Снижение
издержек и
повышение
эффективности
разработки ПО
Лучшее от
Google
Все сервисы
спроектированы и
опробованы для
задач Google
Как OWOX BI работает с GCP
Google Cloud Platform 41
Требования к OWOX BI
● Возможно сфокусироваться на продукте
● Прозрачность управления данными клиентов
● Международные стандарты безопасности
● Масштабируемость
● Интеграция с Google сервисами
Google Cloud Platform 42
Использование GCP в OWOX BI
Pub/Sub – интеграция всех
сервисов
Compute Engine – backend для
большинства сервисов
Container Engine –
пользовательский интерфейс
App Engine — точка доступа для
запросов с UI
BigQuery – обработка больших
данных
Storage – хранение сырых
данных
Logging – работа с логами и
отладка
Cloud SQL — быстрый доступ к
структурированным данным
Google Cloud Platform 44
Вопросы?

Что Google Cloud Platform может дать бизнесу

  • 2.
    Олег Ивонин /oivonin@google.com ● Cloud Web Solutions Engineer @ Google Netherlands B.V. ● Разработка инструментов для анализа стоимости конфигураций и планирования архитектуры облачных решений на основе GCP ○ Google Cloud Platform Pricing Calculator и другие Владислав Флакс / fv@google.com ● CEO @ OWOX Inc. ● Развитие продуктов OWOX и консультация ключевых клиентов в области аналитики и электронной коммерции
  • 3.
    Получить запись вебинара проGoogle Cloud Platform: https://www.owox.com/c/1vg
  • 4.
    Google Cloud Platform4 Сегодня в программе ● Вступление: зачем бизнесам использовать GCP ● Part 1. Основы Google Cloud Platform ● Part 2. Big Data и Machine Learning на основе GCP ● Part 3. Примеры и итоги ● Заключение: как OWOX BI работает с GCP
  • 5.
  • 6.
    1. Быстрое выделениересурсов под новые проекты 2. Резервное копирование 3. Организация резервной площадки 4. Разработка и тестирование 5. Предоставление ресурсов для партнеров
  • 7.
    ● Часть 1:Основы Google Cloud Platform ○ Наборы облачных сервисов и их назначение ○ Преимущества на рынке ● Часть 2: Big Data и Machine Learning на основе GCP ● Часть 3: Примеры, итоги и вопросы/ответы О чем я расскажу?
  • 8.
  • 9.
    Google Cloud Platform9 Часть 1: Основы Google Cloud Platform
  • 10.
    Google Cloud Platform10 Physical / Colo / VPS Serverless / NoOps / PaaS Storage Processing Memory Network Self-Service / Elastic / IaaS Storage Processing Memory Network Путь IT-инфраструктуры в “облако”
  • 11.
    Что такое GoogleCloud Platform? GCP - это набор коммерческих облачных сервисов, основанных на разработках и опыте Google для собственных продуктов: ● Google Search ● YouTube ● Google Maps ● и др.
  • 12.
    Google’s Data Research 20022004 2006 2008 2010 2012 2014 2016 GFS MapReduce TensorFlow BigTable Dremel Colossus Flume Megastore Spanner Millwheel PubSub F1
  • 13.
    Google’s Data Products 20022004 2006 2008 2010 2012 2014 2016 Cloud ML PubSub DataFlow DataStore DataFlow Cloud Storage BigQuery BigTable DataProc Cloud Storage
  • 14.
    Google Cloud Platform14 Вычисления Compute Engine App Engine Container Engine Container Registry Cloud Functions Сетевые сервисы Cloud Virtual Network Cloud Load Balancing Cloud CDN Cloud Interconnect Cloud DNS Big Data BigQuery Cloud Dataflow Cloud Dataproc Cloud Pub/Sub Хранение данных Cloud Storage Cloud Bigtable Cloud Datastore Cloud SQL Persistent Disk Machine Learning Cloud Machine Learning Vision API Speech API Natural Language API Translation APICloud Datalab Google Cloud Platform сегодня
  • 15.
    Google Cloud Platform15 Преимущества Google Cloud Platform Безопасность ● Безопасность в облаке: 600 экспертов, “purpose-built” аппаратная и программная инфраструктура (датацентры, сервера, ПО) ● Шифрование данных клиента at rest и in transit ● Самая большая в мире сеть облачного провайдера, построена и управляется Google ● 70 точек присутствия, глобальный load balancing, low latency, CDN ● Обширный набор сервисов для хранения и обработки больших данных ● Google разрабатывает предлагает лучшие open-source инструменты (Tensorflow, MapReduсe и др), GCP делает их легкодоступными NoOps ● Google App Engine, BigQuery, Dataproc и другие managed сервисы ускоряют и упрощают разработку проектов и обработку данных. Время и затраты на поддержку инфраструктуры становятся не нужны Глобальная сеть Big Data и ML Снижение затрат ● GCE дешевле других публичных облаков в среднем на 21% (до 60%) в зависимости от конфигурации ВМ
  • 16.
    Безопасность Google CloudPlatform ● Модель безопасности Google постоянно улучшается на протяжении последних 15 лет ● Google Cloud Platform предлагает пользователям уровень защиты аналогичный используемому для таких сервисов как GMail, Google Search и др. Например: ○ Шифрование данных в Google Cloud включено по умолчанию, как для среды передачи (“in transit”, HTTPS/TLS), так и для хранения (“at rest”, AES-256) ○ Google Cloud Key Management Service позволяет клиентам шифровать данные собственными ключами шифрования ● Google Cloud Terms of Service регламентирует обработку данных клиента в строгом соответствии с инструкциями клиента - и никак иначе
  • 17.
    ● Google CloudPlatform проходит регулярный аудит технической инфраструктуры и процессов управления ● Сервисы Google Cloud Platform соответствуют таким международным стандартам аудита и сертификации как: ○ SSAE16 / ISAE 3402 Type II ○ ISO 27001 ○ ISO 27017, Cloud Security ○ ISO 27018, Cloud Privacy ○ FedRamp ATO ○ PCI DSS v3.1 ● Google Cloud Platform поддерживает доп. соглашения для соответствия стандартам HIPAA и EU Data Protection Directive Сертификации и аудит Google Cloud Platform
  • 18.
    Google Cloud Platform18 Google Cloud Platform снижает затраты Детали Калькуляторы AWS vs GCP цены AWS vs GCP продукты
  • 19.
    Google Cloud Platform19 Google Cloud Platform снижает затраты
  • 20.
    Более 70 точекприсутствия POPs в 33 странах создают самую крупную сеть облачного провайдера. Сервисы Google достигают пользователей по этой сети! Глобальная сеть Google Innovations
  • 21.
    Google Cloud Platform21 Part 2: Big Data и Machine Learning на основе GCP
  • 22.
    Google Cloud Platform22 Big Data, ML и хранение данных в GCP Вычисления Compute Engine App Engine Container Engine Container Registry Cloud Functions Сетевые сервисы Cloud Virtual Network Cloud Load Balancing Cloud CDN Cloud Interconnect Cloud DNS Big Data BigQuery Cloud Dataflow Cloud Dataproc Cloud Pub/Sub Хранение данных Cloud Storage Cloud Bigtable Cloud Datastore Cloud SQL Persistent Disk Machine Learning Cloud Machine Learning Vision API Speech API Natural Language API Translation API Cloud Datalab
  • 23.
    Google Cloud Platform23 27 лет скачивания по каналу 4G 27 years Стопка дискет в 5 тысяч раз выше башни Федерация в Москве x5000 50 х всех когда-либо написанных твитов x50 100 Библиотек Конгресса 100 1 Петабайт - это много
  • 24.
    Google Cloud Platform24 Объем видео загруженных на YouTube за 1 день 2 микрограмма ДНК Объем логов 200 серверов. 50 записей в секунду за три года. 1 Петабайт - это мало
  • 25.
    25 Cloud Dataproc Fully managedHadoop и Spark кластеры с высокой производительностью в облаке Cloud Pub/Sub Fully managed сервис очередей сообщений для обмена данными между приложениями Cloud Dataflow ETL инструментарий для обработки потоковых и пакетных данных BigQuery Fully managed DWH (хранилище данных) для обработки и аналитики
  • 26.
  • 27.
    Right at thestart of the partnership we were able to reduce time to insight from 96 hours to 30 minutes by using BigQuery. Gary Sanders Head of Digital Analytics Lloyds Banking Group “
  • 28.
    Google Cloud Platform28 Big Data, ML и хранение данных в GCP Вычисления Compute Engine App Engine Container Engine Container Registry Cloud Functions Сетевые сервисы Cloud Virtual Network Cloud Load Balancing Cloud CDN Cloud Interconnect Cloud DNS Big Data BigQuery Cloud Dataflow Cloud Dataproc Cloud Pub/Sub Хранение данных Cloud Storage Cloud Bigtable Cloud Datastore Cloud SQL Persistent Disk Machine Learning Cloud Machine Learning Vision API Speech API Natural Language API Translation API Cloud Datalab
  • 29.
    Google Cloud Platform29 ● Что: ○ Алгоритмы, находящие новый смысл в входных данных на основе обучения по прошлым выборкам ● Зачем: ○ Чтобы решать сложные аналитические задачи быстрее, точнее и на большем объеме данных чем способен человек ● Как: ○ Посредством поиска и анализа закономерностей в данных Machine Learning
  • 30.
  • 31.
    Google Cloud Platform31 Beta Cloud Natural Language Machine Learning APIs Beta Cloud Speech Cloud Translate Cloud Vision Stay tuned... Полностью обученные ML модели от Google Cloud, которые позволяют разработчикам использовать всю мощность машинного обучения с помощью простых REST сервисов.
  • 32.
    Google Cloud Platform32 Google Machine Learning Open source tool for building and running neural network models ● Гибкая архитектура: ○ CPU или GPU ○ ПК, мобильное устройство, сервер или облако ● Разработано исследователями и инженерами Google Brain ● ML проект #1по на GitHub (дата релиза ноябрь 2015) Fully managed ML service -- no Ops ● Высокая скорость, тренировка индивидуальных моделей, максимальная точность ● Оптимизация для инфраструктуры GCP, интеграция с BigQuery и GCS - прогнозирование в масштабе ● Совместимость с TensorFlow моделями Cloud ML Platform
  • 33.
    Google Cloud Platform33 Part 3: Примеры и итоги
  • 34.
    Google Confidential andProprietary Host Wix Editor on App Engine Uses Google Cloud Storage to store static media files Serve production media traffic from Compute Engine “We chose Google Cloud Platform because of its ease of management, scalability and speed of development.” ~11 Million files uploaded per day of storage managed per day 600TB 8.6M images resized per day
  • 35.
    700million “App Engine enabledus to focus on developing the application. We wouldn’t have gotten here without the ease of development that App Engine gave us.” Bobby Murphy, CTO Snapchat sends photos and videos each day Google App Engine scaled seamlessly during growth to millions of users Small team is able to innovate quickly and expand globally
  • 36.
    Music for Everyone 75M+Users 2B+ Playlists 30M+ Songs Data is the center of the Spotify music experience With GCP, data teams get big data insights in minutes versus hours
  • 37.
    37Google Cloud Platform “Thisis no small achievement as the transition means moving approximately 3 to 3.5 petabytes of user data from Evernote's two current data centers into the Google Cloud Platform.” fortune.com cloudplatform.googleblog
  • 38.
    38Google Cloud Platform “Ulmartcan now create actionable dashboards, analyze its pricing against the market, and maximize its margin without losing market leadership.” ● Ulmart выбрал Google BigQuery для решения сложных аналитических задач ● Знакомый синтаксис SQL запросов and быстрая обработка в Google BigQuery позволяют Ulmart работать с огромными объемами данных в реальном времени ● Ulmart экономит тысячи долларов на тренингах и лицензировании
  • 39.
    Google Cloud Platform39 Google Cloud Platform - это: IaaS/PaaS Полнофункциональная платформа с экономией затрат Big Data / Machine Learning Масштабируемые облачные сервисы для работы с данными NoOps Снижение издержек и повышение эффективности разработки ПО Лучшее от Google Все сервисы спроектированы и опробованы для задач Google
  • 40.
    Как OWOX BIработает с GCP
  • 41.
    Google Cloud Platform41 Требования к OWOX BI ● Возможно сфокусироваться на продукте ● Прозрачность управления данными клиентов ● Международные стандарты безопасности ● Масштабируемость ● Интеграция с Google сервисами
  • 42.
    Google Cloud Platform42 Использование GCP в OWOX BI Pub/Sub – интеграция всех сервисов Compute Engine – backend для большинства сервисов Container Engine – пользовательский интерфейс App Engine — точка доступа для запросов с UI BigQuery – обработка больших данных Storage – хранение сырых данных Logging – работа с логами и отладка Cloud SQL — быстрый доступ к структурированным данным
  • 44.
    Google Cloud Platform44 Вопросы?