Документ описывает Google Cloud Platform (GCP) и ее применение в бизнесе, акцентируя внимание на преимуществах, таких как быстрая выделение ресурсов, безопасность и снижение затрат. В нем рассматриваются основные облачные сервисы, большие данные и машинное обучение на основе GCP, а также реальные примеры использования платформы различными компаниями. Кроме того, упоминаются интеграция с другими продуктами Google и важность обеспечения безопасности и соответствия стандартам.

2. Олег Ивонин / oivonin@google.com
● Cloud Web Solutions Engineer @ Google Netherlands B.V.
● Разработка инструментов для анализа стоимости конфигураций и
планирования архитектуры облачных решений на основе GCP
○ Google Cloud Platform Pricing Calculator и другие
Владислав Флакс / fv@google.com
● CEO @ OWOX Inc.
● Развитие продуктов OWOX и консультация ключевых клиентов в
области аналитики и электронной коммерции

3. Получить запись вебинара
про Google Cloud Platform:
https://www.owox.com/c/1vg

4. Google Cloud Platform 4
Сегодня в программе
● Вступление: зачем бизнесам использовать GCP
● Part 1. Основы Google Cloud Platform
● Part 2. Big Data и Machine Learning на основе GCP
● Part 3. Примеры и итоги
● Заключение: как OWOX BI работает с GCP

5. Зачем бизнесам использовать GCP

6. 1. Быстрое выделение ресурсов под новые проекты
2. Резервное копирование
3. Организация резервной площадки
4. Разработка и тестирование
5. Предоставление ресурсов для партнеров

7. ● Часть 1: Основы Google Cloud Platform
○ Наборы облачных сервисов и их назначение
○ Преимущества на рынке
● Часть 2: Big Data и Machine Learning на основе GCP
● Часть 3: Примеры, итоги и вопросы/ответы
О чем я расскажу?

8. Google Cloud Platform 8
Disclaimer

9. Google Cloud Platform 9
Часть 1:
Основы Google Cloud
Platform

10. Google Cloud Platform 10
Physical /
Colo / VPS
Serverless /
NoOps / PaaS
Storage Processing Memory Network
Self-Service /
Elastic / IaaS
Storage Processing Memory Network
Путь IT-инфраструктуры в “облако”

11. Что такое Google Cloud Platform?
GCP - это набор коммерческих облачных сервисов,
основанных на разработках и опыте Google для
собственных продуктов:
● Google Search
● YouTube
● Google Maps
● и др.

12. Google’s Data Research
2002 2004 2006 2008 2010 2012 2014 2016
GFS
MapReduce TensorFlow
BigTable
Dremel
Colossus
Flume
Megastore
Spanner
Millwheel
PubSub
F1

13. Google’s Data Products
2002 2004 2006 2008 2010 2012 2014 2016
Cloud ML
PubSub
DataFlow
DataStore
DataFlow
Cloud Storage
BigQuery
BigTable
DataProc
Cloud Storage

14. Google Cloud Platform 14
Вычисления
Compute
Engine
App
Engine
Container
Engine
Container
Registry
Cloud
Functions
Сетевые сервисы
Cloud Virtual
Network
Cloud Load
Balancing
Cloud
CDN
Cloud
Interconnect
Cloud
DNS
Big Data
BigQuery
Cloud
Dataflow
Cloud
Dataproc
Cloud
Pub/Sub
Хранение данных
Cloud
Storage
Cloud
Bigtable
Cloud
Datastore
Cloud SQL
Persistent
Disk
Machine Learning
Cloud Machine
Learning
Vision API
Speech
API
Natural
Language API
Translation
APICloud
Datalab
Google Cloud Platform сегодня

15. Google Cloud Platform 15
Преимущества Google Cloud Platform
Безопасность
● Безопасность в облаке: 600 экспертов, “purpose-built” аппаратная и
программная инфраструктура (датацентры, сервера, ПО)
● Шифрование данных клиента at rest и in transit
● Самая большая в мире сеть облачного провайдера, построена и
управляется Google
● 70 точек присутствия, глобальный load balancing, low latency, CDN
● Обширный набор сервисов для хранения и обработки больших данных
● Google разрабатывает предлагает лучшие open-source инструменты
(Tensorflow, MapReduсe и др), GCP делает их легкодоступными
NoOps
● Google App Engine, BigQuery, Dataproc и другие managed сервисы
ускоряют и упрощают разработку проектов и обработку данных. Время и
затраты на поддержку инфраструктуры становятся не нужны
Глобальная
сеть
Big Data и ML
Снижение
затрат
● GCE дешевле других публичных облаков в среднем на 21% (до 60%) в
зависимости от конфигурации ВМ

16. Безопасность Google Cloud Platform
● Модель безопасности Google постоянно улучшается на протяжении
последних 15 лет
● Google Cloud Platform предлагает пользователям уровень защиты
аналогичный используемому для таких сервисов как GMail, Google
Search и др. Например:
○ Шифрование данных в Google Cloud включено по умолчанию, как
для среды передачи (“in transit”, HTTPS/TLS), так и для хранения
(“at rest”, AES-256)
○ Google Cloud Key Management Service позволяет клиентам
шифровать данные собственными ключами шифрования
● Google Cloud Terms of Service регламентирует обработку данных
клиента в строгом соответствии с инструкциями клиента - и никак
иначе

17. ● Google Cloud Platform проходит регулярный аудит технической
инфраструктуры и процессов управления
● Сервисы Google Cloud Platform соответствуют таким международным
стандартам аудита и сертификации как:
○ SSAE16 / ISAE 3402 Type II
○ ISO 27001
○ ISO 27017, Cloud Security
○ ISO 27018, Cloud Privacy
○ FedRamp ATO
○ PCI DSS v3.1
● Google Cloud Platform поддерживает доп. соглашения для
соответствия стандартам HIPAA и EU Data Protection Directive
Сертификации и аудит Google Cloud Platform

18. Google Cloud Platform 18
Google Cloud Platform снижает затраты
Детали
Калькуляторы
AWS vs GCP цены
AWS vs GCP продукты

19. Google Cloud Platform 19
Google Cloud Platform снижает затраты

20. Более 70 точек присутствия
POPs в 33 странах создают
самую крупную сеть
облачного провайдера.
Сервисы Google достигают
пользователей по этой сети!
Глобальная сеть
Google Innovations

21. Google Cloud Platform 21
Part 2:
Big Data и Machine Learning
на основе GCP

22. Google Cloud Platform 22
Big Data, ML и хранение данных в GCP
Вычисления
Compute
Engine
App
Engine
Container
Engine
Container
Registry
Cloud
Functions
Сетевые сервисы
Cloud Virtual
Network
Cloud Load
Balancing
Cloud
CDN
Cloud
Interconnect
Cloud
DNS
Big Data
BigQuery
Cloud
Dataflow
Cloud
Dataproc
Cloud
Pub/Sub
Хранение данных
Cloud
Storage
Cloud
Bigtable
Cloud
Datastore
Cloud SQL
Persistent
Disk
Machine Learning
Cloud Machine
Learning
Vision API
Speech
API
Natural
Language API
Translation
API
Cloud
Datalab

23. Google Cloud Platform 23
27 лет скачивания
по каналу 4G
27 years
Стопка дискет в 5
тысяч раз выше башни
Федерация в Москве
x5000
50 х всех когда-либо
написанных твитов
x50
100 Библиотек
Конгресса
100
1 Петабайт - это много

24. Google Cloud Platform 24
Объем видео загруженных на
YouTube за 1 день
2 микрограмма ДНК
Объем логов 200 серверов. 50
записей в секунду за три года.
1 Петабайт - это мало

25. 25
Cloud Dataproc
Fully managed Hadoop и Spark кластеры с высокой
производительностью в облаке
Cloud Pub/Sub
Fully managed сервис очередей сообщений для обмена
данными между приложениями
Cloud Dataflow
ETL инструментарий для обработки потоковых и пакетных
данных
BigQuery
Fully managed DWH (хранилище данных) для обработки и
аналитики

26. 26
Пример архитектуры

27. Right at the start of the partnership
we were able to reduce time to
insight from 96 hours to 30 minutes
by using BigQuery.
Gary Sanders
Head of Digital Analytics
Lloyds Banking Group
“

28. Google Cloud Platform 28
Big Data, ML и хранение данных в GCP
Вычисления
Compute
Engine
App
Engine
Container
Engine
Container
Registry
Cloud
Functions
Сетевые сервисы
Cloud Virtual
Network
Cloud Load
Balancing
Cloud
CDN
Cloud
Interconnect
Cloud
DNS
Big Data
BigQuery
Cloud
Dataflow
Cloud
Dataproc
Cloud
Pub/Sub
Хранение данных
Cloud
Storage
Cloud
Bigtable
Cloud
Datastore
Cloud SQL
Persistent
Disk
Machine Learning
Cloud Machine
Learning
Vision API
Speech
API
Natural
Language API
Translation
API
Cloud
Datalab

29. Google Cloud Platform 29
● Что:
○ Алгоритмы, находящие новый смысл в входных данных на
основе обучения по прошлым выборкам
● Зачем:
○ Чтобы решать сложные аналитические задачи быстрее, точнее
и на большем объеме данных чем способен человек
● Как:
○ Посредством поиска и анализа закономерностей в данных
Machine Learning

30. Cloud
Vision
API
Идентификация
объектов
Идентификация
достопримеча-
тельностей
Распознавание
текста
Идентификация
логотипов
Обнаружение
лиц
Определение
запрещенного
контента
DEMO

31. Google Cloud Platform 31
Beta
Cloud
Natural Language
Machine Learning APIs
Beta
Cloud
Speech
Cloud
Translate
Cloud
Vision
Stay tuned...
Полностью обученные ML модели от Google Cloud, которые позволяют разработчикам
использовать всю мощность машинного обучения с помощью простых REST сервисов.

32. Google Cloud Platform 32
Google Machine Learning
Open source tool for building and running neural network models
● Гибкая архитектура:
○ CPU или GPU
○ ПК, мобильное устройство, сервер или облако
● Разработано исследователями и инженерами Google Brain
● ML проект #1по на GitHub (дата релиза ноябрь 2015)
Fully managed ML service -- no Ops
● Высокая скорость, тренировка индивидуальных моделей, максимальная точность
● Оптимизация для инфраструктуры GCP, интеграция с BigQuery и GCS -
прогнозирование в масштабе
● Совместимость с TensorFlow моделями
Cloud ML
Platform

33. Google Cloud Platform 33
Part 3:
Примеры и итоги

34. Google Confidential and Proprietary
Host Wix Editor
on App Engine
Uses Google Cloud
Storage to store static
media files
Serve production media
traffic from Compute
Engine
“We chose Google Cloud Platform because
of its ease of management, scalability and
speed of development.”
~11 Million
files uploaded per day
of storage
managed per day
600TB 8.6M
images resized
per day

35. 700million
“App Engine enabled us to focus on developing the
application. We wouldn’t have gotten here without the
ease of development that App Engine gave us.”
Bobby Murphy, CTO
Snapchat sends
photos and videos each day Google App Engine
scaled seamlessly
during growth to
millions of users
Small team is able
to innovate quickly
and expand
globally

36. Music for Everyone
75M+ Users
2B+ Playlists
30M+ Songs
Data is the center
of the Spotify
music experience
With GCP, data
teams get big data
insights in minutes
versus hours

37. 37Google Cloud Platform
“This is no small achievement as the transition means moving approximately 3 to
3.5 petabytes of user data from Evernote's two current data centers into the
Google Cloud Platform.”
fortune.com
cloudplatform.googleblog

38. 38Google Cloud Platform
“Ulmart can now create actionable dashboards, analyze its pricing against the
market, and maximize its margin without losing market leadership.”
● Ulmart выбрал Google BigQuery для
решения сложных аналитических
задач
● Знакомый синтаксис SQL запросов
and быстрая обработка в Google
BigQuery позволяют Ulmart работать с
огромными объемами данных в
реальном времени
● Ulmart экономит тысячи долларов на
тренингах и лицензировании

39. Google Cloud Platform 39
Google Cloud Platform - это:
IaaS/PaaS
Полнофункциональная
платформа с
экономией затрат Big Data /
Machine
Learning
Масштабируемые
облачные сервисы
для работы с
данными
NoOps
Снижение
издержек и
повышение
эффективности
разработки ПО
Лучшее от
Google
Все сервисы
спроектированы и
опробованы для
задач Google

40. Как OWOX BI работает с GCP

41. Google Cloud Platform 41
Требования к OWOX BI
● Возможно сфокусироваться на продукте
● Прозрачность управления данными клиентов
● Международные стандарты безопасности
● Масштабируемость
● Интеграция с Google сервисами

42. Google Cloud Platform 42
Использование GCP в OWOX BI
Pub/Sub – интеграция всех
сервисов
Compute Engine – backend для
большинства сервисов
Container Engine –
пользовательский интерфейс
App Engine — точка доступа для
запросов с UI
BigQuery – обработка больших
данных
Storage – хранение сырых
данных
Logging – работа с логами и
отладка
Cloud SQL — быстрый доступ к
структурированным данным

44. Google Cloud Platform 44
Вопросы?