Amazon S3

Amazon S3
ilya.lapitan@gmail.com

Amazon S3 - это:
Amazon Simple Storage Service - веб-сервис,
позволяющий хранить данные в "облаке".
Amazon S3 хранилище для Internet. Сервис
создавался для упрощения работы
разработчиков при создании
масштабируемых веб-приложений

Amazon S3 - это:
- масштабируемость
- надежность
- быстрота
- дешевизна

Amazon S3 - это:
- хранение и получения любого количества
данных
- доступ к данным в любое время
- доступ к данным с любого места, где есть
доступ к сети Internet

Amazon S3 - основные операции:
- создание Buckets
bucket - именованая область для хранения
данных. Фундаментальный контейнер для
хранения данных в Amazon S3

- сохранение данных в Buckets
Сохранение неограниченного количества
данных (ограничение размера для одного
bucket = 5 Tb max).
Доступ к каждому сохраненному объекту
осуществляется при помощи уникального
ключа

- загрузка данных из Buckets
Загрузка данных из bucket, с возможностью
предоставляние доступа к данным для
других пользователей

- настройка ограничений доступа к
данным
Настройка прав доступа к bucket (права на
сохранения файлов в bucket, права на
загрузку файлов из bucket, и т.д.)

Amazon S3 - Bucket
Bucket - контейнер для сохранения объектов
в Amazon S3. Каждый объект находится в
своем bucket
Bucket:
-организует пространство имен Amazon S3
-играют важную роль в контроле доступа
-служит единицой агрегации в отчетах за
использование сервиса S3

Amazon S3 - Bucket
имя для bucket должно быть уникальным
среди других имен в Amazon S3
bucket принадлежит аккаунту который его
создал
одновременно каждый AWS аккаунт может
иметь до 100 buckets, количество файлов в
одном bucket не ограничено

Amazon S3 - Bucket
bucket нельзя передать другому
пользователю Amazon S3, однако можно
удалить пустой bucket и имя будет доступно
для повторного использования
bucket нельзя создать внутри другого bucket

Amazon S3 - Bucket
поскольку создание bucket связано с
использованием глобального пространства
ресурсов Amazon S3, лучше вынести
операции создания/удаления buckets на этап
инициализации либо установки

Amazon S3 - Bucket
если ваше приложение автоматически
создает bucket, вы должны:
-описать алгоритм генерации имен не
допускающий коллизии имен
-описать поведение в случае, если bucket с
таким именем уже существует

Amazon S3 - Bucket
DNS-совместимые правила именования
buckets:
-имя не менее 3 и не более 63 символов
-имя не должно иметь формат IP-адреса
(например: 192.168.1.1)
-имя должно состоять из одной или более
меток

Amazon S3 - Bucket
Правила для меток используемых для
задания имени bucket:
-метка должна начинаться со строчной буквы
или цифры
-метка должна заканчиваться строчной буквой
или цифрой
-метка может содрежать строчные буквы,
цифры и дефисы

Amazon S3 - Bucket
Замечание для региона US Standard:
-имя bucket может быть длиной до 255
символов
-имя bucket может содержать любую
комбинацию заглавных и строчных букв,
цифр, точек, тире и подчеркиваний
Amazon рекомендует для региона US
Standard так же использовать DNSсовместимые именя для buckets.

Amazon S3 - Object
Object - фундаментальная сущность
сохраняемая в Amazon S3. По-сути,
сохраненный файл.
Каждй объект уникально идентифицируется
внутри bucket ключем(именем) и versionID.

Amazon S3 - Object
Object:
-ключ (имя назначенное объекту,Key)
-данные(последовательность байт,Value)
-мета-данные(Metadata)
-версия(Version ID)
-субресурсы(специфическая специальная
информация для объекта, Subresources)
-инфорация доступа к ресурсам(Access
Control Information)

Amazon S3 - Мета-данные
Мета-данные - данные в виде пары ключзначение, которые описывают объект Amazon
S3.
Мета-данные:
-системные(дата последнего изменения,
content-type и др)
-пользовательские

Amazon S3 - Мета-данные
Системеные метаданные:
-метаданные, не доступные для изменения
пользователю (время создания объекта)
-метаданные, которые пользователь может
изменить (шифрование на стороне сервера)

Amazon S3 - Key
Key - уникальный идентификатор объекта
внутри bucket. Каждый объект имеет только
один уникальный ключ.
Длина ключа не более 1024 байта
последовательности UTF-8 символов.

Amazon S3 - Достут к объекту
Каждый объект в Amazon S3 может быть
доступен по комбинации:
-конечная точка веб-сервиса
-имя bucket (например: bucket)
-ключ (например: /test/File.txt)
-версия(опционально)
URL для доступа:
http://bucket.s3.amazonaws.com/test/File.txt

Amazon S3 - Регионы
Выбор региона для работы с Amazon S3
позволяет:
-минимизировать задержку доступа
-минимизировать стоимость
Объекты сохраняемые в определенном
регионе никогда его не покидают, за
исключением трансфера данных в другой
регион.

Amazon S3 поддерживает следующие
регионы:
-US Standard - сервисы в US(Northern Virginia
и Pacific Northwest). Регион по умолчанию.
Для всех запросов:eventual consistency.

регионы:
-US West(Oregon)
Создание нового объекта:
read-after-write consistency
Перезапись или удаление существующего:
eventual consistency.

регионы:
-US West(Northern California)

регионы:
-EU(Ireland)

регионы:
-AsiaPacific(Singapore)

регионы:
-AsiaPacific(Sydney)

регионы:
-AsiaPacific(Tokyo)

регионы:
-SouthAmerica(Sao Paulo)

Amazon S3 - Синхронизация данных
Обновление одного ключа атомарная
операция, т.е. если вы сохраняете объект по
существующему ключу, последующая попытка
прочитать данные вернет либо старые
данные, либо обновленные.
Amazon S3 реплицирует данные между
нескольким серверами, данные считаются
безопасно сохраненными, если репликация
прошла успешно.

Модели поведения при синхронизации:
-процесс пишет новый объект в S3 и сразу
пытается его прочитать. Пока изменение не
будет полностью проведено, S3 может
вернуть: "key does not exist".

-процесс пишет новый объект в S3 и сразу
пытается получить список объектов. Пока
изменение не будет полностью проведено,
данного объекта может не быть в списке.

-процесс заменяет существующий файл и
пытается сразу прочитать его.Пока изменение
не будет полностью проведено, Amazon может
вернуть старые данные.

-процесс удаляет существующий файл и
пытается сразу его прочитать.Пока изменение
не будет полностью проведено, Amazon может
вернуть удаленные данные.

-процесс удаляет существующий файл и
пытается сразу получить списко объектов.
Пока изменение не будет полностью
проведено, данный объект может быть в
списке файлов.

Модели чтения данных:
-Eventually Consistent Read
-Consistent Read

Eventually Consistent Read:
-возможно чтение старых данных
-ниже скорость задержки при чтении
-высокая пропускная способоность

Consistent Read:
-актуальные данные при чтении
-потенациально выше задержаки при чтении
-потенциально ниже пропускная способность

Амазон S3 не поддерживает блокировку
объектов. Если сохранять 2 объекта
одновременно, в конечном счете будет
сохранен объект с позднейшей временной
меткой.
Для предотвращения таких ситуаций
необходимо самостоятельно реализовать
механизм блокировки объектов.

Обновление ключей происходит независимо.
Если вам необходима возможность
обновления одного ключа в замисимости от
обновления другого, вам необходимо
реализовать этот механизм самостоятельно.

Amazon S3 - Хранение данных
Классы хранения данных Amazon S3:
-Standard
-RRS
-Glacier

Amazon S3 - RRS
Reduced Redundancy Storage - хранилище
сокращенной избыточности
RRS позволяет клиентам сократить издержки
на хранение некритических, воспроизводимых
данных на более низких уровнях
избыточности.

Amazon S3 - RRS
RRS - реплецирует данные не столько раз,
сколько это делает стандартное Amazon S3
хранилище, что делает данную технологию
более экономически эффективной.
RRS обеспечивает надежность хренения
99.99% (Standard S3 - 99.999999999%)
объектов в год, и только 0.01% отводится на
потерю объекта.

Amazon S3 - Glacier
Glacier - хранилище для архивных данных, с
редкими запросами на чтение, которые
позволяют задержки на поиск информации
порядка нескольких часов.
Нельзя непосредственно сохранить объект в
Glacier. Amazon S3 сам может заархивирует
объекты для вас.

Amazon S3 - Glacier
Glacier поддерживает только обносторонее
преобразование класса хранилища для
объекта.
Чтобы поменять класс хранилища для объекта
класса Glaicer на Standard или RRS,
необходимо восстановить объект и
скопировать его копию в подходящий класс
хранилища.

Amazon S3 - Настройки доступа
Amazon S3 предусматривает
централизованное управление доступом и
различные условия доступа.
APL(Access Policy Language) - язык описания
политики доступа.
ACL(Access Control List) - список разрешений
назначенный объекту

Amazon S3 поддерживает:
-resource-based контроль доступа(APL, ACL)
-user-based контроль доступа

Права доступа установленные на bucket
применяются для всех файлов в нем.
Использование APL позволяет задать права
доступа для любого количества объектов в
bucket при помощи одного запроса.

APL разрешает или запрещает запросы на
основе:
-операций с объектами
-субъекта запрашивающего данные
-описанных условий доступа

Amazon S3 интегрирован с AWS Identity and
Access Management (IAM).
AWS IAM позволяет:
-создавать отдельных пользователей и группы
пользователей внутри AWS аккаунта
-легко разделять ресуры AWS аккаунта между
пользователями в аккаунте
-предоставить временный доступ к сервисам и
ресурсам

-назначать уникальные учетные записи для
каждого пользователя
-установить раздельный контроль за доступом
пользователй к сервисам и ресурсам
-получать один счет на оплату для всех
пользователей под одним AWS аккаунтом

Каждое обращение к амазону может быть:
-аутентифицированными
-анонимным
Для аутентифицированного доступа
неоходимо пройти этап аутентификации проверки подлинности инициатора запроса,
который пытается получить доступ к продукту
AWS.

Для аутентифицированного доступа к ресурсу
каждый пользовательй должен иметь пару
ключей:
-открытый ключ доступа (Access Key ID)
(20 символов)
-закрытый ключ доступа (Secret Access Key)
(40 символов)
Access Key ID однозначно определяет аккаунт
AWS.

Чтобы узнать свои учетные данные
безопасности для аккаунта необходимо:
-перейти на http://aws.amazon.com
-войти в аккаунт
-перейти на вкладку Account
-кликнуть на Security Credentials

Стандартное время сесси у Amazon - 1ч.
При использовании IAM параметров доступа,
можно определить продолжительность
сесси от 1 до 36 часов, для временных
политик безопасности.

Amazon S3

More Related Content

Viewers also liked

Similar to Amazon S3

Amazon S3