Доклад о том, как решалась задача надёжного хранения файлов и данных миллионов пользователей. Рассказ про развитие архитектуры кластера Диска: от первого черновика к реальности

1. Яндекс.Диск:
Архитектура,
синхронизация
и
многое
другое
Владимир
Русинов,
менеджер
проектов
Алексей
Капранов,
менеджер
проектов
Я.Субботник,
Москва,
28
июля
2012
года

2. У
пользователя
много
всего
в
Я
— Письма
в
Яндекс.Почте
— Фотки,
Видео,
Файлы
на
Народе
— Любые
залогиновые
данные
в
Сервисах
— Многое
другое:
2

3. «Чемодан»
как
идея
Не
только
файлы!
Все
пользовательские
данные
в
Яндексе
собраны
вместе.
3

4. Задачи
для
«Чемодана»
— Хранить
любые
данные
— Синхронизировать
устройства
пользователя
— Работать
с
любыми
клиентами:
Win,
Mac,
iOS,
Android
и
т.д.
— Делать
все
автоматически
4

5. Яндекс.Диск
Продукт
-­‐
про
файлы
Платформа
-­‐
для
всех
5

6. Технические
требования
— От
10
000
000
пользователей
— Миллиарды
папок
и
файлов
— Высокая
надежность
«Одно
ясно:
жрать
будет
много!»
Кто-­‐то
из
разработчиков
6

7. Черновик
рукописный
7

8. Поехали!
8

9. Как
Стартап
— Стремительный
сбор
команды
— Выбор
удобных
технологий
— Изготовление
прототипов
— Тестирование
— Выбор
нужных
и
удачных
решений
9

10. Разработка
в
разгаре
10

11. Тестирование
прототипов
— Функциональное
— Автоматическое
— Нагрузочное
— Сотрудники
Яндекса
11

12. Делаем
всё
сразу
— Обработка
новых
идей
— Подбор
продуктовых
решений
— Подбор
интерфейсных
решений
— Подбор
технических
решений
— Активная
разработка
12

13. Прототип
превратился
в
бету
13

14. Ключевые
изменения
— Mulj-­‐master
База
Данных
— Компоненты
скачки
и
загрузки
файлов
— Общее
решение
по
хранению
данных
— API
-­‐
WebDAV
— XMPP
Push-­‐нотификации
— Готовность
к
нагрузкам
— Отказоустойчивость
14

15. Запуск
— Люди
лучше
роботов!
— 5
апреля
2012
г.
запустили
«бету
по
инвайтам»
— За
месяц
пришло
более
150
000
человек
— Увеличили
производительность
бекенда
в
50
раз
— Спланировали
полный
запуск
сервиса
— Начали
проектировать
другие
облачные
сервисы
15

16. Почему
не
сразу
все
запланировали?
Все
быстро
меняется
Все
быстро
устаревает
«Нужно
делать
то,
что
нужно
сейчас,
а
то,
что
не
нужно,
делать
не
нужно»
16 КО

17. API
Яндекс.Диска
17

18. API
— WebDAV
— XMPP
Push-­‐Нотификации
— Key/Value
хранилище
(в
разработке)
— Данные
на
Сервисах
Яндекса
(в
разработке)
— И
это
далеко
не
всё!
18

19. Клиент
Яндекс.Диска
для
Линукса
Пример использования API
19

20. Есть
два
способа
интеграции
в
ОС:
1.
Монтирование
2.
Синхронизация
20

21. Отличие
в
режиме
работы
с
сетью
21

22. Наша
реализация:
1.
WebDAV
2.
Клиентские
приложения
22

23. Для
Линукса
нет
официального
приложения
Яндекс.Диска
23

24. Я
решил
тряхнуть
стариной
24

25. Результаты
— h†p://kapranoff.ru/disk
— h†ps://github.com/kappa/yadisk-­‐sync
25

26. 26

27. ~/YandexDisk
27

28. Очень
простой
код-­‐обвязка
на
Перле
28

29. «script-­‐quality»,
но
не
линейный,
а
событийный
29

30. Как
работает
1.
Монтирует
WebDAV
в
~/.yadisk-­‐davfs
2.
Запускает
unison
на
каждое
изменение
3.
Profit!
30

31. 31

32. ~/YandexDisk
<=>
~/.yadisk-­‐davfs
32

33. Источники
событий
AnyEvent::Inotify::Simple
AnyEvent::XMPP
33

34. Лучшее применение для Перла :)
34

35. Почему
Перл:
1.
~130
строк
кода
2.
Тянет
с
собой
половину
CPAN
3.
Писалось
с
любовью
и
удовольствием!
35

36. Почему
Перл:
1.
~130
строк
кода
2.
Тянет
с
собой
половину
CPAN
3.
Писалось
с
любовью
и
удовольствием!
4.
Никогда
не
попадет
в
producjon
:)
36

37. Локальные
изменения:
37

38. Удаленные
изменения:
38

39. Жду
pull-­‐реквестов
39

40. Яндекс.Диск
Push
API
не
пропустите
:)
40

41. 41

42. Владимир
Русинов
rusinov@yandex-­‐team.ru
Алексей
Капранов
kapp@yandex-­‐team.ru