Александр Киракозов "Архитектура загрузчика Яндекс.Диска"Yandex
Каждый день на Яндекс.Диск заливается более десятка терабайт данных. Из доклада вы узнаете про то, как справиться с такой нагрузкой, и про другие интересные архитектурные особенности сервиса.
Коваленко Дарья - Secret Disk Enterprise - webinarDaria Kovalenko
Презентация посвящена продуктe Secret Disk Enterprise, предназначенных для защиты конфиденциальной информации на рабочих станциях, ноутбуках в корпоративной сети.
Презентация содержит общие сведения о назначении, а так же возможности продукта.
Иван Бибилов "Нагрузки в спорте высоких достижений"Yandex
2 июля 2011, Я.Субботник в Екатеринбурге
Иван Бибилов "Нагрузки в спорте высоких достижений"
О докладе:
Рассказ о спортивных проектах Яндекса, осуществленных за последние два года.
Спортивные проекты имеют четкие сроки запуска, повышенные требования к нагрузкам и отказоустойчивости. Из-за этого выбор архитектуры является очень важным вопросом. В докладе будет подробно рассказано о внутреннем устройстве спортивных проектов, кэшировании и высоких нагрузках.
Letters from the Trenches: Lessons Learned Taking MongoDB to ProductionRick Warren
eHarmony moved one family of business-critical back-end applications to MongoDB several months ago. In this presentation, I discuss some of the important lessons we learned along the way about how to provision, scale, manage, and troubleshoot MongoDB.
Александр Киракозов "Архитектура загрузчика Яндекс.Диска"Yandex
Каждый день на Яндекс.Диск заливается более десятка терабайт данных. Из доклада вы узнаете про то, как справиться с такой нагрузкой, и про другие интересные архитектурные особенности сервиса.
Коваленко Дарья - Secret Disk Enterprise - webinarDaria Kovalenko
Презентация посвящена продуктe Secret Disk Enterprise, предназначенных для защиты конфиденциальной информации на рабочих станциях, ноутбуках в корпоративной сети.
Презентация содержит общие сведения о назначении, а так же возможности продукта.
Иван Бибилов "Нагрузки в спорте высоких достижений"Yandex
2 июля 2011, Я.Субботник в Екатеринбурге
Иван Бибилов "Нагрузки в спорте высоких достижений"
О докладе:
Рассказ о спортивных проектах Яндекса, осуществленных за последние два года.
Спортивные проекты имеют четкие сроки запуска, повышенные требования к нагрузкам и отказоустойчивости. Из-за этого выбор архитектуры является очень важным вопросом. В докладе будет подробно рассказано о внутреннем устройстве спортивных проектов, кэшировании и высоких нагрузках.
Letters from the Trenches: Lessons Learned Taking MongoDB to ProductionRick Warren
eHarmony moved one family of business-critical back-end applications to MongoDB several months ago. In this presentation, I discuss some of the important lessons we learned along the way about how to provision, scale, manage, and troubleshoot MongoDB.
Простой способ мультиплатформенной синхронизации, Алёна ПаньшинаYandex
Сейчас многие используют в повседневной жизни сразу несколько устройств: смартфон, планшет, рабочий ноутбук, домашний компьютер. У них могут быть разные операционные системы, и далеко не каждое приложение позволяет синхронизировать данные между всеми устройствами. Я расскажу, как обеспечить мультиплатформенную синхронизацию данных с помощью API Яндекс.Диска.
Владимир Русинов, Алексей Капранов "Яндекс.Диск: архитектура, синхронизация и...Yandex
Доклад о том, как решалась задача надёжного хранения файлов и данных миллионов пользователей. Рассказ про развитие архитектуры кластера Диска: от первого черновика к реальности
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
Доклад об особенностях фронтенд-разработки. Речь пойдет о специфике разработки интерфейсов в больших и маленьких компаниях и о том, что должен знать хороший фронтенд-разработчик. Вы узнаете также, как устроен процесс разработки в Яндексе и какие интерфейсные задачи мы решаем.
Владимир Русинов "Яндекс.Диск. Полет нормальный"Yandex
6 апреля 2013 года Яндекс.Диску исполнился один год. В докладе рассказывается о том, что произошло с сервисом за этот год, какие продуктовые и технологические задачи решала команда, с какими проблемами столкнулись и чему научились.
За последние месяцы Microsoft сделал множество анонсов. Хочется знать все, но времени мало. Был открыт код под .NET Core. Стало возможно разрабатывать сервисы под Linux и Mac, используя ASP.NET. Появилась бесплатная версия Visual Studio Community 2013.
Доклад о самых больших изменениях и как они повлияют на нас сейчас и в будущем, что можно делать, как это делать, и многое другое — за полтора часа обзор всего случившегося за последние несколько месяцев.
Обсуждаемые темы:
Экосистема разработки
IoT
Windows 10
Web 1.0, Web 2.0, Web 3.0
Архитектура информационных ресурсов
Front-end, Back-end
API
Толстый клиент, Тонкий клиент
Web-клиент, Web-сервер
Специальные файлы и директории на web-сервере
URI, URL, URN, IRI, IDN
Использованы материалы: http://www.html5rocks.com/ru/tutorials/internals/howbrowserswork/
IBM Cloudant и Apache CouchDB: NoSQL базы данных эпохи облаковMaxim Zinal
Какой должна быть NoSQL СУБД эпохи облаков? Что такое IBM Cloudant и Apache CouchDB?
Как они связаны друг с другом, и есть ли польза для Open Source проекта от коммерческого облачного сервиса на его основе?
Similar to CodeFest 2014. Хамидуллин В. — Яндекс.Диск: Миллионы пользователей и MongoDB (20)
4. 4
Яндекс.Диск — это сервис, который позволяет хранить
файлы и обмениваться ими, а также предоставляет доступ
к файлам с любого устройства, подключѐнного к интернету.
20 млн. зарегистрированных пользователей
7 млрд. файлов
10 млн. загружаемых в сутки файлов
6. 6
SDK — http://api.yandex.ru/disk/
SDK Яндекс.Диска предназначен для приложений,
которые работают с файлами пользователей Яндекс.Диска
или хранят на Диске собственные файлы и настройки.
Objective-C — iOS, OS X
Java — Android
C# — Windows, Windows Phone
9. 9
Данные в Диске
Содержимое файлов
Mulca
Внутренняя разработка
Key-value сторадж
Синхронная запись
Метаданные
MongoDB
Структура файловой системы
Файлы и каталоги
История изменений
Данные сервиса
11. 11
Кластер MongoDB в Диске
7.5 млрд. объектов
7 ТБ данных
2 ТБ индексов
70 000 rps в базу
6 млрд. операций в день
3 реплики, 1 скрытая, 1 арбитр
30 шардов
12. 12
Вопрос на 1 ТБ
Почему в replica set желательно нечетное количество нод?
22. 22
Большие выборки
for each in list(db.collection.find({})):
unzip(each)
Вопрос на 1 ТБ
Какие проблемы могут возникнуть?
23. 23
Большие выборки
processed = 0
count = db.collection.find({}).count()
while processed < count:
for each in db.collection.find({},
skip=processed, limit=10000):
processed+=1
unzip(each)