Леонид Васильев "Python в инфраструктуре поиска" Я.Субботник в Санкт-Петербурге О докладе: Что такое инфраструктура поиска. Какие задачи приходится решать. Какие инструменты для управления кластером используются в поиске. Как они устроены изнутри. Что можно посоветовать проектам с большой инфраструктурой. Какие существуют open-source аналоги.

1. Python в
инфраструктуре поиска
Леонид Васильев
Разработчик
Я.Субботник, Санкт — Петербург,
3 декабря 2011 года

2. Чем мы занимаемся
Автоматизация,
Мониторинг
1

3. «Песочница»
Автоматизация сборки,
тестирования и релиза проектов
Development Production
Testing
2

4. «Песочница»
разработчики
админы
тестировщики
3

5. «Песочница»
Сборка проектов
Разработчики Юнит-тесты
Эксперименты
4

6. «Песочница»
Функциональные
Тестировщики тесты
Обработка данных
5

7. «Песочница»
Выкладка
Администраторы проектов в
production среду
6

8. «Песочница»
Пример письма на релиз
Author: chin
Sandbox task:
http://quentao.yandex-team.ru/sandbox/tasks/view?task_id=1230745
Resources:
* binary[freebsd]:
binaries/basesearch (md5: 6e1f92b4d09da9a3007cb6ace6841275)
sandbox035:/sandbox-data/tasks/5/4/1230745/binaries/basesearch
rbtorrent:a66817b07481b7de12019dbf4dd68e21f236147f
Changelog:
* фича1
* фича2
..
* фича N
7

9. «Песочница»
Модель
Контекст Таск Ресурс
from sandbox import Task
class MyTask(Task):
MyTask(Task)
def __init__(self, ctx, **params): self.ctx = ctx
ctx
def execute(self):
self.create_resource('Empty file',
self.ctx['file_name'],
self.ctx['resource_type'])
open(self.ctx['file_name'], 'w')
8

10. «Песочница»
Дьявол в деталях
9

11. «Песочница»
~70 серверов
HDD: ~190TB
Кластер RAM: ~2.7TB
«sandbox» nCPU: ~1400
OS: Linux, FreeBSD
sky run --separate 'df -B G' +SANDBOXL | grep '/place$' |
awk '{t+=$2} END {print t}'
sky run --separate 'cat /proc/meminfo' +SANDBOXL | grep
MemTotal | awk '{t+=$2} END {printf "%.0fn", t / 1048576}'
10

12. «Песочница»
Мастер
Xmlrpc и веб
интерфейс
Пулы worker'ов
Таски (в SVN) Хранилища
11

13. «Песочница»
~ 4 000 тасков в сутки
~ 20 000 ресурсов в сутки
12

14. Леонид Васильев
Разработчик
chin@yandex-team.ru
twitter.com/chingun