Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Антон Ногинов «Бегун» Система хранения данных из того, что было под рукой
ATA over Ethernet <ul><li>Исключительно простой;  </li></ul><ul><li>Работает с любым блочным устройством (файлом в понятия...
Поддержка АОЕ <ul><li>Встроенными средствами:  </li></ul><ul><ul><ul><li>Linux </li></ul></ul></ul><ul><ul><ul><li>OpenBSD...
Терминология <ul><li>АОЕ-сервер – Target;  </li></ul><ul><li>AOE-клиент – Initiator;  </li></ul><ul><li>Нумерация дисков в...
AOE в Linux 2.6 <ul><li>Клиент – ядерный модуль aoe.ko. Параметры:  </li></ul><ul><ul><ul><li>aoe_iflist – список сетевых ...
Coraid EtherDrive под микроскопом <ul><li>Coraid EtherDrive ( www.coraid.com ) </li></ul><ul><li>Шасси Supermicro;  </li><...
В главных ролях: AOE-сервер (таргет) AOE-клиент (инициатор) Codename: «Банка» Codename: «Голова» Cisco WS-C3560G-48TS (в р...
Тестовый стенд <ul><li>«Банка» </li></ul><ul><ul><li>шасси  SC846, 4U, 24 SATA/SAS диска;  </li></ul></ul><ul><ul><li>1 х ...
Методика измерений <ul><ul><li>Запись 1 большого файла на диск  </li></ul></ul><ul><ul><ul><li>dd if=/dev/zero of=file.dat...
Итерация 1: portchannel bond0 <ul><li>Загрузка канала на 25%; </li></ul><ul><li>Производительность в районе 50-70 мб/сек; ...
Итерация 2: 4 страйпа по 4 проводам eth0 — eth3  eth0 — eth3  <ul><li>Загрузка канала на 60%; </li></ul><ul><li>Производит...
Итерация 3: ?????
Итерация 4: PROFIT! eth0 — eth3  eth0 — eth3  <ul><li>Обновление драйверов;  </li></ul><ul><li>Загрузка канала на 80%; </l...
Тюнинг <ul><ul><li>Включение Jumbo на всей сети;  </li></ul></ul><ul><ul><li>Установка MTU, кратного размеру блока FS, стр...
Итоговая производительность <ul><ul><li>Запись данных – 350 Мб/сек.  </li></ul></ul><ul><ul><li>Чтение данных – 380 Мб/сек...
900 Мб/сек.
Что-то сломалось? <ul><ul><li>aoe_deadsecs – позволяет отмонтировать файловую систему и выгрузить драйвер;  </li></ul></ul...
Масштабируемость <ul><ul><li>Подключение 2-й, 3-й, n-ой «банки»; </li></ul></ul><ul><ul><li>Экспорт всего LVM-раздела с «г...
Примеры нетрадиционного использования <ul><ul><li>«Сборочная фабрика» из tmpfs;  </li></ul></ul><ul><ul><li>Географически ...
Ответы?
Upcoming SlideShare
Loading in …5
×

A O E Stripped

299 views

Published on

Published in: Technology, News & Politics
  • Be the first to comment

  • Be the first to like this

A O E Stripped

  1. 1. Антон Ногинов «Бегун» Система хранения данных из того, что было под рукой
  2. 2. ATA over Ethernet <ul><li>Исключительно простой; </li></ul><ul><li>Работает с любым блочным устройством (файлом в понятиях Unix); </li></ul><ul><li>Не зависит от среды передачи ; </li></ul><ul><li>Маленький оверхед; </li></ul><ul><li>Работает на низком уровне и не накладывает дополнительных ограничений на уровнях выше; </li></ul><ul><li>Поддерживается основными операционными системами ; </li></ul><ul><li>Позволяет строить гибкие схемы; </li></ul><ul><li>Нетребователен к ресурсам системы; </li></ul>
  3. 3. Поддержка АОЕ <ul><li>Встроенными средствами: </li></ul><ul><ul><ul><li>Linux </li></ul></ul></ul><ul><ul><ul><li>OpenBSD </li></ul></ul></ul><ul><ul><ul><li>Plan9 </li></ul></ul></ul><ul><li>Драйверами сторонних производителей: </li></ul><ul><ul><ul><li>FreeBSD </li></ul></ul></ul><ul><ul><ul><li>Solaris </li></ul></ul></ul><ul><ul><ul><li>Windows </li></ul></ul></ul>
  4. 4. Терминология <ul><li>АОЕ-сервер – Target; </li></ul><ul><li>AOE-клиент – Initiator; </li></ul><ul><li>Нумерация дисков в Linux: </li></ul><ul><ul><li>/dev/etherd/e1.2 - блочное устройство с shelf=1 и slot=2; </li></ul></ul><ul><ul><li>/dev/etherd/e3.1p2 — второй раздел блочного устройства с shelf=3 и slot=1; </li></ul></ul>
  5. 5. AOE в Linux 2.6 <ul><li>Клиент – ядерный модуль aoe.ko. Параметры: </li></ul><ul><ul><ul><li>aoe_iflist – список сетевых интерфейсов; </li></ul></ul></ul><ul><ul><ul><li>aoe_deadsecs – таймаут в секундах; </li></ul></ul></ul><ul><ul><ul><li>Сервер – vblade. Параметры: </li></ul></ul></ul><ul><ul><ul><li>vblade [ -m mac[,mac...] ] shelf slot netif filename </li></ul></ul></ul>
  6. 6. Coraid EtherDrive под микроскопом <ul><li>Coraid EtherDrive ( www.coraid.com ) </li></ul><ul><li>Шасси Supermicro; </li></ul><ul><li>Raid-контроллер; </li></ul><ul><li>SATA/SAS диски; </li></ul><ul><li>Опционально — сетевой адаптер; </li></ul><ul><li>Проприетарная OS (видимо, Plan9); </li></ul>
  7. 7. В главных ролях: AOE-сервер (таргет) AOE-клиент (инициатор) Codename: «Банка» Codename: «Голова» Cisco WS-C3560G-48TS (в роли самого себя)
  8. 8. Тестовый стенд <ul><li>«Банка» </li></ul><ul><ul><li>шасси SC846, 4U, 24 SATA/SAS диска; </li></ul></ul><ul><ul><li>1 х 2.66 Ггц Xeon + 2 Гб памяти; </li></ul></ul><ul><ul><li>3ware 9590SE-16M , 16 SATA-портов; </li></ul></ul><ul><ul><li>4-х портовая сетевая карта Intel 82571EB; </li></ul></ul><ul><ul><li>8 Гб usb-флешка для загрузки системы; </li></ul></ul><ul><ul><li>16 дисков по 1 Тб; </li></ul></ul>
  9. 9. Методика измерений <ul><ul><li>Запись 1 большого файла на диск </li></ul></ul><ul><ul><ul><li>dd if=/dev/zero of=file.dat bs=128M/256M/512M/1G </li></ul></ul></ul><ul><ul><li>Запись большого числа файлов на диск </li></ul></ul><ul><ul><ul><li>cp -rp /usr . </li></ul></ul></ul>
  10. 10. Итерация 1: portchannel bond0 <ul><li>Загрузка канала на 25%; </li></ul><ul><li>Производительность в районе 50-70 мб/сек; </li></ul>bond0
  11. 11. Итерация 2: 4 страйпа по 4 проводам eth0 — eth3 eth0 — eth3 <ul><li>Загрузка канала на 60%; </li></ul><ul><li>Производительность в районе 100-120 мб/сек; </li></ul>4 отдельных vlan-а
  12. 12. Итерация 3: ?????
  13. 13. Итерация 4: PROFIT! eth0 — eth3 eth0 — eth3 <ul><li>Обновление драйверов; </li></ul><ul><li>Загрузка канала на 80%; </li></ul><ul><li>Уверенные 350 мб/сек; </li></ul>4 отдельных vlan-а
  14. 14. Тюнинг <ul><ul><li>Включение Jumbo на всей сети; </li></ul></ul><ul><ul><li>Установка MTU, кратного размеру блока FS, страйпа LVM и АТА-комманды для минимизации оверхеда; </li></ul></ul>
  15. 15. Итоговая производительность <ul><ul><li>Запись данных – 350 Мб/сек. </li></ul></ul><ul><ul><li>Чтение данных – 380 Мб/сек. </li></ul></ul><ul><ul><li>Кэширование на уровне файловой системы; </li></ul></ul><ul><ul><li>Кэширование в Raid-контроллере; </li></ul></ul>
  16. 16. 900 Мб/сек.
  17. 17. Что-то сломалось? <ul><ul><li>aoe_deadsecs – позволяет отмонтировать файловую систему и выгрузить драйвер; </li></ul></ul><ul><ul><li>Время переключения на другую «голову» - единицы минут; </li></ul></ul><ul><ul><li>Ethernet-оборудование – всегда доступно у поставщиков; </li></ul></ul>
  18. 18. Масштабируемость <ul><ul><li>Подключение 2-й, 3-й, n-ой «банки»; </li></ul></ul><ul><ul><li>Экспорт всего LVM-раздела с «головы» как отдельного AOE-устройства; </li></ul></ul><ul><ul><li>Экспорт дискового пространства с «головы» любыми другими протоколами; </li></ul></ul><ul><ul><li>Практическое ограничение размера диска – максимальный размер LVM logical volume, 8 Эб; </li></ul></ul>
  19. 19. Примеры нетрадиционного использования <ul><ul><li>«Сборочная фабрика» из tmpfs; </li></ul></ul><ul><ul><li>Географически распределенное зеркало; </li></ul></ul><ul><ul><li>«Общий диск»; </li></ul></ul>
  20. 20. Ответы?

×