A O E Stripped

211
-1

Published on

Published in: Technology, News & Politics
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
211
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

A O E Stripped

  1. 1. Антон Ногинов «Бегун» Система хранения данных из того, что было под рукой
  2. 2. ATA over Ethernet <ul><li>Исключительно простой; </li></ul><ul><li>Работает с любым блочным устройством (файлом в понятиях Unix); </li></ul><ul><li>Не зависит от среды передачи ; </li></ul><ul><li>Маленький оверхед; </li></ul><ul><li>Работает на низком уровне и не накладывает дополнительных ограничений на уровнях выше; </li></ul><ul><li>Поддерживается основными операционными системами ; </li></ul><ul><li>Позволяет строить гибкие схемы; </li></ul><ul><li>Нетребователен к ресурсам системы; </li></ul>
  3. 3. Поддержка АОЕ <ul><li>Встроенными средствами: </li></ul><ul><ul><ul><li>Linux </li></ul></ul></ul><ul><ul><ul><li>OpenBSD </li></ul></ul></ul><ul><ul><ul><li>Plan9 </li></ul></ul></ul><ul><li>Драйверами сторонних производителей: </li></ul><ul><ul><ul><li>FreeBSD </li></ul></ul></ul><ul><ul><ul><li>Solaris </li></ul></ul></ul><ul><ul><ul><li>Windows </li></ul></ul></ul>
  4. 4. Терминология <ul><li>АОЕ-сервер – Target; </li></ul><ul><li>AOE-клиент – Initiator; </li></ul><ul><li>Нумерация дисков в Linux: </li></ul><ul><ul><li>/dev/etherd/e1.2 - блочное устройство с shelf=1 и slot=2; </li></ul></ul><ul><ul><li>/dev/etherd/e3.1p2 — второй раздел блочного устройства с shelf=3 и slot=1; </li></ul></ul>
  5. 5. AOE в Linux 2.6 <ul><li>Клиент – ядерный модуль aoe.ko. Параметры: </li></ul><ul><ul><ul><li>aoe_iflist – список сетевых интерфейсов; </li></ul></ul></ul><ul><ul><ul><li>aoe_deadsecs – таймаут в секундах; </li></ul></ul></ul><ul><ul><ul><li>Сервер – vblade. Параметры: </li></ul></ul></ul><ul><ul><ul><li>vblade [ -m mac[,mac...] ] shelf slot netif filename </li></ul></ul></ul>
  6. 6. Coraid EtherDrive под микроскопом <ul><li>Coraid EtherDrive ( www.coraid.com ) </li></ul><ul><li>Шасси Supermicro; </li></ul><ul><li>Raid-контроллер; </li></ul><ul><li>SATA/SAS диски; </li></ul><ul><li>Опционально — сетевой адаптер; </li></ul><ul><li>Проприетарная OS (видимо, Plan9); </li></ul>
  7. 7. В главных ролях: AOE-сервер (таргет) AOE-клиент (инициатор) Codename: «Банка» Codename: «Голова» Cisco WS-C3560G-48TS (в роли самого себя)
  8. 8. Тестовый стенд <ul><li>«Банка» </li></ul><ul><ul><li>шасси SC846, 4U, 24 SATA/SAS диска; </li></ul></ul><ul><ul><li>1 х 2.66 Ггц Xeon + 2 Гб памяти; </li></ul></ul><ul><ul><li>3ware 9590SE-16M , 16 SATA-портов; </li></ul></ul><ul><ul><li>4-х портовая сетевая карта Intel 82571EB; </li></ul></ul><ul><ul><li>8 Гб usb-флешка для загрузки системы; </li></ul></ul><ul><ul><li>16 дисков по 1 Тб; </li></ul></ul>
  9. 9. Методика измерений <ul><ul><li>Запись 1 большого файла на диск </li></ul></ul><ul><ul><ul><li>dd if=/dev/zero of=file.dat bs=128M/256M/512M/1G </li></ul></ul></ul><ul><ul><li>Запись большого числа файлов на диск </li></ul></ul><ul><ul><ul><li>cp -rp /usr . </li></ul></ul></ul>
  10. 10. Итерация 1: portchannel bond0 <ul><li>Загрузка канала на 25%; </li></ul><ul><li>Производительность в районе 50-70 мб/сек; </li></ul>bond0
  11. 11. Итерация 2: 4 страйпа по 4 проводам eth0 — eth3 eth0 — eth3 <ul><li>Загрузка канала на 60%; </li></ul><ul><li>Производительность в районе 100-120 мб/сек; </li></ul>4 отдельных vlan-а
  12. 12. Итерация 3: ?????
  13. 13. Итерация 4: PROFIT! eth0 — eth3 eth0 — eth3 <ul><li>Обновление драйверов; </li></ul><ul><li>Загрузка канала на 80%; </li></ul><ul><li>Уверенные 350 мб/сек; </li></ul>4 отдельных vlan-а
  14. 14. Тюнинг <ul><ul><li>Включение Jumbo на всей сети; </li></ul></ul><ul><ul><li>Установка MTU, кратного размеру блока FS, страйпа LVM и АТА-комманды для минимизации оверхеда; </li></ul></ul>
  15. 15. Итоговая производительность <ul><ul><li>Запись данных – 350 Мб/сек. </li></ul></ul><ul><ul><li>Чтение данных – 380 Мб/сек. </li></ul></ul><ul><ul><li>Кэширование на уровне файловой системы; </li></ul></ul><ul><ul><li>Кэширование в Raid-контроллере; </li></ul></ul>
  16. 16. 900 Мб/сек.
  17. 17. Что-то сломалось? <ul><ul><li>aoe_deadsecs – позволяет отмонтировать файловую систему и выгрузить драйвер; </li></ul></ul><ul><ul><li>Время переключения на другую «голову» - единицы минут; </li></ul></ul><ul><ul><li>Ethernet-оборудование – всегда доступно у поставщиков; </li></ul></ul>
  18. 18. Масштабируемость <ul><ul><li>Подключение 2-й, 3-й, n-ой «банки»; </li></ul></ul><ul><ul><li>Экспорт всего LVM-раздела с «головы» как отдельного AOE-устройства; </li></ul></ul><ul><ul><li>Экспорт дискового пространства с «головы» любыми другими протоколами; </li></ul></ul><ul><ul><li>Практическое ограничение размера диска – максимальный размер LVM logical volume, 8 Эб; </li></ul></ul>
  19. 19. Примеры нетрадиционного использования <ul><ul><li>«Сборочная фабрика» из tmpfs; </li></ul></ul><ul><ul><li>Географически распределенное зеркало; </li></ul></ul><ul><ul><li>«Общий диск»; </li></ul></ul>
  20. 20. Ответы?
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×