Download to read offline
Uploaded byOntico
Опыт построения СХД на базе Windows Server для использования в публичном облаке в компании Dataline / Сергей Груздов (DataLine)
Документ описывает высокопроизводительную систему хранения данных (СХД) на базе Windows Server для использования в публичном облаке компании Dataline, включая архитектуру, протоколы и программные решения. Рассмотрены преимущества и недостатки, такие как многопоточная дедупликация и возможности гибкого масштабирования. Также представлены примеры аппаратного обеспечения и конфигурации для оптимизации хранения и сети.
More Related Content
Similar to Опыт построения СХД на базе Windows Server для использования в публичном облаке в компании Dataline / Сергей Груздов (DataLine)
Опыт построения СХД на базе Windows Server для использования в публичном облаке в компании Dataline / Сергей Груздов (DataLine)
- 1. Высокопроизводительная СХД на базеWindows Server для использования в публичном облаке компании DataLine Сергей Груздов .
- 2. • Сервис-провайдер • Собственныедатацентры • Колокейшн • Услуги публичного облака
- 3. ВВЕДЕНИЕ • ЧТО ТАКОЕSDS • ПОЧЕМУ SDS • Независимость от производителя оборудования • Использование имеющегося оборудования
- 4. ПРОГРАММНО-АППАРАТНЫЕ РЕШЕНИЯ • HPP4000 (LeftHand) • EMC Evo-Rail • Nutanix • Cluster-In-Box
- 5. ПРОГРАММНЫЕ РЕШЕНИЯ Решение ПротоколыROCE Резервирование VSAN ISCSI/NFS/CIFS - RAIN CEPH ISCSI/NFS/CIFS - RAIN HP P4000 ISCSI/NFS/CIFS RAIN EMC ScaleIO ISCSI/NFS/CIFS - RAIN Starwind SAN ISCSI - RAIN Storage Spaces ISCSI/NFS/CIFS/SMB3 + (SMB Direct) RAID Storage Spaces Direct ISCSI/NFS/CIFS/SMB3 + (SMB Direct) RAIN
- 6. ПОСТРОЕНИЕ ПУБЛИЧНОГО ОБЛАКА •ПАРТНЕРСКАЯ ПРОГРАММА COSN • Референсная архитектура
- 7. АРХИТЕКТУРА РЕШЕНИЯ Управляющий кластер 2узла DELL PowerEdge R730 Сетевой кластер 2 узла DELL PowerEdge R730 Вычислительный кластер 14 узлов DELL PowerEdge R820
- 8. АРХИТЕКТУРА РЕШЕНИЯ Хранилище 2 JBODDELL PowerVault MD3060e SSD/SATA SSD/SATA СХД на основе Windows Storage Spaces (Scale-Out File Server) 2 узла DELL PowerEdge R730
- 9. АРХИТЕКТУРА STORAGE SPACES ClusterNodes SAS JBOD Storage Spaces Storage Pool Storage Spaces Virtual Disks Cluster Shared Volumes NTFS/ReFS On-Disk File System
- 10. ОРГАНИЗАЦИЯ ХРАНЕНИЯ • Уровнихранилища • Кэш • Виды кэшей
- 11. ОПТИМИЗАЦИЯ STORAGE TIERSИ КЭШ SSD Tier (и Write-Back кэш) Storage Space HDD Tier «Горячие» данные «Холодные» данные
- 12. СЕТЕВОЕ ВЗАИМОДЕЙСТВИЕ • Оптимизациясетевых настроек • SMB Multichannel • ROCE (Rdma Over Converged Ethernet) • DataCenter Bridging
- 13. SMВ DIRECT ClientFile Storage SMBServer SMB Client Transport Protocol Driver Transport Protocol Driver NIC Driver NIC Driver NIC Application App Buffer SMB Buffer SMB Buffer OS Buffer OS Buffer Driver Buffer Driver Buffer Adapter Buffer NIC Adapter Buffer w/o RDMA File Storage Client SMB Server SMB Client Transport Protocol Driver Transport Protocol Driver NIC Driver NIC Driver NIC Application App Buffer SMB Buffer SMB Buffer OS Buffer OS Buffer Driver Buffer Driver Buffer Adapter Buffer NIC Adapter Buffer RoCE with RDMA
- 14. ПОДВОДНЫЕ КАМНИ • Прошивки •Исправление неявных проблем • Логический/физический сектор • Существующие типы дисков • Native 512 (512/512) • 512e (512/4096) • Native 4K (4096/4096) • Пул с дисками разного типа
- 15. СООТНОШЕНИЕ РАЗМЕРА СЕКТОРОВ HDD512e (512/4096) Volume 4K (4096/4096) Virtual Disk 512e (512/4096)
- 16. ПОЛИТИКА RMW(Read-Modify-Write) 4K PhysicalSector 512 512 512 512 512 512 512 512 Считывание 4К физического сектора с носителя в кэш.1 4K Physical Sector 512512512512512512512 512 2 Обновление 512- байтного логического сектора в кэше. 4K Physical Sector 512512512512512512512 512 3 Перезапись 4К физического сектора на носителе.
- 17. НЕДОСТАТКИ РЕШЕНИЯ • Сложностьнастройки • Однопоточная дедупликация • Отсутствие ребалансировки • Масштабирование
- 18.
- 19. АРХИТЕКТУРА STORAGE SPACESDIRECT Storage Spaces Storage Pool Storage Spaces Virtual Disks Cluster Shared Volume Software Storage Bus ReFS On-Disk File System
- 20. РЕЗЕРВИРОВАНИЕ ДАННЫХ Virtual DiskExtents Server E A’’ Server B A’B Server C B’C Server D B’’C’ Server A A C’’
- 21. ИЗМЕНЕНИЯ • Простота настройки •Многопоточная дедупликация • Различные сценарии • Гибкое масштабирование • Mutliresilence Virtual Disks
- 22. СРАВНЕНИЕ ПРОИЗВОДИТЕЛЬНОСТИ Решение ЧтениеЗапись Storage Spaces (до) 800 Mb/s 100 Mb/s Storage Spaces Direct 2 Gb/s 1 Gb/s Storage Spaces (после) 3 Gb/s 1 Gb/s
- 23.