Linux adattárolási képességei

631 views

Published on

2007

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
631
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Linux adattárolási képességei

  1. 1. Linux adatkezelési képességei avagyRAID, LVM és állományrendszerek Szalai Ferenc szferi@avaxio.hu http://www.avaxio.hu http://www.avaxio.hu
  2. 2. Nézz magadba és rendszereidre! http://www.avaxio.hu http://www.avaxio.hu
  3. 3. Mi a tipikus konfiguráció? http://www.avaxio.hu http://www.avaxio.hu
  4. 4. 1 szerverben, 1 vagy maximum néhány merevemez. Nincs redundancia! http://www.avaxio.hu http://www.avaxio.hu
  5. 5. Azán, ha megtörténik a baj http://www.avaxio.hu http://www.avaxio.hu
  6. 6. Sírás van http://www.avaxio.hu http://www.avaxio.hu
  7. 7. vagy mentéslegyen mentés! http://www.avaxio.hu http://www.avaxio.hu
  8. 8. Előzzük meg a bajt!Használjunk hibatűrő megoldásokat! http://www.avaxio.hu http://www.avaxio.hu
  9. 9. Olcsó merevlemezekből építkezzünk (SATA, ATA) http://www.avaxio.hu http://www.avaxio.hu
  10. 10. RAID: Redundant Array of Inexpensive Disks(David A. Patterson, Garth A. Gibson and Randy Katz, 1988 junius) http://www.avaxio.hu http://www.avaxio.hu
  11. 11. RAID szintek http://www.avaxio.hu http://www.avaxio.hu
  12. 12. Elemi egység: BLOKK http://www.avaxio.hu http://www.avaxio.hu
  13. 13. RAID 0 - stripeNincs redundancia! http://www.avaxio.hu http://www.avaxio.hu
  14. 14. RAID 0 Sebességre hajtunk! http://www.avaxio.hu http://www.avaxio.hu
  15. 15. RAID 1 - mirror http://www.avaxio.hu http://www.avaxio.hu
  16. 16. RAID 5 Parittás (pl. Hamming ECC) a te barátod! http://www.avaxio.hu http://www.avaxio.hu
  17. 17. Jó nekem a 1TB-os lemez? http://www.avaxio.hu http://www.avaxio.hu
  18. 18. Problémák nagy lemezekkel● Nagy sebesség eltérések a lemez elején vs végén (20-30%)● Hosszú RAID szinkronizációs idő● Egybe vesztünk sokat● Élettartam problémák (<< 300.000 óra két hiba között) http://www.avaxio.hu http://www.avaxio.hu
  19. 19. A dupla merevlemezmeghibásodások száma arányos a merevlemez számának 3-adik hatványával! http://www.avaxio.hu http://www.avaxio.hu
  20. 20. Sok lemeznél a RAID5 nemmegoldás! Legalább RAID6 legyen! http://www.avaxio.hu http://www.avaxio.hu
  21. 21. RAID6 Parittásbol sosem elég! Legyen rögtön kettő! http://www.avaxio.hu http://www.avaxio.hu
  22. 22. Kevert RAID szintek● Alap szintek kombinálhatók.● Pl: RAID 0+1, RAID1+0 http://www.avaxio.hu http://www.avaxio.hu
  23. 23. Az örök dilemma:Hardver vagy softver RAID? http://www.avaxio.hu http://www.avaxio.hu
  24. 24. 3ware 9560 PCI-E RAID vezérlő Vs. Linux szoftver RAID http://www.avaxio.hu http://www.avaxio.hu
  25. 25. http://www.avaxio.hu http://www.avaxio.hu
  26. 26. http://www.avaxio.hu http://www.avaxio.hu
  27. 27. Linux szoftver RAID HOGYAN http://www.avaxio.hu http://www.avaxio.hu
  28. 28. Kell egy eszköz! http://www.avaxio.hu http://www.avaxio.hu
  29. 29. MDADM a te barátod http://www.avaxio.hu http://www.avaxio.hu
  30. 30. mdadm --create --auto=yes --level=5 --raid-devices=3 –-spare-devices=1 /dev/md0 /dev/sdn /dev/sdk /dev/sdl /dev/sdmmdadm –-stop /dev/md0 http://www.avaxio.hu http://www.avaxio.hu
  31. 31. cat /proc/mdstatPersonalities : [raid0] [raid6] [raid5] [raid4]md3 : active raid5 sdl[4] sdm[3](S) sdk[1] sdn[0] 976772992 blocks level 5, 64k chunk, algorithm 2 [3/2] [UU_] [>....................] recovery = 0.0% (241152/488386496) finish=134.9min speed=60288K/secunused devices: <none> http://www.avaxio.hu http://www.avaxio.hu
  32. 32. mdadm --detail /dev/md3/dev/md3: Version : 00.90.03 Creation Time : Sat Oct 13 07:03:46 2007 Raid Level : raid5 Array Size : 976772992 (931.52 GiB 1000.22 GB) Device Size : 488386496 (465.76 GiB 500.11 GB) Raid Devices : 3 Total Devices : 4Preferred Minor : 3 Persistence : Superblock is persistent Update Time : Sat Oct 13 07:03:46 2007State : clean, degraded, recoveringActive Devices : 2Working Devices : 4Failed Devices : 0 Spare Devices : 2 Layout : left-symmetric Chunk Size : 64KRebuild Status : 0% complete UUID : f1b7a549:ceee3fb8:8cf68a7e:6edfe29a Events : 0.1 Number Major Minor RaidDevice State 0 8 208 0 active sync /dev/sdn 1 8 160 1 active sync /dev/sdk 4 8 176 2 spare rebuilding /dev/sdl 3 8 192 - spare /dev/sdm http://www.avaxio.hu http://www.avaxio.hu
  33. 33. mdadm –-failmdadm –-removemdadm –-addmdadm –-assemble –-scan /dev/md0mdadm –-monitor –-demonise – scan(/etc/default/mdadm)(/etc/cron.d/mdadm -> checkarray) http://www.avaxio.hu http://www.avaxio.hu
  34. 34. mdadm --detail –-scan >> /etc/mdadm/mdadm.confARRAY /dev/md3 level=raid5 num- devices=3 spares=2 UUID=f1b7a549:ceee3fb8:8cf68a7 e:6edfe29a http://www.avaxio.hu http://www.avaxio.hu
  35. 35. Figyeljünk a nevekre! /dev/disk/by-id http://www.avaxio.hu http://www.avaxio.hu
  36. 36. Daraboljunk intelligensen! (Linux Volume Management (LVM)azaz PV, VG, LV és egyéb állatfajták) http://www.avaxio.hu http://www.avaxio.hu
  37. 37. Emlékeztető:Még mindig blokk az elemi egység http://www.avaxio.hu http://www.avaxio.hu
  38. 38. http://www.avaxio.hu http://www.avaxio.hu
  39. 39. Fizikai kötetek - PVpvcreate /dev/md3pvcreate /dev/hda1pvscanPV /dev/md3 lvm2 [931.52 GB] Total: 1 [931.52 GB] / in use: 0 [0 ] / in no VG: 1 [931.52 GB]pvresizepvdisplaypvremove http://www.avaxio.hu http://www.avaxio.hu
  40. 40. Az LVM egyik legfontosabb előnye a méretgazdálkodás http://www.avaxio.hu http://www.avaxio.hu
  41. 41. Kötet csoportok – VGvgcreate barmi /dev/md3 /dev/hda1vgsVG #PV #LV #SN Attr VSize VFreebarmi 1 0 0 wz--n- 931.52G 931.52Gvgdisplayvgrenamevgremove http://www.avaxio.hu http://www.avaxio.hu
  42. 42. Logikai kötetek - LVlvcreate -i 2 -n var -L 300M barmi/dev/barmi/varlvs LV VG Attr LSize Origin Snap% Move Log Copy% var barmi -wi-a- 300.00Mlvdisplaylvremovelvresizelvreduce http://www.avaxio.hu http://www.avaxio.hu
  43. 43. Figyelemre méltó apróság: snapshot http://www.avaxio.hu http://www.avaxio.hu
  44. 44. lvcreate –-snapshot -L 512M -n backup /dev/sda1● a snapshot készítése előtte állítsunk le minden I/O műveletet● a méret az eredeti kötet 10-20% kell csak legyen http://www.avaxio.hu http://www.avaxio.hu
  45. 45. http://www.avaxio.hu http://www.avaxio.hu
  46. 46. Paraméter Default Opt/sys/block/sda/queue/max_sectors_kb 128 64/sys/block/sda/queue/nr_requests 128 512blockdev –setra 256 16384/sys/block/sda/queue/scheduler deadline cfqionice -c2 -n0 http://www.avaxio.hu http://www.avaxio.hu
  47. 47. Melyik állományrendszert használjunk? http://www.avaxio.hu http://www.avaxio.hu
  48. 48. Az esetek 90%-ban az ext3 tökéletesen megfelelőa maradék 10%-ban használjunk XFS-t http://www.avaxio.hu http://www.avaxio.hu
  49. 49. Minden ellenállás hasztalan http://www.avaxio.hu http://www.avaxio.hu
  50. 50. Nem lehet végtelen mennyiségű merevlemezt egy szerverbe pakolni! http://www.avaxio.hu http://www.avaxio.hu
  51. 51. Adatorientált tervezésre vanszükség! Vigyük a merevlemezelet a szerveren kívülre http://www.avaxio.hu http://www.avaxio.hu
  52. 52. (legalább) Két megközelítés van: http://www.avaxio.hu http://www.avaxio.hu
  53. 53. BLOKK szintű(SAN=Storage Area Network) http://www.avaxio.hu http://www.avaxio.hu
  54. 54. Állományrendszer szintű(NAS=Network Attached Storage) http://www.avaxio.hu http://www.avaxio.hu
  55. 55. NAS● állomány rendszer a adattároló szerver oldalon● Protokollok: NFS, SMB● Problémák – Bonyolult protokoll – alacsony szintű biztonság – hibatűrés és terhelés kiegyenlítés nehezen megvalósítható – gyenge klaszerizációs képességek http://www.avaxio.hu http://www.avaxio.hu
  56. 56. SAN● állomány rendszer a kliens oldalon● Protokollok: FC, iSCSI, AoE, SRB over Inifinband● Problémák: – gyenge biztonság – FC: dedikált hálózat kell hozzá – gyenge klaszterizációs képességek http://www.avaxio.hu http://www.avaxio.hu
  57. 57. Hova tovább, tovatovább? http://www.avaxio.hu http://www.avaxio.hu
  58. 58. Klaszterizált megoldások: http://www.avaxio.hu http://www.avaxio.hu
  59. 59. Lustre, GlusterFS, StarFish, stb. szokjuk a szavakat http://www.avaxio.hu http://www.avaxio.hu
  60. 60. Kalandra fel! http://www.avaxio.hu http://www.avaxio.hu

×