5 questions clés à demander à votre fournisseur concernant la déduplication des données

  • 128 views
Uploaded on

1. Les différentes technologies de déduplication …

1. Les différentes technologies de déduplication
2. Le rôle de la déduplication dans la sauvegarde
3. Déduplication à bloc fixe / bloc variable
4. Avantages de la déduplication en fonction des applications
5. Les pour et contre de la déduplication intégrée

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
128
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
0
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED 5 Questions à poser à votre revendeur au sujet de la déduplication
  • 2. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED2 5 Questions à poser à votre revendeur au sujet de la déduplication AGENDA Déduplication/ compression Rôle de la déduplication dans la sauvegarde Déduplication à la cible/ à la source dans la sauvegarde 1 2 3 4 Libération des blocs inutiles 5 Avantages de la déduplication en fonction de l’application 6 Stratégies de décomposition par bloc
  • 3. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Rôle de la déduplication dans la sauvegarde Réduire l’espace de stockage Raccourcir la fenêtre de sauvegarde Entre machines (ex. word.exe) Entre fichiers (ex. Fichiers PPT ) Dans le Temps (ex. outlook.pst)
  • 4. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Technologies clé pour la Déduplication Décomposition en Blocs  Déduplication™ Progressive  Fenêtre coulissante avec Correspondance Progressive Libération des Blocs inutiles  Processus Interruptible avec possibilité de reprise  Evolutif (pour gérer de large zone de Bloc Unique) Gestion Hash  Evolutif (pour serveurs avec taille mémoire limitée)  Gestion du cache sur l’agent coté source
  • 5. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Technologies de compression Type de Compression Cible de Compression Exemples Locale Fichiers et Blocs (fichiers et plus petits) DEFLATE (Zip) JPEG MPEG Autres… Globale Fichiers et systèmes de fichiers (fichiers et plus grands) Déduplication Différenciation du nombre d’octets
  • 6. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Technologies de compression Type de Compression Cible de Compression Exemples Locale Fichiers et Blocs (fichiers et plus petits) DEFLATE (Zip) JPEG MPEG Autres… Globale Fichiers et and systèmes de Fichiers (fichiers et plus grands) Déduplication Différenciation du nombre d’octets Question 1 sur 5: Dédupliquez-vous vraiment ?
  • 7. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Fichiers remplacés par des pointeurs vers les blocs compressés Déduplication au niveau du bloc A B C D Fichiers
  • 8. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Traitement Déduplication à la cible Déduplication à la source Lieu de Déduplication? Au niveau du stockage A la source des données Impact sur… Stockage Positif Positif Réseau Aucun Positif Ajustement du Serveur de Sauvegarde Charge centralisée Charge répartie Déduplication à la cible/ à la source des sauvegardes Source des données LAN Stockage des sauvegardes Traitement Déduplication à la cible Déduplication à la source Lieu de Déduplication? Au niveau du stockage A la source des données Impact sur… Stockage Positif Positif Réseau Aucun Positif Ajustement du Serveur de Sauvegarde Charge centralisée Charge répartie
  • 9. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Processing Target Deduplication Source Deduplication Location of Deduplication? At storage box At data source Impact on… Storage Positive Positive Network None Positive Backup Server Scaling Scale-up Scale-out Déduplication à la cible/ à la source des sauvegardes Source des données LAN Stockage des sauvegardes Traitement Déduplication à la cible Déduplication à la source Lieu de Déduplication? Au niveau du stockage A la source des données Impact sur… Stockage Positif Positif Réseau Aucun Positif Ajustement du Serveur de Sauvegarde “Scale-up” “Scale-out”Question 2 sur 5: La déduplication est-elle à la Source ?
  • 10. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Déduplication Etape 1: Décomposition Fichiers Stratégie Fichier Bloc Fixe Bloc-Variable Progressive Vitesse Excellente Bonne Correcte Bonne Ratio de Compression Faible Corrects Bonne Excellente Fichier
  • 11. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Déduplication Etape 1: Décomposition Fichiers Stratégie Fichier Bloc Variable-Bloc Progressive Vitesse Excellente Bonne Fair Good Ratio de Compression Faible Corrects Good Better Fichier Question 3 sur 5: Déduplication niveau Fichier ou bloc ?
  • 12. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Déduplication Etape 1: Décomposition Fichiers Stratégie Fichier Bloc Fixe Bloc Variable Progressive Vitesse Excellente Bonne Correcte Bonne Ratios de Compression Faible Corrects Bons Excellents Fichier
  • 13. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Déduplication Etape 1: Décomposition Fichiers Stratégie Fichier Bloc Fixe Bloc Variable Progressive Vitesse Excellent Bonne Correcte Bonne Ratios de Compression Faible Corrects Bons Excellents Fichier Question 4 sur 5: Déduplication bloc fixe…ou mieux?
  • 14. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Déduplication au niveau du bloc: Etape 2 Bloc de 8,192 octets Blocs & Empreintes uniques 1EC52D04100B9977 4FCC5428CC9C4CB6 BBE52B32B4672B36 1B1279BD62654F98 908B3236BC03B5F0 Longueur _ Algorithme (octets)___ MD-5 16 SHA-1 20 SHA-2 32 SHA-2 64 Bloc identifié uniquement par empreinte de 16 octets Types d’empreintes
  • 15. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Généalogies de la déduplication Brevet RockSoft 1995 Bloc défini en fonction du contenu Kadena 2004 Groupements de fichiers multiples Andrew Tridgell 1998 Somme de contrôle d’un seul fichier Algorithme Progressif Algorithme à Bloc variable Algorithme à Bloc Fixe Ron Rivest, Message Digests 1989 Stockage d’instance unique Brevet acquis par ADIC en mars 2006 Quantum en juin 2006 Arkeia Software 2009 Optimisation de la taille du bloc
  • 16. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Technologies de Déduplication Tolère… Instance unique Bloc Fixe Bloc variable Progressive “Ajout” ou “Modification” Non Oui Oui Oui “Insertion” Non Non Oui Oui Ratios de compression Mauvais Corrects Bons Supérieurs Vitesse Excellente Bonne Correcte Bonne
  • 17. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Bloc fixe Nou- veau Nou- veau File Nou- veau Nou- veau Connu Connu Connu Nou- veau Nou- veau Nou- veau Connu Nou- veau Nou- veau Nou- veau Nou- veau Nou- veau Nou- veau Fichier avec ajout Fichier avec modification Tolère… Bloc fixe Variable- bloc Progressi ve “Ajout” ou “Modification” Oui Yes Yes “Insertion” Non Yes Yes Ratios de compression Corrects Good Better Rapidité Bonne Fair Good
  • 18. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Tolère… Bloc fixe Bloc variable Progressi ve “Ajout” ou “Modification” Oui Oui Yes “Insertion” No Oui Yes Ratios de compression Corrects Bons Better Rapidité Bonne Correcte Good Bloc variable Nou veau Nou- veau Nou- veau Fichier avec ajout File Fichier avec modification Connu Connu Nou- veau Nou- veau Nou veau Nou- veau Connu Connu Connu Connu
  • 19. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Détails de la Déduplication à Bloc variable File 1 2 3 4 5 6 7 8 9 10 Index d’octets 11 12 13 14 15 16 ••• 31461D82B327A05FF(1, 2, 3, 4, 5, 6, 7, 8) = 879DE819CAF76125 67B3EE45C803695C 93B4AB041829F665 DA0D523C5F9706BB DBDF4303EC8095D7 668556EE61492000 5217DDF625C2C270 3FBC70CEFE54395B F(2, 3, 4, 5, 6, 7, 8, 9) = F(3, 4, 5, 6, 7, 8, 9, 10) = F(4, 5, 6, 7, 8, 9, 10, 11) = F(5, 6, 7, 8, 9, 10, 11, 12) = F(6, 7, 8, 9, 10, 11, 12, 13) = F(7, 8, 9, 10, 11, 12, 13, 14) = F(8, 9, 10, 11, 12, 13, 14, 15) = F(9, 10, 11, 12, 13, 14, 15, 16) = Fin du “Bloc variable” 1ère ETAPE: Fonction de hachage polynomial, “F”, randomise les données de fichier. 2ème ETAPE: Examiner les derniers “n” octets; si égal à zéro bloquer la limite. (Si n = 12, longueur moyenne d’un bloc = 2^12 = 4096 octets.) •••
  • 20. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Déduplication Progressive Nou- veau Nou veau Fi- chier Nou- veau Nou- veau Connu Connu Connu Nou- veau New Nou- veau Connu Nou- veau Nou- veau Connu Connu Connu Connu Fichier avec ajout Fichier avec modification Tolère… Bloc Fixe Bloc variable Progressive “Ajout” ou “Modification” Oui Oui Oui “Insertion” Non Oui Oui Ratios de Compression Corrects Bons Supérieurs Rapidité Bonne Correcte Bonne
  • 21. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Pourquoi la Déduplication Progressive est supérieure? Meilleure compression parce que…  La taille des blocs s’adapte en fonction des applications  La fenêtre coulissante voit tous les emplacements de frontière de bloc possibles • Blocs variable la frontière est fixée à des endroits arbitraires Plus rapide parce que…  Les blocs sont de taille fixe • Taille des Blocs de 1 à 64Ko  Données connues: Dédupliquées comme des blocs fixe • La fenêtre coulissante ne fonctionne que sur de nouveaux fichiers  Nouvelles données: La Déduplication utilise la correspondance progressive • Trouve une correspondance probable rapidement avec un algorithme léger • Confirme la correspondance avec un calcul de hash plus puissant
  • 22. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED22 Comment les Blocs dédupliqué et inutiles sont créés ? A B C D Fichiers xx x
  • 23. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Options de Recyclage de Bloc Fenêtre de Maintenance Programmée Continu en tache de fond Disque Temps Temps Fenêtre de Maintenance Espace disque gaspillé Disque Espace disque gaspillé Fenêtre de Maintenance Fenêtre de Maintenance
  • 24. © 2014 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Options de Recyclage de Bloc Fenêtre de Maintenance Programmée Continu en tache de fond Disque Temps Temps Fenêtre de Maintenance Espace disque gaspillé Disque Espace disque gaspillé Fenêtre de Maintenance Fenêtre de Maintenance Question 5 sur 5: Combien d’espace disque est nécessaire pour superviser a. Le Recyclage de bloc inutile ? b. La fenêtre de maintenance programmée ?
  • 25. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED WD Progression Storage Components Consumer Products Business Storage Solutions Direct Retail VAR OEM Consumer BSS Sortie en 1988…#1 Sortie en 2007…#1 Sortie en 2011… WD CONFIDENTIAL
  • 26. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED26 WD Business Storage Solutions NAS, Serveurs, Appliances, Virtual Appliances, Software Applications WD Sentinel X-Series Network Storage Server WD Sentinel RX4100 WD Sentinel DX4000 WD Arkeia Family Network Backup for Business WD Arkeia RA-Series WD Arkeia DA1300 WD Arkeia DA2300 WD Arkeia Software and Virtual Appliance WD Sentinel S-Series Ultra-Compact Storage Plus Server WD Sentinel DS5100 WD Sentinel DS6100
  • 27. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED27 Leader des solutions de stockage A PROPOS DE WESTERN DIGITAL  15 Milliards de $ de CA; croissance constante depuis plus de 30 ans  + 96 000 employés dans le monde  + 6 000 brevets actifs  1 Milliard de $ d’investissement en R&D  Acquisition d’Arkeia Software en 2012
  • 28. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED28 WD Arkeia™ SAUVEGARDE EN RÉSEAU POUR LES ENTREPRISES DEPUIS 1999 Serveurs de sauvegarde en tant que:  Logiciels depuis 1999  Appliances Physiques depuis 2007  Appliances Virtuelles depuis 2008 Technologie clé pour des sauvegardes rapides  Déduplication Progressive™ brevetée  Multi-flow™ (sauvegarde en parallèle de plus de 200 serveurs)  Seed & Feed ™  Disque, Bande, Cloud Technologie clé pour sa facilité d’utilisation  Web UI  Navigateur Temporel  Support de plus de 240 plateformes physiques et la majorité des environnement virtuels Technologie clé pour son faible cout de possession  Compatibilité du serveur avec toutes les versions précédentes pour les agents  Solution unique pour environnement physique ou virtuel  Solution avec agents illimités fournis avec le bundle de base
  • 29. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED29 WD Arkeia™ v10.0 SAUVEGARDE EN RÉSEAU POUR ENTREPRISE Périphériques de stockage Disque, bande, Cloud Backup Agent Backup Agent Backup Agent Backup Agent Backup Server Backup Server… Backup Replication Backup ReplicationServeur de sauvegarde et réplication Logiciel Agents de sauvegarde Files Encryption Disaster recovery Appliance Appliance viruelle Applications Lotus Groupwise Exchange SharePoint Virtuel VMware Hyper-V Serveurs de bases de données SQLServer PostgreSQL Oracle MySQL DB2 Graphical Web Administration Command-line Administration LDAP eDirectory ActiveDirectory Serveurs de répertoires Deduplication Serveurs de sauvegarde pour plus de 130 plateformes Linux Capacités disque de 2To à 24To et/ou lecteur de bandes VMware ESX et hyperviseurs Fichiers et dossiers de sauvegarde pour + 240 plateformes: Linux, Windows, Macintosh, AIX, HP-UX, Solaris Novell, BSD Quelle que soit la cible: Disque : fichier ou bloc; Bande: +600 lecteurs /bibliothèques; Cloud: public ou privé
  • 30. © 2013 WESTERN DIGITAL TECHNOLOGIES, INC. ALL RIGHTS RESERVED Contactez-nous ! wdbusinessstorage@wdc. com