Benchmark de performance des solutions de messagerie Microsoft Office 365, IBM LotusLive et Google Apps

  • 1,604 views
Uploaded on

Qualité d'expérience utilisateur …

Qualité d'expérience utilisateur
Benchmark de performance des solutions de messagerie
Microsoft Office 365, IBM LotusLive et Google Apps
Webinar du 06 Octobre 2011
Partenariat ip-label.newtest + Synergie Informatique

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,604
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
23
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Qualité d’expérience utilisateur
    Benchmark de performance des solutions de messagerie
    Microsoft Office 365, IBM LotusLive et Google Apps
    Webinar du 06 Octobre 2011
    Alexis Blandin, Responsable pôle Cloud et Social Business | Synergie Informatique
    Arnaud Bécart, Ingénieur Avant-vente et chef de produit Datametrie| ip-label
    David Wais, responsable partenaire | ip-label
  • 2. Agenda
    Présentation Synergie & ip-label
    Tendances et panorama des suites collaboratives dans le Cloud
    Benchmark ip-label avec datamétrie des solutions collaboratives Microsoft Office 365, IBM LotusLive et Google Apps for Business
    Présentation des offres d’accompagnement Synergie +ip-label à l’occasion des migrations et en service régulier
    Q/R
  • 3. Synergie Informatique
    SSII , Centre et Paris-IDF
    Spécialiste du Social Business
    Experte dans l’intégration de solutions de messagerie et de collaboration
    Partenaire IBM, Microsoft, Google
  • 4. ip-label.newtest
    ip-label.newtest en chiffres :
    • 15 ans d’expérience
    • 5. 1500 clients
    • 6. 10 M€ de CA
    • 7. 75 personnes
    • 8. 15 ingénieurs R&D
    • 9. des filiales en Europe…
    en Espagne & aux Pays-Bas
    …en Asie : Hong Kong & Chine
    • un réseau de partenaires…
    en Europe de l’Ouest, de l’Est, en Scandinavie, aux Etats-Unis
    TIERS DE CONFIANCE
    Quelques clients
    Confidentiel - Altran BLE 19-02-10
  • 10. L’avènement du Cloud
    “ Cloud Computing Market Will Top $241 Billion in 2020 ” – Forrester Research
    “10% of Enterprise Email Will Be Based on a Cloud/SaaS Model in 2014” – Gartner
    Innovation = Grand public vs. Entreprise
    Réseau sociaux, nouvelle génération
    Mobilité, hyper-connectés, convergence
    Accroissement des données
    SaaS, le Cloud à maturité
  • 11. Le collaboratif en ligne de mire
    Scénarios d’utilisations Cloud plébiscités
    Prototypage
    Développements, tests
    Messagerie
    Collaboration
    Applications Web
    Backup, archivage
    Avantages attendus par la DSI
    • Délégation des commodités
    • 12. Industrialisation
    • 13. Déploiement rapide
    • 14. Economie d’échelle, ROI
    • 15. Self-service, élasticité / PAYG
    • 16. Innovation (« beta » permanente)
    • 17. Standardisation, intégration
    • 18. Ouverture
    • 19. Nouveaux enjeux (mobilité, données)
  • L’évolution de la DSI
    Garanties, disponibilité (SLA)
    Garantir et faire évoluer la « Qualité »
    Sécurité, externalisation, réversibilité
    Relation commerciale (B2B)
    Gestion des contrats, du juridique (Patriot Act, CNIL)
    Passage d’un mode CAPEX à OPEX (abonnement)
    Contraintes opérationnelles, organisationnelles
  • 20. Besoins adaptés
    Gouvernance, Best Practices « Cloud »
    Organigramme et processus adaptés
    Moins de « tuyauterie », plus « d’exploitation » (support, métiers, infrastructures)
    Dépendance au réseau/service
    Expérience utilisateur
    Outils de métrologie
  • 21. Focus Editeur / Suite Collaborative
  • 22. Focus Messagerie
    “ Inbox = Tetris getting zero lines doesn’t win
    it just makes the next move easy “
  • 23. Méthodologie
    Solution Datametrie
    Pilotage de toute application Web, Web Riche ou client lourd (Office 365, Outlook, …) piloté comme un utilisateur : navigation, clic de souris, remplissage de formulaires, contrôle de texte, reconnaissance ou clic sur une image, etc.
    Lancement rapide sur l’un des 70 Points de Mesure dans le monde (5 opérateurs sont testés en France: Orange, Neuf-SFR, Iliad-Free, Colt, Cogent)
    Une solution en mode SaaS, « clé en main », du paramétrage des tests au maintien opérationnel des robots et des serveurs
    Accès aux mesures depuis un extranet, envoi de rapports par mail et alertes sur incidents
    Accès au support pour toute demande de paramétrage, formation ou expertise
    Outils d’enregistrement de scénarios à disposition des clients souhaitant être autonomes
  • 24. Architecture de la solution
  • 25. Description des Tests
    3 plateformes testées
    3 typesde tests
    Accès au portail depuis 5 Points en France
    https://portal.microsoftonline.com
    https://apps.lotuslive.com
    https://www.google.com/a/synergie-informatique.fr/
    Origine des tests : France Telecom, Neuf-SFR, Iliad-Free, Colt, Cogent
    Fréquence des tests : 15 minutes
    Période d’analyse : 21/07/11 au 30/09/11 (71 jours)
    Scénario ENVOI depuis 1 Point en France
    Envoi d’un mail depuis la plateforme Cloud vers une messagerie externe
    Vérification de la délivrance du mail en moins de 60 secondes
    Fréquence des tests : 30 minutes
    Période d’analyse : 1/09/11 au 30/09/11 (30 jours)
    Scénario RECEPTION depuis 1 Point en France
    Envoi d’un mail depuis une messagerie externe vers la plateforme Cloud
    Vérification de la réception du mail en moins de 60 secondes
    Fréquence des tests : 30 minutes
    Période d’analyse : 1/09/11 au 30/09/11 (30 jours)
  • 26. Description des Tests
    Scénario ENVOI
    Connexion au portail d’accès
    Authentification
    Accès messagerie
    Saisie en ligne d’un nouveau message à destination d’une adresse de destination mailXX@ip-label.net
    Envoi du message et attente de réception du message sur le serveur POP d’ip-label (mail.ip-label.com) – attente max 60 secondes
    Scénario RECEPTION
    Connexion au portail d’accès
    Authentification
    Accès messagerie
    Envoi d’un mail via SMTP depuis un serveur ip-label (mail.ip-label.com)
    Attente de réception de ce mail sur la plateforme testée – attente max 60 secondes
    Chaque mail envoyé est automatiquement supprimé après chaque test
    Chaque portail utilise un compte de messagerie externe distinct
    l 14
  • 27. Description des Tests
    Quand le portail d’accès est considéré comme indisponible ?
    Non chargement complet du portail en moins de 60 secondes
    Détection d’incidents réseau (erreur de résolution DNS, connexion échouée) et serveurs (lenteur de chargement)
    Quand scénario est considéré comme indisponible ?
    Non chargement complet d’une page en moins de 30 secondes (lié à des incidents réseau ou serveur)
    Mots clés non trouvés
    Username pour valider le chargement du portail d’accès
    Champs Username/Password, bouton connexion puis présence d’un bouton ‘Nouveau mail’ pour valider l’étape authentification
    ENVOI : boutons nouveau mail et envoyer
    RECEPTION : bouton rafraîchir pour vérifier la bonne réception du mail
    Non transmission du mail (SMTP externe  Messagerie en ligne ou Messagerie en ligne  SMTP) en moins de 60 secondes
    l 15
  • 28. Portails d’accès
    Disponibilité et Temps d’accès moyens à chaque portail
    Résultats sur la période du 21/07/11 au 30/09/11 – Environ 34000 tests par portail
    Google offre le meilleur temps de chargement du portail
    Lotus Live est relativement rapide (1,5 secondes) mais est la page la plus longue à commencer le début d’affichage (600ms), avec une résolution DNS, un temps de connexion et un temps serveur plus longs
    Office 365 est la page la plus longue à se charger; c’est aussi la page la plus lourde (1 Mo, contre 17 ko pour google et 32 ko pour Lotus Live)
    Lotus Live présente la meilleure disponibilité, avec 7 échecs, suivi de près par Google (8 échecs) et Office 365 (11 échecs)
    l 16
    3,552 secondes
    99.968 %
    1,541 secondes
    99.980 %
    1,097 secondes
    99.977 %
  • 29. Portails d’accès
    l 17
    Evolution sur 3 mois
    Disponibilité d’accès au portail
    Performance d’accès au portail
    Observations
    • Augmentation du temps de réponse réseau & serveur pour le portail Lotus Live depuis le 31/08/11 (pour un contenu identique)
    • 30. Principales erreurs rencontrées
    • 31. Google : 5 erreurs de résolution DNS et 3 timeout
    • 32. Lotus Live : 4 connexions interrompues et 2 serveurs injoignables
    • 33. Office 365 : 4 erreurs de résolution DNS, 5 serveurs injoignables et 2 timeout
    • 34. Une maintenance sur le portail Office 365 a eu lieu le 9/9/11 de 5h à 8h15; elle n’a pas été prise en compte dans les calculs
  • Authentification
    Disponibilité et temps d’authentification et d’accès à la messagerie en ligne
    Résultats sur la période du 01/09/11 au 30/09/11 – Environ 2800 tests par portail
    Google est la plateforme la plus robuste à l’authentification (99.86% en 24/24)
    Office 365 a une disponibilité de 99.76% en 24/24 sur l’authentification (notamment liée à quelques timeout ou erreurs DNS); ces incidents ont lieu principalement la nuit et de 8h à 23h la disponibilité est équivalente à celle de Google
    Lotus Live présente le plus d’erreurs lors de l’authentification (99.17%); même si la plupart des échecs ont lieu la nuit (99.56% disponible entre 8h et 23h), un incident survenu le 18 septembre entre 8h et 10h pénalise sa position sur cet indicateur
    Google est la plateforme la plus rapide pour s’authentifier et accéder au service de messagerie : 11,5 secondes, Lotus Live nécessite 15 secondes (en un seul chargement de page contrairement aux autres)
    Office 365 est la plateforme la plus lente pour accéder à Outlook en ligne : 19 secondes
    l 18
  • 35. Authentification
    Incident d’authentification pour Lotus Live le 18/09
    l 19
    Timeout : page incomplète suite au login (88k sur 212ko attendus)
    Page d’erreur suite au login
  • 36. Authentification
    Exemples d’erreurs d’authentification liés à des timeout
    l 20
    Timeout sur l’authentification Office 365
    Timeout sur l’authentification Google Apps
  • 37. Authentification
    Exemples d’erreurs d’authentification liés au mauvais chargement du portail sur Google Apps
    Erreur du serveur (HTTP 500) sur l’objet Dashboard qui devrait rediriger sur le portail
    Erreur
    Cas normal
    Impact utilisateur : le champ login absent de la page et l’utilisateur ne peut pas s’authentifier
    l 21
  • 38. Envoi/Réception de mailPerformance
    Temps moyen d’envoi et de réception d’un mail
    En moyenne, l’envoi d’un mail depuis une plateforme Cloud est plus rapide que la réception d’un mail depuis une plateforme externe
    Google est la plateforme qui transmet les mails le plus rapidement, à la fois en émission vers un compte externe (12,2 secondes en moyenne) et en réception depuis un compte externe (7.5 secondes)
    Office 365 est plus rapide que Lotus Live pour la réception de mail, mais plus lente que Lotus Live pour l’envoi de mail
    l 22
  • 39. Envoi/Réception de mailStabilité
    Disponibilité moyenne d’envoi et de réception d’un mail
    Lotus Live est la plateforme d’envoi de mail la plus disponible, si l’on considère comme indisponible une durée supérieure 60 secondes pour transmettre un mail CloudExterne ou ExterneCloud
    Office 365 (~75%) et Google Apps (~85%) : cela signifie que malgré des temps d’émission ou réception rapides (<15 secondes), des congestions ralentissent régulièrement la délivrance ou la réception des mails
    Les durées d’envoi et de réception sont donc plus instables pour Google et Office 365
    l 23
  • 40. l 24
    1
    2
    3
    Scores
    Google AppsGmail peut-être considéré comme une référence pour la vitesse d’accès aux fonctions de messagerie ainsi que la garantie d’émission et de réception de mails dans des délais rapides
    IBM Lotus Live est une plateforme stable concernant l’émission et la réception des mails, mais peut générer des insatisfactions utilisateurs avec des indisponibilités d’accès au service et un temps d’accès dans la moyenne (15 sec)
    Microsoft Office 365 dispose d’une bonne disponibilité d’accès aux services de messagerie (99.89% en heures ouvrées) mais a des améliorations à faire sur les temps de chargement des pages (en particulier sur l’authentification & accès à Outlook) et de l’acheminement des mails : dans nos tests, 25 mails sur 100 ne sont pas envoyés ou reçus en moins d’une minute
  • 41. Conclusions
    l 25
    Détails des résultats
    Gmail Google
    Meilleure performance d’accès au portail
    Meilleures performance et disponibilité d’authentification
    Meilleurs temps d’envoi vers une messagerie externe et de réception depuis une messagerie externe
    Instabilité relative des durées de transmission
    15 mails sur 100 sont envoyés en plus de 60 secondes
    14 mails sur 100 sont reçus en plus de 60 secondes
    IBM Lotus Live
    Augmentation à surveiller du temps de chargement du portail depuis début septembre
    Meilleure disponibilité d’accès au portail
    Meilleure stabilité de transmission
    1 mails sur 100 sont envoyés en plus de 60 secondes
    3 mails sur 100 sont reçus en plus de 60 secondes
    Mauvaise performance et disponibilité d’authentification
    Microsoft Office 365
    Très bonne disponibilité d’authentification en heures ouvrées
    Performance d’accès au portail et au service de messagerie à améliorer (19 secondes)
    Stabilité des durées de transmission des mails à améliorer
    25 mails sur 100 sont envoyés en plus de 60 secondes
    28 mails sur 100 sont reçus en plus de 60 secondes
  • 42. Conclusions
    Chaque acteur s’engage à 99.9% de disponibilité…
    « Microsoft fournit une garantie de fonctionnement de 99,9 % avec accord de niveau de service financier »
    http://www.microsoft.com/fr-fr/office365/what-is-office365.aspx
    « LotusLive Notes delivers the capabilities your business users need to increase efficiency while reducing IT complexity and associated bottom line costs - all backed by a dedicated IBM team with 24x7 support and a 99.9% up-time service level objective »
    https://www.lotuslive.com/styles/tours/transcripts/LLNotes_datasheet.pdf
    «  Google Apps offre une garantie de disponibilité des services à 99,9 % et fournit la réplication synchrone »
    http://www.google.com/apps/intl/fr/business/messaging.html
    Pour rappel, sur Septembre 2011…
    Selon vous, quelle est la qualité réellement perçue
    par vos utilisateurs de messagerie en ligne ?
    l 26
  • 43. L’offre d’accompagnementFramework Cloud & Social Business
  • 44. L’offre d’accompagnement Synergie & ip-labelPrestation d’accompagnement Lors de la migration
    objectifs :
    - Mesurer depuis le réseau de l’entreprise les impacts éventuels de la migration en terme de disponibilité et de performance pour les utilisateurs,
    - Partager avec les acteurs du projet une vision neutre et indépendante de la performance des applications
    moyens :
    - mise en place d’une ou plusieurs sondes datametrie dans le réseau de l’entreprise
    - l’accompagnement d’un consultant de Synergie pendant toute la migration
    Livrables :
    - prestation d’accompagnement régulier lors de la migration et analyse des anomalies et des écarts de performance et de disponibilité.
    Bénéfices :
    - une collecte immédiate des anomalies constatées à l’occasion de la migration
    - une vision objective de la qualité de service des prestations à l’occasion de la migration.
  • 45. L’offre d’accompagnement Synergie & ip-labelPrestation d’accompagnement en Service régulier
    objectifs :
    - Mesurer depuis des points de mesure représentatifs la performance des services,
    - Surveillez en temps réel depuis des points de mesure utilisateurs la performance et la disponibilité de l’application
    - Disposer d’indicateurs indépendants du suivi des SLA
    moyens :
    - mise en place de scénarios représentatifs depuis une ou plusieurs sondes réparties depuis le réseau de l’entreprise et/ou depuis des points de mesure Internet locaux.
    - l’accompagnement d’un consultant de Synergie dans le suivi et l’analyse des indicateurs
    Livrables :
    - prestation d’accompagnement régulier lors de la migration et analyse des anomalies et des écarts de performance et de disponibilité.
    - Alerting en cas d’incidents
    - Suivi et consolidation des SLA.
    Bénéfices :
    - une collecte immédiate des anomalies constatées à l’occasion de la migration
    - une vision objective de la qualité de service des prestations à l’occasion de la migration.
  • 46. Q/R
    Les mails étaient-ils envoyés avec pièce jointe ?
    Non , uniquement du contenu texte ; l’ajout de pièces jointes de différentes taille pourrait être défini sur ce type de tests
    Quel navigateur a été utilisé dans les tests ?
    Internet Explorer 8
    Les tests peuvent-il se faire sur clients lourds (Lotus Notes, outlook) ?
    Oui, les robots Datametrie d’ip-label permettent de simuler des utilisateurs utilisant tout type de client lourd sur un poste utilisateur windows (ouverture outlook, vérification connexion à exchange, envoi d’un mail, etc.)
    Ce benchmark peut-il être étendu au partage de documents ?
    Les outils de partage de documents peuvent également être testés par les robots ip-label; l’’extension du benchmark pourra éventuellement prendre cet élément en compte
    Qu’en est-il des autres navigateurs, notamment si Microsoft Exchange fonctionne en mode dégradé au niveau fonctionnel ?
    Les robots Datametrie d’ip-label permettent de tester des navigateurs Internet Explorer ou Firefox; la vision multi-navigateurs peut être donnée à travers d’autres solutions comme Cloud Observer, offre de monitoring passif d’ip-label
    Peut-on auditer des flux voix/vidéo ?
    Ip-label permet de mesurer des flux voix ou vidéo à travers différentes solutions de mesure du point de vue utilisateur (streaming, analyse de qualité vocale, analyse de qualité vidéo, tests de vidéo/audio conférence, etc.)
  • 47. Merci de votre attention
    Synergie-informatique.fr
    @SynergieInfo