Das neue Storage ist geliefert und betriebsbereit, und das erste was der Storage-Admin macht, ist ein dd. Mehr oder weniger zufrieden schaut er dann auf den Durchsatz und freut sich, dass der Einkauf dieses Mal was ordentliches gekauft hat. Oder auch nicht. Der Vortrag erläutert, weshalb es so schwierig ist, aussagekräftige Storage-Benchmarks zu fahren und geht kurz auf verschiedene Benchmarking-Tools ein. Im zweiten Teil des Vortrags gehe ich etwas genauer auf die Internas des SPC-1-Benchmarks des Storage Performance Council ein, und zeige, wie sinnvoll oder weniger sinnvoll es ist, sich bei der Beschaffung auf vermeintlich objektive Performance-Messungen zu verlassen.
Wolfgang Stief ist seit Mitte der 1990er Jahre als Dipl.-Ing. in der IT-Branche tätig. Nach vielen Jahren in Support und Presales bei einem Sun-Partner startete er 2011 in die Selbständigkeit. Als Technologieberater und Erklärbär ist er freiberuflich tätig im technischen Marketing mit einem Fokus auf Enterprise Storage, und arbeitet redaktionell für storage-forum.de. Daneben ist er aktiv im Unternehmensvorstand der sys4 AG und beschäftigt sich mit der Historie längst verglühter aber nicht vergessener IT-Konzerne.
Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...data://disrupted®
Toshiba berichtet über aktuelle Trends und zukünftige Entwicklungen bei den Komponenten zur Datenspeicherung – Mobil, zu Hause, in den Rechenzentren und in der Cloud. Dabei werden Szenarien basierend auf Speicherung mit Tapes, Festplatten und SSD anhand der Anforderungen in Sachen Kapazität, Performance, Leistungsaufnahme, Kosten und Produktionskapazitäten miteinander verglichen. Mit einem Einblick in neue Technologien aus den Festplatten-Entwicklungslaboratorien des Konzerns und unter Berücksichtigung der oben genannten Anforderungen wird es einen Ausblick auf die Datenspeicherlandschaft der nächsten 10 Jahre geben. Ein besonderer Focus im Bereich Festplatten liegt diesmal auf der Bewertung der derzeit kontrovers diskutierten SMR („shingled magnetic recording“) Technologie.
Rainer Kaese ist seit über 25 Jahren bei Toshiba. Zunächst spezialisierte er sich auf anwendungsspezifische ICs, leitete das ASIC Design Center und später das Business Development Team für ASIC- und Foundry-Produkte. Derzeit ist er für die Einführung der Enterprise HDD-Produkte von Toshiba in Rechenzentren, Cloud Computing und Enterprise-Anwendungen verantwortlich.
Datenspeicherung 2020 bis 2030 – immer noch auf Festplatten? – data://disrupt...data://disrupted®
Toshiba berichtet über aktuelle Trends und zukünftige Entwicklungen bei den Komponenten zur Datenspeicherung – Mobil, zu Hause, in den Rechenzentren und in der Cloud. Dabei werden Szenarien basierend auf Speicherung mit Tapes, Festplatten und SSD anhand der Anforderungen in Sachen Kapazität, Performance, Leistungsaufnahme, Kosten und Produktionskapazitäten miteinander verglichen. Mit einem Einblick in neue Technologien aus den Festplatten-Entwicklungslaboratorien des Konzerns und unter Berücksichtigung der oben genannten Anforderungen wird es einen Ausblick auf die Datenspeicherlandschaft der nächsten 10 Jahre geben. Ein besonderer Focus im Bereich Festplatten liegt diesmal auf der Bewertung der derzeit kontrovers diskutierten SMR („shingled magnetic recording“) Technologie.
Rainer Kaese ist seit über 25 Jahren bei Toshiba. Zunächst spezialisierte er sich auf anwendungsspezifische ICs, leitete das ASIC Design Center und später das Business Development Team für ASIC- und Foundry-Produkte. Derzeit ist er für die Einführung der Enterprise HDD-Produkte von Toshiba in Rechenzentren, Cloud Computing und Enterprise-Anwendungen verantwortlich.
One of the most important things you can do to improve the performance of your flash/SSDs with Aerospike is to properly prepare them. This Presentation goes through how to select, test, and prepare the drives so that you will get the best performance and lifetime out of them.
HP 3Par StoreServ Storage: HP All Flash Array SSDUnitiv
Solid state drives are a game changer in the storage market. At this point, the performance benefits are common knowledge. But what might not be common knowledge is that SSDs have surpassed high speed spinning disk in capacity density. In the past 5 years, SSDs have increased in capacity by a magnitude of 38x while high speed spinning disks have only doubled
And HP has been helping to drive this transition by working very closely with our SSD suppliers. For example, we are the only major storage vendor to offer a 1.92 TB drive. Our patented Adaptive Sparing technology, which is unique to HP, let’s us work with the SSD vendors to take stock 1.6 TB drives and extend them to 1.92 based on the technology. That’s an increase in usable capacity per drive of up to 20%.
In June we announced this drive for the All-flash 7450 system and we are now extending this across the entire 3PAR Portfolio.
For customers that are interested in deploying Flash in smaller increments, we are also introducing a 480 cMLC Drive across the entire portfolio.
http://www.unitiv.com/hp-all-flash-array/
Cephalocon APAC 2018
March 22-23, 2018 - Beijing, China
Lars Marowsky-Brée SUSE Distinguished Engineer, Ceph Advisory Board member
Marc Koderer, SAP OpenStack Evangelist
In this deck from the DDN User Group at SC19, Gael Delbray from CEA presents: Optimizing Flash at Scale. CEA, a major player in research and innovation, has been recognized as an expert in HPC through the momentum of the "Simulation Programme" supported by its Direction des Applications Militaires (CEA / DAM) and implemented by the Department of Simulation Sciences and Information (DSSI).
"The major challenges that the HPC will face in the coming years are manifold, such as the development of hardware and software architectures able to deliver very high computing power, modelling methods combining different scales and physical models and the management of huge volumes of numerical data.
High performance computing for numerical simulation has become an essential tool in scientific and technological research, as well as for industrial applications. Simulation can replace experiments that are too dangerous (accidental situations), beyond reach in terms of time or scale (climate, astrophysics) or banned (nuclear tests). Simulation is also time-saving and leverages productivity in many situations."
Watch the video: https://wp.me/p3RLHQ-li0
Learn more: https://www.ddn.com/company/events/user-group-sc/
Sign up for our insideHPC Newsletter: http://insidehpc.com/newsletter
Hands-on Lab: How to Unleash Your Storage Performance by Using NVM Express™ B...Odinot Stanislas
(FR)
Voici un excellent document qui explique étape après étape comment installer, monitorer et surtout correctement benchmarker ses SSD PCIe/NVMe (pas si simple que ça). Autre élément clé : comment analyser la charge I/O de véritables applications? Combien d'IOPS, en read, en write, quelle bande passante et surtout quel impact sur la durée de vie des SSD? Bref à mettre en toute les mains, et un merci à mon collègue Andrey Kudryavtsev.
(EN)
An excellent content which describe step by step how to install, monitor and benchmark PCIe/NVMe SSD (many trick not so simple). Another key learning: how to measure real I/O activities on a real workload? How many R/W IOPS, block size, throughtput, and finally what's the impact on SSD endurance and (real)life? A must read, and a huge thanks to my colleague Andrey Kudryavtsev.
Auteurs/Authors:
Andrey Kudryavtsev, SSD Solution Architect, Intel Corporation
Zhdan Bybin, Application Engineer, Intel Corporation
Cowboy dating with big data TechDays at Lohika-2020b0ris_1
The story about things that happen if data platforms are developed not by data engineers, what pitfalls and mistakes can be made.
This will help you to understand what data engineering is about.
Leveraging Open Source to Manage SAN Performancebrettallison
Scope - The primary focus of this presentation is how to leverage open source software to help in managing Shared Storage performance. The storage server will be the focus with particular emphasis on ESS. This solution is a small one-off solution.
One of the most important things you can do to improve the performance of your flash/SSDs with Aerospike is to properly prepare them. This Presentation goes through how to select, test, and prepare the drives so that you will get the best performance and lifetime out of them.
HP 3Par StoreServ Storage: HP All Flash Array SSDUnitiv
Solid state drives are a game changer in the storage market. At this point, the performance benefits are common knowledge. But what might not be common knowledge is that SSDs have surpassed high speed spinning disk in capacity density. In the past 5 years, SSDs have increased in capacity by a magnitude of 38x while high speed spinning disks have only doubled
And HP has been helping to drive this transition by working very closely with our SSD suppliers. For example, we are the only major storage vendor to offer a 1.92 TB drive. Our patented Adaptive Sparing technology, which is unique to HP, let’s us work with the SSD vendors to take stock 1.6 TB drives and extend them to 1.92 based on the technology. That’s an increase in usable capacity per drive of up to 20%.
In June we announced this drive for the All-flash 7450 system and we are now extending this across the entire 3PAR Portfolio.
For customers that are interested in deploying Flash in smaller increments, we are also introducing a 480 cMLC Drive across the entire portfolio.
http://www.unitiv.com/hp-all-flash-array/
Cephalocon APAC 2018
March 22-23, 2018 - Beijing, China
Lars Marowsky-Brée SUSE Distinguished Engineer, Ceph Advisory Board member
Marc Koderer, SAP OpenStack Evangelist
In this deck from the DDN User Group at SC19, Gael Delbray from CEA presents: Optimizing Flash at Scale. CEA, a major player in research and innovation, has been recognized as an expert in HPC through the momentum of the "Simulation Programme" supported by its Direction des Applications Militaires (CEA / DAM) and implemented by the Department of Simulation Sciences and Information (DSSI).
"The major challenges that the HPC will face in the coming years are manifold, such as the development of hardware and software architectures able to deliver very high computing power, modelling methods combining different scales and physical models and the management of huge volumes of numerical data.
High performance computing for numerical simulation has become an essential tool in scientific and technological research, as well as for industrial applications. Simulation can replace experiments that are too dangerous (accidental situations), beyond reach in terms of time or scale (climate, astrophysics) or banned (nuclear tests). Simulation is also time-saving and leverages productivity in many situations."
Watch the video: https://wp.me/p3RLHQ-li0
Learn more: https://www.ddn.com/company/events/user-group-sc/
Sign up for our insideHPC Newsletter: http://insidehpc.com/newsletter
Hands-on Lab: How to Unleash Your Storage Performance by Using NVM Express™ B...Odinot Stanislas
(FR)
Voici un excellent document qui explique étape après étape comment installer, monitorer et surtout correctement benchmarker ses SSD PCIe/NVMe (pas si simple que ça). Autre élément clé : comment analyser la charge I/O de véritables applications? Combien d'IOPS, en read, en write, quelle bande passante et surtout quel impact sur la durée de vie des SSD? Bref à mettre en toute les mains, et un merci à mon collègue Andrey Kudryavtsev.
(EN)
An excellent content which describe step by step how to install, monitor and benchmark PCIe/NVMe SSD (many trick not so simple). Another key learning: how to measure real I/O activities on a real workload? How many R/W IOPS, block size, throughtput, and finally what's the impact on SSD endurance and (real)life? A must read, and a huge thanks to my colleague Andrey Kudryavtsev.
Auteurs/Authors:
Andrey Kudryavtsev, SSD Solution Architect, Intel Corporation
Zhdan Bybin, Application Engineer, Intel Corporation
Cowboy dating with big data TechDays at Lohika-2020b0ris_1
The story about things that happen if data platforms are developed not by data engineers, what pitfalls and mistakes can be made.
This will help you to understand what data engineering is about.
Leveraging Open Source to Manage SAN Performancebrettallison
Scope - The primary focus of this presentation is how to leverage open source software to help in managing Shared Storage performance. The storage server will be the focus with particular emphasis on ESS. This solution is a small one-off solution.
The story about things that happen if data platforms are developed not by data engineers, what pitfalls and mistakes can be made.
This will help you to understand what data engineering is about.
Troubleshooting Storage Devices Using vRealize Operations (formerly vC Ops)
In this presentation you will discover:
- The challenges facing today’s storage environment
- How vR Ops solves storage troubleshooting
- When to use vR Ops
- Where to get a Management Pack for Storage Devices (MPSD)
- Partner Solutions
ScyllaDB Open Source 5.0 is the latest evolution of our monstrously fast and scalable NoSQL database – powering instantaneous experiences with massive distributed datasets.
Join us to learn about ScyllaDB Open Source 5.0, which represents the first milestone in ScyllaDB V. ScyllaDB 5.0 introduces a host of functional, performance and stability improvements that resolve longstanding challenges of legacy NoSQL databases.
We’ll cover:
- New capabilities including a new IO model and scheduler, Raft-based schema updates, automated tombstone garbage collection, optimized reverse queries, and support for the latest AWS EC2 instances
- How ScyllaDB 5.0 fits into the evolution of ScyllaDB – and what to expect next
- The first look at benchmarks that quantify the impact of ScyllaDB 5.0's numerous optimizations
This will be an interactive session with ample time for Q & A – bring us your questions and feedback!
Operational costs and complexity can grow exponentially as storage capacity increases. In this session learn how Dell Storage SC automates the most common storage tasks, and Enterprise Manager™ software delivers centralized management of all local and remote Storage Center™ environments.
Webinar replay: MySQL Query Tuning Trilogy: Query tuning process and toolsSeveralnines
This is part 1 of a webinar trilogy on MySQL Query Tuning, in which we look at query tuning process and tools to help with that. We’ve covered topics such as SQL tuning, indexing, the optimizer and how to leverage EXPLAIN to gain insight into execution plans. Part 1: Query tuning process and tools.
AGENDA
• Query tuning process
- Build
- Collect
- Analyze
- Tune
- Test
• Tools
- tcpdump
- pt-query-digest
SPEAKER
Krzysztof Książek, Senior Support Engineer at Severalnines, is a MySQL DBA with experience managing complex database environments for companies like Zendesk, Chegg, Pinterest and Flipboard.
IBM SAN Volume Controller Performance Analysisbrettallison
Introduction
Storage Problems and Limitations with Native Storage
SVC Overview
SVC Physical and Logical Overview
Performance and Scalability Implications
Types of Problems
Performance Analysis Techniques
Performance Analysis Tools for SVC
Performance Analysis Metrics for SVC
Online Banking Example
Avoiding Chaos: Methodology for Managing Performance in a Shared Storage A...brettallison
Scope - The primary focus of this presentation is on the methodology we use for managing performance in a very large shared Storage Area Network environment with a Primary focus on Distributed Systems and IBM Enterprise Storage Server. The focus on this presentation is methodology and NOT measurement. There are numerous excellent presentations already out there on measurement. However, there are several references in the back of the presentation to measurement tools.
Learn how upcoming changes in the persistent memory market will affect deployments of in-memory computing and traditional applications. Using software innovations from SanDisk and the broad portfolio of flash storage hardware options, customers and developers can optimize applications for “flash extended memory”, the intersection of in-memory computing and persistent memory technologies.
Benchmarking your cloud performance with top 4 global public cloudsdata://disrupted®
In this presentation, we will present the performance measurement metrics of leading cloud providers - AWS, Google Cloud, Microsoft Azure, and Digital Ocean. We’ll give you useful tools to measure your own cloud performance and a handy guide on how to calculate cloud TCO (total cost of ownership). In addition, you’ll learn how to estimate correctly your market positioning and perform better than the cloud giants.
Boyan Krosnov is a Co-Founder and Chief Product Officer of StorPool Storage. He has been part of the technical teams building 5 service providers from scratch in 4 countries. In most of these projects, he has designed the architecture, led the technical teams, and managed the implementation of projects in the millions.
Many companies build new-age KVM clouds, only to find out that their applications & workloads do not perform well. In this talk we’ll show you how to get the most out of your KVM cloud and how to optimize it for performance: You’ll understand why performance matters and how to measure it properly. We’ll teach you how to optimize CPU and memory for ultimate performance and how to tune the storage layer for performance. You’ll find out what are the main components of an efficient new-age cloud and which network components work best. In addition, you’ll learn how to select the right hardware to achieve unmatched performance for your new-age cloud and applications.
Venko Moyankov is an experienced system administrator and solutions architect at StorPool storage. He has experience with managing large virtualizations, working in telcos, designing and supporting the infrastructure of large enterprises. In the last year, his focus has been in helping companies globally to build the best storage solution according to their needs and projects.
Wie wir inzwischen ja alle wissen, wird die Bedrohungslage durch Ransomware bestehen bleiben. Aktuelle Versionen gehen gezielt auf Unternehmen des Mittelstandes und greifen Online-Backups an. Die einzige Versicherung gegen wochenlangen Ausfall und hohe Kosten sind offline-fähige Medien, die außerhalb des Online-Systems gelagert werden können (Air Gap). Neben Tape, das vor allem für Petabyte-Archive noch seine Berechtigung hat, kann man aber auch moderne Wechselmedien so gestalten, dass sie Random Access, hohe, eingebaute Sicherheit und dennoch Offline-Fähigkeit bieten.
Christian Peschke ist als COO bei der FAST LTA seit über 10 Jahren in der Entwicklung und Produktion von Sekundärspeichertechnologien tätig. Geprägt durch seine interdisziplinären Verantwortlichkeiten, sowie durch seine Vorliebe für die Restaurierung seltener Oldtimer, verfügt er über ein ausgeprägtes Detaildenken sowie einen Hang für clevere Lösungen.
Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherungdata://disrupted®
Cloud- und Objekt-basierte Speicher gewinnen zunehmend an Bedeutung, da sie einfach zu integrieren sind und viele Nachteile traditioneller Dateisysteme vermeiden. Cloud Provider und Hersteller von Object Storage Produkten verwenden heute überwiegend Festplatten als Speichermedien. Die extrem steigenden Datenmengen, die auf diesen Systemen gespeichert werden, führen zu Anforderungen nach Tiering (z.B. von inaktiven Daten) und Absicherung (z.B. gegen Ransomware) in eine S3 Speicherklasse, die wirtschaftlich und sicher ist. Dafür eignet sich insbesondere ein Tape-basierter Object Storage. Der Vortrag erörtert die technische Konzeption und Vorteile dieses Ansatzes.
Thomas Thalmann ist Geschäftsführer der PoINT Software & Systems GmbH. Er besitzt mehr als 20 Jahre Erfahrung im Storage-Markt aus unterschiedlichen Positionen in den Bereichen Entwicklung, Produkt- und Projektmanagement sowie Pre-Sales und Consultancy. Seit 1994 ist er für PoINT Software & Systems tätig und seit 2015 Geschäftsführer.
Rook: Storage for Containers in Containers – data://disrupted® 2020data://disrupted®
In this talk Kim-Norman Sahm and Alexander Trost dive into the challenges of storage for containerized applications on Kubernetes. We'll see how the current state is and how Rook can help with that. We are going to especially look at Ceph run through Rook here, but nonetheless trying not to lose sight of the whole picture. There is a lot to keep in mind storage as is, but everything gets more complex with storage for containers. From what type of storage to how much and how "safe" it should, all questions that should be asked and most of them which should be answered as well. Rook's project site https://rook.io/
Kim-Norman Sahm is CTO of Cloudical. He also works as Executive Cloud Architect at Cloudical. Previously, he was OpenStack Cloud Architect at T-Systems (operational services GmbH) and noris network AG. He is an expert of the technologies OpenStack, Ceph and Kubernetes (CKA).
Alexander Trost works as a DevOps Engineer at Cloudical Deutschlang GmbH and is a Certified Kubernetes Administrator (CKA). He is one of four maintainers of the Rook.io Project and is engaged in several more open source projects, for example a Prometheus exporter for Dell Hardware (Dell OMSA Metrics), k8s-vagrant-multi-node an easy local multi node Kubernetes environment, and others. Besides Containers and Kubernetes he is expert on Software Defined Storage, Golang and Continuous Integration (with GitLab CI). He passionately enjoys working on open source projects, such as Rook, Ancientt and other projects.
Speichermedium Tape – Warum es keine Alternative gibt – data://disrupted® 2020data://disrupted®
Leistungsverbesserung in allen Bereichen, Reduzierung der Kosten und überragender Schutz der Daten: Die fortschreitende Digitalisierung sowie neue Gesetze und Richtlinien zur Archivierung von Daten stellen den Ursprung der Datenarchivierung und dem damit verbundenen spektakulären Wachstum dar. Die Tape-Technologie nimmt mit einem Marktanteil von 60% eine dominante Rolle im Bereich der Datenarchivierung ein. Ein jährliches Wachstum von 24% zeigt den ungebrochenen Wachstumstrend der Technologie. Im Vortrag erfahren Sie, welche Hürden Tape-Hersteller überwinden mussten, um die Technologie zukunftssicher zu gestalten. Dabei zeigen wir, wie sich der Speichermarkt in den letzten Jahren zugunsten von Tape entwickelt hat und was wir für die nächsten Jahre prognostizieren können. Weiterhin möchten wir die neuste Tape-Generation LTO9 vorstellen, die bereits in den Startlöchern steht. Sie beweist, welches Potenzial in der Technologie steckt und erweitert die Parameter weiter, um den Nutzern bestmögliche Leistung für Themen der Datenspeicherung an die Hand zu geben: 18 TB Kapazität und 400 MB/s Transferrate sind nur zwei der überzeugenden Eckdaten. Zudem haben wir uns auch den Bedürfnissen von Object-Storage-Anwendern angenommen. Im Vortrag erfahren Sie, wie Fujifilm es nun ermöglicht, auch Ihre Daten objektbasiert auf Tape zu schreiben und Sie so von großen Kostenersparnissen sowie nicht da gewesener Sicherheit im Object Storage Bereich profitieren können.
Florian Brendel begann im Jahr 2016 bei Fujifilm Recording Media im Bereich Business Development für den deutschen Markt. Seit 2017 ist er für die DACH-Region zuständig und berät und betreut Unternehmen in Bereich Speicherlösungen mit Fokus auf Großkunden, welche Speicherkapazitäten im Petabyte-Bereich vorhalten.
Ransomware: Ohne Air Gap & Tape sind Sie verloren! – data://disrupted® 2020data://disrupted®
Die Bedrohungslage verschärft sich: Die Allianz bewertet Cyber Incidents als größtes Geschäftsrisiko überhaupt. Das BSI spricht von „massenhafter Verbreitung raffinierter Angriffsmethoden durch Organisierte Kriminalität.“ An vorderster Front stehen hier natürlich IT-Sicherheitssysteme. Aber wie die letzten Angriffe – unter anderem mit Ransomware – zeigten, greifen diese nicht immer. Und dann sind oft sehr viele oder sogar alle Daten inklusive der Backupdaten zerstört. Hier hilft dann nur noch die Daten von einem Physical-Air-Gap-Medium zurückzusichern. Sehen Sie, warum Tape das sicherste Medium ist. Erfahren Sie auch, warum nahezu alle große Cloud-Service-Provider Tape einsetzen. Sehen Sie die zukünftige Roadmap, Produktentwicklung und die weiteren Einsatzgebiete von Tape.
Josef Weingand ist Business Development Manager für Tape Storage bei IBM, zuständig für die DACH-Region. Er hat über 23 Jahre Erfahrung im Tape Storage und arbeitet sowohl im Technical Support als auch im Sales Support für Data-Protection-, Data-Retention- und Tape-Lösungen. Er hat an mehreren IBM Redbooks mitgearbeitet und einige Patente im Storage-Bereich erarbeitet.
HCI einfach einfach! IT-Infrastruktur wie ein Smartphone! – data://disrupted®...data://disrupted®
HCI einfach einfach. Lassen Sie sich zeigen, wie Scale HC3 ihre IT-Infrastruktur vereinfacht. Scale HC3 ist das Smartphone der Infrastruktur. Skalierbarkeit, Effizienz, Performance und Kosten im Griff!
Thorsten Schäfer ist ein sehr erfahrener Vertriebsleiter mit mehr als 15 Jahren Erfahrung in der Computer-Software-Branche, der sich mit Hyper Converged (HCI), Software Defined Storage (SDS), Storage Area Network (SAN), VMware, Storage und VDI auskennt. Starker Vertriebsprofi sowie sehr starker technischer Hintergrund: als erstes deutscher DCME – aber auch in den Bereichen Business Development, Consulting, Engineering, Channel Development & Management.
William van Collenburg verfügt über fast 20 Jahre Erfahrung in der IT und arbeitet sowohl im Service- als auch im technischen Bereich. Sein Hauptaugenmerk lag immer auf dem Wissenstransfer in einem verständlichen Weg. Aufgrund der Tatsache, dass er seine Erfahrung vielfältig ist, aus vielen Bereichen der IT und Technologien, kann er Kunden nicht nur helfen, sondern auch bei Problemen zur Hand gehen. William hat großes Wissen und Erfahrung mit vielen Speicher-, Netzwerk- und (Desktop-) Virtualisierungstechnologien. Er hat unter anderem bei EMC gearbeitet, war Trainer bei Dell, Pre-Sales-Berater für Virtualisierung bei VMware und Citrix sowie Pre-Sales Vertriebsingenieur bei Springpath (jetzt Cisco Hyperflex).
Zuverlässiger IT-Betrieb braucht redundante Datenhaltung. Die letzten 30 Jahre nutze man dazu RAID-Systeme, die Technologie ist ausgereift und war bisher völlig ausreichend. Mit zunehmenden Festplattengrößen und dem Einzug von All-Flash-Arrays sowie verteilten Dateisystemen ist eine „einfache“ Redundanz wie sie RAID-Mechanismen bieten nicht mehr ausreichend. Erasure Coding schafft hier Abhilfe. Im Vortrag erklärt Wolfgang Stief, wie Erasure Coding grundsätzlich funktioniert. im ersten Teil erläutert er ein paar Grundideen hinter und Grundbegriffe zu Erasure Coding. Im zweiten Teil beschreibt unser Experte beispielhaft derzeit übliche Implementierungen von Erasure Coding. Er versucht dabei, möglichst ohne Mathematik auszukommen. Außerdem werden im Vortrag Vorteile aber auch Probleme, Grenzen und Fallstricke beim Einsatz von Erasure Coding beleuchtet. Abschließend folgen beispielhaft einige bereits heute übliche Anwendungen für Erasure Coding.
Nextcloud als On-Premises Lösung für hochsicheren Datenaustausch (Frank Karli...data://disrupted®
Dieser Vortrag ist ein Praxisbericht wie Nextcloud im öffentlichen Sektor als sicherere und DSGVO-konforme Datenaustauschplatform eingesetzt wird. Mittlerweile setzt die deutsche Bundesregierung sowie weitere europäische und aussereuropäische Regierungen auf Nextcloud. Auch deutsche Landesverwaltungen, sowie Schul- und Forschungeinrichtungen betreiben inzwischen eigene Nextcloud-Instanzen. Dieser Vortrag gibt einen Überblick aus der Praxis, warum on-premises Cloud File Sync und Share immer wichtiger wird, und was die Erfolgsfaktoren sind.
Auch die eingesetzten unterschiedlichen Architekturen mit den entsprechenden Vor- und Nachteilen werden beleuchtet. Zusätzlich stellt der Vortrag bestehende und zukünftige Funktionalitäten vor die für den sicheren und skalierbaren Betrieb von on-premises Cloud Services wichtig sind.
Operation Unthinkable – Software Defined Storage @ Booking.com (Peter Buschman)data://disrupted®
The story of the plan that was just crazy enough to work! Learn how Booking.com failed its way to success on a multi-year journey away from single-purpose storage-appliances, predatory-licensing, and over-complicated networking to create a unique storage solution for their hyper-scale private-cloud environment.
Die IBM 3592 Speicherlösung: Ein Vorgeschmack auf die Zukunft (Anne Ingenhaag)data://disrupted®
Erfahren Sie, was die Hersteller von Tape Technologien aus technischer Sicht alles beachten müssen, damit Tapes mit einer Kapazität von bis zu 20TB und einer Transferrate von bis zu 400MB/s, bei exzellenter Performance, auf den Markt gebracht werden können. Lernen Sie, was die Zukunft der Technologie bringt und woran wir heute schon forschen. Fokus wird hierbei auf den technologischen Unterschieden zwischen der herkömmlichen LTO Technologie und der Enterprise (Jaguar) Technologie von IBM liegen. Die 3592 Technologie bietet nicht nur 67% mehr Speicherkapazität, eine 10-fach höhere Datenintegrität, eine längere Lebensdauer und weniger Migrationszyklen als die LTO8 Technologie, sondern beinhaltet einige technische Features, die den Zugriff auf die Daten um bis zu 50% beschleunigen.
CANDIDATE EXPERIENCE – Was Bewerber tatsächlich erwarten.data://disrupted®
Um im Recruiting erfolgreich zu sein, müssen Unternehmen lernen, bewerberorientiert zu denken und zu handeln. Die Candidate Experience hat das Ziel, den Bewerbungsprozess Ihrer potenziellen Mitarbeiter in ein positives, motivierendes Erlebnis zu wandeln. Doch wie und wo ansetzen? Kennen Sie die Anforderungen Ihrer Bewerber?
get-a-MINT zeigt Ihnen, wie Sie das Konzept der Candidate Experience praktisch auf Ihre Recruitingprozesse übertragen können und die Candidate Journey Ihrer bewerber optimieren.
Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen (Tho...data://disrupted®
Ein wesentliches und immer drängenderes Problem ist das Wachstum inaktiver unstrukturierter Daten. Der Vortrag zeigt auf, wie diese Herausforderung mit Hilfe von HSM/ILM in Verbindung mit Cloud/Objekt-basierten Technologien gelöst wird. Insbesondere die Integration unterschiedlicher S3 Speicherklassen mit Einbindung von Erasure Coding geschützten Tape-Speichersystemen bietet viele Vorteile hinsichtlich Kosten, Datensicherheit und Skalierbarkeit.
In einem flotten Ritt durch das Land der aktuellen Storage-Buzzwords erläutere ich kurz ein paar technische Hintergründe zu den Begriffen und versuche, nach Sinn und Unsinn zu unterscheiden. Mitreisende werden am Ende der halben Stunde ein grobes Verständnis für Dinge wie Storage Class Memory, Persistent Memory oder Computational Storage haben, und können ein paar Begriffe mit nach Hause nehmen, die beim selbständigen weiterforschen helfen.
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)data://disrupted®
Zur Unterstützung von Big Data und Machine Learning Szenarien wurde am Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) der TU Dresden eine neue Speicherlandschaft mit „NVMe Storage“ (2 PB Kapazität und 2 TB/s Bandbreite, <100us Latenz) und „Warm Archive“ auf Basis des S3-Protokolls (10 PB Kapazität und 50 GB/s Bandbreite) aufgebaut. Dr. Michael Kluge vom ZIH (Abteilungsleiter System- und Dienstentwurf) erläutert die besonderen Anforderungen dieses Projektes und berichtet vom Aufbau und Betrieb der Umgebung.
Während das Gros der Storage-Hersteller in IIoT/IoT noch den nächsten großen Storage-Hype sehen, zeigt uns die Analytics-Welt andere wegweisende Trends in der Verarbeitung der Daten aus Sensor und Sensorkette auf. So bringt Google beispielsweise mit Coral bereits Neuronale Netze als embedded KI in die Chipsets der Sensoren zum Preis weniger Cent. Wie in der Mathematik gelernt, geht der Trend nun auch hier in Richtung Vereinfachung und Reduktion bereits in den ersten Schritten der Aufgabenstellung. Redundanzen und anderes unnützes Beiwerk braucht weder übertragen oder gar gespeichert werden ...
Elevating Tactical DDD Patterns Through Object CalisthenicsDorra BARTAGUIZ
After immersing yourself in the blue book and its red counterpart, attending DDD-focused conferences, and applying tactical patterns, you're left with a crucial question: How do I ensure my design is effective? Tactical patterns within Domain-Driven Design (DDD) serve as guiding principles for creating clear and manageable domain models. However, achieving success with these patterns requires additional guidance. Interestingly, we've observed that a set of constraints initially designed for training purposes remarkably aligns with effective pattern implementation, offering a more ‘mechanical’ approach. Let's explore together how Object Calisthenics can elevate the design of your tactical DDD patterns, offering concrete help for those venturing into DDD for the first time!
LF Energy Webinar: Electrical Grid Modelling and Simulation Through PowSyBl -...DanBrown980551
Do you want to learn how to model and simulate an electrical network from scratch in under an hour?
Then welcome to this PowSyBl workshop, hosted by Rte, the French Transmission System Operator (TSO)!
During the webinar, you will discover the PowSyBl ecosystem as well as handle and study an electrical network through an interactive Python notebook.
PowSyBl is an open source project hosted by LF Energy, which offers a comprehensive set of features for electrical grid modelling and simulation. Among other advanced features, PowSyBl provides:
- A fully editable and extendable library for grid component modelling;
- Visualization tools to display your network;
- Grid simulation tools, such as power flows, security analyses (with or without remedial actions) and sensitivity analyses;
The framework is mostly written in Java, with a Python binding so that Python developers can access PowSyBl functionalities as well.
What you will learn during the webinar:
- For beginners: discover PowSyBl's functionalities through a quick general presentation and the notebook, without needing any expert coding skills;
- For advanced developers: master the skills to efficiently apply PowSyBl functionalities to your real-world scenarios.
Accelerate your Kubernetes clusters with Varnish CachingThijs Feryn
A presentation about the usage and availability of Varnish on Kubernetes. This talk explores the capabilities of Varnish caching and shows how to use the Varnish Helm chart to deploy it to Kubernetes.
This presentation was delivered at K8SUG Singapore. See https://feryn.eu/presentations/accelerate-your-kubernetes-clusters-with-varnish-caching-k8sug-singapore-28-2024 for more details.
UiPath Test Automation using UiPath Test Suite series, part 4DianaGray10
Welcome to UiPath Test Automation using UiPath Test Suite series part 4. In this session, we will cover Test Manager overview along with SAP heatmap.
The UiPath Test Manager overview with SAP heatmap webinar offers a concise yet comprehensive exploration of the role of a Test Manager within SAP environments, coupled with the utilization of heatmaps for effective testing strategies.
Participants will gain insights into the responsibilities, challenges, and best practices associated with test management in SAP projects. Additionally, the webinar delves into the significance of heatmaps as a visual aid for identifying testing priorities, areas of risk, and resource allocation within SAP landscapes. Through this session, attendees can expect to enhance their understanding of test management principles while learning practical approaches to optimize testing processes in SAP environments using heatmap visualization techniques
What will you get from this session?
1. Insights into SAP testing best practices
2. Heatmap utilization for testing
3. Optimization of testing processes
4. Demo
Topics covered:
Execution from the test manager
Orchestrator execution result
Defect reporting
SAP heatmap example with demo
Speaker:
Deepak Rai, Automation Practice Lead, Boundaryless Group and UiPath MVP
Software Delivery At the Speed of AI: Inflectra Invests In AI-Powered QualityInflectra
In this insightful webinar, Inflectra explores how artificial intelligence (AI) is transforming software development and testing. Discover how AI-powered tools are revolutionizing every stage of the software development lifecycle (SDLC), from design and prototyping to testing, deployment, and monitoring.
Learn about:
• The Future of Testing: How AI is shifting testing towards verification, analysis, and higher-level skills, while reducing repetitive tasks.
• Test Automation: How AI-powered test case generation, optimization, and self-healing tests are making testing more efficient and effective.
• Visual Testing: Explore the emerging capabilities of AI in visual testing and how it's set to revolutionize UI verification.
• Inflectra's AI Solutions: See demonstrations of Inflectra's cutting-edge AI tools like the ChatGPT plugin and Azure Open AI platform, designed to streamline your testing process.
Whether you're a developer, tester, or QA professional, this webinar will give you valuable insights into how AI is shaping the future of software delivery.
GDG Cloud Southlake #33: Boule & Rebala: Effective AppSec in SDLC using Deplo...James Anderson
Effective Application Security in Software Delivery lifecycle using Deployment Firewall and DBOM
The modern software delivery process (or the CI/CD process) includes many tools, distributed teams, open-source code, and cloud platforms. Constant focus on speed to release software to market, along with the traditional slow and manual security checks has caused gaps in continuous security as an important piece in the software supply chain. Today organizations feel more susceptible to external and internal cyber threats due to the vast attack surface in their applications supply chain and the lack of end-to-end governance and risk management.
The software team must secure its software delivery process to avoid vulnerability and security breaches. This needs to be achieved with existing tool chains and without extensive rework of the delivery processes. This talk will present strategies and techniques for providing visibility into the true risk of the existing vulnerabilities, preventing the introduction of security issues in the software, resolving vulnerabilities in production environments quickly, and capturing the deployment bill of materials (DBOM).
Speakers:
Bob Boule
Robert Boule is a technology enthusiast with PASSION for technology and making things work along with a knack for helping others understand how things work. He comes with around 20 years of solution engineering experience in application security, software continuous delivery, and SaaS platforms. He is known for his dynamic presentations in CI/CD and application security integrated in software delivery lifecycle.
Gopinath Rebala
Gopinath Rebala is the CTO of OpsMx, where he has overall responsibility for the machine learning and data processing architectures for Secure Software Delivery. Gopi also has a strong connection with our customers, leading design and architecture for strategic implementations. Gopi is a frequent speaker and well-known leader in continuous delivery and integrating security into software delivery.
GraphRAG is All You need? LLM & Knowledge GraphGuy Korland
Guy Korland, CEO and Co-founder of FalkorDB, will review two articles on the integration of language models with knowledge graphs.
1. Unifying Large Language Models and Knowledge Graphs: A Roadmap.
https://arxiv.org/abs/2306.08302
2. Microsoft Research's GraphRAG paper and a review paper on various uses of knowledge graphs:
https://www.microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/
The Art of the Pitch: WordPress Relationships and SalesLaura Byrne
Clients don’t know what they don’t know. What web solutions are right for them? How does WordPress come into the picture? How do you make sure you understand scope and timeline? What do you do if sometime changes?
All these questions and more will be explored as we talk about matching clients’ needs with what your agency offers without pulling teeth or pulling your hair out. Practical tips, and strategies for successful relationship building that leads to closing the deal.
Securing your Kubernetes cluster_ a step-by-step guide to success !KatiaHIMEUR1
Today, after several years of existence, an extremely active community and an ultra-dynamic ecosystem, Kubernetes has established itself as the de facto standard in container orchestration. Thanks to a wide range of managed services, it has never been so easy to set up a ready-to-use Kubernetes cluster.
However, this ease of use means that the subject of security in Kubernetes is often left for later, or even neglected. This exposes companies to significant risks.
In this talk, I'll show you step-by-step how to secure your Kubernetes cluster for greater peace of mind and reliability.
UiPath Test Automation using UiPath Test Suite series, part 3DianaGray10
Welcome to UiPath Test Automation using UiPath Test Suite series part 3. In this session, we will cover desktop automation along with UI automation.
Topics covered:
UI automation Introduction,
UI automation Sample
Desktop automation flow
Pradeep Chinnala, Senior Consultant Automation Developer @WonderBotz and UiPath MVP
Deepak Rai, Automation Practice Lead, Boundaryless Group and UiPath MVP
Generating a custom Ruby SDK for your web service or Rails API using Smithyg2nightmarescribd
Have you ever wanted a Ruby client API to communicate with your web service? Smithy is a protocol-agnostic language for defining services and SDKs. Smithy Ruby is an implementation of Smithy that generates a Ruby SDK using a Smithy model. In this talk, we will explore Smithy and Smithy Ruby to learn how to generate custom feature-rich SDKs that can communicate with any web service, such as a Rails JSON API.
8. Herausforderungen @ Benchmarks (generell)
‣ synthetische Last vs. reale Last
➛ Benchmarks müssen vergleichbar sein
➛ Lastverhalten in RZs individuell stark unterschiedlich
‣ Man kann das Falsche messen oder das falsche messen wollen.
‣ Man kann das falsche Ergebnis schlussfolgern.
‣ Man kann Fehler ignorieren.
‣ Bugs in der Benchmark-Software
➛ selber schreiben i. d. R. keine Option, weil sehr (zeit)aufwendig.
‣ »Active Benchmarking«
Brendan Gregg, http://www.brendangregg.com/activebenchmarking.html
»Wer misst, misst Mist«— überlieferte Ingenieursweisheit
14. Warum kein dd?
‣ dd(1) ➛ disk dump
‣ dd if=<input_file> of=<output_file> bs=<blocksize>
➛ sequential only
➛ genau ein Stream mit genau einer Blocksize
‣ if=/dev/zero ➛ liefert Strom von Nullen
➛ lässt sich hervorragend cachen
➛ lässt sich hervorragend komprimieren
➛ lässt sich hervorragend deduplizieren
‣ if=/dev/random oder /dev/urandom
➛ Bottleneck ist häufig CPU
15. Agenda
‣ Warum überhaupt Benchmarks?
Aussagekraft, Herausforderungen, I/O-Stack, Tools
‣Storage Performance Council
SPC-1, SPC-2, Industriestandard, Terminologie, Reports
‣ Und was heißt das jetzt für’s Tagesgeschäft?
Benchmarks selber programmieren?
Benchmarks für die Beschaffung?
Glaskugel
16. Industriestandard SPC-1 und SPC-2
‣ Storage Performance Council
➛ https://spcresults.org/
➛ Full Member: 12.000U$, Toolkit 4.000U$, je Submission 1.000U$ (139 Mitglieder)
➛ Associate Member: 5.000U$, Toolkit 6.000U$, je Submission 1.500U$ (140 Mitglieder)
➛ Academic Member: 0U$, Toolkit 500U$ (limited license), keine Submissions (141 Mitglieder)
➛ »Sponsors«
‣ formale Definition und Spezifikation
➛ reproduzierbar
➛ vgl. auch SPECint/SPECfp für CPUs
‣ Vergleichbarkeit von Ergebnissen
‣ SPC-1 für zeitkritische Anforderungen (OLTP, Response Time)
‣ SPC-2 für »large scale sequential movement of data«
22. SPC-1 — Executive Summary (3)
EXECUTIVE SUMMARY Page 4 of 6
SPC Benchmark 1™ V3.8 Submission Identifier: A31020
Huawei Technologies Co., Ltd Submitted for Review: December 27, 2018
Huawei OCEANSTOR 5600 V5
Storage Configuration Pricing
Third-Party Reseller: Huawei Technologies Co., Ltd. only sells its products to third-
party resellers who, in turn, sell those products to U.S. customers. The above reflects
the pricing quoted by one of those third-party resellers. See Appendix B of the Full
Disclosure Report for a copy of the third-party reseller s quotation.
Description Qty Unit Price Ext. Price Disc. Disc. Price
02351LWK 56V5-256G-AC2 OceanStor 5600 V5 Engine(3U,Dual
Controller,AC240HVDC,256GB
Cache,SPE63C0300) 2 116,820.00 233,640.00 68% 74,764.80
SMARTIO10ETH 4 port SmartIO I/O module(SFP+,10Gb
Eth/FCoE(VN2VF)/Scale-out) 4 6,288.00 25,152.00 68% 8,048.64
SMARTIO8FC 4 port SmartIO I/O module(SFP+,8Gb FC) 8 3,192.00 25,536.00 68% 8,171.52
LPU4S12V3 4 port 4*12Gb SAS I/O module(MiniSAS HD) 8 4,963.00 39,704.00 68% 12,705.28
HSSD-960G2S-A9 960GB SSD SAS Disk Unit(2.5") 72 10,176.00 732,672.00 70% 219,801.60
DAE52525U2-AC-A2
Disk Enclosure(2U,AC240HVDC,2.5",Expanding
Module,25 Disk Slots,without Disk
Unit,DAE52525U2) 8 10,584.00 84,672.00 68% 27,095.04
N8GHBA000 QLOGIC QLE2562 HBA Card,PCIE,8Gbps
DualPort ,Fiber Channel Multimode LC Optic
Interface,English Manual, No Drive CD 12 1,698.00 20,376.00 0% 20,376.00
SN2F01FCPC Patch Cord,DLC/PC,DLC/PC,Multi-
mode,3m,A1a.2,2mm,42mm DLC,OM3 bending
insensitive 24 14.00 336.00 0% 336.00
LIC-56V5-BS Basic Software License(Including
DeviceManager,SmartThin,SmartMulti-
tenant,SmartMigration,SmartErase,SmartMotion,
SystemReporter,eService,SmartQuota,NFS,CIFS,
NDMP 1 9,852.00 9,852.00 70% 2,955.60
374,254.48
02351LWK-88134ULF-36 OceanStor 5600 V5 Engine(3U,Dual
Controller,AC240HVDC,256GB
Cache,SPE63C0300&4*Disk Enclosure-
2U,AC240HVDC,2.5",DAE52525U2&36*960GB
SSD SAS Disk Unit(2.5"))-Hi-Care Onsite
Premier 24x7x4H Engineer Onsite Service-
36Month(s) 2 29,292.00 58,584.00 0% 58,584.00
88034JNY-88134UHK-36 Basic Software License(Including
DeviceManager,SmartThin,SmartMulti-
tenant,SmartMigration,SmartErase,SmartMotion,
SystemReporter,eService,SmartQuota,NFS,CIFS,
NDMP)-Hi-Care Application Software Upgrade
Support Service-36Month(s) 1 2,919.00 2,919.00 0% 2,919.00
8812153244 OceanStor 5600 V5 Installation Service -
Engineering 1 10,267.00 10,267.00 0% 10,267.00
71,770.00
446,024.48
1,100,252
405.39
26,124
17.08
SPC-1 Total System Price
SPC-1 ASU Capacity (GB)
SPC-1 ASU Price ($/GB)
SPC-1 IOPS
SPC-1 P ce-Pe a ce ($/SPC-1 KIOPS )
Hardware & Software
Hardware & Software Subtotal
Support & Maintenance
Support & Maintenance Subtotal
23. SPC-1 — Full Disclosure Report (1)
CONFIGURATION INFORMATION Page 13 of 42
SPC Benchmark 1 3. FULL DISCLOSURE REPORT Submission Identifier: A31020
Huawei Technologies Co., Ltd Submitted for Review: December 27, 2018
Huawei OCEANSTOR 5600 V5
CONFIGURATION INFORMATION
Benchmark Configuration and Tested Storage Configuration
The following diagram illustrates the Benchmark Configuration (BC), including the
Tested Storage Configuration (TSC) and the Host System(s).
Storage Network Configuration
The Tested Storage Configuration (TSC) involved an external storage subsystem
made of 4 Huawei OCEANSTOR 5600 V5, driven by 6 host systems (Huawei
BENCHMARK EXECUTION RESULTS Page 16 of 42
Overview
SPC Benchmark 1 3. FULL DISCLOSURE REPORT Submission Identifier: A31020
Huawei Technologies Co., Ltd Submitted for Review: December 27, 2018
Huawei OCEANSTOR 5600 V5
BENCHMARK EXECUTION RESULTS
This portion of the Full Disclosure Report documents the results of the various SPC-1 Tests,
Test Phases, and Test Runs.
Benchmark Execution Overview
Workload Generator Input Parameters
The SPC-1 Workload Generator commands and input parameters for the Test Phases
are presented in the Supporting Files (see Appendix A).
Primary Metrics Test Phases
The benchmark execution consists of the Primary Metrics Test Phases, including the
Test Phases SUSTAIN, RAMPD_100 to RAMPD_10, RAMPU_50 to RAMPU_100,
RAMP_0, REPEAT_1 and REPEAT_2.
Each Test Phase starts with a transition period followed by a Measurement Interval.
Measurement Intervals by Test Phase Graph
The following graph presents the average IOPS and the average Response Times
measured over the Measurement Interval (MI) of each Test Phase.
Exception and Waiver
None.
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0
200,000
400,000
600,000
800,000
1,000,000
1,200,000
AverageMeasuredResponseTime(ms)
AverageMeasuredIOPS
Measurement Intervals by Test Phase Graph
IOPS Response Time
24. SPC-1 — Full Disclosure Report (2)
BENCHMARK EXECUTION RESULTS Page 24 of 42
Primary Metrics – Response Time Ramp Test
SPC Benchmark 1™ V3.8 FULL DISCLOSURE REPORT Submission Identifier: A31020
Huawei Technologies Co., Ltd Submitted for Review: December 27, 2018
Huawei OCEANSTOR 5600 V5
Response Time Ramp Test – Average Response Time Graph
Response Time Ramp Test – RAMPD_10 Response Time Graph
0.000
0.100
0.200
0.300
0.400
0.500
0.600
0.700
0.800
AverageMeasuredResponseTime(ms)
Average Response Time Graph (Response Time Ramp Test)
MI
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
0 2 4 6 8 10 12 14
ResponseTime(ms)
Relative Run Time (minutes)
Response Time Graph (RAMPD_10 @ 110,020 IOPS)
ASU1 ASU2 ASU3 All ASUs
BENCHMARK EXECUTION RESULTS Page 27 of 42
Repeatability Tests
SPC Benchmark 1 3. FULL DISCLOSURE REPORT Submission Identifier: A31020
Huawei Technologies Co., Ltd Submitted for Review: December 27, 2018
Huawei OCEANSTOR 5600 V5
REPEAT_2_100 – Response Time Graph
Repeatability Test – Intensity Multiplier
The following tables lists the targeted intensity multiplier (Defined), the measured
intensity multiplier (Measured) for each I/O STREAM, its coefficient of variation
(Variation) and the percent of difference (Difference) between Target and Measured.
REPEAT_1_100 Test Phase
ASU1-1 ASU1-2 ASU1-3 ASU1-4 ASU2-1 ASU2-2 ASU2-3 ASU3-1
Defined 0.0350 0.2810 0.0700 0.2100 0.0180 0.0700 0.0350 0.2810
Measured 0.0350 0.2810 0.0700 0.2100 0.0180 0.0700 0.0350 0.2810
Variation 0.0005 0.0002 0.0007 0.0003 0.0008 0.0005 0.0005 0.0001
Difference 0.002% 0.005% 0.010% 0.005% 0.025% 0.005% 0.015% 0.003%
REPEAT_2_100 Test Phase
ASU1-1 ASU1-2 ASU1-3 ASU1-4 ASU2-1 ASU2-2 ASU2-3 ASU3-1
Defined 0.0350 0.2810 0.0700 0.2100 0.0180 0.0700 0.0350 0.2810
Measured 0.0350 0.2810 0.0700 0.2100 0.0180 0.0700 0.0350 0.2810
Variation 0.0004 0.0002 0.0005 0.0002 0.0011 0.0003 0.0008 0.0002
Difference 0.043% 0.010% 0.016% 0.003% 0.045% 0.006% 0.011% 0.005%
MI
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
0 2 4 6 8 10 12 14
ResponseTime(ms)
Relative Run Time (minutes)
Response Time Graph (REPEAT_2_100 @ 1,100,200 IOPS)
ASU1 ASU2 ASU3 All ASUs
27. SPC-2 — Executive Summary
EXECUTIVE SUMMARY Page 4 of 9
C BE CH A K 2 V1.7.0 Executive Summary
Vexata Inc. Submitted: August 29, 2018
VX100-F Scalable NVMe Flash Array Submission ID: B12004
SPC-2 Reported Data
VX100-F Scalable NVMe Flash Array
SPC-2 MB
SPC-2 Price-
Performance
ASU Capacity (GB) Total Price
Data Protection
Level
49,042.39 $5.35 20,615.843 $262,572.59
Protected 1
(RAID 5 (N+1).)
The above SPC-2 MBPS al e e e en he agg ega e da a a e of all h ee SPC-2 workloads: Large File Processing (LFP), Large
Database Query (LDQ), and Video On Demand (VOD).
Currency Used: "Target Country":
U.S. Dollars USA
SPC-2 Large File Processing (LFP) Reported Data
Data Rate (MB/second) Number of Streams
Data Rate per
Stream
Price-Performance
LFP Composite 47,554.98 $5.52
Write Only:
1024 KiB Transfer 35,532.23 40 888.31
256 KiB Transfer 34,763.83 80 434.55
Read-Write:
1024 KiB Transfer 59,486.68 184 323.30
256 KiB Transfer 59,810.01 184 325.05
Read Only:
1024 KiB Transfer 48,190.46 184 261.90
256 KiB Transfer 47,546.68 184 258.41
The above SPC-2 Data Rate value for LFP Composite represents the aggregate performance of all three LFP Test Phases: (Write Only,
Read-Write, and Read Only).
SPC-2 Large Database Query (LDQ) Reported Data
Data Rate (MB/second) Number of Streams
Data Rate per
Stream
Price-Performance
LDQ Composite 49,869.23 $5.27
1024 KiB Transfer Size
4 I/Os Outstanding 50,425.48 32 1,575.80
1 I/O Outstanding 50,390.42 96 524.90
64 KiB Transfer Size
4 I/Os Outstanding 50,609.64 96 527.18
1 I/O Outstanding 48,051.39 320 150.16
The above SPC-2 Data Rate value for LDQ Composite represents the aggregate performance of the two LDQ Test Phases: (1024 KiB
and 64 KiB Transfer Sizes).
SPC-2 Video On Demand (VOD) Reported Data
Data Rate (MB/second) Number of Streams
Data Rate per
Stream
Price-Performance
49,702.97 63,200 0.79 $5.28
28. SPC-2 — Full Disclosure Report (1)
SPC-2 DATA REPOSITORY Page 22 of 61
C BE CH A K 2 V1.7.0 Full Disclosure Report
Vexata Inc. Submitted: August 29, 2018
VX100-F Scalable NVMe Flash Array Submission ID: B12004
Storage Hierarchy Ratios
Addressable
Storage
Capacity
Configured
Storage
Capacity
Physical
Storage
Capacity
Total ASU Capacity 100.00% 32.21% 32.21%
Data Protection (RAID 5 (N+1).) 2.18% 2.18%
Addressable Storage Capacity 32.21% 32.21%
Required Storage 37.45% 37.45%
Configured Storage Capacity 100.00%
Global Storage Overhead 0.00%
Unused Storage:
Addressable 0.00%
Configured 25.57%
Physical 0.00%
Storage Capacity Charts
GlobalStorage
Overhead:
0.000 GB (0.00%)
UnusedPhysical
Capacity:
0.000 GB (0.00%)
Data Capacity:
22,284.902 GB
(34.81%)
Data
Protection
Capacity:
1,392.806 GB
(2.18%)
SparingCapacity:
0.000 GB (0.00%)
Overhead&
Metadata:
23,970.195 GB
(37.45%)
ConfiguredStorage
Capacity:
64,013.113 GB
(100.00%)
Physical Storage Capacity: 64,013.113 GB
SPC-2 DATA REPOSITORY Page 23 of 61
C BE CH A K 2 V1.7.0 Full Disclosure Report
Vexata Inc. Submitted: August 29, 2018
VX100-F Scalable NVMe Flash Array Submission ID: B12004
Data Protection
Capacity:
1,392.806 GB (2.18%)
Spares:
0.000 GB (0.00%)
Overhead&
Metadata:
23,970.195 GB
(37.45%)
Addressable
Storage Capacity:
20,615.843 GB
(32.21%)
UnusedData Capacity:
1,669.059 GB (2.61%)
Data Capacity:
22,284.902 GB
(34.81%)
Configured Storage Capacity: 64,013.113 GB
ASU Capacity:
20,615.843 GB
(100.00%)
AddressableStorageCapacity: 20,615.843 GB
UnusedAddressable
Capacity:
0.000 GB (0.00%)
29. SPC-2 — Full Disclosure Report (2)
SPC-2 BENCHMARK EXECUTION RESULTS Page 29 of 61
Large File Processing Test
C BE CH A K 2 V1.7.0 Full Disclosure Report
Vexata Inc. Submitted: August 29, 2018
VX100-F Scalable NVMe Flash Array Submission ID: B12004
Average Data Rates (MB/s)
The average Data Rate (MB/s) for each Test Run in the three Test Phases of the SPC-2 Large File
Processing Test is listed in the table below as well as illustrated in the following graph.
Test Run Sequence 1 Stream
Variable
Streams
Variable
Streams
Variable
Streams
Variable
Streams
Write 1024KiB 2,326.81 9,508.26 17,833.15 31,292.20 35,532.23
Write 256KiB 1,020.06 8,946.47 16,496.39 27,368.93 34,763.83
Read/Write 1024KiB 1,427.00 24,075.32 40,743.49 55,172.27 59,486.68
Read/Write 256KiB 938.41 20,474.16 36,077.14 54,004.62 59,810.01
Read 1024KiB 1,671.50 23,246.57 35,676.06 45,920.89 48,190.46
Read 256KiB 1,181.65 20,775.14 33,564.49 45,945.52 47,546.68
1 Stream, 1,181.65 MB/s
1 Stream, 1,671.50 MB/s
1 Stream, 938.41 MB/s
1 Stream, 1,427.00 MB/s
1 Stream, 1,020.06 MB/s
1 Stream, 2,326.81 MB/s
23 Streams, 20,775.14 MB/s
23 Streams, 23,246.57 MB/s
23 Streams, 20,474.16 MB/s
23 Streams, 24,075.32 MB/s
10 Streams, 8,946.47 MB/s
5 Streams, 9,508.26 MB/s
46 Streams, 33,564.49 MB/s
46 Streams, 35,676.06 MB/s
46 Streams, 36,077.14 MB/s
46 Streams, 40,743.49 MB/s
20 Streams, 16,496.39 MB/s
10 Streams, 17,833.15 MB/s
92 Streams, 45,945.52 MB/s
92 Streams, 45,920.89 MB/s
92 Streams, 54,004.62 MB/s
92 Streams, 55,172.27 MB/s
40 Streams, 27,368.93 MB/s
20 Streams, 31,292.20 MB/s
184 Streams, 47,546.68 MB/s
184 Streams, 48,190.46 MB/s
184 Streams, 59,810.01 MB/s
184 Streams, 59,486.68 MB/s
80 Streams, 34,763.83 MB/s
40 Streams, 35,532.23 MB/s
0 10,000 20,000 30,000 40,000 50,000 60,000 70,000
256KiB transfers
with only
Read operations
1024KiB transfers
with only
Read operations
256KiB transfers
with
50% Read operations
50% Write operations
1024KiB transfers
with
50% Read operations
50% Write operations
256KiB transfers
with only
Write operations
1024KiB transfers
with only
Write operations
Data Rate, MB/sec
Large File Processing - Data Rate
SPC-2 BENCHMARK EXECUTION RESULTS Page 39 of 61
Large Database Query Test
C BE CH A K 2 V1.7.0 Full Disclosure Report
Vexata Inc. Submitted: August 29, 2018
VX100-F Scalable NVMe Flash Array Submission ID: B12004
Average Response Time
The average Response Time, in milliseconds, for each Test Run in the two Test Phases of the SPC-2 Large
Database Query Test is listed in the table below as well as illustrated in the following graph.
Test Run Sequence 1 Stream
Variable
Streams
Variable
Streams
Variable
Streams
Variable
Streams
1024KiB w/ 4 IOs/Stream 0.50 1.26 1.26 2.52 2.66
1024KiB w/ 1 IO/Stream 0.45 0.61 0.68 1.08 2.00
64KiB w/ 4 IOs/Stream 0.11 0.15 0.17 0.26 0.50
64KiB w/ 1 IO/Stream 0.11 0.12 0.15 0.22 0.44
1 Stream, 0.11 ms
1 Stream, 0.11 ms
1 Stream, 0.45 ms
1 Stream, 0.50 ms
40 Streams, 0.12 ms
12 Streams, 0.15 ms
12 Streams, 0.61 ms
4 Streams, 1.26 ms
80 Streams, 0.15 ms
24 Streams, 0.17 ms
24 Streams, 0.68 ms
8 Streams, 1.26 ms
160 Streams, 0.22 ms
48 Streams, 0.26 ms
48 Streams, 1.08 ms
16 Streams, 2.52 ms
320 Streams, 0.44 ms
96 Streams, 0.50 ms
96 Streams, 2.00 ms
32 Streams, 2.66 ms
0 1 1 2 2 3 3
64KiB transfers
with
1 IO outstanding
per Stream
64KiB transfers
with
4 IOs outstanding
per Stream
1024KiB transfers
with
1 IO outstanding
per Stream
1024KiB transfers
with
4 IOs outstanding
per Stream
Response Time, ms
Large Database Query - Average Response Time
30. SPC-1/2 Energy Extension
‣ kompletter Messzyklus ≥ 3 Tage
‣ Temperaturmessung
➛ am Anfang der Idle-Tests
➛ während letzter Minute Last-Test
‣ RMS ≙ quadratischer Mittelwert
31. SPC — Pricing (im Report)
‣ Hardware, Software, zusätzlich erforderliche Komponenten für
Storage-Funktionalität, 3 Jahre Support, alle anfallenden
Gebühren (Steuern, Zoll u. ä.)
‣ ausgenommen: HW für Benchmark-Setup ohne Storage-Funktion
➛ Server, die Workload erzeugen
➛ evtl. HBAs, FC-Switches, Verkabelung
➛ Fracht/Verpackung
‣ Projektpreise sind nicht erlaubt (»individually negotiated«)
➛ Wie aussagekräftig ist dann noch $/IOPS oder $/MBPS?
‣ Support ≙ 4h Response Time + 4h Vor-Ort-Service
➛ Vor-Ort = Ersatzteil und/oder Techniker
32. Agenda
‣ Warum überhaupt Benchmarks?
Aussagekraft, Herausforderungen, I/O-Stack, Tools
‣ Storage Performance Council
SPC-1, SPC-2, Industriestandard, Terminologie, Reports
‣Und was heißt das jetzt für’s Tagesgeschäft?
Benchmarks selber programmieren?
Benchmarks für die Beschaffung?
Glaskugel
33. SPC-1/2 selber bauen?
‣ ja, geht, und ist prinzipiell auch erlaubt
➛ aufwendig in der Entwicklung
➛ muss für offizielle Benchmarks von einem Auditor abgenommen werden
$ cat spc1-preflight.vdbench
***
*** vdbench Parameterfile to emulate SPC-1 workload
***
** storage definitions
**
sd=asu11,lun=/dev/rdsk/c25t2100000E1E19FB51d0s2
sd=asu12,lun=/dev/rdsk/c25t2100000E1E19FB51d13s2
sd=asu21,lun=/dev/rdsk/c26t2100000E1E19F170d32s2
sd=asu22,lun=/dev/rdsk/c26t2100000E1E19F240d68s2
sd=asu31,lun=/dev/rdsk/c27t2100000E1E19F5A1d29s2
sd=asu32,lun=/dev/rdsk/c27t2100000E1E19FB71d39s2
sd=asu41,lun=/dev/rdsk/c28t2100000E1E19F1B1d21s2
sd=asu42,lun=/dev/rdsk/c28t2100000E1E19F261d8s2
** workload definitions
**
wd=asu111,sd=asu11,rdpct=50,xfersize=4k,skew=1
wd=asu112,sd=asu11,rdpct=50,xfersize=4k,skew=6,range=(15,20)
wd=asu113,sd=asu11,rdpct=100,xfersize=(8k,40,16k,24,32k,20,64k,8,128k,8),skew=2,range=(40,50)
wd=asu114,sd=asu11,rdpct=50,xfersize=4k,skew=5,range=(70,75)
wd=asu121,sd=asu12,rdpct=30,xfersize=4k,skew=1
wd=asu122,sd=asu12,rdpct=30,xfersize=4k,skew=2,range=(47,52)
wd=asu123,sd=asu12,rdpct=100,xfersize=(8k,40,16k,24,32k,20,64k,8,128k,8),skew=1,range=(40,50)
wd=asu131,sd=asu13,rdpct=0,xfersize=(8k,40,16k,24,32k,20,64k,8,128k,8),skew=7,range=(35,65)
…
** run definition (raw I/O)
**
rd=spc1emu,wd=(asu111,asu112,asu113,asu114,asu121,…,),iorate=max,elapsed=300
34. Benchmarks in der Storage-Beschaffung?
‣ Wie genau kennen Sie die im Unternehmen benötigten
➛ IOPS und MBPS,
35. Benchmarks in der Storage-Beschaffung?
‣ Wie genau kennen Sie die im Unternehmen benötigten
➛ IOPS und MBPS,
➛ als Funktion der I/O-Blocksize,
36. Benchmarks in der Storage-Beschaffung?
‣ Wie genau kennen Sie die im Unternehmen benötigten
➛ IOPS und MBPS,
➛ als Funktion der I/O-Blocksize,
➛ mit der Verteilung nach read/write?
37. Benchmarks in der Storage-Beschaffung?
‣ Wie genau kennen Sie die im Unternehmen benötigten
➛ IOPS und MBPS,
➛ als Funktion der I/O-Blocksize,
➛ mit der Verteilung nach read/write?
Wie sind dann SPC-Werte zu bewerten?
38. Benchmarks in der Storage-Beschaffung?
‣ Wie genau kennen Sie die im Unternehmen benötigten
➛ IOPS und MBPS,
➛ als Funktion der I/O-Blocksize,
➛ mit der Verteilung nach read/write?
Wie sind dann SPC-Werte zu bewerten?
‣ keine allgemeingültigen IOPS-Muster
➛ »Fingerprint« des Unternehmens, abhängig von vielen Faktoren/Randbedingungen
‣ Herstellerdarstellung immer »so große Zahl als wie gehen tut«
➛ Anpassen der Benchmark-Optionen
‣ Lösungen?
➛ umfangreicher, lange laufender PoC (aufwendig)
➛ flexibles, in alle Richtungen skalierbares Storage (»Wollmilchsau«)
39. Glaskugel — Was bringt die Zukunft?
‣ Cloud Storage (public und private)
➛ viel Software involviert, mehrere Abstraktionslayer
➛ COSbench
‣ Solid State Memory (NAND Flash, Optane u. a.)
➛ keine »bremsende« Mechanik mehr
➛ Applikations-Debugging kann Thema werden, wenn plötzlich
Bottleneck ≠ Storage wird (z. B. komplexe oder »kaputte« SQL Queries)
Bootlenecks verschieben sich nur durch das System,
verschwinden aber nicht.
40. Quellen und »further learning«
‣ Spezifikationen zu den SPC-1/2 Benchmarks
https://spcresults.org/benchmarks
‣ Avishay Traeger et al.
A Nine Year Study of File System and Storage Benchmarking
https://www.fsl.cs.sunysb.edu/docs/fsbench/fsbench.pdf
‣ Brendan Gregg
Broken Linux Performance Tools
SCALE 14x, 2016
https://www.youtube.com/watch?v=OPio8V-z03c
‣ Raj Jain
The Art of Computer Systems Performance Analysis
John Wiley & Sons, Inc., 1991