Almacenamiento Flash de IBM - Punto de inflexión en la gestión de Big Data
Upcoming SlideShare
Loading in...5
×
 

Almacenamiento Flash de IBM - Punto de inflexión en la gestión de Big Data

on

  • 546 views

 

Statistics

Views

Total Views
546
Views on SlideShare
328
Embed Views
218

Actions

Likes
0
Downloads
9
Comments
0

1 Embed 218

http://planetoideit.wordpress.com 218

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Conversation Starter: Flash: What do you know about Flash? Reasons why IBM FlashSystem is the right solution: It’s not just about speed, its is about efficiency It’s not expensive. It is premium so the value needs to be conveyed properly. 10% of your workload causes 90% of your performance issues Get more out of your IT infrastructure. Reduce and even eliminate licenses per core/CPU Cost avoidance
  • {TRANSCRIPT} Let ’ s quickly walk through an IO flow with spinning disk. Please note this is not a vendor specific thing. This concept applies to all spinning disk. Important note: These timings are approximate, and for a specific architecture and workload. They are meant to illustrate an example only. Note: The ~100us wait times are non-storage related and therefore independent. This example shows the case when a read request is not satisfied from cache in a disk array. In cached disk array, some portion of read requests will be satified out of cache. Step through the build click by click.
  • {TRANSCRIPT} Now let ’ s look at the same flow when our RamSan has been substituted for spinning disk. Walk through build. Once again, this example shows the case when a read request is not satisfied from cache in a disk array. In cached disk array, some portion of read requests will be satified out of cache. Improving application performance by reducing cpu wait time by a factor of up to 12x. Note, there was no tuning, tiering or software added. Simply plug it in an get the benefit. That my friends is “ why Flash ” . So let ’ s dive into the technology itself. What is flash memory?
  • Refocus means that the performance conversation is not about IOPS anymore, but Latency. Critical applications and the servers where these run Don’t want to WAIT for data, they want to spend their time Processing Data. And, this needs to be predictable, consistent and deterministic. Refocus also means that the conversation is NOT about capacity and $/GB. But Performance/GB. That is, the balance of best performance (latency or IOPS) AND Capacity.
  • There is a need for extreme raw performance of low latency, IOPS and bandwidth
  • BUILD SLIDE Narrative : The idea here is to develop a prescriptive approach to optimizing storage over time, starting with flash as a way to “jump start” the most resource- and performance-intensive applications. The bars representing each workload are intended to visualize the relative price/performance (height) and the total capacity consumed (width) – the area of each thus represents the total cost per workload, with implied weighting of the most critical workloads on the most costly, highest performance storage assets. Build Sequence 1 : The first overlay segment represents workloads that may be good candidates for migration to flash initially. These will be the most critical, performance-intensive workloads that are relatively modest in total capacity footprint. OLTP workloads, for example, like those typically based upon RDBMS technology such as Oracle or DB2, tend to be relatively small (less than 10 TB in many cases) and highly mission-critical. As such, they are strong candidates for flash placement, where immediate and sometimes dramatic performance benefits can be achieved very easily, with no application modification required. Build Sequence 2, 3 : As we move forward in time, and the economics of flash storage continue to improve as a function of higher areal density and better price/performance, more and more workloads become candidates for flash placement – even those with more modest performance requirements and larger footprints. In effect, over time the storage infrastructure landscape shifts from (perhaps) multi-tier, to a more clearly bifurcated model of “flash and stash” – flash for tier 0, spinning high capacity SAS HDDs for everything else. Lower tiers can all be collapsed onto high capacity SAS drives at a much lower and more sustainable cost, with no sacrifice in performance or resiliency. Build Sequence 4 : The final overlay illustrates that throughout the “journey” to flash-optimized storage, there are also other options available along the way that can exploit flash technologies at multiple points within the IT infrastructure. These may include array-based flash, server-based PCIe flash, or even extended DRAM cache within specific server nodes. The goal over time it to leverage high performance flash technologies to efficiently and cost-effectively accelerate the performance and scalability of all enterprise workloads. IBM offers a broad, deep portfolio of hardware, software and
  • BUILD
  • Paper #122 26/08/13 http://www.tusc.com

Almacenamiento Flash de IBM - Punto de inflexión en la gestión de Big Data Almacenamiento Flash de IBM - Punto de inflexión en la gestión de Big Data Presentation Transcript

  • © 2013 IBM Corporation1 Title of presentation goes here José Luis Llorente Responsable de Desarrollo de Negocio de Almacenamiento, IBM Almacenamiento Flash Un punto de inflexión en la gestión de Big Data. Madrid, 10 de junio, 2013
  • © 2013 IBM Corporation2 1. Reducir el numero de licencias de Base de Datos 2. Mejorar la eficiencia de nuestras aplicaciones 3. Maximizar el uso de los servidores 4. Maximizar la eficiencia del Almacenamiento 5. Conseguir la Micro -Latencia5. Conseguir la Micro -Latencia!! ¡ SE PUEDE ! ...¡ SE PUEDE ! ... Con IBM FlashSystemCon IBM FlashSystem El uso de IBM FlashSystem ‘is a “must”’ en cada Data Center Y si pudieramos ….. Maximizar el uso de toda nuestra Inversión en Infraestructura HW y Software ….
  • © 2013 IBM Corporation3 Muy costosa y Volatil Lleva mucho tiempo, es muy caro y suele ser muy arriesgado Caro y puede ser ineficiente por problemas de latencia Caro y puede ser ineficiente por estar el problema en el Almacenamiento: alto IO Wait ! Respuestas cuando se tienen problemas de rendimiento Añade mas memoria RAM !! Soluciones típicas para mejorar el rendimiento Mejora los discos, añade mas, pon SSD, pon 15K rpm !!! Añade mas CPUs !!! Tunea y Modifica la Aplicación
  • © 2013 IBM Corporation4 Por qué Flash……..? Y por qué ahora ? Evolución de la tecnología en los ultimos 10 años … • Velocidad CPU: mejoras en rendimiento 8-10x • Velocidad DRAM: mejoras en rendimiento 7-9x • Velocidad de Network: mejoras en rendimiento de 100x • Velocidad de Bus: mejoras en rendimiento de 20x • Velocidad de Disco: mejoras en rendimiento de 1.2X
  • © 2013 IBM Corporation5 Evolución de la tecnología de Almacenamiento considerando IBM FlashSystem… • Velocidad CPU: mejoras en rendimiento 8-10x • Velocidad DRAM: mejoras en rendimiento 7-9x • Velocidad de Network: mejoras en rendimiento de 100x • Velocidad de Bus: mejoras en rendimiento de 20x • Velocidad de Disco: el rendimiento mejora 30x ¿Por qué Flash?... ¿Y por qué ahora ?
  • © 2013 IBM Corporation6 Beneficios de Flash: E/S desde disco Time Tiempo en procesar un I/O ‘servido’ desde Disco • Petición de I/O : (~ 100 μs) • Espera por el I/O para ser servido desde el disco : (~ 5,000 μs) • Proceso del I/O : (~ 100 μs) Tiempo total para procesar una petición de 1 I/O = 200 μs + 5,000 μs = 5,200 μs % uso de la CPU= tiempo de espera/ tiempo de proceso = 200 / 5,200 = ~4% Processing ~100µs ~100µs Waiting ~5000 µs CPU State 1 I/O Request
  • © 2013 IBM Corporation7 Time I/O Servido desde Flash Memory • Petición de I/O (~ 100 μs) • Tiempo de espera del IO para ser servido desde Flash: (~ 200 μs) • Proceso del I/O (~ 100 μs) Tiempo total para procesar 1 I/O request = 200 μs + 200 μs = 400 μs % de Uso de la CPU = tiempo de espera/tiempo de proceso = 200 / 400 = ~50% Processing ~100µs ~100µs Waiting ~200 µs CPU State 1 I/O Request Multiplica por 12 el rendto de la aplicación con tan solo mejorar la latencia de acceso al Almacenamiento en disco Beneficios de Flash: E/S desde Flash
  • © 2013 IBM Corporation8 Direct Attach All Flash Arrays Hybrid Storage Systems Acelera el rendimiento de aplicaciones críticas y aprovecha toda la potencia de nuestros servidores IBM FlashSystem ofrece rendimiento ‘extremo’, baja latencia y atributos de robustez clase ‘enterprise’ IBM FlashSystem ofrece rendimiento ‘extremo’, baja latencia y atributos de robustez clase ‘enterprise’ La ‘Piramide’ de Flash ahora completada con ‘cabinas externas Flash’
  • #flashahead Tape HDD Form Factor SSD PCIe SSD Seconds 5-15 milliseconds ~1 milliseconds < 1 millisecond IBM FlashSystem 100 microseconds …latencia consistente en 1U y hasta 20TB de Flash 1 second = 1 million microseconds Con Flash se marca un antes y un despues ….
  • © 2013 IBM Corporation10 Piensa en ‘Flash’ – Integra IBM FlashSystem en tu instalación !!! Sugerencias : • Complementa con Flash tu actual infraestructura • Asigna a los discos Flash el workload/los trabajos mas ‘pesados’ y críticos • Reduce el tiempo de respuesta global de todas las aplicaciones • Maximiza la eficiencia y el uso de toda la inversion en tecnologia ya realizada • Elimina completamente los problemas de rendimiento por culpa del Almacenamiento • Consigue rendimiento consistente y continuado para las aplicaciones criticas de tu negocio Elimina los cuellos de botella
  • © 2013 IBM Corporation11 Reenfoque del Rendimiento Número de IOPS versus Latency en milisegundos ? Tiempo de Proceso de datos versus Tiempo en Espera hasta recuperar el bloque Rendimiento Consistente versus Rendimiento Variable e Impredecible
  • © 2013 IBM Corporation12 On-demand computing, distribución de contenidos, web caching, metadata, active file management, etc… Finanzas, gaming, facturación en tiempo real, trading, monitorizacion en tiempo real, aceleración de queries Oracle (AWR), DB2, etc.. VDI projects, VDI ‘tormenta’ log-ons y logoffs, consolidación de infraestructuras virtualizadas, resolución de hot-spots de acceso al disco Simulaciones, modelados, rendering, video on demand, video transcoding, etc.. Business intelligence, Procesos batch, sistemas ERP (SAP, etc..) , alimentación masiva de datos - OLAP En qué entornos considerar IBM FlashSystem? Aplicaciones de cálculo, HPC… Aplicaciones Analíticas OLAP Infraestructuras Cloud Infraestructuras Virtuales Bases de Datos OLTP
  • © 2013 IBM Corporation13 Los números ‘no mienten’ ~4,000 IOPS por nodo de RAC – 4 nodos: 16,000 IOPS total 12.25 minutos para completar 2 millones de queries 12m 25s 1m 30s Over 9X reduction! Con IBM FlashSystem 1.3 minutos para completar 2 millones de queries
  • © 2013 IBM Corporation14 IBM FlashSystem – ‘ Shared’ Flash Systems 1U form factor, consumo inferior a 500 Watts
  • © 2013 IBM Corporation15 IBM FlashSystem Portfolio Rendimiento Extremo Macro EfficiencyMicroLatency™ Enterprise ReliabilityExtreme Performance IBM FlashSystem Solution: IBM FlashSystem 820 + San Volume Controller (SVC) IBM FlashSystem 820 IBM FlashSystem 720 IBM FlashSystem 810 IBM FlashSystem 710 Funcionalidades de gama alta • Aumenta la Productividad de los proceso de negocio de la empresa ‘en si misma’ • Mejora el rendto de las aplicaciones • Ideal para entornos OLTP, DW y entornos OLAP • Sistemas ‘High availability’ • Acelera el rendto de las aplicaciones • Solucion ‘enterprise’ que asegura la protección de los datos
  • © 2013 IBM Corporation16 3 estrategias de implementación de IBM FlashSystems
  • © 2013 IBM Corporation17 Flash only pool Easy Tier pool HDD only pool Implementación 1: Flash, Virtualización y EasyTier en entornos SAP ERP 17 IBM FlashSystem Storwize / XIV SVC nodes SCM SRM CRM BW SAP production DB server SAP non-prod DB server ERP SCM … … … • Alojar BD o tablas demandantes de IOs en un pool de tecnologia ‘solo’ Flash • Alojar la BD de SAP de Producción en un pool de Flash y HDD tradicional usando EasyTier • Resto de BD no productivas en HDD tradicional SVC storage pools (managed disk groups)
  • © 2013 IBM Corporation18 Soluciónes Activo-Activo con Virtualización (SVC) para entornos ERP ERP 18 Storwize / XIV SVC nodes SCM SRM CRM BW SAP production DB server SVC nodes Storwize / XIV stretched cluster SAP non-prod DB server SAP non-prod DB server IBM FlashSystem IBM FlashSystem
  • © 2013 IBM Corporation19 Uso de las Funciones Avanzadas con Virtualización (SVC, Storwize V7000) ERP 19 Storwize / XIV SVC nodes SCM SRM CRM BW SAP production DB server SVC nodes Storwize / XIV stretched cluster FlashCopy IBM FlashSystem IBM FlashSystem
  • © 2013 IBM Corporation20 Escrituras Lecturas ASM FG2 ACTIVE DATA TRANSITIONAL DATA 20 TB 5 TB Implementación 2 : ‘Preferred Read’ 20 100 TB ASM FG1 ACTIVE DATA TRANSITIONAL DATA 20 TB 5 TB ORACLE ASM ORACLE ASM Boost Performance Boost Redundancy - Sin disrupción - Sin riesgo - Sin perdida de uso de las funciones avanzadas del Disco IBM Flash System SAN SAN SAN SAN Servidores Base Datos MirrorMirror
  • © 2013 IBM Corporation21  Administrador de SAP identifica qué tablas provocan la latencia de acceso al disco  Las ‘mueve’ manualmente a un disco IBM Flash ‘mirror’ del discos tradicional  Se pueden alcanzar mejoras de rendimiento de 12x Implementación 3: ‘Manual Data Placement’
  • © 2013 IBM Corporation22 IBM FlashSystem impacta en los costes de TI Reducción del TCO sin cambiar la arquitectura de las aplicaciones 85% de reducción en procesos bach 50% de reduccion en licencias de Software 75% de reducción en ‘huella’ de CPD; 1 PB en una huella 80% de reducción en consumo energético 100 µs Latencia Sin ‘cuellos de botella’ Fiabilidad clase ‘Enterprise’ High Availability, 2D Flash RAID & IBM Variable Stripe RAIDTM
  • © 2013 IBM Corporation23 Uso de discos Flash: nueva visión del Almacenamiento Price/Performance $/IO/GB Workload (↔ capacity) OLTP OLAP VDI HPC/ Research Cloud Scale Time Phase III Phase II H Price/Performance W Capacity Area Total Cost Flash “Aplicaciones” candidatas para el dia 1 – Phase I
  • © 2013 IBM Corporation24  La densidad de los discos Flash seguirá aumentando  El precio/GB utilizable ira cayendo  Aumentará la consolidación de Datos de ‘lower tiers’  Posicionar datos automáticamente en discos Flash  ‘End Game’: + Virtualization + Performance Flash + Capacity Disk Storage + Easy Tier™ + Deep Archive  Virtualizar mas para incrementar el uso y reducir costes  Migrar desde Storage legacy mas ineficiente  Unica interfaz de gestión  Extender funciones avanzadas al Almacenamiento existente  Explotar los discos Flash compartidos para aumentar el rendimiento ‘broadly’  Para el resto de las cargas usar técnicas de Compresión para incrementar el uso de los discos  Reclasificar aplicaciones en Tier-1, Tier-2 , mezcla  Racionalizar políticas de Data Protection & Recovery para reducir las caídas  Cualificar aplicaciones candidatas para el uso de EasyTier The IBM Smarter Storage™ ‘Viaje’ hacia el Flash  Identificar cargas/aplicaciones intensivas en rendimiento  Moverlas a dispositivos Flash storage  Integrar discos Flash con tecnologias tipo EasyTier - SVC  Mejorar el rendto del resto de las cargas/aplicaciones  Aumentar la productividad  Sin cambios en aplic. $€ £¥
  • © 2013 IBM Corporation25 Sistemas “All Flash” de IBM ‘ .. La estrategia ‘Flash’ redefinirá la inversión en tecnología …. ‘ Inversión de aprox. 1B $ en tecnología Flash y en investigación y desarrollo 12 nuevos Centros de Competencia para ayudar a nuestros clientes a integrar en sus infraestructuras la tecnología Flash
  • © 2013 IBM Corporation26 12 Nuevos Centros de Competencia ‘Flash’ ayudan a su integración …  Pruebas de Concepto  Benchmarks  Estudios de Optimización de la Infraestructura y de ahorro de costes - TCO La experiencia de IBM acelera la implantación de la tecnología Flash La experiencia de IBM acelera la implantación de la tecnología Flash
  • 27 © 2013 IBM Corporation Siguientes pasos…
  • © 2013 IBM Corporation28 La familia IBM® FlashSystem™ podemos ayudarle ! 1. Recolecte información de rendimiento en relación a su entorno: • Host: IOstat, perfmon, sar, etc .. • DB: Oracle AWR, DB2 db2support, etc.. • Storage: Symmetrix WLA, NAR files, etc.. 2. Envíenos detalle de su rendimiento actual que nos identifique : • Componentes de base de datos que consuman tiempo de CPU (alto IO Wait) : % uso de CPU, etc .. considerando los 5 eventos más críticos/mas pesados, durante 1 h, y su impacto en el tiempo de respuesta . • Le ofrecemos : 1. Estudio de mejora de rendimiento prevista (en tiempos de respuesta y en mejora de % de uso de la cpu) con IBM FlashSystem. 2. Recomendaciones adicionales, de tuning, que podrían mejorar todavia mas el tiempo de respuesta global de las aplicaciones . 3. Prueba de concepto (Try & Buy) donde se demostrará la mejora de rendimiento prevista con IBM FlashSystem
  • © 2013 IBM Corporation30 Gracias jl_llorente@es.ibm.com