Successfully reported this slideshow.
L ARGE-SCALE SIMULATOR FOR      GLOBAL DATA INFRASTRUCTURE OPTIMIZATIONSergio Herrero-Lopez, John R. Williams, Abel Sanche...
AGENDA        INTRODUCTION        PROBLEM STATEMENT: Global Data Infrastructure Potential/Dependency        PREVIOUS WO...
PROBLEM STATEMENT (I): Global Data Infrastructure     ������������������                                                  ...
PROBLEM STATEMENT (II): Desired Capabilities           GOAL: Find a tool that allows datacenter operators evaluating the i...
RELATED WORK (I): Computer System Modeling Techniques                                                                     ...
RELATED WORK (II): Analytic Modeling               ANALYTIC MODELING:               Mathematical models describing the cha...
RELATED WORK (III): System Profiling                 PROFILING:                 Intrusive procedure that collects fine-gra...
RELATED WORK (IV): Simulation                SIMULATION:                Enables reproducing the behavior of the system at ...
RELATED WORK (V): Simulator Advantages        HIGH COMPLEXITY FOR LOW COST :             CONSENSUS - SEEKER:         Cover...
MULTI-AGENT SYSTEM (I): Simulator Input/Outputs          INPUTS                                                           ...
MULTI-AGENT SYSTEM (II): Components & Operations  COMPONENTS:  Components composing the IT infrastructure are collections ...
MULTI-AGENT SYSTEM (III): Component and Operation Interaction                                                             ...
HARDWARE COMPONENT MODEL (I): Multi-core CPU                                                       CPU(p x M/M/q) FCFS  MU...
HARDWARE COMPONENT MODEL (II): Network Cards and Network Switches                                                         ...
HARDWARE COMPONENT MODEL (III): RAID and Storage Area Network                                                             ...
HARDWARE COMPONENT MODEL (IV): Datacenter Queuing Network Model              ������������������                           ...
SOFTWARE OPERATION MODEL (I): Operation Tree for OPEN           CAD OPEN            ������0                               ...
SOFTWARE OPERATION MODEL (II): Operation Tree for LOGIN, SEARCH, SELECT & OPEN                       CAD LOGIN            ...
VALIDATION (I): 3 Experiments: #Concurrent Clients in ������������������        Three Validation experiments:        • Eac...
VALIDATION (II): Parameter Profiling and Initial Configuration CAD APPLICATION: ������������ , ������������ , ������������...
VALIDATION (III): Mean Percentage Error                                                            ������������ : Forecast...
APPLICATION (I): Case Study- Global Collaborative Design firm Simulation     ������������������             1������16     ...
APPLICATION (II): Case Study- Global Collaborative Design firm Simulation                                          Compute...
APPLICATION (III): Real CAD Worldwide Workload for a week                                                      PEAK TIME: ...
APPLICATION (IV): Single Master Replication and Indexing          ������������������             ������������������       ...
APPLICATION (V): Average CPU by tier in ������������������                  100.00%       Avg. Tapp CPU                   ...
APPLICATION (VI): CAD Response Times in ������������������                             CAD Connect                100     ...
APPLICATION (VII): Background Job performance in ������������������                    4500                               ...
FUTURE (I): Multiple Masters           ������������������                                                �����������������...
CONCLUSIONS: Contributions / Limitations                 CONTRIBUTIONS                                              LIMITA...
QUESTIONS            Large-Scale Simulator for Global Data Infrastructure Optimization30
Upcoming SlideShare
Loading in …5
×

Large-Scale Simulator for Global Data Infrastructure Optimization

567 views

Published on

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Large-Scale Simulator for Global Data Infrastructure Optimization

  1. 1. L ARGE-SCALE SIMULATOR FOR GLOBAL DATA INFRASTRUCTURE OPTIMIZATIONSergio Herrero-Lopez, John R. Williams, Abel Sanchez IEEE Cluster 2011, Austin, TX Large-Scale Simulator for Global Data Infrastructure Optimization
  2. 2. AGENDA  INTRODUCTION  PROBLEM STATEMENT: Global Data Infrastructure Potential/Dependency  PREVIOUS WORK on Computer Systems Modeling  PROPOSITION: Global Data Infrastructure Simulator  Component Models using Queuing Networks  Operation Model using Message Trees  VALIDATION of the Infrastructure Model  APPLICATION in a Collaborative Design Firm (Fortune 500) case study  FUTURE WORK  CONCLUSIONS: Contributions and Limitations. Lessons learned Large-Scale Simulator for Global Data Infrastructure Optimization1
  3. 3. PROBLEM STATEMENT (I): Global Data Infrastructure ������������������ ������������������ ������������������������ ������������������������ ������������������������ ������������������������ ������������ ������������������ ������������������↔������������ ������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������↔������������1 ������������������↔������������1 ������������������ ������������������1↔������������2 ������������������ ������������������↔������������ ������������������↔������������������ ������������������2↔������������������ ������������ ������������������2↔������������������ ������������ ������������������������ ������������ ������������������ ������������������ ������������������ ������������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������������ ������������������������ Large-Scale Simulator for Global Data Infrastructure Optimization2
  4. 4. PROBLEM STATEMENT (II): Desired Capabilities GOAL: Find a tool that allows datacenter operators evaluating the impact of “WHAT IF” scenarios on performance, availability and reliability of large-scale systems. • Enables response time evaluation given 1) workload, 2) network Performance Estimation topology, 3) hardware specification and 4) software application. • Determines the resources required to ensure SLAs are met at peak Capacity Planning workload Hardware/Software • Enables calibrating both hardware and software parameters to achieve optimum performance goal. Configuration Global Network Topology • Allows the network to be designed to cope up with expected traffic. Design • Enables infrastructure bottlenecks to be identified before they ocurr Bottleneck Detection Background Process • Facilitates the scheduling and efficiency of background processes. Optimization Internet Attack Counter • Allows setting mechanisms to thwart denial-of-service attacks. Measure Design Large-Scale Simulator for Global Data Infrastructure Optimization3
  5. 5. RELATED WORK (I): Computer System Modeling Techniques Analytic Rules Of Thumb Models System Linear Simulation Profiling ProjectionA.O. Allen, "Queueing Models of Computer Systems," Computer, pp. 13-24, April, 1980 Large-Scale Simulator for Global Data Infrastructure Optimization 4
  6. 6. RELATED WORK (II): Analytic Modeling ANALYTIC MODELING: Mathematical models describing the changes in the computer system that have a closed form solution. Can Represent: Processors, Latency, Disks, Disk-Arrays, Servers, Tiers, Datacenters Component Server Models Tier Models Multi-Tier Models Models ������2 ������������ ������1 … ������1 QUEUEING NETWORK ������2 ������1 ������2 ������������ … ������3 1 − ������1 1 − ������2 1 − ������������ ������1 ������2 ������������ … Sessions Tier 1 Tier 2 … Tier MBhuvan Urgaonkar, Prashant Shenoy, Abhishek Chandra, Pawan Goyal, and Timothy Wood. 2008. Agile dynamic provisioning of multi-tier Internet applications. ACM Trans.Auton. Adapt. Syst. 3, 1, Article 1 (March 2008), 39 pages. Large-Scale Simulator for Global Data Infrastructure Optimization 5
  7. 7. RELATED WORK (III): System Profiling PROFILING: Intrusive procedure that collects fine-grained measurements during the normal activity of the datacenter. Measurements: Stack Traces, Hardware Events, Lock Contention Profiles, Heap Profiles, Kernel Events Single Execution - Single Program Continuous System Continuous Profiling on Cloud – Single Machine Profiling with Low Overhead Computing Infrastructures Intel Vtune, gprof Morph, DCPI, OProfile GWP Applications Datacenter Machine Datacenter Database Collectors PROFILING INFRASTRUCTUREINFRASTRUCTURE TO BE PROFILED Applications MapReducers DatacenterGang Ren, Eric Tune, Tipp Moseley, Yixin Shi, Silvius Rus, Robert Hundt, "Google-Wide Profiling: A Continuous Profiling Infrastructure for Data Centers," IEEE Micro, pp. 65-79,July/August, 2010 Large-Scale Simulator for Global Data Infrastructure Optimization 6
  8. 8. RELATED WORK (IV): Simulation SIMULATION: Enables reproducing the behavior of the system at a much greater level of detail than is practicable with analytic queuing theory models. Can Reproduce: Processors, Latency, Disks, Disk-Arrays, Servers, Tiers, Datacenters and Clients Component Server Tier Multi-Tier Simulation Simulation Simulation Simulation WEB SERVER APP SERVER DB SERVER DISK DISK DISK NIC NIC HELPER SERVER RECEIVER HELPER SERVER RECEIVER HELPER SERVER RECEIVER DISK SCHEDULER DISK SCHEDULER DISK SCHEDULER Seung-Hwan Lim; Sharma, B.; Gunwoo Nam; Eun Kyoung Kim; Das, C.R.; , "MDCSim: A multi-tier data center simulation, platform," Cluster Computing and Workshops, 2009. CLUSTER 09. IEEE International Conference on , vol., no., pp.1-9, Aug. 31 2009-Sept. 4 2009 Large-Scale Simulator for Global Data Infrastructure Optimization7
  9. 9. RELATED WORK (V): Simulator Advantages HIGH COMPLEXITY FOR LOW COST : CONSENSUS - SEEKER: Covers more complexity than Enables decision makes being on analytic modeling while remaining the same page and facilitates orders of magnitude cheaper than reaching consesus by increasing infrastructure profiling. visibility NON-INTRUSIVE: MODULARITY: Does not introduce any overhead or distortion into running Grants the flexibility to production systems. add/remove, update or reutilize components. Large-Scale Simulator for Global Data Infrastructure Optimization8
  10. 10. MULTI-AGENT SYSTEM (I): Simulator Input/Outputs INPUTS OUTPUTS •Workload •Response Time ByAPPLICATIONS APPLICATIONS •Operation Trees Operation MultiBACKGROUND •Schedule BACKGROUND •Job Duration JOBS •Operation Trees JOBS •Job Performance Agent •Tier Structure •CPU Utilization System DATACENTERS •Memory UtilizationDATACENTERS •Tier Configuration •Tier Connectivity • Network Utilization •Network TOPOLOGY TOPOLOGY •Network Utilization Connectivity Large-Scale Simulator for Global Data Infrastructure Optimization 9
  11. 11. MULTI-AGENT SYSTEM (II): Components & Operations COMPONENTS: Components composing the IT infrastructure are collections of one or more stateful autonomous agents. ������ ������������������������ ������������������������������ ������������������������ ������������������������ ������ ������ ������ ������ ������������ OPERATIONS: Operations define the interactions between clients and software applications . They are represented by message flows that are exchanged between the agents . ������ ������ ������������ = 30 ������������ ������������ = 5120 ������������ → ������������������ ������������ = 500 ������������������������������������������ ������������ ������������ = 3096 ������������ ������������→������������������ = ������������ , ������������ , ������������ , ������������ ∆������������→������������������ = ∆������������������→������������������ ������������ + ∆������������������������ ������������ + ∆������������������������ ������������ , ������������ + ∆������������������������������ ������������ Large-Scale Simulator for Global Data Infrastructure Optimization10
  12. 12. MULTI-AGENT SYSTEM (III): Component and Operation Interaction ������������������������ ������������������������������ ∆������������������������������ FILE OPEN OPERATION ������������������������ ∆������������������������ ������������������������ 2. Location ������������������������ ∆������������������������ Query: ∆������������������������→������������ 6. File Download ������������������ Response: ∆������������������→������ ������������������������ ������������������������ 4. File Token ������������������ ∆������������������↔������������������ Response: ∆������������������������→������ ������������������ ������������������→������������������ ������������������ ������������������ ������������������ 1.File Token ������������������ 5. ������������������ ������������������ File Download Request: 3. Location Request: Results: ∆������������→������������������ ∆������������→������������ ∆������������������→������������������ ������������������������������ = ∆������������→������������������ + ∆������������������������→������������ + ∆������������������→������������������ + ∆������������������������→������ + ∆������������→������������ + ∆������������������→������ ������������������������ ∆������������→������������������ = ∆������������������→������������������ + ∆������������������������ + ∆������������������������ + ∆������������������������ Large-Scale Simulator for Global Data Infrastructure Optimization11
  13. 13. HARDWARE COMPONENT MODEL (I): Multi-core CPU CPU(p x M/M/q) FCFS MULTI-SOCKET MULTI-CORE CPU: … Network Interface Cards are modeled as ������/������/1 (FCFS) queues. ������������������������,1 Hardware Specifications … o # of sockets o # of cores o Frequency (Ghz) o Multithreading (Yes/No) … ������������������������,������ Craig Shallahamer. 2007. Forecasting Oracle Performance. Apress, Berkely, CA, USA Large-Scale Simulator for Global Data Infrastructure Optimization12
  14. 14. HARDWARE COMPONENT MODEL (II): Network Cards and Network Switches NIC(M/M/1)FCFS NETWORK INTERFACE CARD (NIC): Hardware Specifications o Speed (Mbps) ������������������������ SW(M/M/1)FCFS NETWORK SWITCH (SW): Hardware Specifications o Speed (Mbps) ������������������ NETWORK LINKS: L(M/M/1/m) PS Hardware Specifications o Bandwidth (Mbps) o Maximum # of connections ������������������→������ o Latency (ms) Ramachandran, K.K.; Sikdar, B.; , "A Queuing Model for Evaluating the Transfer Latency of Peer-to-Peer Systems," Parallel and Distributed Systems, IEEE Transactions on , vol.21, no.3, pp.367-378, March 2010 Large-Scale Simulator for Global Data Infrastructure Optimization13
  15. 15. HARDWARE COMPONENT MODEL (III): RAID and Storage Area Network RAID-0(n x M/M/1) FCFS REDUNDANT ARRAY OF INDEPENDENT DISKS (RAID): ������������������ℎ������ ������������������ Hardware Specifications ������ℎ������������,1 o Disk Array Controller Speed (Gbps) and Cache (GB). ������������������������,1 o Disk Controller Speed (Gbps) and Cache (MB). ������������������ℎ������ ������������������ … o Hard Drive speed (MB/s) o # of disks in the array. ������������������������������ ������������������������,������ ������ℎ������������,������ SAN(n x M/M/1) FCFS STORAGE AREA NETWORK (SAN): ������������������ℎ������ ������������������ Hardware Specifications: o Fiber Channel Switch Speed (Gbps) ������������������������,1 ������ℎ������������,1 o Disk Array Controller Speed (Gbps) and Cache (GB). o Fiber Channel Arbitrated Loop speed (Gbps) ������������������ℎ������ ������������������ … o Disk Controller Speed (Gbps) and Cache (MB). o Hard Drive speed (MB/s) ������������������_������������ ������������������������������ ������������������_������������ o # of disks in the array. ������������������������,������ ������ℎ������������,������Elizabeth Varki, Arif Merchant, Jianzhang Xu, Xiaozhou Qiu, "Issues and Challenges in the Performance Analysis of Real Disk Arrays," IEEE Transactions on Parallel andDistributed Systems, pp. 559-574, June, 2004Zhu, Y.L., Zhu, S.Y., Xiong, H.: Performance Analysis and Testing of the Storage Area Network. In: Proceedings of 10th NASA Goddard Conference on Mass Storage Systems andTechnologies, Maryland, pp. 108-120 (2002). Large-Scale Simulator for Global Data Infrastructure Optimization14
  16. 16. HARDWARE COMPONENT MODEL (IV): Datacenter Queuing Network Model ������������������ ������������������������,4 ������������������������,3 ������������������������ ������������������������,2 ������������������→������������������,4 ������������������������,1 ������������������→������������������,3 ������������������→������������������,2 Mem CPU(2x M/M/4)������������������→������������������,1 L(M/M/1/m) RAID-0(2 x M/M/1) FCFS ������������������������,1 ������������������ℎ������ ������������������ NIC M/M/1) ������������������������,1 ������ℎ������������,1 ������������������→������ ������������������→������ ������������������������,1 ������������������ℎ������ ������������������ ������������������→������ ������������ ������1 ������������→������������������,1 ������������������������������ ������������������→������������ ������������������������ ������������������������,2 ������������������������,2 ������ℎ������������,2 … L(M/M/1/m) SW(M/M/1 ) ������������������������→������������������ ������������������ ������������������ RAID-0(2 x M/M/1) FCFS ������������������ ������������������ℎ������ ������������������ SAN(10 x M/M/1) FCFS L(M/M/1/m) Mem ������������������������,1 ������ℎ������������,1 ������10 ������������������ℎ������ ������������������ ������������������ℎ������ ������������������ ������������������������������ ������������������������,1 ������ℎ������������,1 ������������������ ������������������→������������ ������������������������,2 ������ℎ������������,2 … ������������������ℎ������ ������������������ ������������������→������������������ ������ NIC M/M/1) CPU (M/M/4) ������������������_������������ ������������������������������ ������������������_������������ ������������������������→������ ������������→������������ ������������������������,10 ������ℎ������������,10 ������������������������ ������������������ ������������������������ Large-Scale Simulator for Global Data Infrastructure Optimization 15
  17. 17. SOFTWARE OPERATION MODEL (I): Operation Tree for OPEN CAD OPEN ������0 ∆������������→������������������ = ∆������������������→������������������ ������������ + ������������ = 30 ������������ ∆������������→������������������ ������ → ������������������������ ������������ = 5120 ������������ ������������ = 500 ������������������������������������������ ∆������������������������ ������������ + ������������ = 3096 ������������ ∆������������������������ ������������ , ������������ + (1) ∆������������������������→������������ ������������������������ → ������������������ ������������ , ������������ , ������������ , ������������ ∆������������������������ ������������ ������������������ → ������������������������ ������������ , ������������ , ������������ , ������������ ∆������������������→������������������ ∆������������������������→������ ������������������������ → ������ ������������ , ������������ , ������������ , ������������ ������1 ∆������������→������������������ ������ → ������������������ ������������ , ������������ , ������������ , ������������ (2) ∆������������������������→������ ������������������ → ������ ������������ , ������������ , ������������ , ������������ ������2 Large-Scale Simulator for Global Data Infrastructure Optimization16
  18. 18. SOFTWARE OPERATION MODEL (II): Operation Tree for LOGIN, SEARCH, SELECT & OPEN CAD LOGIN CAD TEXT − SEARCH ������ → ������������������������ ������ → ������������������������ ������������������������ → ������ ������������������������ → ������������������ ������������������ → ������������������������ ������������������������ → ������ ������ → ������������������������ CAD SELECT ������������������������ → ������ ������ → ������������������������ CAD OPEN ������ → ������������������������ ������������������������ → ������������������ ������������������������ → ������������������ ������������������ → ������������������������ ������������������ → ������������������������ ������������������������ → ������ ������������������������ → ������ ������ → ������������������ ������ → ������������������ ������������������ → ������ ������������������ → ������ Large-Scale Simulator for Global Data Infrastructure Optimization17
  19. 19. VALIDATION (I): 3 Experiments: #Concurrent Clients in ������������������ Three Validation experiments: • Each of these series is launched with different frequencies. • Multiple series interleave. Operations originated by different clients fight for shared resources. Experiment 1: 15s (Heavy) - 36s(Average) - 60s(Light) Experiment 2: 12s (Heavy) - 29s(Average) - 48s(Light) Experiment 3: 10s (Heavy) - 24s(Average) - 40s(Light) "Heavy" Series Duration(s) "Average" Series Duration(s) "Light" Series Duration(s) LOGIN 2.35 LOGIN 2.2 LOGIN 1.94 TEXT SEARCH 4.99 TEXT SEARCH 5.11 TEXT SEARCH 4.9 FILTER 3 FILTER 2.6 FILTER 2.89 EXPLORE 5.92 EXPLORE 6.43 EXPLORE 6.6 SPATIAL SEARCH 12.18 SPATIAL SEARCH 6.15 SPATIAL SEARCH 12.18 SELECT 35.34 SELECT 6.2 SELECT 5.7 OPEN 81.68 OPEN 67.68 OPEN 30.67 SAVE 98.01 SAVE 81.216 SAVE 36.8 Total 243.47 Total 177.586 Total 101.68 Large-Scale Simulator for Global Data Infrastructure Optimization18
  20. 20. VALIDATION (II): Parameter Profiling and Initial Configuration CAD APPLICATION: ������������ , ������������ , ������������ , ������������ parameter set for each message for each operation tree (LOGIN, OPEN, SEARCH, etc) and type (heavy, average, light) was obtained in the scalability laboratory. INFRASTRUCTURE: Downsampled version of the original hardware and network configuration. 1������4, 64 ������������ 2������4, 102������������ ������������������������ ������������������������ 1 Gbps ������������ ������������������ 45ms ������������������ INITIAL SETUP: 1������4, 12������������ 1������4, 64������������ ������������������ ������������������ “Cold Start”, ������������������ 4 Gbps no caching. 0.5ms ������������������1������20, 15������ ������������������ ������������������1������20, 15������ ������������������ Large-Scale Simulator for Global Data Infrastructure Optimization19
  21. 21. VALIDATION (III): Mean Percentage Error ������������ : Forecasted Value 1 ������ ������������ −������������ MPE= ������=1 ������ ������ ������ ������������ : Actual Value (>0) Δt CPU Tapp CPU Tdb CPU Tfs CPU Tidx #C Rt 10-24-40 9.52% 11.07% 5.66% 7.13% 6.09% 6.30% 12-29-48 9.44% 11.23% 4.97% 6.75% 4.79% 6.77% 15-36-60 8.67% 9.87% 5.72% 7.42% 5.63% 4.81% • Urgaonkar et al.: 95% of accuracy in Response Time • MDCSim: <10% of deviation of the Response Time Large-Scale Simulator for Global Data Infrastructure Optimization20
  22. 22. APPLICATION (I): Case Study- Global Collaborative Design firm Simulation ������������������ 1������16 8������32 ������������������������ ������������������������ 1 Gbps ������������ ������������������ 45ms 1 Gbps 4 Gbps 155 Mbps 1������16 45ms 0.5ms ������������������ ������ 1������64 90ms ������������ ������������������ 1������20 ������������������ 1 Gbps 4 Gbps 1������20 4 Gbps 1������20 ������������ 1������16 ������������������ ������������������ 0.5ms ������������������ 0.5ms 0.5ms 155 Mbps 45 Mbps 228 ms ������������ 1������16 ������������������1������20 193 ms ������������������ 45 Mbps 45 Mbps 45 Mbps 245 ms 85 ms 137ms ������������������ ������������������������ 45 Mbps 45 Mbps ������������ ������������ 162 ms 126 ms 1 Gbps 1 Gbps ������������������������ 45ms 45ms ������������ 1������16 1������16 ������������������ ������������������ 1 Gbps 45ms 4 Gbps 4 Gbps 1������16 ������������������1������20 0.5ms 1������20 ������������������ 0.5ms ������������������ 4 Gbps 0.5ms ������������������1������20 Large-Scale Simulator for Global Data Infrastructure Optimization21
  23. 23. APPLICATION (II): Case Study- Global Collaborative Design firm Simulation Computer-Aided Design • Application for the process of design and documentation • Login, Text-Search, Explore, Filter, Spatial-Search, Select Open, Save Visualization • Application for the visualization of 2D and 3D models and facilitate decision-making • Login, Text-Search, Explore, Spatial-Search, Select, Open Product Data Management • Application for the creation, management and publication of product data • Bill Of Materials Expand, Promote, Update, Edit, Download, Export ������������ , ������������ , ������������ , ������������ Parameter sets for each message within each operation tree for each application were profiled in the scalability laboratory. Large-Scale Simulator for Global Data Infrastructure Optimization22
  24. 24. APPLICATION (III): Real CAD Worldwide Workload for a week PEAK TIME: Overlap between North American and European Datacenters 2000 1500 AUS # CAD Clients SA AS 1000 EU AFR 500 NA Global 0 7/13 7/14 7/15 7/16 7/17 7/18 Time (GMT) * Analogous workload information was fed to the simulator for VIS and PDM applications Large-Scale Simulator for Global Data Infrastructure Optimization23
  25. 25. APPLICATION (IV): Single Master Replication and Indexing ������������������ ������������������ ������������������ ������������������������ ������������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������������ ������������������������ Replication (a job every ������������������������ ) ������������ ������������������ ������������������ Indexing (jobs separated ������������������������ ) ������������������ ������������������ ������������������ ������������������ ������������������ ������������������������ ������������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ Large-Scale Simulator for Global Data Infrastructure Optimization24
  26. 26. APPLICATION (V): Average CPU by tier in ������������������ 100.00% Avg. Tapp CPU 7000 Avg. Tdb CPU 90.00% Avg. Tidx CPU Avg. Tfs CPU 6000 80.00% 70.00% 5000CPU Utilization 60.00% 4000 # of Clients 50.00% 3000 40.00% 30.00% 2000 20.00% 1000 10.00% 0.00% 0 0 5 10 15 20 Hour of the Day Large-Scale Simulator for Global Data Infrastructure Optimization 25
  27. 27. APPLICATION (VI): CAD Response Times in ������������������ CAD Connect 100 7000 CAD Search 90 CAD Explore CAD Apply Filter 6000 80 CAD 3D Search CAD Select 5000 70 CAD Validate 60 CAD Open CAD Update 4000Response Time (s) # of Clients 50 3000 40 30 2000 20 1000 10 0 0 0 5 10 15 20 Hour of the Day Large-Scale Simulator for Global Data Infrastructure Optimization 26
  28. 28. APPLICATION (VII): Background Job performance in ������������������ 4500 7000 Spatial & Text Indexing File Replication 4000 6000 3500 5000 3000Response Time (s) 2500 4000 # of Clients 2000 3000 1500 2000 1000 1000 500 0 0 0 5 10 15 20 Hour of the Day Large-Scale Simulator for Global Data Infrastructure Optimization 27
  29. 29. FUTURE (I): Multiple Masters ������������������ ������������������ ������������������������ ������������������������ ������������������ ������������������������ ������������������������ ������������ ������������������↔������������ ������������������ ������������������ ������������������������ ������������������������ ������������������ ������������������ ������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������↔������������1 ������������������↔������������1 ������������������ ������������������ ������ ������������������1↔������������2 ������������������↔������������ ������������������↔������������������ ������ ������������������1↔������������������ ������������������1↔������������������ ������������������������ ������������������������ ������ ������������������������ ������������������������ ������ ������������������������ ������������ ������������������������ ������ ������������ ������������������ ������������������ ������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������ ������������������������ ������������������ ������������������ ������������������������Brian F. Cooper, Raghu Ramakrishnan, Utkarsh Srivastava, Adam Silberstein, Philip Bohannon, Hans-Arno Jacobsen, Nick Puz, Daniel Weaver, and Ramana Yerneni. 2008. PNUTS:Yahoo!s hosted data serving platform. Proc. VLDB Endow. 1, 2 (August 2008), 1277-1288. Large-Scale Simulator for Global Data Infrastructure Optimization28
  30. 30. CONCLUSIONS: Contributions / Limitations CONTRIBUTIONS LIMITATIONS 1. Global Data Infrastructure 1. User / File Identity • There is no previous work on fine-grained • e.g. Object Hotspots cannot be simulated infrastructure simulation without uniquely identifying files. 2. Application Diversity 2. Operating System Impact • The application model allows representing any • e.g. Applications with high hard page fault rates software application initiate paging and impact shared resources. 3. Background Jobs 3. Complex Caching • Other simulations did not consider the impact of these processes • e.g Caching between Tiers can boost performance in real infrastructures. 4. Validation 4. User Behavior • Validation against real data collected in the infrastructure scalability laboratory of a Fortune • e.g. Operations are not independent and are 500 company not uniformly distributed 5. Scalability 5. Validation • Constructed to run multithreaded so as to scale • e.g. Downscaled version of the infrastructure with multicore. was used to validate the model. Large-Scale Simulator for Global Data Infrastructure Optimization29
  31. 31. QUESTIONS Large-Scale Simulator for Global Data Infrastructure Optimization30

×