Data‐intensive hydrologic modeling: A Cloud strategy for integrating PIHM, GIS, and Web‐Services

3,038 views

Published on

AGU presentation 2010

Published in: Education, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,038
On SlideShare
0
From Embeds
0
Number of Embeds
1,073
Actions
Shares
0
Downloads
31
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Data‐intensive hydrologic modeling: A Cloud strategy for integrating PIHM, GIS, and Web‐Services

  1. 1. Data‐intensive hydrologic modeling:  A Cloud strategy for integrating PIHM, GIS,  and Web‐Services Lorne Leonard Chris Duffy Gopal Bhatt Xuan Yu Civil & Environmental Engineering, PSU,  University Park, PA,  United States.
  2. 2. Our Big Goal • To be able to rapidly prototype any watershed  model in the world any time • Yes, anywhere • Do real time forecasting and analysis to  improve our models • Using National Datasets of ETVs – Data  Intensive
  3. 3. Issues • Data Computationally Intensive! • 100s Terabytes of ETV data to model watersheds  anywhere in the USA • 1000s Terabytes of data for around the world. • Federal data servers are slow • No central data store for our ETV data needs • Complex Workflows to automate data and model  development processing • Computation requirements vary per project • IT is expensive! We are focused on research only
  4. 4. The appeal of the Cloud… “Cloud computing” enables us to: • have access to Data Intensive and HPC  computational needs dynamically • to be scalable • do data intensive operations near HPC for faster  access • Enable other researchers and educators to use  our scientific software via the web without the  need to install and maintain software and  systems
  5. 5. Our definition of “Cloud” • Dynamically scalable (virtualized resources), from  Desktop, HPC cluster to NCSA Blue Waters, grid • Resources are provided as a web based service  (data, software) • Data‐Intensive and parallel computing • Private cloud to private cloud conduit between  PSU and NCSA for hydrological research • This is a prototype!
  6. 6. PIHM and the Cloud: What is PIHM • Fully coupled multi‐process distributed hydrological  model • Uses semi‐discrete finite volume method • Unstructured mesh (TIN) http://www.pihm.psu.edu
  7. 7. 2268 HUC 8 103,444 HUC 12
  8. 8. Our Strategy
  9. 9. Our Strategy
  10. 10. Our Strategy Atmospheric Forcing (precipitation,  snow cover, wind, relative humidity, temperature,  net radiation, albedo, photosynthetic atmospheric radiation,  leaf area index) Digital elevation models River/Stream Discharge Soil (class, hydrologic properties) Groundwater (levels, extent,  hydro‐geologic properties) Lake/Reservoir/Wetlands (levels, extent) Land Cover/Use (biomass, human infrastructure, demography,  ecosystem disturbance) Water Use
  11. 11. Our Strategy Atmospheric Forcing (precipitation,  snow cover, wind, relative humidity, temperature,  net radiation, albedo, photosynthetic atmospheric radiation,  leaf area index) Digital elevation models River/Stream Discharge Soil (class, hydrologic properties) Groundwater (levels, extent,  hydro‐geologic properties) Lake/Reservoir/Wetlands (levels, extent) Land Cover/Use (biomass, human infrastructure, demography,  ecosystem disturbance) Water Use
  12. 12. PIHM Cloud Re‐Analysis and Forecast • With NCSA we are developing a  PIHM cloud prototype to  distribute the PIHM web service  workflow and model  components over the cloud for  research and education. • Calibrate models – spawn 100s  of dataflow execution  parameters to process,  compute, analyze and visualize  the transformed results.
  13. 13. PIHM Cloud Re‐Analysis and Forecast • With NCSA we are developing a  PIHM cloud prototype to  distribute the PIHM web service  workflow and model  components over the cloud for  research and education. • Calibrate models – spawn 100s  of dataflow execution  parameters to process,  compute, analyze and visualize  the transformed results.
  14. 14. PIHM Cloud Re‐Analysis and Forecast • With NCSA we are developing a  PIHM cloud prototype to  distribute the PIHM web service  workflow and model  components over the cloud for  research and education. • Calibrate models – spawn 100s  of dataflow execution  parameters to process,  compute, analyze and visualize  the transformed results.
  15. 15. Example of PIHM Web Services
  16. 16. Example of PIHM Web Services
  17. 17. Example of PIHM Web Services
  18. 18. Example of PIHM Web Services
  19. 19. Example of PIHM Web Services
  20. 20. Example of PIHM Web Services
  21. 21. ArcPIHM • PIHM will soon be available as a  toolbox for ESRI users • Development plans include  developing protocols to encourage  further modularity so other  developers can plug and play code  into the PIHM workflow. For  example, other Physic engines,  datasets etc • Consume CUAHSI HydroServer,  HydroGML resources
  22. 22. International CZO sites at Crete and Plynlimon
  23. 23. PIHM Cloud Forecast Example • Real time forecasting 
  24. 24. Conclusion • Data & Computationally Intensive Watershed  Simulations! • 1000s Terabytes of data required to model any  watershed in the USA • Workflows to automate data processing and  distribute the computation on the cloud • What is needed is fast access to data centers  that are close to HPC resources
  25. 25. Thank you for listening Visit http://www.pihm.psu.edu For more information and updates Kumar, M., G. Bhatt, and C.J. Duffy, 2009, An efficient domain decomposition framework for accurate  representation of geodata in distributed hydrologic models, IJGIS. Kumar, M., G. Bhatt, and C.J. Duffy, 2008, The Role of Physical, Numerical and Data Coupling in a  Mesoscale Watershed Model, Advances in Water Resources. Bhatt, G., M. Kumar, and C.J. Duffy, 2008, Bridging the gap between geohydrologic data and  distributed hydrologic modeling, In Proceedings of International Congress on Environmental Modeling  and Software

×