Computing Paradigm

1. Computing Paradigm
Yong Heui Cho @ Mokwon University
Some of slides are referred to and all credits should go to:
[1] K. Chandrasekaran, Essentials of Cloud Conputing, CRC Press, 2015.

2. 2
High-Performance Computing
• Shortly, HPC
• A pool of processors
– HW: connected (networked) CPUs or nodes
– SW: control of many processors

3. 3
Example of HPC HW
CPU + GPU + cluster

4. 4
Example of HPC SW
• OpenMP (CPU)
• CUDA (GPU)
• MPI (cluster)

5. 5
Parallel Computing
• Actual implementation of HPC
– Multiple processors
– Divide and conquer the jobs through a series
of instructions
– Simultaneous execution of instructions

6. 6
Concept of Parallel Processing
• Conventional method
• Parallel method
– Memory sharing & process sync.
• CPU Core, shared memory
OpenMP
• Compute node, distributed memory
MPI
• GPU Core, GPU memory
CUDA

7. 7
Open Multiple Processing
• Parallel method using CPU multi-core
and shared memory
7
OpenMP
OpenMP

8. 8
Message Passing Interface
MPI
MPI
• Standard messaging method to manage
the compute node and distributed
memory

9. 9
Compute Unified Device
Architecture
• GPU (Graphics Processing Unit) API
model made by NVIDIA
98 SMX×192 cores = 1,536 cores
GPC: GP Clusters
SMX: NG Streaming MP
CUDA

10. 10
Distributed Computing
• Computing system that consists of multiple
computers or nodes connected through a
network: run as a single system
MPI Cluster

11. 11
Grid Computing
• Network of computing to access and use
the remote resources
– Electrical power grid
• Grid service
– Management of grid resources through
middleware

12. 12
Cloud Computing
• Computing trend moves toward cloud
from grid computing.
• Cloud computing delivers a unified service
to the end user.
– Grid computing focuses the resources.

13. 13
Internet

14. 14
Amazon

15. 15
Jeff Bezos in Office, 1999

16. 16
베조스의 2002년 명령
1. 모든 팀들은 데이터와 기능들을 서비스 인터페이스로
연결시켜라.
2. 팀들은 이 인터페이스를 통해서 연락해야 한다.
3. 다른 어떤 커뮤니케이션 방법도 허용되지 않는다. 직접
링크를 보내거나 다른 팀의 스토리지에 직접 접근해서도 안
되며, 공유 메모리나 백도어 같은 것도 안 된다. 모든
커뮤니케이션은 네트워크를 통한 서비스 인터페이스로
이루어져야 한다.
4. 어떤 기술을 쓰든 상관없다. HTTP, Cobra, Pubsub, 독자
프로토콜...그건 상관없다. 베조스는 그런데 관심 없다.
5. 모든 서비스 인터페이스는 예외 없이 외부에서 이용
가능하게 만들어져야 한다. 그 말은 팀들은 외부 개발자들이
인터페이스를 이용할 수 있게 해야 한다는 것이다. 예외는
없다.
6. 이를 실천하지 않는 사람은 누구든 해고될 것이다.
← http://eggry.egloos.com/3763434