Downloaded 72 times
![1 import pycuda.driver as drv
2 import pycuda.tools
3 import pycuda.autoinit
4 import numpy
5 import numpy.linalg as la
6 from pycuda.compiler import SourceModule
7
8 mod = SourceModule("""
9 __global__ void multiply_them(float *dest, float *a, float *b)
10 {
11 const int i = threadIdx.x;
12 dest[i] = a[i] * b[i];
13 }
14 """)
15
16 multiply_them = mod.get_function("multiply_them")
17
18 a = numpy.random.randn(400).astype(numpy.float32)
19 b = numpy.random.randn(400).astype(numpy.float32)
20
21 dest = numpy.zeros_like(a)
22 multiply_them(
23 drv.Out(dest), drv.In(a), drv.In(b),
24 block=(400,1,1))
25
26 print dest-a*b
PythonからGPUプログラミングが簡単にできる！](https://image.slidesharecdn.com/gpgpustudy-120602020510-phpapp01/85/GPGPU-LLVM-meets-GPU-32-320.jpg)
![4 import numpy
5 import numpy.linalg as la
6 from pycuda.compiler import SourceModule
7
8 mod = SourceModule("""
9 __global__ void multiply_them(float *dest, float *a, float *b)
10 {
11 const int i = threadIdx.x;
12 dest[i] = a[i] * b[i];
13 }
14 """)
15
16 multiply_them = mod.get_function("multiply_them")
17
18 a = numpy.random.randn(400).astype(numpy.float32)
19 b = numpy.random.randn(400).astype(numpy.float32)
20
21 dest = numpy.zeros_like(a)
22 multiply_them(
23 drv.Out(dest), drv.In(a), drv.In(b),
24 block=(400,1,1))](https://image.slidesharecdn.com/gpgpustudy-120602020510-phpapp01/85/GPGPU-LLVM-meets-GPU-34-320.jpg)
![8 mod = SourceModule("""
9 __global__ void multiply_them(float *dest, float *a,
float *b)
10 {
11 const int i = threadIdx.x;
12 dest[i] = a[i] * b[i];
13 }
14 """)](https://image.slidesharecdn.com/gpgpustudy-120602020510-phpapp01/85/GPGPU-LLVM-meets-GPU-35-320.jpg)
![1 import pycuda.driver as drv
2 import pycuda.tools
3 import pycuda.autoinit
4 import numpy
5 import numpy.linalg as la
6 from pycuda.compiler import SourceModule
7
8 @kernel
9 def multiply_them(dest, a, b):
10 i = threadIdx.x
11 dest[i] = a[i] * b[i];
12
こんなかんじで書きたい
13 a = numpy.random.randn(400).astype(numpy.float32)
14 b = numpy.random.randn(400).astype(numpy.float32)
15
16 dest = numpy.zeros_like(a)
17 multiply_them(
18 drv.Out(dest), drv.In(a), drv.In(b),
19 block=(400,1,1))
20
21 print dest-a*b](https://image.slidesharecdn.com/gpgpustudy-120602020510-phpapp01/85/GPGPU-LLVM-meets-GPU-38-320.jpg)
![@kernelデコレータで
1 import numpy as np
2
3 from pynvvm.kernel import kernel コード生成
4 from pynvvm.nvtype import array, float32, int32
5
6 @kernel(array(float32), array(float32), array(float32), float32(), int32(), int32())
7 def saxpy(z, x, y, a, w, h):
8 xidx = pynvvm_ctaid_x() * pynvvm_ntid_x() + pynvvm_tid_x()
9 yidx = pynvvm_ctaid_y() * pynvvm_ntid_y() + pynvvm_tid_y()
10
11 if yidx < h and xidx < w: 専用のintrinsic
12 i = yidx * w + xidx
13 z[i] = a * x[i] + y[i]
14
15 return
16
17 n = 1024
18
19 x = np.random.randn(n*n).astype(np.float32)
20 y = np.random.randn(n*n).astype(np.float32)
21 a = np.float32(2.71828183)
22
23 z = np.zeros_like(x)
24
25 bsz = (16, 16, 1) In, Outはコード生成時に
26 gsz = ((n+16-1)/16, (n+16-1)/16, 1)
27
28 saxpy(bsz, gsz)(z, x, y, a, np.int32(n), np.int32(n)) 解析して自動転送
29
30 print(z)](https://image.slidesharecdn.com/gpgpustudy-120602020510-phpapp01/85/GPGPU-LLVM-meets-GPU-40-320.jpg)
![[計算シミュレーション勉強会#1] 粒子法の復習（陽解法と陰解法の比較から）](https://cdn.slidesharecdn.com/ss_thumbnails/computationalsimulation1-131012213950-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
![OpenMPSみんな使ってねー[第36回オープンCAE勉強会＠関東]](https://cdn.slidesharecdn.com/ss_thumbnails/opencaekanto36-140222004810-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
関東GPGPU勉強会 LLVM meets GPU
- 1. LLVM meets GPU twitter : iitaku
- 2.
- 3. Low L e vel Vi r t ua l M a c hi ne
- 4.
- 5. 高級 低級 低級な空想上の機械？
- 6.
- 7.
- 8. LLVMとは！ コンパイル時、リンク時、実行時などあらゆる時点で プログラムを最適化するように設計された、 任意のプログラミング言語に対応可能な コンパイラ基盤である！ by wikipedia
- 9.
- 10.
- 11. LLVMの仕事 C X86 Lexer Optimize Parser Generate Asm Generate IR C++ ARM LLVM IR Obj-C Power JIT Yet Another Programming Language Program Yet Another Hardware Platform
- 12. ようするに • ククク・・・俺の最強言語（ことだま）で 世界を書き換えてやるよ • やれやれ・・この程度の最適化、奴にまかせておけ •いつの間にこんな速く・・・？！ 動的コード生成・・だとッ・・・・？ • ああ・・どうやら新たなチップらしい。・・・わかっ
- 13.
- 14.
- 15.
- 16. CUDA Frontend PTX Backend など。しかしこれとは別に・・・
- 17. May, 2012 @GTC2012 CUDACompiler SDK Preview Launched !
- 18. なにができるの？ CUDA Compiler SDK Preview NVVM IR PTX Optimize, Codegen Yet Another NVIDIA Programming Language GPU
- 19.
- 20. なにができるの？ CUDA Compiler SDK Preview NVVM IR PTX Optimize, Codegen Yet Another NVIDIA Programming Language GPU
- 21.
- 22.
- 23. NVVM IRとは！ GPUのカーネルを表現するためにデザインされた、 LLVM IRのサブセットである！ LLVM IRにwell-formedなため、既存のツールチェイ ンからはLLVM IRとして取り扱うことが可能である！
- 24. 細かい話 • __device__、 __constant__などはLLVMのaddress space number という概念で表される • __global__関数、__device__関数などの種別はmetadataという 仕組みで表される • 追加の組み込み関数が幾つか（nvvm.*） • 同期、テクスチャ/サーフェス、特殊レジスタ、etc..
- 25. NVVM Library API •Start and Shutdown • Create Compiler Unit • Verify • Compile To PTX • Get Result
- 26.
- 28.
- 29.
- 31.
- 32. 1 import pycuda.driveras drv 2 import pycuda.tools 3 import pycuda.autoinit 4 import numpy 5 import numpy.linalg as la 6 from pycuda.compiler import SourceModule 7 8 mod = SourceModule(""" 9 __global__ void multiply_them(float *dest, float *a, float *b) 10 { 11 const int i = threadIdx.x; 12 dest[i] = a[i] * b[i]; 13 } 14 """) 15 16 multiply_them = mod.get_function("multiply_them") 17 18 a = numpy.random.randn(400).astype(numpy.float32) 19 b = numpy.random.randn(400).astype(numpy.float32) 20 21 dest = numpy.zeros_like(a) 22 multiply_them( 23 drv.Out(dest), drv.In(a), drv.In(b), 24 block=(400,1,1)) 25 26 print dest-a*b PythonからGPUプログラミングが簡単にできる！
- 33.
- 34. 4 import numpy 5 import numpy.linalg as la 6 from pycuda.compiler import SourceModule 7 8 mod = SourceModule(""" 9 __global__ void multiply_them(float *dest, float *a, float *b) 10 { 11 const int i = threadIdx.x; 12 dest[i] = a[i] * b[i]; 13 } 14 """) 15 16 multiply_them = mod.get_function("multiply_them") 17 18 a = numpy.random.randn(400).astype(numpy.float32) 19 b = numpy.random.randn(400).astype(numpy.float32) 20 21 dest = numpy.zeros_like(a) 22 multiply_them( 23 drv.Out(dest), drv.In(a), drv.In(b), 24 block=(400,1,1))
- 35. 8 mod =SourceModule(""" 9 __global__ void multiply_them(float *dest, float *a, float *b) 10 { 11 const int i = threadIdx.x; 12 dest[i] = a[i] * b[i]; 13 } 14 """)
- 36.
- 38. 1 import pycuda.driveras drv 2 import pycuda.tools 3 import pycuda.autoinit 4 import numpy 5 import numpy.linalg as la 6 from pycuda.compiler import SourceModule 7 8 @kernel 9 def multiply_them(dest, a, b): 10 i = threadIdx.x 11 dest[i] = a[i] * b[i]; 12 こんなかんじで書きたい 13 a = numpy.random.randn(400).astype(numpy.float32) 14 b = numpy.random.randn(400).astype(numpy.float32) 15 16 dest = numpy.zeros_like(a) 17 multiply_them( 18 drv.Out(dest), drv.In(a), drv.In(b), 19 block=(400,1,1)) 20 21 print dest-a*b
- 39.
- 40. @kernelデコレータで 1 importnumpy as np 2 3 from pynvvm.kernel import kernel コード生成 4 from pynvvm.nvtype import array, float32, int32 5 6 @kernel(array(float32), array(float32), array(float32), float32(), int32(), int32()) 7 def saxpy(z, x, y, a, w, h): 8 xidx = pynvvm_ctaid_x() * pynvvm_ntid_x() + pynvvm_tid_x() 9 yidx = pynvvm_ctaid_y() * pynvvm_ntid_y() + pynvvm_tid_y() 10 11 if yidx < h and xidx < w: 専用のintrinsic 12 i = yidx * w + xidx 13 z[i] = a * x[i] + y[i] 14 15 return 16 17 n = 1024 18 19 x = np.random.randn(n*n).astype(np.float32) 20 y = np.random.randn(n*n).astype(np.float32) 21 a = np.float32(2.71828183) 22 23 z = np.zeros_like(x) 24 25 bsz = (16, 16, 1) In, Outはコード生成時に 26 gsz = ((n+16-1)/16, (n+16-1)/16, 1) 27 28 saxpy(bsz, gsz)(z, x, y, a, np.int32(n), np.int32(n)) 解析して自動転送 29 30 print(z)
- 41. ast.parse() @kernel decorator AST inspect.getsource() 型推論 kernel function Typed AST NVVM Codegen GO GPU! PTX Codegen PTX NVVM IR
- 42.
- 43. つくったもの • LLVM LibraryのPython Binding • boost::pythonすばらしい • NVVM LibraryのPython Binding • CTypesすばらしい • Python AST -> NVVM IRのトランスレータ
- 44. で、速いの？ • saxpy •numpy : 0.052 • pynvvm : 0.051 • python : 10.88
- 45.
- 46.
- 47. ast.Forのトランスレータ書いてないから 実装できないやんけ！
- 48. pynvvm current status •対応していない構文いっぱい • 対応していない命令いっぱい • 対応していない関数いっぱい • バグも（たぶん）いっぱい
- 49.
- 50. まとめ • NVVM IRはLLVM IR Builderで作れるので オレオレ言語をGPUで動かすのもカンタン！ • アホなIR作っても色々最適化してくれるのでハッピー • みんなもCUDA Compiler SDKであそぼう
- 51. Related Works • py2llvm • python -> LLVM IR • http://code.google.com/p/py2llvm/ • copperhead • 自動並列化 • http://code.google.com/p/copperhead/
- 52.
Editor's Notes
- #2 \n
- #3 \n
- #4 \n
- #5 \n
- #6 \n
- #7 \n
- #8 \n
- #9 \n
- #10 \n
- #11 \n
- #12 \n
- #13 \n
- #14 \n
- #15 \n
- #16 \n
- #17 \n
- #18 \n
- #19 \n
- #20 \n
- #21 \n
- #22 \n
- #23 \n
- #24 \n
- #25 \n
- #26 \n
- #27 \n
- #28 \n
- #29 \n
- #30 \n
- #31 \n
- #32 \n
- #33 \n
- #34 \n
- #35 \n
- #36 \n
- #37 \n
- #38 \n
- #39 \n
- #40 \n
- #41 \n
- #42 \n
- #43 \n
- #44 \n
- #45 \n
- #46 \n
- #47 \n
- #48 \n
- #49 \n
- #50 \n
- #51 \n
- #52 \n
- #53 \n