Download as PDF, PPTX
![JavaでCPU(並列)
● Java8 Stream
int elementCount = 1_444_477;
float[] inputA = new float[elementCount];
float[] inputB = new float[elementCount];
float[] output = new float[elementCount];
IntStream.range(0, elementCount).parallel().forEach(i -> {
output[i] = inputA[i] * inputB[i];
});](https://image.slidesharecdn.com/java20160903-160903082521/75/Java-TECH-28-2048.jpg)
![Aparapiコード
public class AparapiKernel extends Kernel{
float[] inputA;
float[] inputB;
float[] output;
@Override
public void run() {
int gid = getGlobalId();
output[gid] = inputA[gid] * inputB[gid];
}
public static void main(String[] args) {
AparapiKernel kernel = new AparapiKernel();
int elementCount = 1_444_477;
kernel.inputA = new float[elementCount];
kernel.inputB = new float[elementCount];
kernel.output = new float[elementCount];
fillBuffer(kernel.inputA);
fillBuffer(kernel.inputB);
kernel.execute(elementCount);
}
}](https://image.slidesharecdn.com/java20160903-160903082521/75/Java-TECH-31-2048.jpg)
![JOCLのコード
String KERNEL_CODE =
"kernel void add(global const float* inputA,"
+ " global const float* inputB,"
+ " global float* output,"
+ " uint numElements){"
+ " size_t gid = get_global_id(0);"
+ " if(gid >= numElements){"
+ " return;"
+ " }"
+ " output[gid] = inputA[gid] + inputB[gid];"
+ "}";
CLContext ctx = CLContext.create();
CLDevice device = ctx.getMaxFlopsDevice();
CLCommandQueue queue = device.createCommandQueue();
CLProgram program = ctx.createProgram(KERNEL_CODE).build();
int elementCount = 1_444_477;
int localWorkSize = Math.min(device.getMaxWorkGroupSize(), 256);
int globalWorkSize = ((elementCount + localWorkSize - 1) /
localWorkSize) * localWorkSize;
CLBuffer<FloatBuffer> clBufferA = ctx.createFloatBuffer(
elementCount, CLMemory.Mem.READ_ONLY);
CLBuffer<FloatBuffer> clBufferB = ctx.createFloatBuffer(
elementCount, CLMemory.Mem.READ_ONLY);
CLBuffer<FloatBuffer> clBufferC = ctx.createFloatBuffer(
elementCount, CLMemory.Mem.READ_WRITE);
fillBuffer(clBufferA.getBuffer());
fillBuffer(clBufferB.getBuffer());
CLKernel kernel = program.createCLKernel("add");
kernel
.putArgs(clBufferA, clBufferB, clBufferC)
.putArg(elementCount);
queue.putWriteBuffer(clBufferA, false)
.putWriteBuffer(clBufferB, false)
.put1DRangeKernel(kernel, 0, globalWorkSize, localWorkSize)
.putReadBuffer(clBufferC, true);](https://image.slidesharecdn.com/java20160903-160903082521/75/Java-TECH-33-2048.jpg)
![Synthesijerが出力したコード
module Test
(
input clk,
input reset,
input flag_in,
input flag_we,
output flag_out,
output run_busy,
input run_req
);
wire clk_sig;
wire reset_sig;
wire flag_in_sig;
wire flag_we_sig;
wire flag_out_sig;
reg run_busy_sig = 1'b1;
wire run_req_sig;
reg class_flag_0000 = 1'b0;
wire class_flag_0000_mux;
wire tmp_0001;
reg signed [32-1 : 0] class_count_0001 = 0;
reg signed [32-1 : 0] unary_expr_00005 = 0;
reg binary_expr_00007 = 1'b0;
reg unary_expr_00011 = 1'b0;
wire run_req_flag;
reg run_req_local = 1'b0;
wire tmp_0002;
localparam run_method_IDLE = 32'd0;
localparam run_method_S_0000 = 32'd1;
localparam run_method_S_0001 = 32'd2;
localparam run_method_S_0002 = 32'd3;
localparam run_method_S_0003 = 32'd4;
localparam run_method_S_0004 = 32'd5;
すごく長い](https://image.slidesharecdn.com/java20160903-160903082521/75/Java-TECH-50-2048.jpg)
More Related Content
![[Basic 7] OS の基本 / 割り込み / システム コール / メモリ管理](https://cdn.slidesharecdn.com/ss_thumbnails/basic-07-180228134341-thumbnail.jpg?width=640&height=640&fit=bounds)
コンピューティングとJava~なにわTECH道
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7. 処理を速くするには ● CPUを載せ換えたら勝手に速くなる時代は10 年前に終わった ● 並列度をあげる ●より近いところにデータを置く
- 8.
- 9. ムーアの法則の終焉 ● 物理的に配置できない – 5nm=水素原子50個分 ●電子が漏洩する – 電気を余分に消耗する ● 歩留まりがあがらない – 製造コスト増
- 10. 微細化が進んでも今までとは違う ● コストが下がらない ● 低消費電力と高速化を同時に実現できない ●たくさん回路をつんでも、すべての回路に電気 を流せない – ダークシリコン問題
- 11. データ・セントリック・システム ● データの移動に電力や時間が食われている – ストレージ→メインメモリ→キャッシュメモリ ●データの移動を減らす必要がある ● データの近くで処理を行う ● 処理を行うのはCPUだけではなくなる ● いろいろなところで動くコードが必要になる
- 12.
- 13.
- 14. CPU ● 高機能・高性能・高粒度 ● 割り込み、権限制御、仮想化、など実行以外の機能 ●OSが実行できる ● 演算器はコアあたり10個程度 – 一チップに100個程度 ● 明示的にメモリを制御できない – いかにキャッシュに載せるか = いかにメモリをまとめて扱うか
- 15. GPU ● GPU – ちょうたくさんコアがある –同じ処理を行う – 行列計算に向いてる ● GTX 1080 – 2560コア！
- 16. GPUの構成 ● いくつかのコアでグループを作る – 同時に同じ命令を実行する –グループだけからアクセスできるメモリをもつ ● コアのグループが多数ある ● コアあたり数個の演算器 – 数千から数万の演算器
- 17. 非ノイマン型アーキテクチャ ● ノイマン型じゃないコンピュータ全体 – FPGA –ニューラルネット型コンピュータ – 量子コンピュータ
- 18. FPGA ● Field ProgrammableGate Array – Field 現場で – Programmable プログラム可能な – Gate 論理素子が – Array いっぱい並んだやつ ● 現場でプログラムできる論理回路
- 19. 回路の入出力の組み合わせ 入力 出力 000 0 1000 010 0 110 1 001 1 101 1 011 1 111 1
- 20. LUT(LookUp Table) ● 入出力をあらかじめメモリにもっておく ●製品としては4入力LUTや6入力LUT 入力 出力 000 0 100 0 010 0 110 1 001 1 101 1 011 1 111 1
- 21. 論理ブロック ● Logical Element(LE)Altera ● Logical Cell(LC) Xilinx
- 22. 配線 ● 論理ブロックが格子状に配置 ● 周囲に配線 ●アイランドスタイル
- 23.
- 24.
- 25.
- 26. FPGAの利点 ● 命令を読み込む必要がない – 処理を行うまでのタイムラグが少ない ●低レイテンシ – 命令解析のための回路が不要 ● 余分な回路がないので低消費電力 ● 細かな並列化
- 27.
- 28. JavaでCPU(並列) ● Java8 Stream intelementCount = 1_444_477; float[] inputA = new float[elementCount]; float[] inputB = new float[elementCount]; float[] output = new float[elementCount]; IntStream.range(0, elementCount).parallel().forEach(i -> { output[i] = inputA[i] * inputB[i]; });
- 29. JavaでGPU ● Aparapi – JavaコードをOpenCLに変換 ●OpenCLを呼び出す – OpenCL:並列計算フレームワーク ● AMD始め、IntelやNVIDIAなどが参加 – JOCL(jogamp.org) – JOCL(jocl.org) – JavaCL ● Project Sumatra – Stream処理を自動的にGPUで行う – Java VMに組み込む
- 30. Aparapi ● A PARalellAPI ● 実行時にJavaコードをOpenCLに変換 ● https://code.google.com/p/aparapi/
- 31. Aparapiコード public class AparapiKernelextends Kernel{ float[] inputA; float[] inputB; float[] output; @Override public void run() { int gid = getGlobalId(); output[gid] = inputA[gid] * inputB[gid]; } public static void main(String[] args) { AparapiKernel kernel = new AparapiKernel(); int elementCount = 1_444_477; kernel.inputA = new float[elementCount]; kernel.inputB = new float[elementCount]; kernel.output = new float[elementCount]; fillBuffer(kernel.inputA); fillBuffer(kernel.inputB); kernel.execute(elementCount); } }
- 32.
- 33. JOCLのコード String KERNEL_CODE = "kernelvoid add(global const float* inputA," + " global const float* inputB," + " global float* output," + " uint numElements){" + " size_t gid = get_global_id(0);" + " if(gid >= numElements){" + " return;" + " }" + " output[gid] = inputA[gid] + inputB[gid];" + "}"; CLContext ctx = CLContext.create(); CLDevice device = ctx.getMaxFlopsDevice(); CLCommandQueue queue = device.createCommandQueue(); CLProgram program = ctx.createProgram(KERNEL_CODE).build(); int elementCount = 1_444_477; int localWorkSize = Math.min(device.getMaxWorkGroupSize(), 256); int globalWorkSize = ((elementCount + localWorkSize - 1) / localWorkSize) * localWorkSize; CLBuffer<FloatBuffer> clBufferA = ctx.createFloatBuffer( elementCount, CLMemory.Mem.READ_ONLY); CLBuffer<FloatBuffer> clBufferB = ctx.createFloatBuffer( elementCount, CLMemory.Mem.READ_ONLY); CLBuffer<FloatBuffer> clBufferC = ctx.createFloatBuffer( elementCount, CLMemory.Mem.READ_WRITE); fillBuffer(clBufferA.getBuffer()); fillBuffer(clBufferB.getBuffer()); CLKernel kernel = program.createCLKernel("add"); kernel .putArgs(clBufferA, clBufferB, clBufferC) .putArg(elementCount); queue.putWriteBuffer(clBufferA, false) .putWriteBuffer(clBufferB, false) .put1DRangeKernel(kernel, 0, globalWorkSize, localWorkSize) .putReadBuffer(clBufferC, true);
- 34. 比較 ● Aparapi – めちゃ楽 –GPUの性能出しにくい ● JOCL – ちょっと面倒 – GPUの性能出しやすい
- 35.
- 36. ディープラーニング(深層学習) ● 階層の深いニューラルネット ● 最近、人工知能っていわれてるのは、ほぼこれ ●学習には大量のデータを処理する必要がある
- 37. CPUを使って処理 ● AlexNet – 画像認識用ディープニューラルネット –それまでの画像認識とは段違いの識別能力 – ディープラーニングを一躍有名に ● 学習には1400万枚の画像を読み込ませる必要がある。 ● 普通にJavaで記述 ● 処理能力：15枚/分 – 1400万枚だと600日！
- 38. Aparapiを使う ● JavaのコードをそのままGPU対応 ● 15枚/分→90枚/分 ●1400万枚の画像処理が600日→100日！
- 39.
- 40. なんでこんなに速くなったか ● Aparapi版 – 各層の処理前にCPUからGPUにデータを転送 –処理後に結果をGPUからCPUに転送 ● JOCL版 – 処理前に転送するデータは、前の層の結果 – そのままGPUに置きっぱなしにする
- 41. つまり ● 100日→34日 ● 66日短縮 ●66日間はデータ転送だけだった
- 42.
- 43. GPUでの結果 ● 90枚/分→300枚/分 ● 1400万枚の画像処理が100日→33日 ●67日はデータの移動だけに電気代を払うこと になっていた！
- 44. FPGAでやったら？ ● Microsoftの実装 – GPUの半分のスループット –1/10の消費電力 – 電力あたりの性能は3倍 – http://techon.nikkeibp.co.jp/article/MAG/20150311/408682/
- 45. ASICで作ったら？ ● Google TensorFlowProcessing Unit ● 碁で人間より強くなる
- 46. Sumatra ● Java VMに組み込むことを目標 ●実装難しそう ● コード書くのもわかりにくそう ● 性能出しにくそう ● Java VMに組み込むほどメリットなさそう – 性能欲しい人はOpenCL使うよね
- 47. と思ったら ● 「Sumatra isnot in active development for now.(2015/5/1) 」 http://mail.openjdk.java.net/pipermail/sumatra-dev/2015-May/000310.html
- 48.
- 49. Synthesijer ● みよしさんが作ってるオープンソース http://synthesijer.github.io/web/ public classTest { public boolean flag; private int count; public void run(){ while(true){ count++; if(count > 5_000_000){ count = 0; flag = !flag; } } } } @synthesijerhdl public class Top { private final Test test = new Test(); @auto public boolean flag(){ return test.flag; } @auto public void main(){ test.run(); } }
- 50. Synthesijerが出力したコード module Test ( input clk, inputreset, input flag_in, input flag_we, output flag_out, output run_busy, input run_req ); wire clk_sig; wire reset_sig; wire flag_in_sig; wire flag_we_sig; wire flag_out_sig; reg run_busy_sig = 1'b1; wire run_req_sig; reg class_flag_0000 = 1'b0; wire class_flag_0000_mux; wire tmp_0001; reg signed [32-1 : 0] class_count_0001 = 0; reg signed [32-1 : 0] unary_expr_00005 = 0; reg binary_expr_00007 = 1'b0; reg unary_expr_00011 = 1'b0; wire run_req_flag; reg run_req_local = 1'b0; wire tmp_0002; localparam run_method_IDLE = 32'd0; localparam run_method_S_0000 = 32'd1; localparam run_method_S_0001 = 32'd2; localparam run_method_S_0002 = 32'd3; localparam run_method_S_0003 = 32'd4; localparam run_method_S_0004 = 32'd5; すごく長い
- 51.
- 52. 足りない ● Javaの基本ライブラリが大きすぎる(そしてほとんど使わない) ● オブジェクトのメモリ効率が悪い ●さまざまなアーキテクチャに対応した値が扱えない – 256bit整数型、float x 4型(SIMD命令用) ● 高機能データ構造がメモリにやさしくない – Genericsが基本型を扱えない ● 配列がハードウェアにやさしくない – 多次元配列 – 21億(int上限)を超える要素 – 読み込み専用配列
- 53. Java 9 ● 来年春リリース予定 ●モジュールシステム(Jigsaw) ● GCアルゴリズムのデフォルトがG1GCに ● JShell
- 54. モジュールシステム ● いままでの可視性制御 – public,package private, private – public見えすぎ問題 ● これからの可視性制御 – module export, public, package private, private ● Java自体のモジュール化 – フットプリントの最適化
- 55. G1GC ● いままでのメモリ領域 – New(Eden/Survivor),Tenuredが固定 ● G1GC – メモリを多数のブロックにわけて、動的にNew領 域、Tenured領域に割り当てる
- 56.
- 57.
- 58. Close To theMetal
- 59.
- 60. Project Valhalla ● ValueType ● Specialization
- 61. Value Type ● ユーザー定義基本型 ●Codes like a class, works like an int!
- 62. Pointクラス class Point{ final intx; final int y; }
- 63.
- 64.
- 65. ValueType版Point value class Point{ finalint x; final int y; }
- 66.
- 67.
- 68. Java8の美しくないクラス ● StreamとIntStream – IntStreamextends Stream<int>ってやりたい – そもそも捨てたい ● OptionalとOptionalInt – OptionalInt extends Optional<int>ってやりたい – そもそも捨てたい
- 69.
- 70. Genericなクラス class Box<T>{ T value; Box(Tv){ value = v; } T getValue(){ return T; } }
- 71. 現在のコンパイル結果 class Box{ Object value; Box(Objectv){ value = v; } Object getValue(){ return value; } }
- 72. Specialize可能なクラス class Box<any T>{ Tvalue; Box(T v){ value = v; } T getValue(){ return value; } }
- 73. Specialize対応のコンパイル結果 class Box{ Object*T value; Box(Object*Tv){ value = v; } Object*T getValue(){ return value; } }
- 74. Box<int>の場合 class Box${T=int}{ int value; Box(intv){ value = v; } int getValue(){ return value; } }
- 75. Name Mangling ● 名前修飾 ●Javaの入れ子クラス – Hoge$Foo ● Specializedなクラス – Box${T=I}
- 76.
- 77. Javaのバイトコード ● aload/iload/lload/fload/dload ● astore/istore/lstore/fstore/dstore ●areturn/ireturn/lreturn/freturn/dreturn
- 78. 演算のバイトコード ● iadd/isub/imul/idiv ● ladd/lsub/lmul/ldiv ●dadd/dsub/dmul/ddiv ● fadd/fsub/fmul/fdiv
- 79. バイトコードの統一 ● 型をもったまま汎用の構文 ● 新しい型を自然に拡張できる ●vload/vstore/vreturn ● vadd/vsub/vmul/vdiv
- 80. 既存コードは省略形 ● iload →vload :I ● daload → vaload :D – さらにinvokeinterface Array.getElementの略に できるかも！
- 81.
- 82. まとめ ● コンピュータは変わる ● Javaも変わる ●あんたはどうだい？