Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to プログラミング言語のパラダイムシフトーScalaから見る関数型と並列性時代の幕開けー
Similar to プログラミング言語のパラダイムシフトーScalaから見る関数型と並列性時代の幕開けー (20)
More from TanUkkii
More from TanUkkii (15)
プログラミング言語のパラダイムシフトーScalaから見る関数型と並列性時代の幕開けー
- 8. 並列性の低いアプリケーションは CPUを使い切れない PHP + Apache CPU: 32コア Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz
- 10. 時代は 並列分散プログラミングへ
- 11. 並列分散処理言語 • Scala • Erlang • Haskell • Elixir • Rust • (Go) • (Pony) いずれもが関数型の性質をもつ
- 14. スレッドは恐ろしい http://docs.scala-lang.org/ja/overviews/core/futures.html 問題： na *16と BATMAN の aとAの合計totalAはいくつ？
- 15. スレッドは恐ろしい http://docs.scala-lang.org/ja/overviews/core/futures.html 問題： na *16と BATMAN の aとAの合計totalAはいくつ？ A: 2 か 16 か 18 読み込みと書き込みに 原子性がないことと、 実行順序が不明なことが原因
- 16. スレッドの問題 • 原子性がない • 順番の保証がない • デッドロック、レースコンディション • リソースとして貴重 • 排他制御、待ち合わせなど、コードが複雑になる • デバッグが困難
- 18. Future • 非同期計算の結果のための統一インターフェースと してのコレクション • Scalaにおける並列実行の単位 • map, flatMapなどのモナドコンビネーターメソッ ド搭載
- 19. "Future" must { import scala.concurrent.ExecutionContext.Implicits.global "map and flatMap" in { val futureMessage = Future { Thread.sleep(1000); 1 }.flatMap(value => Future { Thread.sleep(1000); value + 1 }).map(s => s"This is a value of future after $s seconds") Await.result(futureMessage, 5 seconds) must be("This is a value of future after 2 seconds") } "for comprehension" in { val futureMessage = for { s1 <- Future { Thread.sleep(1000); 1 } s2 <- Future { Thread.sleep(1000); s1 + 1 } } yield s"This is a value of future after $s2 seconds" Await.result(futureMessage, 5 seconds) must be("This is a value of future after 2 seconds") } } Future 並列に実行 並列に実行 並列に実行 forコンプリヘンション 並列に実行 並列に実行
- 21. • Scalaコレクションの並列版 • Scalaコレクションと同じAPIだが、内部実行は並 列 • parメソッドによりScalaコレクションから並列コ レクションに透過的に変換できる • Scalaコレクションと使いかたが同じなので簡単に 使える ParallelCollection
- 22. ParallelCollection "parallel collection" must { "behave same as standard one" in { val list = (0 to 9999).toList list.map(_ + 1).filter(_ % 2 == 0).fold(0)(_ + _) must be list.par.map(_ + 1).filter(_ % 2 == 0).fold(0)(_ + _) } } 通常のコレクション 並列コレクション 使い方まったく同じ
- 24. Actorとは • 並列実行単位となるオブジェクト Future: 関数 Actor: オブジェクト 並列実行単位
- 26. Actorは効率的 • 4096スレッドで1Gbのメモリーを消費(linux x64) • 2700000アクターで1Gbのメモリーを消費 Akka in Actionより
- 28. ReactiveManifesto http://www.reactivemanifesto.org/ • 即応性 (Responsive) • 耐障害性 (Resilient) • 弾力性 (Elastic) • メッセージ駆動 (Message Driven) リアクティブなシステムを構築せよ
- 30. Actor の仕組み mailbox thread pool partial function message event loop thread
- 31. Actorはスレッドの問題を解決 する • 原子性：アクター内部の処理は並列ではなく順次実行されるので、 通常のプログラミングと同じ • 実行順序：アクター内部の処理は並列ではなく順次実行されるので、 通常のプログラミングと同じ • カプセル化：他のスレッドからアクター内はアクセスできない • 安全性：アクターはブロックしないので、デッドロックはおきない • リソース効率性：スレッドプールから論理スレッドが確保できたと きだけ、メッセージが処理される
- 32. Actorによる並列プログラミング class CountAActor extends Actor { var totalA = 0 def receive: Receive = { case "How many?" => sender ! totalA case text: String => totalA += text.toUpperCase().count(_ == 'A') } } object CountAActor { def props = Props(new CountAActor) } class SampleTest extends TestKit(ActorSystem("SampleSystem", ConfigFactory.empty())) with WordSpecLike with MustMatchers with ImplicitSender with StopSystemAfterAll { "CountAActor" must { "count A and a" in { val countAActor = system.actorOf(CountAActor.props, "countAActor") countAActor ! "na" * 16 countAActor ! "BATMAN!" countAActor ! "How many?" expectMsg(18) } } } 非同期にメッセージを送る 必ず18になる Actor内部は順次実行されるので、 安全に状態を更新できる （直ちに処理されるのではなくmailboxに貯まる） 内部状態は絶対に外から見えないので、 他のスレッドから守られている
- 33. SEND:メッセージの送信 • メッセージの送信は、非同期でブロックしない • メッセージの送信先はアクター参照(ActorRef)で あり、アクターインスタンスではない • アクターインスタンスを直接取得する方法はなく、 外部から完全に守られている • アクター参照は実際の送信先を抽象化する(位置透 過性)
- 34. 位置透過性 LocationTransparency • アクターのインスタンスが物理的にどこに存在しよ うが、同じようにメッセージを送れる doc.akka.io • 同じプロセス • 別のプロセス • 別のネットワーク上のサーバー
- 35. CREATE:複製 • アクターは簡単に複製できる • アクターは気軽にどんどん作ろう • アクターはスケール簡単にスケールする
- 36. Props:アクターの設計図 class CountAActor extends Actor { var totalA = 0 def receive: Receive = { case "How many?" => sender ! totalA case text: String => totalA += text.toUpperCase().count(_ == 'A') } } object CountAActor { def props = Props(new CountAActor) } class SampleTest extends TestKit(ActorSystem("SampleSystem", ConfigFactory.empty())) with WordSpecLike with MustMatchers with ImplicitSender with StopSystemAfterAll { "CountAActor" must { "count A and a in parallel" in { implicit val dispatcher = system.dispatcher implicit val timeout = Timeout(5 seconds) import akka.pattern.ask val countAActor1 = system.actorOf(CountAActor.props, "countAActor1") val countAActor2 = system.actorOf(CountAActor.props, “countAActor2") countAActor1 ! "na" * 16 countAActor2 ! “BATMAN!" val futures = Seq(countAActor1, countAActor2).map(_ ? "How many?").map(_.mapTo[Int]) val result = Future.sequence(futures).map(_.reduce(_ + _)) Await.result(result, 5 seconds) must be(18) } } } 再現可能なインスタンスを作るためのProps Propsからアクターを２つ作成 2つのアクターにメッセージを送る 2つのアクターの計算結果を集計する
- 37. Router:負荷分散 trait RouterCreator { def createRouter = SmallestMailboxPool(100).props(CountAActor.props) } class CountARouter extends Actor with RouterCreator { val countARouter = context.actorOf(createRouter) def receive: Receive = { case hm@"How many?" => { val reducer = context.actorOf(Reducer.props(sender(), 100)) countARouter.tell(Broadcast(hm), reducer) } case msg => countARouter forward msg } } object CountARouter { def props = Props(new CountARouter) } class Reducer(sendTo: ActorRef, maxCount: Int) extends Actor { var total = 0; var count = 0 def receive: Receive = { case sum: Int => { total += sum; count += 1 if (count == maxCount) { sendTo ! total self ! PoisonPill } } } } object Reducer { def props(sendTo: ActorRef, maxCount: Int) = Props(new Reducer(sendTo, maxCount)) } 100個のアクターに分散する ルーター ルーターにメッセージを送る 最終的な結果を集計するアクター すべてのルーティーに集計メッセージを送る
- 38. Router class SampleTest extends TestKit(ActorSystem("SampleSystem", ConfigFactory.empty())) with WordSpecLike with MustMatchers with ImplicitSender with StopSystemAfterAll { "Router" must { "route messages" in { val router = system.actorOf(CountARouter.props, "CountARouter") Stream.fill(10000)("BATMAN!").foreach(router ! _) router ! "How many?" expectMsg(10000 * 2) } } } 10000個のメッセージを送る 集計 ルーターは100個のアクターに分散する
- 40. SUPERVISE:監視する • 障害を起こさないように設計するのではなく、障害がおき てもいいように設計する Let it crash モデルを採用 • アクターは親子構造のヒエラルキーを作る • 親が子の監視者となり、子の障害に対処する • 階層をできるだけ深くして、障害の影響範囲を小さくする • 状態がおかしくなってクラッシュしたアクターは再起動さ れる(デフォルトの設定)
- 41. Let it crash! アクターの再起動 親アクター 子アクター 1. 障害発生 親アクター 子アクター 2. 子アクターが停止 親アクター 子アクター子アクター 親アクター 子アクター ３. 子アクターを 再生成して 入れ替え ４. 新しい子アクター インスタンスで 処理再開 (mailboxは保持)
- 42. class CrashActor extends Actor with ActorLogging { def receive: Receive = { case "Crash!!!" => throw new Exception("crashed!") } override def preStart() { log.info("preStart") } override def preRestart(reason: Throwable, message: Option[Any]) = { log.info("preRestart") super.preRestart(reason, message) } override def postRestart(reason: Throwable) { log.info("postRestart") super.postRestart(reason) } override def postStop() { log.info("postStop") } } object CrashActor { def props = Props(new CrashActor) } class Supervisor extends Actor { val crashActor = context.actorOf(CrashActor.props) def receive: Receive = { case msg => crashActor forward msg } } object Supervisor { def props = Props(new Supervisor) } class SampleTest extends TestKit(ActorSystem("SampleSystem", ConfigFactory.empty())) with WordSpecLike with MustMatchers with ImplicitSender with StopSystemAfterAll { "Supervisor" must { "crush CrashActor" in { val supervisor = system.actorOf(Supervisor.props, "supervisor") supervisor ! "Crash!!!" Thread.sleep(1000) } } クラッシュするメッセージを 受けるアクター CrashActorを子に持つ監視アクター クラッシュさせる アクターの ライフサイクルフックメソッド
- 43. 再起動してる
- 44. まとめ • 今後CPUの進化はマルチコア化が駆動 • CPUを使い尽くすために、並列分散プログラミングが必 要 • 並列分散プログラミングは難しい • 抽象度・一般性のトレードオフの中で、並列処理のハー ドルを下げる様々な概念がある • Future, Parallel Collection, Actor