Hive on Spark を活用した高速データ分析 - Hadoop / Spark Conference Japan 2016Nagato Kasaki
現在、DMM.comでは、1日あたり1億レコード以上の行動ログを中心に、各サービスのコンテンツ情報や、地域情報のようなオープンデータを収集し、データドリブンマーケティングやマーケティングオートメーションに活用しています。しかし、データの規模が増大し、その用途が多様化するにともなって、データ処理のレイテンシが課題となってきました。本発表では、既存のデータ処理に用いられていたHiveの処理をHive on Sparkに置き換えることで、1日あたりのバッチ処理の時間を3分の1まで削減することができた事例を紹介し、Hive on Sparkの導入方法やメリットを具体的に解説します。
Hadoop / Spark Conference Japan 2016
http://www.eventbrite.com/e/hadoop-spark-conference-japan-2016-tickets-20809016328
55. Exercise: nnで遊ぶExercise: nnで遊ぶ
• Tanhの代わりにSigmoid
– nn.Sigmoidを利用するS g o dを利用する
– learningrateは0.1に変更
多層にしてみる• 多層にしてみる
– mlp:add()を追加,精度を比較してみる
56. Torch7のSequence
直感的な理解
• Sequenceで入れ物を作る
• nn Moduleの組み合わせnn.Moduleの組み合わせ
– Tanh, Linear
S ti lC l ti MM– SpatialConvolutionMM
– ReLU
• nn.Moduleの持つ関数
Forward backward– Forward, backward