Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Zeppelinでpgxを使う

346 views

Published on

Apache Zeppelin を利用したOracle PGX 実行を試してみた

Published in: Technology
  • Login to see the comments

  • Be the first to like this

Zeppelinでpgxを使う

  1. 1. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache Zeppelin で PGX を使う 日本オラクル株式会社 武井美緒 2017年3月1日
  2. 2. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. 以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。 また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むこと はできません。以下の事項は、マテリアルやコード、機能を提供することをコ ミットメント(確約)するものではないため、購買決定を行う際の判断材料にな さらないで下さい。オラクル製品に関して記載されている機能の開発、リリース および時期については、弊社の裁量により決定されます。 Oracle と Java は、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国に おける登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。 2
  3. 3. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. 自己紹介 3 名前:武井 美緒(たけい みお) 所属:日本オラクル株式会社 クラウド・テクノロジーコンサルティング事業本部 担当:Analytics関連製品担当 (Oracle R Enterprise,Oracle Data Miner…) 機械学習についてのトレーニングやデータ分析の技術支援を実施
  4. 4. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. 前回のおさらい 4 現在最新は2.3.1ですが まだ本機能は利用できるように なっておりません・・・
  5. 5. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. 前回のおさらい 5 Rのインターフェースから PGXサーバーに接続し、 グラフ分析を実行できます グラフ分析した結果を Rから簡単に可視化したり、 さらなる分析を実行できます
  6. 6. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache ZeppelinでPGXを使う 6 PGX release 2.2.1(現在最新は2.3.1)では Apache Zeppelin notebookからPGXを実行できます! 利用のために必要なもの ■PGX : PGX release 2.2.1 + Zeppelin interpreter (同一バージョンのもの) ■Apache Zeppelin : Zeppelin version 0.5.6-incubating (上位バージョンだと動かないかもとマニュアルに記載あり、未検証) ■JDK : JDK 8
  7. 7. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache Zeppelin とは? 7 ・ Apache Zeppelin は Apache Spark の Web ベースのインタラクティブ UI で、現在は Apache Incubator ステータスで開発が進められています。 ・ほぼ IPython Notebook (Jupyter) と同じコンセプトのものです。 ・クライアント(ブラウザ)からインタラクティブに Spark SQL や Streaming のコマンドを Spark クラスタに投げつつ、返ってきた実行結果を表に整形したり、グラフをプロットできます。 またコマンドの実行履歴や結果はサーバに保存しておいて再利用 することができます。
  8. 8. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache Zeppelin から PGX を実行!(準備) 8 ※PGXは「はじめようPGX」を参考にセットアップして下さい (この資料では2.3.1を利用) Apache Zeppelin 0.5.6-incubating Binary package をダウンロードします(こちら) Zeppelin PGX Interpreter をダウンロードします(こちら) JDK8をダウンロードします #Zeppelinインストール $ cd /home/oracle/zeppelin #ここにインストールする場合 $ tar zxvf zeppelin-0.5.6-incubating-bin-all.tgz # Zeppelin PGX Interpreter 用のディレクトリ作成 # $ZEPPELIN_HOME=/home/oracle/zeppelin/zeppelin-0.5.6-incubating-bin-all/ $ cd $ZEPPELINE_HOME/interpreter $ mkdir pgx
  9. 9. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache Zeppelin から PGX を実行!(準備) 9 # Zeppelin PGX Interpreter の展開 $ unzip pgx-2.3.1-zeppelin-interpreter.zip -d $ZEPPELINE_HOME/interpreter/pgx # Zeppelin の設定ファイルの変更 # zeppelin.interpreters property field内に oracle.pgx.zeppelin.PgxInterpreter クラスを追加 $ vi $ZEPPELINE_HOME/conf/zeppelin-site.xml 例) <property> <name>zeppelin.interpreters</name> <value>org.apache.zeppelin.spark.SparkInterpreter, oracle.pgx.zeppelin.PgxInterpreter,org.apache.zeppelin.s …
  10. 10. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache Zeppelin から PGX を実行!(準備) 10 # Apache Zeppelin の起動 $ cd $ZEPPELINE_HOME/bin $ ./zeppelin-daemon.sh start # Apache Zeppelin notebook( http://< IP address> :8080 )にアクセス
  11. 11. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache Zeppelin から PGX を実行!(準備) 11 # PGXサーバーモードで起動のための準備 # “enable_tls“と ”enable_client_authentication”をfalseに変更 $ vi $PGX_HOME/conf/server.conf 例) { "port": 7007, "enable_tls": false, "enable_client_authentication": false }
  12. 12. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache Zeppelin から PGX を実行!(準備) 12 # PGXでローカルファイルを読み込むための準備 # “allow_local_filesystem”: trueを追加 $ vi $PGX_HOME/conf/ pgx.conf 例) ⋮ "strict_mode": true, "tmp_dir": "<system-tmp-dir>", "allow_local_filesystem":true } # PGXをサーバーモードで起動 $ ./$PGX_HOME/bin/start-server
  13. 13. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. Apache Zeppelin から PGX を実行! 13 「はじめようPGX」で実行していた乗換案内のデータを使って Apache ZeppelinからPGXを実行してみます 抜粋: Oracle Labs 発! Parallel Graph Analytics(PGX)
  14. 14. Copyright © 2016 Oracle and/or its affiliates. All rights reserved. おわりに 14 Apache Zeppelin notebookからPGXを実行できます! Apache Zeppelin notebookから実行することで、PGXで実装されているグラフ 分析の参照系や演算系の処理をnotebook上で実施でき、さらに簡単に可視化し たり、notebook機能を活用することで、実行履歴を保存、展開できるため、 とても便利になります。 また、他のinterpreterを利用することで、グラフ分析の結果をnotebook上で 活用していくこともでき、活用範囲がさらに広がります。
  15. 15. Copyright © 2016 Oracle and/or its affiliates. All rights reserved.

×