Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
EN
Uploaded by
weda654
PDF, PPTX
5,013 views
Juliaで前処理
Juliaでdplyrみたいな処理ができるパッケージの紹介
Data & Analytics
◦
Read more
1
Save
Share
Embed
Embed presentation
Download
Download as PDF, PPTX
1
/ 27
2
/ 27
3
/ 27
4
/ 27
5
/ 27
6
/ 27
7
/ 27
8
/ 27
9
/ 27
10
/ 27
11
/ 27
12
/ 27
13
/ 27
14
/ 27
15
/ 27
16
/ 27
17
/ 27
18
/ 27
19
/ 27
20
/ 27
21
/ 27
22
/ 27
23
/ 27
24
/ 27
25
/ 27
26
/ 27
27
/ 27
More Related Content
PDF
確率モデルを使ったグラフクラスタリング
by
正志 坪坂
PDF
傾向スコア:その概念とRによる実装
by
takehikoihayashi
PPTX
心理学者のためのGlmm・階層ベイズ
by
Hiroshi Shimizu
PDF
関数データ解析の概要とその方法
by
Hidetoshi Matsui
PDF
これからの仮説検証・モデル評価
by
daiki hojo
PDF
Rの高速化
by
弘毅 露崎
PDF
PyMCがあれば,ベイズ推定でもう泣いたりなんかしない
by
Toshihiro Kamishima
PDF
心理学におけるベイズ統計の流行を整理する
by
Hiroshi Shimizu
確率モデルを使ったグラフクラスタリング
by
正志 坪坂
傾向スコア:その概念とRによる実装
by
takehikoihayashi
心理学者のためのGlmm・階層ベイズ
by
Hiroshi Shimizu
関数データ解析の概要とその方法
by
Hidetoshi Matsui
これからの仮説検証・モデル評価
by
daiki hojo
Rの高速化
by
弘毅 露崎
PyMCがあれば,ベイズ推定でもう泣いたりなんかしない
by
Toshihiro Kamishima
心理学におけるベイズ統計の流行を整理する
by
Hiroshi Shimizu
What's hot
PDF
一般化線形混合モデル入門の入門
by
Yu Tamura
PDF
SLAM開発における課題と対策の一例の紹介
by
miyanegi
PDF
有意性と効果量について しっかり考えてみよう
by
Ken Urano
PPTX
xtsパッケージで時系列解析
by
Nagi Teramo
PPTX
【読書会資料】『StanとRでベイズ統計モデリング』Chapter12:時間や空間を扱うモデル
by
Masashi Komori
PDF
Stanでガウス過程
by
Hiroshi Shimizu
PDF
階層ベイズによるワンToワンマーケティング入門
by
shima o
PDF
階層モデルの分散パラメータの事前分布について
by
hoxo_m
PDF
社会心理学とGlmm
by
Hiroshi Shimizu
PPTX
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
by
Yoshitake Takebayashi
PDF
3次元レジストレーション(PCLデモとコード付き)
by
Toru Tamaki
PDF
なぜベイズ統計はリスク分析に向いているのか? その哲学上および実用上の理由
by
takehikoihayashi
PPTX
重回帰分析で交互作用効果
by
Makoto Hirakawa
PDF
適切なクラスタ数を機械的に求める手法の紹介
by
Takeshi Mikami
PPTX
高速なガンマ分布の最尤推定法について
by
hoxo_m
PDF
5 クラスタリングと異常検出
by
Seiichi Uchida
PDF
RでGARCHモデル - TokyoR #21
by
horihorio
PPTX
Rで因子分析 商用ソフトで実行できない因子分析のあれこれ
by
Hiroshi Shimizu
PDF
バンディットアルゴリズム入門と実践
by
智之 村上
PDF
相関と因果について考える:統計的因果推論、その(不)可能性の中心
by
takehikoihayashi
一般化線形混合モデル入門の入門
by
Yu Tamura
SLAM開発における課題と対策の一例の紹介
by
miyanegi
有意性と効果量について しっかり考えてみよう
by
Ken Urano
xtsパッケージで時系列解析
by
Nagi Teramo
【読書会資料】『StanとRでベイズ統計モデリング』Chapter12:時間や空間を扱うモデル
by
Masashi Komori
Stanでガウス過程
by
Hiroshi Shimizu
階層ベイズによるワンToワンマーケティング入門
by
shima o
階層モデルの分散パラメータの事前分布について
by
hoxo_m
社会心理学とGlmm
by
Hiroshi Shimizu
マルコフ連鎖モンテカルロ法 (2/3はベイズ推定の話)
by
Yoshitake Takebayashi
3次元レジストレーション(PCLデモとコード付き)
by
Toru Tamaki
なぜベイズ統計はリスク分析に向いているのか? その哲学上および実用上の理由
by
takehikoihayashi
重回帰分析で交互作用効果
by
Makoto Hirakawa
適切なクラスタ数を機械的に求める手法の紹介
by
Takeshi Mikami
高速なガンマ分布の最尤推定法について
by
hoxo_m
5 クラスタリングと異常検出
by
Seiichi Uchida
RでGARCHモデル - TokyoR #21
by
horihorio
Rで因子分析 商用ソフトで実行できない因子分析のあれこれ
by
Hiroshi Shimizu
バンディットアルゴリズム入門と実践
by
智之 村上
相関と因果について考える:統計的因果推論、その(不)可能性の中心
by
takehikoihayashi
Viewers also liked
PDF
わかりやすいパターン認識_3章
by
weda654
PDF
わかりやすいパターン認識_2章
by
weda654
PDF
SDN Framework Ryu Internal
by
Satoshi KOBAYASHI
PDF
現在のDNNにおける未解決問題
by
Daisuke Okanohara
PPTX
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
by
Satoshi KOBAYASHI
PDF
Apache CloudStack コントリビューション
by
Satoshi KOBAYASHI
PDF
はじパタ2章
by
tetsuro ito
PDF
わかパタ 1章
by
weda654
PDF
第一回ぞくパタ
by
Akifumi Eguchi
PDF
はじパタ6章前半
by
T T
PDF
第10章後半「ブースティングと加法的木」
by
T T
PPTX
Digipak so far
by
charliemead
PPTX
Creating a Professional LinkedIn Profile
by
Sophia Park
PPTX
Htmlslicemate Review
by
Html SliceMate
PDF
20140204はじパタlt
by
tetsuro ito
PDF
Sappo ro#6資料2 ー完全版ー
by
Wakana_kudo
PPTX
Um ato amoroso
by
thamiresaneves
PDF
Internal vs. External CEOs
by
Stanford GSB Corporate Governance Research Initiative
PPTX
0727 cvpr16 asp_vision_upload
by
Hajime Mihara
PDF
20130716 はじパタ3章前半 ベイズの識別規則
by
koba cky
わかりやすいパターン認識_3章
by
weda654
わかりやすいパターン認識_2章
by
weda654
SDN Framework Ryu Internal
by
Satoshi KOBAYASHI
現在のDNNにおける未解決問題
by
Daisuke Okanohara
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
by
Satoshi KOBAYASHI
Apache CloudStack コントリビューション
by
Satoshi KOBAYASHI
はじパタ2章
by
tetsuro ito
わかパタ 1章
by
weda654
第一回ぞくパタ
by
Akifumi Eguchi
はじパタ6章前半
by
T T
第10章後半「ブースティングと加法的木」
by
T T
Digipak so far
by
charliemead
Creating a Professional LinkedIn Profile
by
Sophia Park
Htmlslicemate Review
by
Html SliceMate
20140204はじパタlt
by
tetsuro ito
Sappo ro#6資料2 ー完全版ー
by
Wakana_kudo
Um ato amoroso
by
thamiresaneves
Internal vs. External CEOs
by
Stanford GSB Corporate Governance Research Initiative
0727 cvpr16 asp_vision_upload
by
Hajime Mihara
20130716 はじパタ3章前半 ベイズの識別規則
by
koba cky
Similar to Juliaで前処理
PPTX
Data frameあれこれ
by
weda654
PDF
Why dont you_create_new_spark_jl
by
Shintaro Fukushima
PDF
Juliaによる予測モデル構築・評価
by
Shintaro Fukushima
PDF
TokyoR40
by
TokorosawaYoshio
PPTX
R超入門機械学習をはじめよう
by
幹雄 小川
PPTX
Julia入門
by
Nobukuni Kino
PDF
プログラミング言語 Julia の紹介
by
Kentaro Iizuka
PDF
Sendai r01 beginnerssession1
by
kotora_0507
PDF
R入門(dplyrでデータ加工)-TokyoR42
by
Atsushi Hayakawa
PDF
R による文書分類入門
by
Takeshi Arabiki
PPTX
データサイエンティスト必見!M-1グランプリ
by
Satoshi Kitajima
PDF
Juliaを使った機械学習
by
Aki Ariga
PDF
2017年3月版データマエショリスト入門(誤植修正版)
by
Yuya Matsumura
PPTX
RでKaggleの登竜門に挑戦
by
幹雄 小川
PDF
前処理のための前処理(Tokyo.R#45)
by
Shinya Uryu
PDF
20170923 excelユーザーのためのr入門
by
Takashi Kitano
PDF
テーマ別勉強会(R言語)#2.pdf
by
Takuya Kubo
Data frameあれこれ
by
weda654
Why dont you_create_new_spark_jl
by
Shintaro Fukushima
Juliaによる予測モデル構築・評価
by
Shintaro Fukushima
TokyoR40
by
TokorosawaYoshio
R超入門機械学習をはじめよう
by
幹雄 小川
Julia入門
by
Nobukuni Kino
プログラミング言語 Julia の紹介
by
Kentaro Iizuka
Sendai r01 beginnerssession1
by
kotora_0507
R入門(dplyrでデータ加工)-TokyoR42
by
Atsushi Hayakawa
R による文書分類入門
by
Takeshi Arabiki
データサイエンティスト必見!M-1グランプリ
by
Satoshi Kitajima
Juliaを使った機械学習
by
Aki Ariga
2017年3月版データマエショリスト入門(誤植修正版)
by
Yuya Matsumura
RでKaggleの登竜門に挑戦
by
幹雄 小川
前処理のための前処理(Tokyo.R#45)
by
Shinya Uryu
20170923 excelユーザーのためのr入門
by
Takashi Kitano
テーマ別勉強会(R言語)#2.pdf
by
Takuya Kubo
Juliaで前処理
1.
1 Julia.Tokyo #3 LT @weda_654 Julia で
前処理
2.
2 自己紹介 TwitterID : weda_654 所属
: GoogleMapとAWSとデータ分析の会社 業務 : データ分析(実力はお察し) 使用言語 : R(メイン), Python(たまに) こんなアイコンJuliaは0.4.0-devをつかってます
3.
注意事項 本資料は個人の意見・認識によるものです 所属する組織の意見・認識とは無関係です ご了承おねがいいたします
4.
4 2014年Rの前処理界隈に 新たなトレンドが生まれた…
5.
5 dplyr
6.
6 dplyrとは 速いデータ処理が可能になる %>%で処理をつないでいくことで可読性の向上も見込める データの選択・抽出・追加・集計を組み合わせ前処理ができる 要するに前処理が る! * %>%:チェイン演算子とよばれている
7.
7 dplyr実行例 iris2 <- iris[iris$Sepal.Length
> 7.0, ] iris2[["SLM"]] <- mean(iris2$Sepal.Length) iris2 <- iris2[ , c("Sepal.Length", "Species", "SLM")] iris2 <- iris2[order(iris2$Sepal.Length), ] dplyr不使用 library(dplyr)を実行 iris2 <- iris %>% filter(Sepal.Length > 7.0) %>% mutate(SLM = mean(Sepal.Length)) %>% select(Sepal.Length, Species, SLM) %>% arrange(Sepal.Length)
8.
8 まったく、dplyrは最高だぜ!! dplyrない前処理なんて考えられない… Juliaでもできないかなぁー
9.
9 ……るよ…
10.
10 ん?
11.
11 …………できるよ…
12.
12 えっ?
13.
13 Juliaでもできるよっ!!
14.
14
15.
15 まじかよ…
16.
16 DataFramesMeta
17.
17 DataFramesMetaとは? DataFrame用のメタプログラミングツール DataFrameとは? • 数値や文字列などの異なるデータ型をまとめた2次元配列 DataFrameの操作に便利なマクロを備えている • JuliaでもDataFramesパッケージを導入すれば使える
18.
18 Julia dplyr LINQ 行の抽出
@where filter Where 列の追加 @transform mutate Select(?) グループ化+計算 @by Groupby グループ化 @groupby group_by 要約 @based_on summarise 並び替え @orderby arrange OderBy 列の選択 @select select Select dplyrとの対応表
19.
19 機能紹介 データの準備 using DataFrames, RDatasets,
DataFramesMeta iris = dataset("datasets", "iris"); Pkg.add( DataFramesMeta") • Pkg.add()でDataFramesMetaパッケージを導入 • 今回はRDatasetsよりirisデータを用いる
20.
20 行の抽出 @where(iris, :SepalLength .>
7.0) 列の追加 @transform(iris, SLM = mean(:SepalLength)) グループ化+計算 @by(iris, :Species, SLmean = mean(:SepalLength)) 機能紹介
21.
21 並び替え @orderby(iris, -:SepalLength, :SepalWidth) 列の選択 @select(iris,
:Species) 機能紹介
22.
22 処理をつなげる@linq iris2 = @linq
iris ¦> @where(:SepalLength .> 7.0) ¦> @transform(SLM = mean(:SepalLength)) ¦> @select(:SepalLength, :SLM, :Species) ¦> @orderby(:SLM) • ¦>はdplyrにおける%>%と同じ.パイプの役割を持つ *¦>はデフォルトであるのでDataFramesMetaがなくても使える 機能紹介
23.
23 処理をつなげる@linq iris2 = @linq
iris ¦> where(:SepalLength .> 7.0) ¦> transform(SLM = mean(:SepalLength)) ¦> select(:SepalLength, :SLM, :Species) ¦> orderby(:SepalLength) • @linqでつなげば@は不要になる 機能紹介
24.
24 機能紹介 処理をつなげる@linq(要約編) • @based_onがなぜかいうことをきかなかった… iris3 =
@linq iris ¦> by(:Species, PLM = mean(:PetalLength)) ¦> transform(Rate = :PLM/sum(:PLM))
25.
25 さいごに DataFramesMeta歴1日?なのでまだまだ検証する必要がある • @linqのほかにも処理をつなげる方法がある(実行できない…) • DataFrame本来の操作との速度検証 •そもそもREADME最後まで読んでない… 作者曰くパフォーマンスをあげたりしたいとか… 今後に期待したい
26.
26 参考 DataFrames DataFramesMeta https://github.com/JuliaStats/DataFramesMeta.jl Macro Conflict with
Lazy.jl https://github.com/JuliaStats/DataFramesMeta.jl/issues/12 https://github.com/JuliaStats/DataFrames.jl
27.
27 ご視聴ありがとうございました
Download