Submit Search
Upload
2017年3月版データマエショリスト入門(誤植修正版)
•
5 likes
•
1,709 views
Yuya Matsumura
Follow
https://www.slideshare.net/mattuyuya/20173-73273679 の誤植修正版
Read less
Read more
Technology
Report
Share
Report
Share
1 of 53
Download now
Download to read offline
Recommended
2016年6月版データマエショリスト入門
2016年6月版データマエショリスト入門
Yuya Matsumura
Tokyo.R #54 データの読み込みからdplyrの基本まで
10分で分かるr言語入門ver2 upload用
10分で分かるr言語入門ver2 upload用
Nobuaki Oshiro
TokyoR #46
R入門(dplyrでデータ加工)-TokyoR42
R入門(dplyrでデータ加工)-TokyoR42
Atsushi Hayakawa
R入門(dplyrでデータ加工)-TokyoR42
Tokyo r47 beginner_2
Tokyo r47 beginner_2
Takashi Minoda
Tokyo.R #47 初心者セッション 続 はじめてのR
Tokyo r33 beginner
Tokyo r33 beginner
Takashi Minoda
10分で分かるr言語入門ver2.9 14 0920
10分で分かるr言語入門ver2.9 14 0920
Nobuaki Oshiro
第43回R勉強会@東京(#TokyoR) https://atnd.org/events/56275
10分で分かるr言語入門ver2.10 14 1101
10分で分かるr言語入門ver2.10 14 1101
Nobuaki Oshiro
https://atnd.org/events/57640
Tokyor60 r data_science_part1
Tokyor60 r data_science_part1
Yohei Sato
Tokyo.R#60 初心者セッション
Recommended
2016年6月版データマエショリスト入門
2016年6月版データマエショリスト入門
Yuya Matsumura
Tokyo.R #54 データの読み込みからdplyrの基本まで
10分で分かるr言語入門ver2 upload用
10分で分かるr言語入門ver2 upload用
Nobuaki Oshiro
TokyoR #46
R入門(dplyrでデータ加工)-TokyoR42
R入門(dplyrでデータ加工)-TokyoR42
Atsushi Hayakawa
R入門(dplyrでデータ加工)-TokyoR42
Tokyo r47 beginner_2
Tokyo r47 beginner_2
Takashi Minoda
Tokyo.R #47 初心者セッション 続 はじめてのR
Tokyo r33 beginner
Tokyo r33 beginner
Takashi Minoda
10分で分かるr言語入門ver2.9 14 0920
10分で分かるr言語入門ver2.9 14 0920
Nobuaki Oshiro
第43回R勉強会@東京(#TokyoR) https://atnd.org/events/56275
10分で分かるr言語入門ver2.10 14 1101
10分で分かるr言語入門ver2.10 14 1101
Nobuaki Oshiro
https://atnd.org/events/57640
Tokyor60 r data_science_part1
Tokyor60 r data_science_part1
Yohei Sato
Tokyo.R#60 初心者セッション
10分で分かるr言語入門ver2.14 15 0905
10分で分かるr言語入門ver2.14 15 0905
Nobuaki Oshiro
第50回R勉強会@東京(#TokyoR) 初心者セッション https://atnd.org/events/69347
Tokyo r50 beginner_2
Tokyo r50 beginner_2
Takashi Minoda
#50 Tokyo.R Beginners session. RStudio,Access dataframes , connect Database(Bigquery),Single regression
Rによるデータ整形入門 Introduction to Data Transformation with R
Rによるデータ整形入門 Introduction to Data Transformation with R
Yukihiro NAKAJIMA
12/19に行った学部ゼミ生へのサブゼミ資料です。
Tokyor36
Tokyor36
TokorosawaYoshio
dplyr intro
10分で分かるr言語入門ver2.15 15 1010
10分で分かるr言語入門ver2.15 15 1010
Nobuaki Oshiro
https://api.atnd.org/events/70522
Tokyo r28 1
Tokyo r28 1
Takashi Minoda
TokyoR 28回 修正版
20161127 doradora09 japanr2016_lt
20161127 doradora09 japanr2016_lt
Nobuaki Oshiro
https://japanr.connpass.com/event/43919/
Yamadai.R チュートリアルセッション
Yamadai.R チュートリアルセッション
考司 小杉
2013/03/18に開催されたR勉強会資料スライド。
HiroshimaR4_LT_sakaue
HiroshimaR4_LT_sakaue
SAKAUE, Tatsuya
HiRoshima.R #4 での阪上が担当した LT 「R で英語のデータを分析してみるー基礎編」の資料です。 英語コーパス学会等のお座敷で使用したものを,SnowballC パッケージの情報を更新する形で,再利用しています。
10分で分かるr言語入門ver2.5
10分で分かるr言語入門ver2.5
Nobuaki Oshiro
第35回R勉強会@東京(#TokyoR) ATND: http://atnd.org/events/45114
HiRoshimaR3_IntroR
HiRoshimaR3_IntroR
SAKAUE, Tatsuya
HiRoshima.R #3 の入門者講習で使用の資料です(サビ抜き)
rstanで個人のパラメーターを推定した話
rstanで個人のパラメーターを推定した話
Yuya Matsumura
JapanR 2015のLT
R による文書分類入門
R による文書分類入門
Takeshi Arabiki
Tokyo.R #31 の発表資料です。 こちらも参考にどうぞ。 R による文書分類入門 & KNB コーパスの文書分類 - あらびき日記 http://d.hatena.ne.jp/a_bicky/20130602/1370179340
Hiroshimar4_Rintro
Hiroshimar4_Rintro
SAKAUE, Tatsuya
HiRoshima.R #4 入門者講習の資料です。
初心者のためのRとRStudio入門 vol.2
初心者のためのRとRStudio入門 vol.2
OWL.learn
6月4日(木)に開催した「初心者のためのRとRStudio入門 vol.2」の講義資料です。 今後もデータサイエンスに関する勉強会を開催するので、お気軽にご参加ください! http://owl-learn.connpass.com/
JASELE2015-KumamotoWS
JASELE2015-KumamotoWS
SAKAUE, Tatsuya
全国英語教育学会(JASELE)熊本研究大会のワークショップ資料です
Tokyo r38
Tokyo r38
Takashi Minoda
初心者のためのRの使い方
HiroshimaR6_Introduction
HiroshimaR6_Introduction
SAKAUE, Tatsuya
第6回 HiRoshima.R の入門者講習資料です。
プログラマのための文書推薦入門
プログラマのための文書推薦入門
y-uti
勤務先の社内勉強会での発表資料です。自然言語処理の基本として TF-IDF ベースの類似文書推薦について説明します。発展的な内容として LDA についても簡単に説明します。Wikipedia の要約データを対象として実際にコードを書いて文書推薦を試みます。
[データマイニング+WEB勉強会][R勉強会] はじめてでもわかる 統計解析・データマイニング R言語入門
[データマイニング+WEB勉強会][R勉強会] はじめてでもわかる 統計解析・データマイニング R言語入門
Koichi Hamada
データマイニング+WEB勉強会 第1回(2010/02/13)での講義資料です。「はじめてでもわかる統計解析・データマイニングR言語入門」 hamadakoichi 濱田晃一。途中、質問・議論をはさむ双方向形式で進行し、1時間30分の講義を行いました。 Blog: http://d.hatena.ne.jp/hamadakoichi/20100220/p1
2017年3月版データマエショリスト入門
2017年3月版データマエショリスト入門
Yuya Matsumura
Tokyo.R #59での初心者セッションの資料
Introduction to R
Introduction to R
Yukihiro NAKAJIMA
学部生へのサブゼミで使ったR入門の資料です。
More Related Content
What's hot
10分で分かるr言語入門ver2.14 15 0905
10分で分かるr言語入門ver2.14 15 0905
Nobuaki Oshiro
第50回R勉強会@東京(#TokyoR) 初心者セッション https://atnd.org/events/69347
Tokyo r50 beginner_2
Tokyo r50 beginner_2
Takashi Minoda
#50 Tokyo.R Beginners session. RStudio,Access dataframes , connect Database(Bigquery),Single regression
Rによるデータ整形入門 Introduction to Data Transformation with R
Rによるデータ整形入門 Introduction to Data Transformation with R
Yukihiro NAKAJIMA
12/19に行った学部ゼミ生へのサブゼミ資料です。
Tokyor36
Tokyor36
TokorosawaYoshio
dplyr intro
10分で分かるr言語入門ver2.15 15 1010
10分で分かるr言語入門ver2.15 15 1010
Nobuaki Oshiro
https://api.atnd.org/events/70522
Tokyo r28 1
Tokyo r28 1
Takashi Minoda
TokyoR 28回 修正版
20161127 doradora09 japanr2016_lt
20161127 doradora09 japanr2016_lt
Nobuaki Oshiro
https://japanr.connpass.com/event/43919/
Yamadai.R チュートリアルセッション
Yamadai.R チュートリアルセッション
考司 小杉
2013/03/18に開催されたR勉強会資料スライド。
HiroshimaR4_LT_sakaue
HiroshimaR4_LT_sakaue
SAKAUE, Tatsuya
HiRoshima.R #4 での阪上が担当した LT 「R で英語のデータを分析してみるー基礎編」の資料です。 英語コーパス学会等のお座敷で使用したものを,SnowballC パッケージの情報を更新する形で,再利用しています。
10分で分かるr言語入門ver2.5
10分で分かるr言語入門ver2.5
Nobuaki Oshiro
第35回R勉強会@東京(#TokyoR) ATND: http://atnd.org/events/45114
HiRoshimaR3_IntroR
HiRoshimaR3_IntroR
SAKAUE, Tatsuya
HiRoshima.R #3 の入門者講習で使用の資料です(サビ抜き)
rstanで個人のパラメーターを推定した話
rstanで個人のパラメーターを推定した話
Yuya Matsumura
JapanR 2015のLT
R による文書分類入門
R による文書分類入門
Takeshi Arabiki
Tokyo.R #31 の発表資料です。 こちらも参考にどうぞ。 R による文書分類入門 & KNB コーパスの文書分類 - あらびき日記 http://d.hatena.ne.jp/a_bicky/20130602/1370179340
Hiroshimar4_Rintro
Hiroshimar4_Rintro
SAKAUE, Tatsuya
HiRoshima.R #4 入門者講習の資料です。
初心者のためのRとRStudio入門 vol.2
初心者のためのRとRStudio入門 vol.2
OWL.learn
6月4日(木)に開催した「初心者のためのRとRStudio入門 vol.2」の講義資料です。 今後もデータサイエンスに関する勉強会を開催するので、お気軽にご参加ください! http://owl-learn.connpass.com/
JASELE2015-KumamotoWS
JASELE2015-KumamotoWS
SAKAUE, Tatsuya
全国英語教育学会(JASELE)熊本研究大会のワークショップ資料です
Tokyo r38
Tokyo r38
Takashi Minoda
初心者のためのRの使い方
HiroshimaR6_Introduction
HiroshimaR6_Introduction
SAKAUE, Tatsuya
第6回 HiRoshima.R の入門者講習資料です。
プログラマのための文書推薦入門
プログラマのための文書推薦入門
y-uti
勤務先の社内勉強会での発表資料です。自然言語処理の基本として TF-IDF ベースの類似文書推薦について説明します。発展的な内容として LDA についても簡単に説明します。Wikipedia の要約データを対象として実際にコードを書いて文書推薦を試みます。
[データマイニング+WEB勉強会][R勉強会] はじめてでもわかる 統計解析・データマイニング R言語入門
[データマイニング+WEB勉強会][R勉強会] はじめてでもわかる 統計解析・データマイニング R言語入門
Koichi Hamada
データマイニング+WEB勉強会 第1回(2010/02/13)での講義資料です。「はじめてでもわかる統計解析・データマイニングR言語入門」 hamadakoichi 濱田晃一。途中、質問・議論をはさむ双方向形式で進行し、1時間30分の講義を行いました。 Blog: http://d.hatena.ne.jp/hamadakoichi/20100220/p1
What's hot
(20)
10分で分かるr言語入門ver2.14 15 0905
10分で分かるr言語入門ver2.14 15 0905
Tokyo r50 beginner_2
Tokyo r50 beginner_2
Rによるデータ整形入門 Introduction to Data Transformation with R
Rによるデータ整形入門 Introduction to Data Transformation with R
Tokyor36
Tokyor36
10分で分かるr言語入門ver2.15 15 1010
10分で分かるr言語入門ver2.15 15 1010
Tokyo r28 1
Tokyo r28 1
20161127 doradora09 japanr2016_lt
20161127 doradora09 japanr2016_lt
Yamadai.R チュートリアルセッション
Yamadai.R チュートリアルセッション
HiroshimaR4_LT_sakaue
HiroshimaR4_LT_sakaue
10分で分かるr言語入門ver2.5
10分で分かるr言語入門ver2.5
HiRoshimaR3_IntroR
HiRoshimaR3_IntroR
rstanで個人のパラメーターを推定した話
rstanで個人のパラメーターを推定した話
R による文書分類入門
R による文書分類入門
Hiroshimar4_Rintro
Hiroshimar4_Rintro
初心者のためのRとRStudio入門 vol.2
初心者のためのRとRStudio入門 vol.2
JASELE2015-KumamotoWS
JASELE2015-KumamotoWS
Tokyo r38
Tokyo r38
HiroshimaR6_Introduction
HiroshimaR6_Introduction
プログラマのための文書推薦入門
プログラマのための文書推薦入門
[データマイニング+WEB勉強会][R勉強会] はじめてでもわかる 統計解析・データマイニング R言語入門
[データマイニング+WEB勉強会][R勉強会] はじめてでもわかる 統計解析・データマイニング R言語入門
Similar to 2017年3月版データマエショリスト入門(誤植修正版)
2017年3月版データマエショリスト入門
2017年3月版データマエショリスト入門
Yuya Matsumura
Tokyo.R #59での初心者セッションの資料
Introduction to R
Introduction to R
Yukihiro NAKAJIMA
学部生へのサブゼミで使ったR入門の資料です。
Tokyo r27
Tokyo r27
Takashi Minoda
Tokyo.R 第27回 CodeIQとのコラボレーション解説編
Intoroduction of Pandas with Python
Intoroduction of Pandas with Python
Atsushi Hayakawa
Rを用いたGIS
Rを用いたGIS
Mizutani Takayuki
Rを用いたGISの講習資料です。
Stan勉強会資料(前編)
Stan勉強会資料(前編)
daiki hojo
対象: Stan触ったことない人 目的: Stan触るまで。 某勉強会にてStanについて5時間ほどお話しました。 その前半スライドになります。 何か問題がございましたら、ご連絡下さい。 Codeは、以下に・・・。 https://github.com/dastatis/Stan_Study
R's anti sparseness
R's anti sparseness
ybenjo
http://twitter.com/y_benjo Tsukuba.R#6 http://wiki.livedoor.jp/syou6162/d/Tsukuba.R%236
Rを用いた外国語教育データの整理・要約
Rを用いた外国語教育データの整理・要約
Yusaku Kawaguchi
川口勇作 (2017, August). 「Rを用いた外国語教育データの整理・要約」 外国語教育メディア学会 第57回全国研究大会 ワークショップ. 名古屋学院大学.
Tokyor23 doradora09
Tokyor23 doradora09
Nobuaki Oshiro
for関数を使った繰り返し処理によるヒストグラムの一括出力
for関数を使った繰り返し処理によるヒストグラムの一括出力
imuyaoti
15.7.11 HiRoshima.R #4 Lightning Talks @imyuaotiの発表資料です。 ※注意※(2015.7.19追記) Rでは処理速度が遅いという理由で for関数の使用は避けるべきと考えられています。 本来は,処理を高速化をしたい場合,以下をうまく活用してください。 ・apply関数 ・foreachパッケージ,pforeachパッケージ 【参考資料】 「勝手に添削:for関数を使った繰り返し処理によるヒストグラムの一括出力 #rstatsj」 http://qiita.com/hoxo_m/items/5127c31f3eafd6be7428 (hoxo_mさんに本スライドの内容を添削してもらいました!) 「for を捨てよ、foreach を書こう」 http://www.slideshare.net/hoxo_m/for-foreach 「R で超簡単に並列処理を書けるpforeach パッケージ」 http://www.slideshare.net/hoxo_m/pforeach -------------- @imuyaotiはR初心者です!まだまだ勉強不足です!
LET2011: Rによる教育データ分析入門
LET2011: Rによる教育データ分析入門
Yuichiro Kobayashi
Go言語のスライスを理解しよう
Go言語のスライスを理解しよう
Yasutaka Kawamoto
120825にGDGKOBEで発表した資料です。
Rユーザのためのspark入門
Rユーザのためのspark入門
Shintaro Fukushima
RでGISハンズオンセッション
RでGISハンズオンセッション
arctic_tern265
#crazy-js Quiz
#crazy-js Quiz
Takaki Hoshikawa
JavaScriptの一見おかしな挙動をするコードに関するクイズ JS Puzzlers Quiz
Tokyo r45 beginner_2
Tokyo r45 beginner_2
Takashi Minoda
第45回 Tokyo.R 前半セッション 続はじめてのR
10min r study_tokyor25
10min r study_tokyor25
Nobuaki Oshiro
10min r study_tokyor25
10min r study_tokyor25
Nobuaki Oshiro
RとCDISC
RとCDISC
Masafumi Okada
2014年11月29日に統計数理研究所で開催された, R研究集会での発表スライド「RとCDISC」です。
【C++BUILDER STARTER チュートリアルシリーズ】シーズン2 C++Builderの部 第5回 ‟配列と構造体„
【C++BUILDER STARTER チュートリアルシリーズ】シーズン2 C++Builderの部 第5回 ‟配列と構造体„
和弘 井之上
無料で入手できるビジュアル開発ツール「Delphi Starter Edition / C++ Builder Starter Edition」 を使って 、楽しくプログラミングを学びましょう。毎週月曜17時より、オンライン放送。1シーズン約3ヶ月ごとに、テーマを分けて学んでいきます。視覚的かつ直感的に開発を進めることのできるDelphi / C++Builderを用いれば、プログラミング知識のない方も、よりかんたんにプログラミング技術とアプリ開発のスキルを身に着けることができます。 シーズン2 C++Builderの部 第5回 ‟配列と構造体"
Similar to 2017年3月版データマエショリスト入門(誤植修正版)
(20)
2017年3月版データマエショリスト入門
2017年3月版データマエショリスト入門
Introduction to R
Introduction to R
Tokyo r27
Tokyo r27
Intoroduction of Pandas with Python
Intoroduction of Pandas with Python
Rを用いたGIS
Rを用いたGIS
Stan勉強会資料(前編)
Stan勉強会資料(前編)
R's anti sparseness
R's anti sparseness
Rを用いた外国語教育データの整理・要約
Rを用いた外国語教育データの整理・要約
Tokyor23 doradora09
Tokyor23 doradora09
for関数を使った繰り返し処理によるヒストグラムの一括出力
for関数を使った繰り返し処理によるヒストグラムの一括出力
LET2011: Rによる教育データ分析入門
LET2011: Rによる教育データ分析入門
Go言語のスライスを理解しよう
Go言語のスライスを理解しよう
Rユーザのためのspark入門
Rユーザのためのspark入門
RでGISハンズオンセッション
RでGISハンズオンセッション
#crazy-js Quiz
#crazy-js Quiz
Tokyo r45 beginner_2
Tokyo r45 beginner_2
10min r study_tokyor25
10min r study_tokyor25
10min r study_tokyor25
10min r study_tokyor25
RとCDISC
RとCDISC
【C++BUILDER STARTER チュートリアルシリーズ】シーズン2 C++Builderの部 第5回 ‟配列と構造体„
【C++BUILDER STARTER チュートリアルシリーズ】シーズン2 C++Builderの部 第5回 ‟配列と構造体„
Recently uploaded
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
RIZAPテクノロジーズ株式会社の会社説明資料です。
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
Toru Tamaki
Xinhong Ma, Yiming Wang, Hao Liu, Tianyu Guo, Yunhe Wang, "When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Segmentation" NeurIPS2023 https://proceedings.neurips.cc/paper_files/paper/2023/hash/157c30da6a988e1cbef2095f7b9521db-Abstract-Conference.html
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
0207sukipio
JSAI2024の発表スライドです.
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
我々はこれまで,新たなモノを産出する過程において「便利にすること」によって副次的に生じる課題を「便利の副作用」と定義し,その低減を目的としてアイディアの発想支援手法を提案してきた. これまでの研究では,便利前後の行為の増減に着目することにより便利の副作用への気づきの誘発が示唆されたものの,行為の増減の提示による便利の副作用への気づきへの影響は十分に検討できていなかった. そのため,本稿では行為の提示により便利の副作用に気づき,それを防いだアイディアの発想の支援が可能かの検証を目的として実験を行い,その有効性について検証する. 実験では,行為の増減の提示の有無によりアイディア発想にどのような影響を与えるか検証を行う.
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
Generating Automatic Feedback on UI Mockups with Large Language Modelsを和訳紹介したものです
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
Takayuki Nakayama
キンドリルネットワークアセスメントサービス
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
オープンエンドな進化から着想を得て、個々の大規模言語モデル(LLM)が、グループとして学習を進めながら、ノームエージェントとして機能するという概念を探求しています。これは、単一のモデルでは難しい複雑な問題を解決することを目的としています。具体的な方法として、遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案しています。知識蒸留によって学習を進め、同時に遺伝的アルゴリズムでハイパーパラメータを最適化することで、より効率的な学習を目指します。ドメインタスクとして、指示からPythonコードを生成するコード生成タスクを選択しました。実験では、学習に3つの学習モデルと1つの教師モデルを使用しました。その結果、HumanEvalのpass@1で精度が1.2%向上し、学習が進むにつれて学習率が最適化された兆候が見られました。しかし、大幅な精度向上を達成し、さまざまなハイパーパラメータを最適化するには、まだ課題が残っています。
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, Mubarak Shah, "Deep Learning-Based Human Pose Estimation: A Survey" arXiv2020 https://arxiv.org/abs/2012.13392
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
Recently uploaded
(9)
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
論文紹介:When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
2017年3月版データマエショリスト入門(誤植修正版)
1.
2017年3月版 データ・マエショリスト入門 データの読み込みから{dplyr}の基本まで @y__mattu 12017/3/18 Tokyo.R #59
2.
自己紹介 • 松村優哉 @y__mattu •
ブログ:http://y-mattu.hatenablog.com/ • 大学4年生 • 分野:計量経済学、統計学(因果推論)、マーケティング • 言語:R, SAS • R歴:2年くらい • 近況:もうすぐ卒業&進学 22017/3/18 Tokyo.R #59
3.
この発表について • 2016/6/19 Tokyo.R
#54 初心者セッションの加筆修正版 2017/3/18 Tokyo.R #59 3
4.
アジェンダ • データの読み込み {readr}, {data.table},
{readxl}… • データの前処理 • {dplyr} • select, filter, mutate, group_by, arrange, 各種join • おまけ: {tidyverse} 2017/3/18 Tokyo.R #59 4
5.
データ分析の流れ 2017/3/18 Tokyo.R #59
5 データ取得 前処理 可視化・モデリング
6.
データ分析の流れ 2017/3/18 Tokyo.R #59
6 データ取得 前処理 可視化・モデリング Webから取得 (スクレイピング) 外部ファイル (csv, tsv, Excel,…) データベース (SQL)
7.
データ分析の流れ 2017/3/18 Tokyo.R #59
7 データ取得 前処理 可視化・モデリング 集計 マージ 型変換 絞り込み
8.
データ分析の流れ 2017/3/18 Tokyo.R #59 データ取得 前処理 可視化・モデリング 散布図 ヒストグラム 箱ひげ図 回帰分析 (重回帰、ロジスティック、…) ランダムフォレスト サポートベクトルマシン 8
9.
今日扱うのはここ 2017/3/18 Tokyo.R #59
9 前処理 可視化・モデリング 集計 マージ 型変換 絞り込み データ取得 外部ファイル (csv, tsv, Excel,…)
10.
はじめに • ワーキングディレクトリの設定 • ライブラリに入っている関数の使い方 2017/3/18
Tokyo.R #59 10 setwd(“./TokyoR/59”) #ディレクトリの指定 #方法1 library(readr) dat <- read_csv(“hoge.csv”) 方法2 readr::read_csv (“hoge.csv”)
11.
データの読み込み(CSV) • パッケージを使わない場合 • 高速な読み込み1 •
高速な読み込み2 2017/3/18 Tokyo.R #59 11 dat <- read.csv(“sample.csv”, stringAsFactors = FALSE) library(readr) dat <- read_csv(“sample.csv”) library(data.table) dat <- fread(“sample.csv”, data.table = FALSE) data.tableではなくdata.frameとして扱いたい場合は追加 おまじない
12.
データの読み込み速度比較 2017/3/18 Tokyo.R #59
12 csvファイル(log.csv) 約500MB 約350万行×5列の簡単なログデータ 検証環境 Mac OS 10.11.5 Corei7 メモリ16GB R 3.3.3
13.
データの読み込み速度比較 2017/3/18 Tokyo.R #59
13 > system.time(csv1 <- read.csv(“log.csv")) # ユーザ システム 経過 # 59.801 1.337 63.681 実行時間を計測 > system.time(csv2 <- readr::read_csv(“log.csv")) # ユーザ システム 経過 # 5.005 0.527 7.732 > system.time(csv3 <- data.table::fread(“log.csv")) # ユーザ システム 経過 # 3.502 0.425 6.965
14.
データの読み込み(TSV) • パッケージを使わない場合 • {readr} •
{data.table} 2017/3/18 Tokyo.R #59 14 dat <- read.delim(“sample.tsv”, stringAsFactors = FALSE) dat <- readr::read_tsv(“sample.tsv”) dat <- data.table::fread(“sample.tsv”, data.table = FALSE)
15.
データの読み込み(その他の区切り値) • パッケージを使わない場合 • {readr} •
{data.table} 2017/3/18 Tokyo.R #59 15 dat <- read.table(“sample.tsv”, stringAsFactors = FALSE, sep = “|”) dat <- readr::read_delim(“sample.tsv”, “|”) dat <- data.table::fread(“sample.tsv”)
16.
データの読み込み(Excel) • Excelを読み込めるパッケージ {xlsx}, {gdata},
{XLConnect}, {openxlsx}, {redxl} 爆速、かつ文字コードや日付の処理も完璧にやってくれる 2017/3/18 Tokyo.R #59 16 dat <- readxl::read_excel(“sample.xlsx”, sheet = “シート名”) #シート名は番号でもOK
17.
データの読み込み(その他拡張子) • SAS(sas7bdat)、STATA()、SPSS(sav)形式のファイル →{haven}パッケージで読み込み 2017/3/18 Tokyo.R
#59 17 dat <- haven::read_sas(“sample.sas7bda”)
18.
コマンドとかオプションとかメンドイ… • RStudioのGUI読み込み 2017/3/18 Tokyo.R
#59 18 Import Dataset で形式を選択
19.
2017/3/18 Tokyo.R #59
19 読み込みのコマンドもわかる 読み込んだときの様子がプレビューできる 区切り値や欠損値の設定も可能 クリックでファイル選択
20.
エンコーディングを指定したい • Windowsの文字コードはShift-JIS(CP932) • Macの文字コードはUTF8 •
Windowsで作られた(日本語を含む)ファイルをMacで読む ときはEncoding=“CP932” • Macで作られた(日本語を含む)ファイルをWindowsで読む ときはEncoding=“UTF8” 2017/3/18 Tokyo.R #59 20
21.
エンコーディング(例:CSVをCP932で) • パッケージを使わない場合 • {readr} •
{data.table} 2017/3/18 Tokyo.R #59 21 dat <- read.csv(“sample.csv”, strringAsFactors = FALSE, fileEncoding = “cp932”) dat <- readr::read_csv(“sample.csv”, locale=locale(encoding=“cp932")) dat <- data.table::fread(“sample.csv”, data.table = FALSE) %>% dplyr::mutate(VAR1 = iconv(VAR1, from = “UTF8", to = “CP932"))
22.
いよいよデータの前処理 • みんな大好きirisデータ • アヤメの3種(setosa,
vrisicolor, verginica)についてsepal (がく片)とpetal(花弁)の長さ(length)と幅(width)を 測ったデータセット 2017/3/18 Tokyo.R #59 22 Setosa Versicolor Verginica d <- iris
23.
データの構造を確認 • Rの標準関数 • {dplyr} 2017/3/18
Tokyo.R #59 23 > str(d) #'data.frame': 150 obs. of 5 variables: # $ Sepal.Length: num 5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 ... # $ Sepal.Width : num 3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 ... # $ Petal.Length: num 1.4 1.4 1.3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 ... # $ Petal.Width : num 0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 ... # $ Species : Factor w/ 3 levels "setosa","versicolor",..: 1 1 1 1 1 1 1 1 1 1 ... > dplyr::glimpse(d) # Observations: 150 # Variables: 5 # $ Sepal.Length (dbl) 5.1, 4.9, 4.7, 4.6, 5.0, 5.4, 4.6, 5.0, 4.4, 4.9, 5.4, 4.8, 4.8, 4.3... # $ Sepal.Width (dbl) 3.5, 3.0, 3.2, 3.1, 3.6, 3.9, 3.4, 3.4, 2.9, 3.1, 3.7, 3.4, 3.0, 3.0... # $ Petal.Length (dbl) 1.4, 1.4, 1.3, 1.5, 1.4, 1.7, 1.4, 1.5, 1.4, 1.5, 1.5, 1.6, 1.4, 1.1... # $ Petal.Width (dbl) 0.2, 0.2, 0.2, 0.2, 0.2, 0.4, 0.3, 0.2, 0.2, 0.1, 0.2, 0.2, 0.1, 0.1... # $ Species (fctr) setosa, setosa, setosa, setosa, setosa, setosa, setosa, setosa, set...
24.
データの構造を確認 • Rstudioだと 2017/3/18 Tokyo.R
#59 24
25.
データの構造を確認 • Rstudioだとstr()の中身が表示される 2017/3/18 Tokyo.R
#59 25
26.
データの構造を確認 • summary関数で要約統計量 2017/3/18 Tokyo.R
#59 26 > summary(iris) # Sepal.Length Sepal.Width Petal.Length Petal.Width Species # Min. :4.300 Min. :2.000 Min. :1.000 Min. :0.100 setosa :50 # 1st Qu.:5.100 1st Qu.:2.800 1st Qu.:1.600 1st Qu.:0.300 versicolor:50 # Median :5.800 Median :3.000 Median :4.350 Median :1.300 virginica :50 # Mean :5.843 Mean :3.057 Mean :3.758 Mean :1.199 # 3rd Qu.:6.400 3rd Qu.:3.300 3rd Qu.:5.100 3rd Qu.:1.800 # Max. :7.900 Max. :4.400 Max. :6.900 Max. :2.500
27.
集計してみる • Rの標準関数 2017/3/18 Tokyo.R
#59 27 > table(d$Species) # setosa versicolor virginica # 50 50 50
28.
集計してみる • {dplyr} 2017/3/18 Tokyo.R
#59 28 > group_by(d, Species) %>% + summarise(number = n()) #Source: local data frame [3 x 2] # Species number # (chr) (int) #1 setosa 50 #2 versicolor 50 #3 virginica 50 数えたい変数でグルーピング summarise関数 の中でカウント
29.
変数を追加したい1(例:花弁の縦横比) • Rの標準関数 または 2017/3/18 Tokyo.R
#59 29 transform(d, petal.w.l = d$Petal.Length / d$Petal.Width) d$petal.w.l = d$Petal.Length / d$Petal.Width
30.
変数を追加したい1(例:花弁の縦横比) • {dplyr} 2017/3/18 Tokyo.R
#59 30 dplyr::mutate(d, petal.w.l = Petal.Length / Petal.Width)
31.
ダミー変数も作れる 2017/3/18 Tokyo.R #59
31 species_dummy <- d %>% mutate(category = factor(Species, levels=c(“setosa”, “virginica”, “versicolor”), labels=LETTERS[1:3]))
32.
特定の列だけを取り出したい 例:Lengthにしか興味がないとき • パッケージを使わない 2017/3/18 Tokyo.R
#59 32 iris_length <- d[,c(1,3)] #列番号で直接指定
33.
特定の列だけを取り出したい 例:Lengthにしか興味がないとき • {dplyr} • 他にも、特定の変数を抜いたりもできる •
dplyr の select() の引数に指定可能なバリエーションまとめ 2017/3/18 Tokyo.R #59 33 iris_length <- select(d, Sepal.Length, Petal.Length) #列名を指 定 iris_length <- select(d, row_number(c(1,3))) #列番号を指定 iris_length <- select(d, contains(“length”, ignore.case = TRUE)) #”length”が含まれる列を選択 大文字、小文字を区別しない
34.
特定の行を取り出したい setosaのみ, 長さx以上, etc… •
Rの標準関数 2017/3/18 Tokyo.R #59 34 iris_setosa <- subset(d, Species == “setosa”) #条件を指定 iris5 <- iris5 <- subset(d, Sepal.Length > 5.0) #条件を指定
35.
特定の行を取り出したい setosaのみ, 長さx以上, etc… •
{dplyr} • 複数条件も可能 (参考文献「dplyrを使いこなす!基礎編」を参照) 2017/3/18 Tokyo.R #59 35 iris_setosa <- filter(d, Species == “setosa”) #条件を指定 iris5 <- filter(d, Sepal.Length > 5.0) #条件を指定
36.
ソートしたい • パッケージを使わない 2017/3/18 Tokyo.R
#59 36 length_asc <- d[order(d[, 2]), ] #2列目(Sepal.Width)基準に昇順 length_desc <- d[order(d[, 2], decreasing = T), ] #降順
37.
ソートしたい • {dplyr} 2017/3/18 Tokyo.R
#59 37 length_asc <- arrange(d, Sepal.Width) #Sepal.Width基準に昇順 length_desc <- arrange(d, descending(Sepal.Width)) #降順
38.
2017/3/18 Tokyo.R #59
38 いったんIrisから離れて…
39.
テーブルをマージしたい • 複数のテーブルの組み合わせ 2017/3/18 Tokyo.R
#59 39 引用:「dplyrを使いこなす!JOIN編」
40.
テーブルをマージしたい(inner_join) 2017/3/18 Tokyo.R #59
40 ab_inner<- inner_join(a, b, by = “x1”) 引用:「dplyrを使いこなす!JOIN編」
41.
テーブルをマージしたい(left_join) 2017/3/18 Tokyo.R #59
41 ab_left <- left_join(a, b, by = “x1”) 引用:「dplyrを使いこなす!JOIN編」
42.
テーブルをマージしたい(full_join) 2017/3/18 Tokyo.R #59
42 ab_full <- full_join(a, b, by = “x1”) 引用:「dplyrを使いこなす!JOIN編」
43.
テーブルをマージしたい(anti_join) 2017/3/18 Tokyo.R #59
43 ab_anti <- anti_join(a, b, by = “x1”) 引用:「dplyrを使いこなす!JOIN編」
44.
なぜ{dplyr}なのか • 速い • 依存パッケージ{magrittr}により%>%が使える •
%>%を使わないと 2017/3/18 Tokyo.R #59 44 d <- iris sepal_length <- select(d, contains(“Sepal”), Speceis) sepal_group <- group_by(sepal_length, Speceis) sepal_mean <- summarise(d_length, s.w.mean = mean(Sepal.Width), s.l.mean = mean(Sepal.Length)) sepal_mean
45.
なぜ{dplyr}なのか • 出力(種類ごとにがく片の平均値を算出) 2017/3/18 Tokyo.R
#59 45 > d # Source: local data frame [3 x 3] # # Species s.w.mean s.l.mean # (fctr) (dbl) (dbl) # 1 setosa 3.428 5.006 # 2 versicolor 2.770 5.936 # 3 virginica 2.974 6.588
46.
なぜ{dplyr}なのか • %>%を使うと 2017/3/18 Tokyo.R
#59 46 d <- iris %>% select(contains("Sepal"), Species) %>% group_by(Species)%>% summarise(s.w.mean = mean(Sepal.Width), s.l.mean = mean(Sepal.Length)) d
47.
データの前処理は他にも… • {dplyr} do, 各種Window関数 •
{tidyr} gather, spreadなど縦型と横型の変換について • {lubridate} 日付データの扱い • {purrr} リストデータの処理 2017/3/18 Tokyo.R #59 47
48.
もっと深く知りたい人は • Kazutan.R • データハンドリング、可視化、Rmarkdownを中心にコ マンドと用例で解説 2017/3/18
Tokyo.R #59 48
49.
おまけ:{tidyverse} • dplyr、tidyr、ggplot2など便利なパッケージが一気ににインス トールできる • そのうちのメインになるもの(readrやdplyrなどが一気に読み込 める) •
詳しくは俺たちのtidyverseはこれからだ!などを参照 2017/3/18 Tokyo.R #59 49 install.packages(“tidyverse”) library(tidyverse)
50.
結論 パッケージを使って 柔軟かつ高速な前処理を!! 2017/3/18 Tokyo.R #59
50
51.
その他参考文献 • データの読み込みについて 表形式ファイルの読み込み関数あれこれ: readrパッケージの導入を兼ねて 文字化けこわい、こわくない? readr,haven,readxl R:read.csv
/ read.tableで型と列名を指定して読み込む。 R で tsv ファイルの読み込み RでExcelのデータを読む方法 2017/3/18 Tokyo.R #59 51
52.
その他参考文献 • データの処理に関して dplyrを使いこなす!基礎編 dplyrを使いこなす!Window関数編 dplyrを使いこなす!JOIN編 Rの data.table
と data.frame を dplyr で区別なく扱う R dplyr, tidyr でのグルーピング/集約/変換処理まとめ {tidyr}でよく使う関数のメモ Hadley Ecosystem 2016 • その他 irisの正体 2017/3/18 Tokyo.R #59 52
53.
Enjoy ! 532017/3/18 Tokyo.R
#59
Download now