『Pythonによる ai・機械学習・深層学習アプリのつくり方』をGoogleColabで動く限り動かしてみた
•
0 likes•235 views
PyData.Fukuoka #13 LT用スライド
More Related Content
What's hot
What's hot (20)
Similar to 『Pythonによる ai・機械学習・深層学習アプリのつくり方』をGoogleColabで動く限り動かしてみた
Similar to 『Pythonによる ai・機械学習・深層学習アプリのつくり方』をGoogleColabで動く限り動かしてみた (20)
『Pythonによる ai・機械学習・深層学習アプリのつくり方』をGoogleColabで動く限り動かしてみた
- 1. 『Pythonによる AI・機械学習・ 深層学習アプリのつくり方』を GoogleColabで動く限り動かしてみた 2021/08/19 (PyData.Fukuoka #13) @takegg0311
- 6. 共通の注意点 GoogleDriveマウントとパス修正 そのうえで更に、パス指定箇所を書き換えが必要です。 パスだと分かりづらいところも幾つかあったり。 # アヤメデータの読み込み --- (*1) iris_data = pd.read_csv("/content/drive/MyDrive/技術勉強会/20210819 PyDataFukuoka#13/～ # アヤメデータの読み込み --- (*1) iris_data = pd.read_csv("iris.csv", encoding="utf-8")
- 7. 第2章 機械学習入門 実践内容 サンプルデータ 実行 機械学習でAND回路モデルを作成 不要 OK アヤメの分類（scikit-learn・SVC） 同梱 ダウンロード例も掲載 OK ワインの品質分析 不要 ipynbそのままでも動く OK 気象データの解析 同梱 OK アヤメの分類（アルゴリズム選定） 同梱 OK
- 8. 第3章 OpenCVと機械学習 - 画像・動画入門 実践内容 サンプルデータ 実行 OpenCV画像処理の基礎 同梱 OK 顔検出してモザイク処理 同梱 外部pyファイルの importに注意 手書き数字判定（scikit-learn・SVC） 不要 データセット使用 OK 輪郭抽出で郵便番号認識 同梱 外部pyファイルの importに注意 Webカメラ動画解析 同梱 NG コマンドライン実行 mp4動画解析で熱帯魚を抽出 同梱 OK
- 9. 第4章 自然言語処理 実践内容 サンプルデータ 実行 日本語・英語・タイ語の言語判定 同梱 OK MeCabで形態素解析 同梱 MeCab・NEologdの importを要修正 Word2Vecで単語のベクトル化 別途必要 DockerコマンドでDL ―― Doc2Vecで文章を分類 不要 青空文庫からDL MeCab・NEologdの importを要修正 マルコフ連鎖で自動作文 別途必要 自分で言葉を教える MeCab・NEologdの importを要修正 スパム投稿判定 別途必要 GitHubの別repo MeCab・NEologdの importを要修正
- 10. mecab-ipadic-NEologdをColabで使う Google ColabにMeCabとipadic-NEologdをインストールする - Qiita (Yuichi Sugitaさん) https://qiita.com/jun40vn/items/78e33e29dce3d50c2df1 先に下記のインストールコマンドを実行 # 形態素分析ライブラリーMeCab と 辞書(mecab-ipadic-NEologd)のインストール !apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null !git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null !echo yes | mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n > /dev/null 2>&1 !pip install mecab-python3 > /dev/null # シンボリックリンクによるエラー回避 !ln -s /etc/mecabrc /usr/local/etc/mecabrc
- 11. mecab-ipadic-NEologdをColabで使う Google ColabにMeCabとipadic-NEologdをインストールする - Qiita (Yuichi Sugitaさん) https://qiita.com/jun40vn/items/78e33e29dce3d50c2df1 Taggerパスも書き換え # mecab-ipadic-NEologd辞書を指定して、MeCabオブジェクトの生成 --- (*1) tagger = MeCab.Tagger("-d /var/lib/mecab/dic/mecab-ipadic-neologd") # mecab-ipadic-NEologd辞書を指定して、MeCabオブジェクトの生成 --- (*1) tagger = MeCab.Tagger("-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd")
- 12. 第4章-6節 スパム投稿判定サンプルデータ 旧版でlivedoorニュースコーパスから 自分で収集すると案内されていた 非スパムテキストも用意されたのは 手間が省けて楽になった…のですが、 非スパムテキストはShiftJISなので ファイル読み込み時の文字コードを ShiftJISに揃える必要あり。 # ファイルを読む --- (*4) def read_file(filename, label): words = [] # ファイルの内容を読む with open(filename, "rt", encoding="utf-8") as f: text = f.read() # ファイルを読む --- (*4) def read_file(filename, label): words = [] # ファイルの内容を読む with open(filename, "rt", encoding="sjis") as f: text = f.read()
- 13. 第4章-6節 スパム投稿判定サンプルデータ 旧版でlivedoorニュースコーパスから 自分で収集すると案内されていた 非スパムテキストも用意されたのは 手間が省けて楽になった…のですが、 非スパムテキストはShiftJISなので ファイル読み込み時の文字コードを ShiftJISに揃える必要あり。 加えて、スパムテキストデータの 「00220.txt」は中国語らしく、 ShiftJISで読み込めないので 予め省いておいた方がよさそう。 <ipython-input-5-bca86d760f62> in read_file(filename, label) 4 # ファイルの内容を読む 5 with open(filename, "rt", encoding="sjis") as f: ----> 6 text = f.read() 7 files.append({ 8 "label": label, UnicodeDecodeError: 'shift_jis' codec can't decode byte 0xfb in position 87: illegal multibyte sequence
- 14. 第5章 ディープラーニングについて 実践内容 サンプルデータ 実行 TensorFlowのデータフローグラフ生成 (題材が足し算掛け算からジャンケンに変わった模様) 同梱 学習済みモデルあり OK アヤメの分類（TensorFlow） 同梱 OK 手書き数字判定（TensorFlow+Keras） 不要 データセット使用 RMSpropの importを要修正 写真の物体認識（CIFAR-10分類） 不要 データセット使用 RMSpropの importを要修正 カタカナ画像の分類 別途必要 ETL文字データ RMSpropの importを要修正
- 15. RMSpropのimportエラー RMSpropをインポートすると インポートエラーになったため、 TensorFlowリファレンスを参考に RMSpropを使用している箇所を 右記のように書き替えました。 from keras.optimizers import RMSprop # モデルを構築 --- (*3) model.compile( loss='categorical_crossentropy', optimizer=RMSprop(), metrics=['accuracy']) import tensorflow as tf #from keras.optimizers import RMSprop # モデルを構築 --- (*3) model.compile( loss='categorical_crossentropy', optimizer=tf.keras.optimizers.RMSprop(), metrics=['accuracy'])
- 16. 第6章 機械学習で業務を効率化しよう 実践内容 サンプルデータ 実行 学習モデルの保存と読み込み 同梱 OK ニュース記事のジャンル分け・Webアプリ化 別途必要 livedoorコーパス データ数合わず？ Colabには不向き MeCab・NEologdの importを要修正 外部pyファイルの importに注意 SQLiteから体型データの分類 不要 処理内で生成 OK 料理写真の判定 別途必要 Flickr API + 選定 Colabには不向き RMSpropの importを要修正 マスクしていない人を見つける （新装版で新しく追加された題材） 別途必要 自前で顔写真600枚 未確認
- 17. ニュース記事のジャンル分け ニュース記事のジャンル分けは livedoorコーパスからテキストをDLして使用しようとしましたが TF-IDFのデータベースを読み込むところでデータ数が合わなかったようでエラーに。 ただ、これを差し引いても、生成されたデータが1.4GBと、 GoogleDriveに置くには大容量になったため、Colabでの実行はおすすめしません。 /usr/local/lib/python3.7/dist-packages/sklearn/utils/validation.py in check_consistent_length(*arrays) 210 if len(uniques) > 1: 211 raise ValueError("Found input variables with inconsistent numbers of" --> 212 " samples: %r" % [int(l) for l in lengths]) 213 214 ValueError: Found input variables with inconsistent numbers of samples: [3514, 3510]
- 18. 料理写真の判定における画像選定 Flickrから取得してきた写真データ300枚×3種の中から、 学習用データとして合わない写真を選定する必要がありますが、 GoogleDrive上でのサムネイル画像表示は時間が掛かることがあるので、 可能であればローカルに一度落としてから選定した方が良さそう。 「寿司」の画像を取得したら 食べ終わったあとの写真や すしざんまいの店頭の写真が入っていたり。
- 19. ご静聴 ありがとうございました