Downloaded 16 times
More Related Content
Similar to TECHTALK 20230214 ビジネスユーザー向け機械学習入門 第２回～機械学習のための学習データの前処理
![[輪講] 第1章](https://cdn.slidesharecdn.com/ss_thumbnails/random-171231020415-thumbnail.jpg?width=640&height=640&fit=bounds)
TECHTALK 20230214 ビジネスユーザー向け機械学習入門 第２回～機械学習のための学習データの前処理
- 1. Yuki Suzuki Senior SolutionArchitect ビジネスユーザー向け機械学習 入門 第２回 機械学習のための学習データの前処理 2023/02/14
- 2.
- 3. 3 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 •質問と回答については、セミナーの最後に他の参加者に情報共有させ ていただきます。
- 4. 4 4 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開されます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareをご覧ください。 •SlideShareからのPDF版のダウンロードはSlideShareへの登録が必 要となります。
- 5. 5 5 アジェン ダ 前回の復習 データの前処理の概要 各前処理の解説 ⁻ 欠損値の処理 ⁻ 特徴量の削減 ⁻データ型の変換 ⁻ クラスバランス ⁻ カテゴリ変数のエンコーディング ⁻ 数値変数のスケーリング ⁻ 外れ値の排除 ⁻ 新しい特徴量の作成 ⁻ 検証用データの分割 その他のお知らせ
- 6.
- 7.
- 8. 8 前回のまとめ 機械学習とは、過去のデータからパターンとドライバーを認識し、未知のデータや結果を予測す る機能である 機械学習のステップは目的の定義、学習用データの準備、学習、モデルの評価、予測の展開であ り、意思決定や行動につなげる 自動機械学習ツールの使用には、機械学習の問題定義、学習用データの準備、モデルの評価につ いて、技術・知識が必要である 機械学習には教師あり学習、教師なし学習、強化学習があり、教師あり学習には分類と回帰があ る（Qlik AutoMLは教師あり学習に対応） 機械学習の問題定義は、ビジネス上の目的と現状確認の上、イベントトリガー、予測ポイント、 予測期間、ターゲットを具体化する 学習用データは、予測ポイント時点で収集でき、予測に使用できる特徴のみを持つデータを収集 する
- 9. 9 学習用にどのようなデータを収集するか 予測をする単位（イベントトリガーの単位）のデータ どの顧客が解約するか→ 顧客単位のデータ 地域・月別の売上 → 地域・月別のデータ 教師あり学習の場合は、予測したい値（ターゲット）を含む過去のデータが必要 予測結果に影響を与える可能性のある特徴を持つデータ 予測したい内容と同じ条件のデータ 季節や前提条件が同等のデータ 予測ポイント時点で収集でき、予測に使用できる特徴のみを持つデータ
- 10.
- 11. 11 学習用データの 準備 学習 目的の定義 意思決定・行 動 KPIの設定 アクションの設定 機械学習の問題定 義 学習用データ収集 クリーニング、 キュレーション、 加工 特徴量の選択 特徴量の作成 検証用データ分割 アルゴリズムの 選択 アルゴリズムの 実行 モデルの作成 モデルの決定 予測用データの準 備 モデルの適用 予測結果の評価 共有 モデルの評価 クロスバリデー ション モデルの評価 ハイパーパラメー タの最適化 予測モデルの開発 データパイプライ ン 予測の展開 学習用データの前処理の重要性 学習用データが適切でなければ精度の高い予測モデルは作成することができません。学習データの準備は 一般的に全行程の8割といわれており、非常に重要ですが、ビジネス・業界知識が必要であり、完全に自 動化するのは困難な領域です。 収集したデータをよく観察し、ビジネス上の知識をもとに学習用データとして加工していくことが必要で す。 また実際は作成したモデルを評価して、再度データの加工を行うことを繰り返します。 学習用データの 準備 学習用データ収集 クリーニング、 キュレーション、 加工 特徴量の選択 特徴量の作成 検証用データ分割 データパイプライ ン 繰り返し
- 12.
- 13. 13 データの確認と前処理 欠損値はあるか 特徴量の数は適切か データ型（数値・文字列）は正しいか さらにふさわしい特徴量はないか 各特徴量の値はどのように分布してい るか 各特徴量の値の範囲は同等か 外れ値はないか 欠損値の処理 特徴量の削減 データ型の変換 クラスバランス カテゴリ変数のエンコーディング 数値変数のスケーリング 外れ値の排除 日付変数の変換 新しい特徴量の作成 検証用データの分割 収集データの確認ポイント 前処理
- 14.
- 15. 15 欠損値の処理 欠損値の発生と確認 データの各項目について、欠損値の有無とその個数を確認します。 欠損値を含むデータ行が何行あるか。 各項目（説明変数）単位で、欠損値が何個あるか。 欠損値とは項目に値がない（null）ことです。0は欠損値ではありません。 システムによっては欠損項目に全桁9を設定して保管されているような場合もあり注意が必要です。 そもそも値が存在していない場合 例：年齢別平均値で人数が０の場合の平均 意図がある場合 例：アンケートの未記入、観測対象外 不具合で値が取得できていない場合 例：プログラムのバグ、器機のエラー 欠損が発生する理由 欠損値への対応 そのまま使用する 欠損の項目、または行を削除する 他の値を補完する
- 16.
- 17. 17 欠損値の処理 一般的な欠損値の補完方法 欠測値の補完に係る主な方法等について - 総務省 平均値代入 値の平均値を代入する。データによっては中央値や最頻値のほうが適切な場合もある。 回帰代入 回帰モデルに基づく推定値を代入する。連続値またはカテゴリを代入。 比率補完 欠損が発生している項目と他の項目との比率を利用して、代入値を算出する。 ホットデック法 同じデータセットの中で、欠損が生じているデータと類似したデータ（ドナー）を探し出し、ドナーの観測 値を欠測値の代わりとして代入する。双方で共通して観測されている項目の値をもとに距離を定義し、欠測 があるデータに近いデータをドナーとする。 ＬＯＣＦ（Last Observation Carried Forward） 欠損が発生しているデータについて直近の観測値を欠測値に代入する。 その他 演繹的補完：他の項目間の関係から論理的に定めた値を代入 他の統計調査の結果、公開情報、行政記録情報等の活用 ユニット単位での欠損の場合（調査票未回収など）通常のウェイトを調整
- 18.
- 19. 19 特徴量の削減 カーディナリティ カーディナリティとは、列のデータ値の一意性のことです。 ユニークな値が多すぎる列や同じ値しかない列は、分散が少なく、機械学習モデルは、そのデータから 何らかのパターンを読み取ることはできません。 ほとんどがある１つの値である ほとんどのデータで異なる値で ある 項目を削除する 新しい特徴量に置き換 える 項目A 項目B 朝 りんご 朝もも 朝 さくらんぼ 朝 ばなな 朝 ぶどう 朝 いちじく 朝 ざくろ 朝 すいか 朝 なし 朝 かき 朝 いちご 朝 くり カーディナ リティが低 い カーディナ リティが高 い
- 20.
- 21. 21 データ型の変換 数値か文字列かの確認 データは一般的に数字であれば数値（float や double）、そうでなければ文字列（string）の属性とみな されますが、そのままでは正しくない場合があります。 データ型が文字列であるが、数字とみなすほうがよい可能性がある例 項目「優先度」の値： 「高」、 「中」、 「低」 ⇒ 別に、「低」= 1.0、「中」= 2.0、「高」= 3.0の数値項目を作成する 重要な特徴である場合は、文字項目のみ、数値項目のみ、双方で３つの学習モデルを作成し て検討する データ型が数字であるが、文字列とみなすほうがよい可能性がある例 ID、社員番号、電話番号 ⇒ 文字に変換する
- 22.
- 23.
- 24. 24 カテゴリーエンコーディング ほとんどの機械学習アルゴリズムでは変数が数値である必要があります。カテゴリ値は数値に変換して 使用します。 カテゴリ値を数値に変換することをエンコーディングといいます。主に下記の種類があります。 One-Hotエンコーディング カテゴリごとの列項目を作り、該当するカテゴリの列には1、それ以外には0を設定する ラベルエンコーディング 各カテゴリに一つの数字を割り当てる カウントエンコーディング（Frequency encoding） そのカテゴリーデータが出現した回数を割り当てる ターゲットエンコーディング 各カテゴリの目的変数の平均値を集計して割り当てる データリーケージが起こる可能性が高く、注意が必要 その他 A,B,Cといった順位付けを1,2,3に変換 品番、型番のように意味がある場合は意味を踏まえた数値に変換
- 25. 25 カテゴリーエンコーディング One-Hotエンコーディング One-Hotエンコーディングは最も代表的な手法です。カテゴリごとの列項目を作り、該当するカテゴリ の列には1、それ以外には0を設定します。 果物 もも さくらんぼ ぶどう いちじく いちご さくらんぼ いちご さくらんぼ もも もも さくらんぼ ぶどういちじく いちご 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 値の数だけ 変数ができ る。 ほとんどが「0」の変数がたくさんできて、モデルの性能に悪影響を与える場合もあります。 そのような場合は、他のエンコーディングやカテゴリのグルーピングなども検討します。
- 26.
- 27. 27 カテゴリーエンコーディング ターゲットエンコーディング 果物 目的変数 もも 1 さくらんぼ0 ぶどう 0 いちじく 1 いちご 0 さくらんぼ 0 いちご 1 さくらんぼ 1 もも 0 果物 目的変数 0.5 1 0.33 0 0 0 1 1 0.5 0 0.33 0 0.5 1 0.33 1 0.5 0 ターゲットエンコーディングは、各カテゴリごとの目的変数の平均値をカテゴリに設定する方法です。 目的変数を使用するので、データリーケージが起こらないように注意をする必要があります。 平均 データリーケージが起こらないように学習データを 複数に分け、自分を含まないデータで平均を求めま す。 これを各部分について実施します。
- 28. 28 数値変数のスケーリング 特徴量の値の範囲は様々ですが、値の範囲を標準化・正規化することで、それぞれの特徴量の値を関連 付けることができるようになります。 例えば、ローンの未回収予測を行うためのの特徴量として金利と住宅価格を利用する場合、これらの数 値の範囲は大きく異なりますが、相対的に標準化することで同じ範囲で表現することができ、学習のス ピードとモデルの精度が向上します。 標準化 変数の平均を0、標準偏差を1と する Min-Maxスケーリング データの範囲を 0 ～1 に変換す る 対数変換 値のLogをとり、対数に変換す る 標準化前 標準化後 同じスケールでの分布となる 受注金額 案件化日数 受注金額 案件化日数 0 0.5 1 同じスケールでの分布となる きれいな山型となる
- 29. 29 数値変数のスケーリング 標準化 標準化の数式 元の値 － 平 均 標準偏差 変換後の値＝ 元のデータ 変換後のデータ 項目 平均 標準偏差
- 30.
- 31. 31 新しい特徴量の作成 モデルの予測力をあげるために、ビジネス上の知識をもとに、収集したデータから新しい特徴量を作成 します。 元の特徴量を削減することができる場合もあります。 各値を集合に集約 統計値・計算値を利用 さまざまな職業を集約して有職と無職の２つの値 に集約 個々の年齢を10代、20代、と年齢層に集約 有無に変換（購入履歴、訪問履歴など） 日数を5日単位に集約 金額を万単位に集約 住所を国、都道府県、都市、郵便番号などに分解 データ件数（受注、訪問、アクセスログなど） ユニーク件数（購入商品の種類、利用日など） 合計・平均・割合（売上金額、利用時間、変化率 など） 時間設定（一か月あたり、一日あたり） その他、最小・最大・中央値・標準偏差など 特徴量が膨大な場合は、 教師なし学習を利用して、 グルーピングしたり次元 削減を行うことも考えら れます。
- 32. 32 新しい特徴量の作成 例 目的変数 元の特徴量 新しい特徴量 営業案件が成約するかしない か 面会回数1 か月あたりの面会数、特定の段階での面会の 数 将来の取引金額 最終注文金額 平均注文額、注文額の変化率 顧客は解約するかしないか 顧客のセンチメント センチメントの変化、現在のセンチメントの 日数 従業員は退職するかしないか 給料 同業者や業界平均と比較した給与の割合 リードは案件となるかならな いか 「どうやって当店をみつけまし たか」 回答の有無 各店舗の売上金額 顧客住所 各店舗から顧客住所の距離
- 33. 33 新しい特徴量の作成 日付・時刻項目 日付を月、日、年 (MM、DD、YYYY)の 3 つの列に分解 年初からの日数や週数を計算 日付を曜日、季節、四半期、または学期に集計 最後の購入からの日数、築年数など、日付の差を計算 月初、月末など特定の日に特徴がある場合は、特定日か否かの変数を作成 月末、給料日など特定日までの日数を計算 日付や時刻は要件によって様々な使い方が考えられます。 日付 時刻 数時間単位にまるめる 特定の時間帯か否かの変数を作成 意味がない場合は分や秒を除外、含める場合は小数部とするのがよい場合もあり 時間差を計算
- 34.
- 35. 35 月 1 2 3 4 5 6 7 8 9 10 11 12 One-Hotエンコーディングを行う それぞれの月が独立して近さが不明 新しい特徴量の作成 周期性 月のように繰り返しを持つ変数は、傾向をとらえるために注意が必要です。 そのまま数値として扱う 12月と1月が遠く隣合わ ない 1月 2月 3月4月 5月 6月 7月 8月 9月 10月 11月 12月 Targetエンコーディングを行って、 目的変数の値と相関するように並 び替える 月 目的変数 4 100 2 220 8 280 1 450 １0 490 6 510 12 550 3 600 9 670 ７ 710 11 780 5 800 円状に配置し、座標となる2つの変数で 表す
- 36.
- 37. 37 モデル検証のためのデータ分割 ホールドアウト ホールドアウトとはある割合でデータを学習用と検証用に分ける方法です。学習用データで学習したあと、 検証用データで予測を行い、評価します。 一般的に２対１、４対１、９対１などで分割されます。 学習用データ 検証用データ 最も単純な方法 一度の学習・検証ですみ、処理時間も比較的短い データがランダムに分布していることが前提 データが何らかの規則に従って並んでいる場合はシャッフルが必要 分布に偏りがある場合、時系列データの場合は不向き 学習用データが少ないとモデルの精度がおち、検証用データが少ないと評価の信 頼性がおちる
- 38.
- 39.
- 40. 40 データの前処理とQlikの関連機能 前処理 Qlik AutoMLQlik Sense での加工 欠損値の処理 自動補完あり データ削除、項目削除、値の置換が可能、統計値を算出し て代入 特徴量の削減 自動・手動 手動で項目削除 データ型の変換 手動で変換可能 手動で変換可能 クラスバランス ー 手動でデータ削減、データ追加 カテゴリ変数のエンコーディ ング 自動処理あり 手動で変換可能 数値変数のスケーリング 自動処理あり 手動で変換可能 外れ値の排除 ー 手動で変換可能 新しい特徴量の作成 ー 手動で変換可能 検証用データの分割 自動処理あり 手動で変換可能 学習用データの準備には下記のような前処理が必要です。 Qlik AutoMLには自動データ準備機能があります。またQlik Senseのデータ準備機能での加工も可能です。 Qlik Cloudのカタログからデータのプロファイル情報として、各項目の平均値や最頻値、値の分布などを 参照することもできます。
- 41. 41 参考にした書籍 図解即戦力 機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書 株式会社アイデミー 山口達輝 、 松田 洋之 技術評論社 機械学習のための「前処理」入門 足立 悠 リックテレコム Kaggleで勝つデータ分析の技術 門脇 大輔 , 阪田 隆司 , 保坂 桂佑 , 平松 雄司 技術評論社 見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑 秋庭 伸也 , 杉山 阿聖 , 寺田 学 , 加藤 公一 (監修) 翔泳社
- 42.
- 43. 43 オンラインでの技術情報提供 Qlik Japanプリセールスチームではオンラインの技術情報提供を推進しています。 セミナー トレーニング LT形式のTips共有技術イベント TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik Tech Playのグループをフォローいただくと、イベント情
- 44.
- 45. 45 45 #1 Qlik JapanUser Group Meetup - キックオフ • 日時：2月21日(火曜) 15:00～18:00 (懇親会 最長19:00まで) • 会場：都内会場 (申込後に別途ご案内) • アジェンダ： - ユーザー様 アプリ紹介 (4社登壇決定！) - Qlik最新情報アップデート - Qlikルミナリー・Qlikアドボケイトプログラムの 紹介 - Qlik Happy Hour (懇親会) • 参加お申込み→ → → - https://techplay.jp/event/886253
- 46.
- 47.
- 48.
- 49. 49 49 49 49 49 49 「Qlik Sense 参考書」好評発売中 QlikSense ユーザーのためのデータ分析実践バイ ブル ・判型：B5 変 ・総ページ数：～480 ページ程度 ・予価本体：4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大幅 にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝ 基本編）、ニーズの高い分析例（＝応用編） をできるだけ丁寧に紹介
- 50. 50 その他の情報 セミナー動画・事例紹介 ・デモ・新機能紹介 Qlik Japan YoutubeQlik Community Japan 製品・技術Q&A、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公 開
- 51.