TECHTALK 20230214 ビジネスユーザー向け機械学習入門第２回～機械学習のための学習データの前処理

TECHTALK 20230214 ビジネスユーザー向け機械学習入門第２回～機械学習のための学習データの前処理
Yuki Suzuki Senior Solution Architect ビジネスユーザー向け機械学習入門第２回機械学習のための学習データの前処理 2023/02/14
2 TECH TALKとは？ Qlikの製品や機能の中から特定のテーマを取り上げて、技術的な情報を発信していくセミナーです。
3 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させていただきます。
4 4 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開されます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareをご覧ください。 • SlideShareからのPDF版のダウンロードはSlideShareへの登録が必要となります。
5 5 アジェンダ 前回の復習 データの前処理の概要 各前処理の解説 ⁻ 欠損値の処理 ⁻ 特徴量の削減 ⁻ データ型の変換 ⁻ クラスバランス ⁻ カテゴリ変数のエンコーディング ⁻ 数値変数のスケーリング ⁻ 外れ値の排除 ⁻ 新しい特徴量の作成 ⁻ 検証用データの分割  その他のお知らせ
6 当Webセミナーの目的と範囲ビジネスユーザーが自動機械学習ツール（Qlik AutoMLをベースに）を使用できるレベルの知識を習得することを目的とします。主に構造化データを使用した教師あり学習を扱います。
7 前回の復習
8 前回のまとめ  機械学習とは、過去のデータからパターンとドライバーを認識し、未知のデータや結果を予測する機能である  機械学習のステップは目的の定義、学習用データの準備、学習、モデルの評価、予測の展開であり、意思決定や行動につなげる  自動機械学習ツールの使用には、機械学習の問題定義、学習用データの準備、モデルの評価について、技術・知識が必要である  機械学習には教師あり学習、教師なし学習、強化学習があり、教師あり学習には分類と回帰がある（Qlik AutoMLは教師あり学習に対応）  機械学習の問題定義は、ビジネス上の目的と現状確認の上、イベントトリガー、予測ポイント、予測期間、ターゲットを具体化する  学習用データは、予測ポイント時点で収集でき、予測に使用できる特徴のみを持つデータを収集する
9 学習用にどのようなデータを収集するか  予測をする単位（イベントトリガーの単位）のデータ  どの顧客が解約するか → 顧客単位のデータ  地域・月別の売上 → 地域・月別のデータ  教師あり学習の場合は、予測したい値（ターゲット）を含む過去のデータが必要  予測結果に影響を与える可能性のある特徴を持つデータ  予測したい内容と同じ条件のデータ  季節や前提条件が同等のデータ  予測ポイント時点で収集でき、予測に使用できる特徴のみを持つデータ
10 データの前処理の概要
11 学習用データの準備学習目的の定義意思決定・行動  KPIの設定  アクションの設定  機械学習の問題定義  学習用データ収集  クリーニング、キュレーション、加工  特徴量の選択  特徴量の作成  検証用データ分割  アルゴリズムの選択  アルゴリズムの実行  モデルの作成  モデルの決定  予測用データの準備  モデルの適用  予測結果の評価  共有モデルの評価  クロスバリデーション  モデルの評価  ハイパーパラメータの最適化予測モデルの開発データパイプライン予測の展開学習用データの前処理の重要性学習用データが適切でなければ精度の高い予測モデルは作成することができません。学習データの準備は一般的に全行程の8割といわれており、非常に重要ですが、ビジネス・業界知識が必要であり、完全に自動化するのは困難な領域です。収集したデータをよく観察し、ビジネス上の知識をもとに学習用データとして加工していくことが必要です。また実際は作成したモデルを評価して、再度データの加工を行うことを繰り返します。学習用データの準備  学習用データ収集  クリーニング、キュレーション、加工  特徴量の選択  特徴量の作成  検証用データ分割データパイプライン繰り返し
12 適切な特徴量の数特徴量は多いほど精度の高いモデルができそうな気がしますが、通常はシンプルなモデルほど優れています。実際には結果は1つか2つの特徴量の影響を受けているだけなのに特徴量が非常に多いと、モデルとして一般化されたパターンが見いだせず、学習データ以外のデータに適用した時に予測性能が低くなることがあります。また過剰適合が起こりやすくなります。シンプルなモデル過剰適合（過学習）学習データにはフィットするが、一般化されておらず新たなデータに適合できない
13 データの確認と前処理  欠損値はあるか  特徴量の数は適切か  データ型（数値・文字列）は正しいか  さらにふさわしい特徴量はないか  各特徴量の値はどのように分布しているか  各特徴量の値の範囲は同等か  外れ値はないか  欠損値の処理  特徴量の削減  データ型の変換  クラスバランス  カテゴリ変数のエンコーディング  数値変数のスケーリング  外れ値の排除  日付変数の変換  新しい特徴量の作成  検証用データの分割収集データの確認ポイント前処理
14 各前処理の解説
15 欠損値の処理欠損値の発生と確認データの各項目について、欠損値の有無とその個数を確認します。  欠損値を含むデータ行が何行あるか。  各項目（説明変数）単位で、欠損値が何個あるか。欠損値とは項目に値がない（null）ことです。0 は欠損値ではありません。システムによっては欠損項目に全桁9を設定して保管されているような場合もあり注意が必要です。  そもそも値が存在していない場合例：年齢別平均値で人数が０の場合の平均  意図がある場合例：アンケートの未記入、観測対象外  不具合で値が取得できていない場合例：プログラムのバグ、器機のエラー欠損が発生する理由欠損値への対応  そのまま使用する  欠損の項目、または行を削除する  他の値を補完する
16 欠損値の処理欠損値への対応線による紐づけは目安です。欠損値の発生の原因、データが作成される背景、分析課題との関連性などを考慮して決める必要があります。他の特徴と関係なくランダムに発生している他の特徴と関係してランダムに発生している他の特徴と関係して発生に傾向がある分析課題に必要でない分析課題に重要欠損値を持つデータ行数が少ない欠損値を持つデータ行数が多い行を削除項目を削除欠損値を補完そのまま使用する
17 欠損値の処理一般的な欠損値の補完方法欠測値の補完に係る主な方法等について - 総務省  平均値代入値の平均値を代入する。データによっては中央値や最頻値のほうが適切な場合もある。  回帰代入回帰モデルに基づく推定値を代入する。連続値またはカテゴリを代入。  比率補完欠損が発生している項目と他の項目との比率を利用して、代入値を算出する。  ホットデック法同じデータセットの中で、欠損が生じているデータと類似したデータ（ドナー）を探し出し、ドナーの観測値を欠測値の代わりとして代入する。双方で共通して観測されている項目の値をもとに距離を定義し、欠測があるデータに近いデータをドナーとする。  ＬＯＣＦ（Last Observation Carried Forward）欠損が発生しているデータについて直近の観測値を欠測値に代入する。  その他演繹的補完：他の項目間の関係から論理的に定めた値を代入他の統計調査の結果、公開情報、行政記録情報等の活用ユニット単位での欠損の場合（調査票未回収など）通常のウェイトを調整
18 欠損値の処理数値代入の効果現実世界の例 x が年収で、y がローン限度額存在する値のみで回帰直線を作成した場合青が存在する値、赤が補完値年収が低い人が年収を提出する可能性が低い欠損がランダムに発生していない場合に平均値を補完すると、線がゆがみモデルの精度が低下する欠損値に平均値を代入たまたま年収が登録されていない欠損がランダムに発生している場合に平均値を補完しても線が変わらない平均値の代わりに０の代入は年収が0とみなされ正しい線が作成されない値の補完には注意が必要
19 特徴量の削減カーディナリティカーディナリティとは、列のデータ値の一意性のことです。ユニークな値が多すぎる列や同じ値しかない列は、分散が少なく、機械学習モデルは、そのデータから何らかのパターンを読み取ることはできません。ほとんどがある１つの値であるほとんどのデータで異なる値である項目を削除する新しい特徴量に置き換える項目A 項目B 朝りんご朝もも朝さくらんぼ朝ばなな朝ぶどう朝いちじく朝ざくろ朝すいか朝なし朝かき朝いちご朝くりカーディナリティが低いカーディナリティが高い
20 特徴量の削減相関する特徴量相関性が高い機能は冗長である可能性があります。相関性の高い 2 つの機能をモデルに含めないことをお勧めします。いずれかの特徴量を除外するか、または双方の要因となっている特徴量を採用します。正の相関相関係数が1に近い負の相関相関係数が-1に近い相関なし相関係数が0 例=温度とクーラーの使用例=温度とヒーターの使用注意：相関関係は必ずしも因果関係ではない。水着の売上とエネルギー消費量に相関関係があるが、一方が原因で他方が結果ではない。原因は気温である。水着売上エネルギー消費量
21 データ型の変換数値か文字列かの確認データは一般的に数字であれば数値（float や double ）、そうでなければ文字列（string）の属性とみなされますが、そのままでは正しくない場合があります。  データ型が文字列であるが、数字とみなすほうがよい可能性がある例項目「優先度」の値：「高」、「中」、「低」 ⇒ 別に、「低」= 1.0、「中」= 2.0、「高」= 3.0の数値項目を作成する重要な特徴である場合は、文字項目のみ、数値項目のみ、双方で３つの学習モデルを作成して検討する  データ型が数字であるが、文字列とみなすほうがよい可能性がある例 ID、社員番号、電話番号 ⇒ 文字に変換する
22 クラスバランス不均衡なデータの問題例えば二項分類の問題で、データが一方大きく偏っている場合、データ多数のカテゴリについての学習に偏り、適切なモデルが作成されないことがあります。両者のバランスを調整する必要があります。大多数が「購入しない」学習用データ購入しない購入する 99.9% 0.1% モデル作成すべての訪問者は購入しないと予測 99.9%正確 Web訪問者の購入予測の例購入しそうな訪問者を予測したい場合、このモデルは精度が高くても役に立たないクラスをバランスさせて改善が必要「購入しない」を検出するモデルが作成される
23 クラスバランス不均衡の解消方法要件により理想的なバランスを見つける必要があります。クラスのバランス調整を過剰に調整すると過剰適合モデルになる可能性があるため、必要な範囲でバランスを調整します。テストと検証によって適切なバランスを調整していきます。  アンダーサンプリング多数派クラスをランダムにサンプリングして、少数派クラスとのバランスをとる  オーバーサンプリング少数派クラスの件数を多数派クラスと同じに増やすクラスバランシングを行うことで、より特徴にフォーカスした、少数派のクラスについてより多く学習したモデルを得る可能性があります。モデルの正解率はわずかに下がる可能性がありますが、情報量の多いモデルとなる場合があります。小さなデータセットでは、クラスバランスをとることで特徴量のデータが失われる可能性があります。データセット内の比率を変更することで、いくつかの情報が失われ、モデルの予測に偏りが生じる可能性があります。 ⇒テストをしながら要件にふさわしいモデルを適用します。
24 カテゴリーエンコーディングほとんどの機械学習アルゴリズムでは変数が数値である必要があります。カテゴリ値は数値に変換して使用します。カテゴリ値を数値に変換することをエンコーディングといいます。主に下記の種類があります。  One-Hotエンコーディングカテゴリごとの列項目を作り、該当するカテゴリの列には1、それ以外には0を設定する  ラベルエンコーディング各カテゴリに一つの数字を割り当てる  カウントエンコーディング（Frequency encoding）そのカテゴリーデータが出現した回数を割り当てる  ターゲットエンコーディング各カテゴリの目的変数の平均値を集計して割り当てるデータリーケージが起こる可能性が高く、注意が必要  その他 A,B,Cといった順位付けを1,2,3に変換品番、型番のように意味がある場合は意味を踏まえた数値に変換
25 カテゴリーエンコーディング One-Hotエンコーディング One-Hotエンコーディングは最も代表的な手法です。カテゴリごとの列項目を作り、該当するカテゴリの列には1、それ以外には0を設定します。果物ももさくらんぼぶどういちじくいちごさくらんぼいちごさくらんぼももももさくらんぼぶどういちじくいちご 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 値の数だけ変数ができる。ほとんどが「0」の変数がたくさんできて、モデルの性能に悪影響を与える場合もあります。そのような場合は、他のエンコーディングやカテゴリのグルーピングなども検討します。
26 カテゴリーエンコーディングラベルエンコーディングとカウントエンコーディングラベルエンコーディング各カテゴリに一つの数字を割り当てる果物ももさくらんぼぶどういちじくいちごさくらんぼいちごさくらんぼもも果物 1 2 3 4 5 2 5 2 1 果物 2 3 1 1 2 3 2 3 2 カウントエンコーディングデータが出現した回数を割り当てる頻度が目的変数に関連する場合は有効同じ値が発生することもあり注意
27 カテゴリーエンコーディングターゲットエンコーディング果物目的変数もも 1 さくらんぼ 0 ぶどう 0 いちじく 1 いちご 0 さくらんぼ 0 いちご 1 さくらんぼ 1 もも 0 果物目的変数 0.5 1 0.33 0 0 0 1 1 0.5 0 0.33 0 0.5 1 0.33 1 0.5 0 ターゲットエンコーディングは、各カテゴリごとの目的変数の平均値をカテゴリに設定する方法です。目的変数を使用するので、データリーケージが起こらないように注意をする必要があります。平均データリーケージが起こらないように学習データを複数に分け、自分を含まないデータで平均を求めます。これを各部分について実施します。
28 数値変数のスケーリング特徴量の値の範囲は様々ですが、値の範囲を標準化・正規化することで、それぞれの特徴量の値を関連付けることができるようになります。例えば、ローンの未回収予測を行うためのの特徴量として金利と住宅価格を利用する場合、これらの数値の範囲は大きく異なりますが、相対的に標準化することで同じ範囲で表現することができ、学習のスピードとモデルの精度が向上します。標準化変数の平均を0、標準偏差を1とする Min-Maxスケーリングデータの範囲を 0 ～ 1 に変換する対数変換値のLogをとり、対数に変換する標準化前標準化後同じスケールでの分布となる受注金額案件化日数受注金額案件化日数 0 0.5 1 同じスケールでの分布となるきれいな山型となる
29 数値変数のスケーリング標準化標準化の数式元の値－平均標準偏差変換後の値＝元のデータ変換後のデータ項目平均標準偏差
30 外れ値の排除大きな外れ値があると正しいパターンが読み取れないことがあるため、除外しておきます。上限と下限を設定し、それを外れる値には上限値や下限値に置き換えます。外れ値あり外れ値なし
31 新しい特徴量の作成モデルの予測力をあげるために、ビジネス上の知識をもとに、収集したデータから新しい特徴量を作成します。元の特徴量を削減することができる場合もあります。各値を集合に集約統計値・計算値を利用  さまざまな職業を集約して有職と無職の２つの値に集約  個々の年齢を10代、20代、と年齢層に集約  有無に変換（購入履歴、訪問履歴など）  日数を5日単位に集約  金額を万単位に集約  住所を国、都道府県、都市、郵便番号などに分解  データ件数（受注、訪問、アクセスログなど）  ユニーク件数（購入商品の種類、利用日など）  合計・平均・割合（売上金額、利用時間、変化率など）  時間設定（一か月あたり、一日あたり）  その他、最小・最大・中央値・標準偏差など特徴量が膨大な場合は、教師なし学習を利用して、グルーピングしたり次元削減を行うことも考えられます。
32 新しい特徴量の作成例目的変数元の特徴量新しい特徴量営業案件が成約するかしないか面会回数 1 か月あたりの面会数、特定の段階での面会の数将来の取引金額最終注文金額平均注文額、注文額の変化率顧客は解約するかしないか顧客のセンチメントセンチメントの変化、現在のセンチメントの日数従業員は退職するかしないか給料同業者や業界平均と比較した給与の割合リードは案件となるかならないか「どうやって当店をみつけましたか」回答の有無各店舗の売上金額顧客住所各店舗から顧客住所の距離
33 新しい特徴量の作成日付・時刻項目  日付を月、日、年 (MM、DD、YYYY) の 3 つの列に分解  年初からの日数や週数を計算  日付を曜日、季節、四半期、または学期に集計  最後の購入からの日数、築年数など、日付の差を計算  月初、月末など特定の日に特徴がある場合は、特定日か否かの変数を作成  月末、給料日など特定日までの日数を計算日付や時刻は要件によって様々な使い方が考えられます。日付時刻  数時間単位にまるめる  特定の時間帯か否かの変数を作成  意味がない場合は分や秒を除外、含める場合は小数部とするのがよい場合もあり  時間差を計算
34 新しい特徴量の作成曜日曜日はカテゴリとしても数値としてもあらわすことができますが、数値として扱う場合には順序も重要です。週が月曜日から始まる日別の平均売上高傾向が分かりやすい週が日曜日から始まる日別の平均売上高傾向が分かりにくい週半ばの高値を示す日別の平均売上高線形でないため傾向が分かりにくい
35 月 1 2 3 4 5 6 7 8 9 10 11 12 One-Hotエンコーディングを行うそれぞれの月が独立して近さが不明新しい特徴量の作成周期性月のように繰り返しを持つ変数は、傾向をとらえるために注意が必要です。そのまま数値として扱う 12月と1月が遠く隣合わない 1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月 Targetエンコーディングを行って、目的変数の値と相関するように並び替える月目的変数 4 100 2 220 8 280 1 450 １0 490 6 510 12 550 3 600 9 670 ７ 710 11 780 5 800 円状に配置し、座標となる2つの変数で表す
36 モデル検証のためのデータ分割予測分析における最大の課題の1つは、トレーニング済みのモデルが、新しいデータに対してどのように機能するかを知ることです。学習用データを単純に暗記した場合と比較して、モデルが真のパターンをどれだけうまく学習したかということです。モデル × 暗記学習用データ予測新しいデータ機械学習学習用データ予測新しいデータ暗記では新しいデータに対して精度のある予測ができないモデルの検証のために、収集したデータを学習用と検証用に分けることが必要です。モデルが適切なら新しいデータに対して精度の高い予測が可能
37 モデル検証のためのデータ分割ホールドアウトホールドアウトとはある割合でデータを学習用と検証用に分ける方法です。学習用データで学習したあと、検証用データで予測を行い、評価します。一般的に２対１、４対１、９対１などで分割されます。学習用データ検証用データ  最も単純な方法  一度の学習・検証ですみ、処理時間も比較的短い  データがランダムに分布していることが前提  データが何らかの規則に従って並んでいる場合はシャッフルが必要  分布に偏りがある場合、時系列データの場合は不向き  学習用データが少ないとモデルの精度がおち、検証用データが少ないと評価の信頼性がおちる
38 モデル検証のためのデータ分割交差検証（クロスバリデーション）すべてのデータが検証用として使用されるように、ホールドアウト法を繰り返して学習用データと検証用データを入れ替える方法です。複数回の予測スコアを合わせて評価します。  分割と繰り返しが多いほど精度はあがるが、計算時間が増える  学習データが十分大きい場合はホールドアウト法でもほとんど精度が変化しない場合もある学習用データ検証用データ学習用データ学習用データ学習用データ検証用データ学習用データ学習用データ学習用データ検証用データ学習用データ学習用データ学習用データ検証用データ学習用データ学習用データ
39 まとめ
40 データの前処理とQlikの関連機能前処理 Qlik AutoML Qlik Sense での加工欠損値の処理自動補完ありデータ削除、項目削除、値の置換が可能、統計値を算出して代入特徴量の削減自動・手動手動で項目削除データ型の変換手動で変換可能手動で変換可能クラスバランスー手動でデータ削減、データ追加カテゴリ変数のエンコーディング自動処理あり手動で変換可能数値変数のスケーリング自動処理あり手動で変換可能外れ値の排除ー手動で変換可能新しい特徴量の作成ー手動で変換可能検証用データの分割自動処理あり手動で変換可能学習用データの準備には下記のような前処理が必要です。 Qlik AutoMLには自動データ準備機能があります。またQlik Senseのデータ準備機能での加工も可能です。 Qlik Cloudのカタログからデータのプロファイル情報として、各項目の平均値や最頻値、値の分布などを参照することもできます。
41 参考にした書籍図解即戦力機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書株式会社アイデミー山口達輝、松田洋之技術評論社機械学習のための「前処理」入門足立悠リックテレコム Kaggleで勝つデータ分析の技術門脇大輔 , 阪田隆司 , 保坂桂佑 , 平松雄司技術評論社見て試してわかる機械学習アルゴリズムの仕組み機械学習図鑑秋庭伸也 , 杉山阿聖 , 寺田学 , 加藤公一 (監修) 翔泳社
42 その他のお知らせ
43 オンラインでの技術情報提供 Qlik Japanプリセールスチームではオンラインの技術情報提供を推進しています。セミナートレーニング LT形式のTips共有技術イベント TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik Tech Playのグループをフォローいただくと、イベント情
44 44 44 44 44 44 直近の無料Webセミナー 2月28日（火）第3回ビジネスユーザー向け機械学習入門～機械学習のモデルの評価と検証 2月は隔週の開催となります。ご注意ください。
45 45 #1 Qlik Japan User Group Meetup - キックオフ • 日時：2月21日(火曜) 15:00～18:00 (懇親会最長19:00まで) • 会場：都内会場 (申込後に別途ご案内) • アジェンダ： - ユーザー様アプリ紹介 (4社登壇決定！) - Qlik最新情報アップデート - Qlikルミナリー・Qlikアドボケイトプログラムの紹介 - Qlik Happy Hour (懇親会) • 参加お申込み→ → → - https://techplay.jp/event/886253
46 46 Webセミナーの資料はレポートで公開します。 TechPlayの申込ページの「イベントレポート」のタブから、資料と動画をご覧いただけます。
47 47 Webセミナー過去動画・資料 https://www.slideshare.net/QlikPresalesJapan/presentations https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-dEhCtvh5IJ0 YouTube プレイリスト TECH TALK Slideshare QlikPresalesJapan
48 48 48 48 48 48 Qlik Tips プレイリスト Qlik使用のちょっとした技術やコツを短い動画でご紹介しています。 https://www.youtube.com/playlist?list=PLTGfcjhh8Hh5a6vjjOlBa7mAtL2H0hw7K
49 49 49 49 49 49 「Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイブル・判型：B5 変・総ページ数：～480 ページ程度・予価本体：4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大幅にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝基本編）、ニーズの高い分析例（＝応用編）をできるだけ丁寧に紹介
50 その他の情報セミナー動画・事例紹介・デモ・新機能紹介 Qlik Japan Youtube Qlik Community Japan 製品・技術Q&A、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公開
来年もよろしくお願いします！

Check these out next

TECHTALK 20230214 ビジネスユーザー向け機械学習入門第２回～機械学習のための学習データの前処理

Recommended

More Related Content

Similar to TECHTALK 20230214 ビジネスユーザー向け機械学習入門第２回～機械学習のための学習データの前処理(20)

More from QlikPresalesJapan(20)

Recently uploaded(20)