Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

DataConf.TW2019- User's Sequential Behavior Modeling at Cathay Financial Holdings

0 views

Published on

We reshaped user's behavior into a word, transformed past sequential behavior into a sentence, and applied Natural Language Processing(NLP) model. Results showed that the application of NLP on user's sequntial behavior was successful.

Published in: Data & Analytics
  • Be the first to comment

DataConf.TW2019- User's Sequential Behavior Modeling at Cathay Financial Holdings

  1. 1. User’s Sequential Behavior Modeling How we used in Cathay Financial Holdings Speaker@DataConf.TW2019: Ta-Chun Su
  2. 2. Agenda 01 The importance of Sequential Behavior Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Visualization 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling
  3. 3. Agenda 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Visualization 03 Case- MyRewards ✦ Embedding- Better representations of a word 01 The importance of Sequential Behavior Information ✦ Application- 1. Visualization 2. Modeling ✦ Behavior ✦ Sequence
  4. 4. 什什麼是⾏行行為序列列 Timeline 2018-10-30 20:38 在 MOMO 消費 195 元 2019-08-07 17:45 進線客服: 信⽤用卡異異常 2019-08-07 08:41 在 Uber 消費 185 元 2019-08-07 16:39 在星巴克信義店消費 授權失敗 2018-04-30 12:11 客訴網路路當機 2018-01-23 15:11 官網購買長榮機票 2017-9-23 01:42 官網點擊長榮機票 2017-9-25 17:24 官網點擊長榮機票
  5. 5. 跨集團產品推薦 數位資料 客服進線 風險預警 電商 物流 什什麼場景需要⾏行行為序列列 … …
  6. 6. 模型訓練⽅方式 男 20 是 … 2 0 1 … 1 … 熱拿鐵 男 21 否 … 4 2 1 … 1 … 茶茶葉蛋 女 22 是 … 0 1 1 … 1 … 茶茶葉蛋 女 35 是 … 1 1 0 … 0 … 85度c 性別 年年紀 商品的歷史兌換次數 (one-hot encoding) Y… 茶茶葉蛋熱拿鐵 冰拿鐵養樂多 過去N天 是否兌換
  7. 7. 歷史訊息彙總類變數 1. 易易造成維度過⾼高問題 2. 看不出: ⾏行行為(商品)之間的關聯聯性 3. 看不出: ⽤用⼾戶⾏行行為序列列間的關聯聯性 1-of-N Encoding問題
  8. 8. ⾏行行為之間的關聯聯性 Timeline ⼩小韓 ⼩小英
  9. 9. ⾏行行為之間的關聯聯性 Timeline ⼩小韓 ⼩小英 2019-08-07 18:31
  10. 10. ⾏行行為之間的關聯聯性 Timeline ⼩小韓 ⼩小英 2019-08-07 19:022019-08-07 18:31
  11. 11. ⾏行行為之間的關聯聯性 Timeline ⼩小韓 ⼩小英 2019-08-07 22:012019-08-07 19:022019-08-07 18:31
  12. 12. ⾏行行為之間的關聯聯性 Timeline ⼩小韓 ⼩小英 2019-08-07 22:012019-08-07 19:022019-08-07 18:31 2019-08-07 17:41
  13. 13. ⾏行行為之間的關聯聯性 Timeline ⼩小韓 ⼩小英 2019-08-07 22:012019-08-07 19:022019-08-07 18:31 2019-08-07 18:532019-08-07 17:41
  14. 14. ⾏行行為之間的關聯聯性 Timeline ⼩小韓 ⼩小英 2019-08-07 22:012019-08-07 19:022019-08-07 18:31 2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41
  15. 15. ⾏行行為之間的關聯聯性 Timeline ⼩小韓 ⼩小英 2019-08-07 22:012019-08-07 19:022019-08-07 18:31 2019-08-07 18:53 2019-08-07 21:552019-08-07 17:41
  16. 16. ⼩小韓 ⾏行行為序列列間的關聯聯性: 以⾏行行動⽀支付為例例 1/29 1/311/301/30 收到轉帳款項 收到轉帳款項修改帳⼾戶資訊更更改⽤用⼾戶⼤大頭貼 轉出款項 Timeline ⼩小明
  17. 17. ⼩小韓 ⾏行行為序列列間的關聯聯性: 以⾏行行動⽀支付為例例 1/29 1/311/301/30 收到轉帳款項 收到轉帳款項修改帳⼾戶資訊更更改⽤用⼾戶⼤大頭貼 轉出款項 Timeline ⼩小明
  18. 18. ⾏行行為序列列很重要
  19. 19. ⾏行行為序列列很重要 如何萃取⾏行行為意義
  20. 20. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Visualization 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling
  21. 21. [1, 0, 0, 0, 0, 0, 0, …, 0] [0, 1, 0, 0, 0, 0, 0, …, 0] [0, 0, 1, 0, 0, 0, 0, …, 0] [0, 0, 0, 1, 0, 0, 0, …, 0] [0, 0, 0, 0, 1, 0, 0, …, 0] catapple wordv 過去:定義⽂文字向量量
  22. 22. [1, 0, 0, 0, 0, 0, 0, …, 0] [0, 1, 0, 0, 0, 0, 0, …, 0] [0, 0, 1, 0, 0, 0, 0, …, 0] [0, 0, 0, 1, 0, 0, 0, …, 0] [0, 0, 0, 0, 1, 0, 0, …, 0] catapple wordv 過去:定義⽂文字向量量 現在:Word Embedding
  23. 23. Hottest Pre-trained Embedding Method BERT ELMO XLNETMT − DNN Word2Vec ERNIE
  24. 24. Hottest Pre-trained Embedding Method BERT ELMO XLNETMT − DNN Word2Vec ERNIE
  25. 25. Word2Vec
  26. 26. Word2Vec
  27. 27. Word2Vec
  28. 28. Pre-trained Word Embedding
  29. 29. 1. Visualization 2. Modeling Convolutional Neural Networks for Sentence Classification Word embedding 應⽤用
  30. 30. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Visualization 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling
  31. 31. ⼀一篇⽂文章 韓國 氣象廳 表⽰示 , 康芮 在 沖繩 東南⽅方 1080 公⾥里里 附近 海海上 , 以 時速 20 公⾥里里 的 速度 , 往 ⻄西北 偏⻄西 ⽅方向 移動 ⼀一連串串的序列列⾏行行為 點擊商品茶茶葉蛋 點擊商品紅茶茶拿鐵 我要兌換紅茶茶拿鐵 我要送禮紅茶茶拿鐵
  32. 32. !19 韓國 氣象廳 表⽰示 , 康芮 在 沖繩 東南⽅方 1080 公⾥里里 附近 海海上 , 以 時速 20 公⾥里里 的 速度 , 往 ⻄西北 偏⻄西 ⽅方向 移動 點擊商品茶茶葉蛋 點擊商品紅茶茶拿鐵 我要兌換紅茶茶拿鐵 我要送禮紅茶茶拿鐵 ⼀一篇⽂文章 ⼀一連串串的序列列⾏行行為
  33. 33. !19 韓國 氣象廳 表⽰示 , 康芮 在 沖繩 東南⽅方 1080 公⾥里里 附近 海海上 , 以 時速 20 公⾥里里 的 速度 , 往 ⻄西北 偏⻄西 ⽅方向 移動 點擊商品茶茶葉蛋 點擊商品紅茶茶拿鐵 我要兌換紅茶茶拿鐵 我要送禮紅茶茶拿鐵 透過前後⽂文, 描述詞語間的關聯聯性: Word Embedding ⼀一篇⽂文章 ⼀一連串串的序列列⾏行行為
  34. 34. !19 韓國 氣象廳 表⽰示 , 康芮 在 沖繩 東南⽅方 1080 公⾥里里 附近 海海上 , 以 時速 20 公⾥里里 的 速度 , 往 ⻄西北 偏⻄西 ⽅方向 移動 點擊商品茶茶葉蛋 點擊商品紅茶茶拿鐵 我要兌換紅茶茶拿鐵 我要送禮紅茶茶拿鐵 透過前後⽂文, 描述詞語間的關聯聯性: Word Embedding 透過前後⾏行行為, 描述⾏行行為間的關聯聯性: Behavior Embedding ⼀一篇⽂文章 ⼀一連串串的序列列⾏行行為
  35. 35. 紅茶茶 紅茶茶 茶茶葉蛋 紅茶茶 85度c 50元飲料任選 85度c 50元飲料任選 熱拿鐵 熱拿鐵 Haagen-dazs 迷我杯 原燒套餐券 茶茶葉蛋熱拿鐵 養樂多 紅茶茶 熱拿鐵 定義⽂文本 Timeline Corpus window=2, min_count=2, size=100, negative=50
  36. 36. 紅茶茶 紅茶茶 茶茶葉蛋 紅茶茶 85度c 50元飲料任選 85度c 50元飲料任選 熱拿鐵 熱拿鐵 Haagen-dazs 迷我杯 原燒套餐券 茶茶葉蛋熱拿鐵 養樂多 紅茶茶 熱拿鐵 Item Sequences 定義⽂文本 Corpus window=2, min_count=2, size=100, negative=50
  37. 37. MR2V MR2V Item Vectors Dimensions (4 dim) [ [ [ [ [ [ [ [ [ [ window=2, min_count=2, size=100, negative=50
  38. 38. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Visualization 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling
  39. 39. Visualization- Top 10 similar item
  40. 40. Visualization- Top 10 similar item
  41. 41. Visualization- Top 10 similar item
  42. 42. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Visualization 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling
  43. 43. 預測目的 幫助客服專員解決服務的三個痛點 客戶問題描述不清 繁雜問題常進線客服 客戶進線缺乏耐心 客戶不熟銀行業務易誤用詞彙 應對複雜的熱門商品 93% 進線客服為信用卡業務 客戶最為關心信用卡帳務 通話服務及時間壓力 法規: 80 % 進線須於 30 秒內接起 時常要安撫客戶情緒 員工流動率高、培訓成本增
  44. 44. 2018-10-30 20:38 在 MOMO 消費 195 元 2019-08-07 17:45 進線客服: 信⽤用卡異異常 2019-08-07 08:41 在 新光三越 消費 104 元 2019-08-07 16:39 在星巴克信義店消費授權失敗 2018-10-18 20:38 進線客服申請信⽤用卡掛失 2018-10-12 15:19 信⽤用卡開卡 2018-10-01 18:41 在好市多消費 2145 元 2018-10-02 09:23 在新光三越消費 184 元 假設:有因有果
  45. 45. ⾦金金控客⼾戶歷程
  46. 46. 2018-06-22 13:57:12 在信義分⾏行行開立台幣存款帳⼾戶 2018-06-11 20:38:07 在 ATM 從台幣存款帳 ⼾戶提款 3,000 元 2018-06-13 15:19:28 透過業務⼈人員詢問防癌保險的投保資訊 2018-06-05 09:23:58 進線客服中⼼心申請信⽤用卡掛失 2018-06-18 10:38:40 ⽤用樹精靈買進國泰⾦金金股票 55,100 元 建立以客⼾戶為中⼼心的 歷程資料
  47. 47. 如何⽤用在客服進線
  48. 48. 如何⽤用在客服進線 ⾸首先要知道怎麼把⾏行行為定義成⽂文字
  49. 49. 千千萬萬種⾏行行為 2018-10-30 20:38 在 MOMO 消費 195 元 2019-08-07 17:45 進線客服: 信⽤用卡異異常 2019-08-07 08:41 在 Uber 消費 185 元 2019-08-07 16:39 在星巴克信義店消費 授權失敗 2018-10-18 20:38 在新光三越消費 184 元 2018-10-12 15:19 KOKO信⽤用卡開卡 2018-10-01 18:41 在好市多消費 2145 元 2018-10-02 09:23 信義分⾏行行ATM提款777元 … 2018-04-30 12:11 台幣存款99元 2018-01-23 15:11 在新光三越消費499元 2017-9-23 01:42 官網瀏覽長榮機票 2017-9-25 17:24 在全家繳信⽤用卡帳單200元 Timeline
  50. 50. Initialized Word Embedding Dimemb Word Vector 0.12 0.32 0.67 0.71 0.54 0.23 0.11 0.67 0.91 0.25 0.12 0.42 0.54 0.44 0.11 0.87 0.24 0.32 0.34 0.22 0.35 0.54 0.11 0.56 0.11 0.58 0.23 -0.12 0.91 0.22 0.24 0.34 0.34 0.39 0.31 0.69 0.67 0.56 0.56 0.55 0.91 … 0.23 0.54 0.93 0.23 0.56 0.67 0.51 0.22 0.68 0.67 0.77 0.91 0.34 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 … 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤用卡帳單200元 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [
  51. 51. 如果有N筆⾏行行為,N筆⽂文字向量量是好的嗎
  52. 52. Case1 Dimemb Word Vector 0.12 0.32 0.67 0.71 0.54 0.23 0.11 0.67 0.91 0.25 0.12 0.42 0.54 0.44 0.11 0.87 0.24 0.32 0.34 0.22 0.35 0.54 0.11 0.56 0.11 0.58 0.23 -0.12 0.91 0.22 0.24 0.34 0.34 0.39 0.31 0.69 0.67 0.56 0.56 0.55 0.91 … 0.23 0.54 0.93 0.23 0.56 0.67 0.51 0.22 0.68 0.67 0.77 0.91 0.34 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 … 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤用卡帳單200元 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [
  53. 53. Case1 Dimemb Word Vector 0.12 0.32 0.67 0.71 0.54 0.23 0.11 0.67 0.91 0.25 0.12 0.42 0.54 0.44 0.11 0.87 0.24 0.32 0.34 0.22 0.35 0.54 0.11 0.56 0.11 0.58 0.23 -0.12 0.91 0.22 0.24 0.34 0.34 0.39 0.31 0.69 0.67 0.56 0.56 0.55 0.91 … 0.23 0.54 0.93 0.23 0.56 0.67 0.51 0.22 0.68 0.67 0.77 0.91 0.34 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 … 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤用卡帳單200元 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [
  54. 54. Case2 Dimemb Word Vector 0.12 0.32 0.67 0.71 0.54 0.23 0.11 0.67 0.91 0.25 0.12 0.42 0.54 0.44 0.11 0.87 0.24 0.32 0.34 0.22 0.35 0.54 0.11 0.56 0.11 0.58 0.23 -0.12 0.91 0.22 0.24 0.34 0.34 0.39 0.31 0.69 0.67 0.56 0.56 0.55 0.91 … 0.23 0.54 0.93 0.23 0.56 0.67 0.51 0.22 0.68 0.67 0.77 0.91 0.34 台灣銀⾏行行提款199 元 國泰世華銀⾏行行提款199元 富邦銀⾏行行提款199元 ⽟玉⼭山銀⾏行行提款199元 … ⼟土地銀⾏行行提款199 元 台新銀⾏行行提款199元 華南銀⾏行行提款199 元 花旗銀⾏行行提款199 元 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ 王道銀⾏行行提款199元
  55. 55. 怎麼把⾏行行為定義成好的⽂文字
  56. 56. 如何定義⽂文字 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤用卡帳單200元 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 在 其他 消費 3位數 在 Uber 消費 3位數 在星巴克授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 其他 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳帳單3位數 原⾏行行為歷程表⽰示 顆粒度重整-1 顆粒度重整-2 在 MOMO 消費 3位數 在 Uber 消費 3位數 在星巴克信義店授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 MOMO 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳信⽤用卡帳單3位數
  57. 57. 如何定義⽂文字 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤用卡帳單200元 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 在 其他 消費 3位數 在 Uber 消費 3位數 在星巴克授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 其他 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳帳單3位數 原⾏行行為歷程表⽰示 顆粒度重整-1 顆粒度重整-2 在 MOMO 消費 3位數 在 Uber 消費 3位數 在星巴克信義店授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 MOMO 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳信⽤用卡帳單3位數
  58. 58. 如何定義⽂文字 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤用卡帳單200元 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 2019-08-07 08:41 在 其他 消費 3位數 在 Uber 消費 3位數 在星巴克授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 其他 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳帳單3位數 原⾏行行為歷程表⽰示 顆粒度重整-1 顆粒度重整-2 在 MOMO 消費 3位數 在 Uber 消費 3位數 在星巴克信義店授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 MOMO 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳信⽤用卡帳單3位數
  59. 59. 如何定義⽂文字 信⽤用卡刷卡 信⽤用卡刷卡 信⽤用卡刷卡 信⽤用卡刷卡 信⽤用卡刷卡 信⽤用卡刷卡 信⽤用卡刷卡 官網瀏覽 信⽤用卡帳單 顆粒度重整-3 在 MOMO 消費 195 元 在 Uber 消費 185 元 在星巴克信義店授權失敗 在新光三越消費 184 元 在好市多消費 2145 元 在 MOMO 消費 299 元 在新光三越消費 499元 官網瀏覽長榮機票 在全家繳信⽤用卡帳單200元 在 其他 消費 3位數 在 Uber 消費 3位數 在星巴克授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 其他 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳帳單3位數 原⾏行行為歷程表⽰示 顆粒度重整-1 顆粒度重整-2 在 MOMO 消費 3位數 在 Uber 消費 3位數 在星巴克信義店授權失敗 在新光三越消費 3位數 在好市多消費 4位數 在 MOMO 消費 3位數 在新光三越消費 3位數 官網瀏覽長榮機票 在全家繳信⽤用卡帳單3位數
  60. 60. 請款 帳單 繳款授權 進件 開卡 活動 登錄 紅利利異異動 現⾦金金回饋 僅包含: ⼀一般消費(退回)、預借現⾦金金(負項)、分期前交易易 消費⽇日 入帳⽇日 結帳⽇日 繳款⽇日 進件⽇日 開卡⽇日 登錄⽇日 異異動⽇日 客⼾戶歷程資料: 信⽤用卡八⼤大⾏行行為
  61. 61. 授權 授權結果 拒絕原因 原始幣別 店家的國家 折台幣⾦金金額 ⼿手機⽀支付 實體卡片 卡種 卡等 event twd_amt_ flag txn_au_re sp_desc txn_decli ne_desc txn_curre ncy_code merchant_l ocation_co untry_code card_type card_level payment _desc is_physi cal_card event_p ercent creditcard_autho rization positive-4- digits Approved Not Declined TWD TW 9.Costco聯聯名卡 ⼀一般卡 Normal TRUE 10.24% creditcard_autho rization positive-4- digits Approved Not Declined TWD TW 13.台塑聯聯名卡 ⼀一般卡 Normal TRUE 7.45% creditcard_autho rization positive-3- digits Approved Not Declined TWD TW 9.Costco聯聯名卡 ⼀一般卡 Normal TRUE 6.85% creditcard_autho rization positive-4- digits Approved Not Declined TWD TW 1.Bank Card ⼀一般卡 Normal TRUE 3.91% creditcard_autho rization positive-3- digits Approved Not Declined TWD TW 1.Bank Card ⼀一般卡 Normal TRUE 3.62% 客⼾戶歷程資料: 調整⾏行行為顆粒度 A95276897788609 A95276897788609 A95276897788609
  62. 62. User Behavior Table A95276897788609 A95276897788609 A95276897788609 A95276897788609 A95276897788609 A95276897788609
  63. 63. Recalibrated Behavior Vector Dimemb Word Vector 0.12 0.32 0.71 0.54 0.23 0.11 0.91 0.12 0.42 0.44 0.24 0.32 0.34 0.22 0.54 0.11 0.56 -0.12 0.91 0.22 0.24 0.34 0.39 0.31 0.69 [ [ [ [ [ [ [ [ [ [ [ [
  64. 64. Agenda 01 The importance of Sequential Information ✦ Behavior ✦ Sequence 02 NLP: World of word embedding 04 Case- CIP ✦ Advanced Preprocessing- How we define “word” ✦ Modeling ✦ Preprocessing- How we define “word” ✦ Visualization 03 Case- MyRewards ✦ Embedding- Better representations of a word ✦ Application- 1. Visualization 2. Modeling
  65. 65. 2019/10/01 01 02 03 04 01 02 03 04 05 06 07 08 09 Day Hour ⽤用KOKO COMBO卡在PCHOME消費18650元 2018/10/01 02:03 - 信⽤用卡交易易 ⾦金金融 ⾏行行為 ⽤用Costco聯聯名卡在好市多內湖店消費2145元 2018/10/03 00:48 - 信⽤用卡交易易 ⾦金金融 ⾏行行為 CTI CTI CTI ⽤用台塑聯聯名卡在新店加油站消費487元 2018/10/01 04:48 - 信⽤用卡交易易 ⾦金金融 ⾏行行為 2018-10-01 08:58 在其他商家消費3位數 2016-9-23 01:42 官網瀏覽機票 2018-9-25 17:24 在全家繳信⽤用卡帳單3位數 … 2018-10-01 03:51 在其他商家消費3位數 2017-9-25 17:24 在MOMO消費5位數 … … 2017-9-25 17:24 在YAHOO消費5位數 定義模型訓練⽅方式 過去⼀一個⽉月內⾏行行為
  66. 66. 模型輸入 x1 x2 xn 2019-08-07 17:45 進線客服: 信⽤用卡異異常 2019-08-07 08:41 在 Uber 消費3位數 2019-08-07 16:39 在星巴克信義店消費 授權失敗 2018-10-12 15:19 信⽤用卡開卡 2018-10-01 18:41 在好市多消費4位數 2018-10-02 09:23 進線客服申請信⽤用卡掛失 … 2018-01-23 15:11 在新光三越消費3位數 2017-9-23 01:42 官網瀏覽長榮機票 2017-9-25 17:24 在全家繳信⽤用卡帳單3位數 … 下⼀一通進線問題
  67. 67. Attention Model Fig. from HuggingFace DeepMoji model 進線問題 *24 xAgg x1 x2 x3 xN…
  68. 68. Attention Model Fig. from HuggingFace DeepMoji model 進線問題 *24 xAgg x1 x2 x3 xN…
  69. 69. C1 C2 C3 Source Target Attention Mechanism
  70. 70. C1 C2 C3 Source Target 我⽩白天是student Attention Mechanism
  71. 71. C1 C2 C3 Source Target 我⽩白天是student I am a student during daytime Attention Mechanism
  72. 72. C1 C2 C3 Source Target 我⽩白天是student I am a student during daytime Attention Mechanism 我 ⽩白天 是 student I am a student during daytime
  73. 73. Attention Score a1 = 0.7 a2 = 0.2 a3 = 0.1 信⽤用卡授權, 授權結果 拒絕原因, 原始幣別 店家的國家, 折台幣⾦金金額 ⼿手機⽀支付, 實體卡片 卡種,卡等 信⽤用卡帳單, 應繳總額, 最低應繳⾦金金額, 上期是否繳清 循 環利利息, 預借現⾦金金, 是否⾃自動扣繳, 繳款截⽌止⽇日 交易易型態, 紅利利種類 兌換管道, 異異動點數/⾥里里程 預借現⾦金金
  74. 74. Attention Score a1 = 0.7 a2 = 0.2 a3 = 0.1 信⽤用卡授權, 授權結果 拒絕原因, 原始幣別 店家的國家, 折台幣⾦金金額 ⼿手機⽀支付, 實體卡片 卡種,卡等 信⽤用卡帳單, 應繳總額, 最低應繳⾦金金額, 上期是否繳清 循 環利利息, 預借現⾦金金, 是否⾃自動扣繳, 繳款截⽌止⽇日 交易易型態, 紅利利種類 兌換管道, 異異動點數/⾥里里程 預借現⾦金金
  75. 75. 模型成效 AUC
  76. 76. 模型成效 AUC
  77. 77. In Progress
  78. 78. Self Attention Fig. from Jay Alammar
  79. 79. Streaming Framework
  80. 80. 結論 Sequential behavior is all you need

×