Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

텍스트 랭크 알고리즘을 이용한 실시간 이슈 데이터 분석법

1,260 views

Published on

“실시간 급상승 검색어” 기능은 실시간으로 포털사이트 사용자들의 검색 질의(Query) 횟수를 기준으로 순위를 선정하여 시각적으로 보여줌으로써, 검색 결과를 통해 현재 어떤 것이 이슈화 되고 있는지 파악할 수 있어 많은 사용자에게 편리하게 사용되어져 왔다. 하지만, 분리된 포털사이트로 인한 검색결과의 차이와 실시간으로 쏟아지는 다량의 정보로 인해 사용자들은 한 번에 많은 데이터를 처리해야 되는 문제에 맞닥뜨리게 된다. 본 논문에서는 이러한 문제들을 해결하기 위해 사용자들이 한 번에 처리할 수 있도록 다량의 정보를 요약 및 분석해주는 기술이 필요하다고 판단되어, 실시간 급상승 검색어 데이터와 그에 파생된 많은 정보의 검색결과를 텍스트 랭크 알고리즘을 중심으로 활용하여 분석 및 요약하는 기술을 제안한다.

Published in: Technology
  • Be the first to comment

텍스트 랭크 알고리즘을 이용한 실시간 이슈 데이터 분석법

  1. 1. Real-time Issue Data Analysis Using TextRank Algorithm
  2. 2. I N T R O D U C E M Y S E L F JADE YEOM; Software Engineer & UX/UI Designer 1999.11.21 “EXPERIMENT, FAIL, LEARN, REPEAT.” Education February, 2018 - 14 1 February, 2015 - Careers April, 2016 - Founder March, 2016 ~ April, 2017 - Software Engineer Awards 30 Oct, 2013 - (SchoolSOS) 31 October, 2014 - (QuickTask) SKPlanet Smarteen App Challenge 2015 August, 2015 - ( do:learn) 2016 UNIST August, 2016 - 8 July, 2017 - ( ) E X P E R I M E N T, F A I L , L E A R N , R E P E AT.
  3. 3. 1
  4. 4. P R O B L E M S A N D R E S E A R C H M E T H O D S
  5. 5. P R O B L E M S A N D R E S E A R C H M E T H O D S
  6. 6. 1 500   . P R O B L E M S A N D R E S E A R C H M E T H O D S
  7. 7. ? P R O B L E M S A N D R E S E A R C H M E T H O D S ?
  8. 8. * 2014 P R O B L E M S A N D R E S E A R C H M E T H O D S
  9. 9. , . ? P R O B L E M S A N D R E S E A R C H M E T H O D S !
  10. 10. P R O B L E M S A N D R E S E A R C H M E T H O D S 1 2 3
  11. 11. 2
  12. 12. PA G E R A N K A L G O R I T H M (Vertex) , (Edge) (In graph theory)
  13. 13. A 0.25 B 0.25 C 0.25 D 0.25 PA G E R A N K A L G O R I T H M A-D / B-C,D / C-B,D / D-A,B,C . A D 0.25 B C, D 0.125 C B, D 0.125 D A, B, C 0.08333 ( )
  14. 14. PA G E R A N K A L G O R I T H M A 0.083 B 0.208 C D 0.50.208 A-D / B-C,D / C-B,D / D-A,B,C . A D 0.25 B C, D 0.125 C B, D 0.125 D A, B, C 0.08333 ( )
  15. 15. T E X T R A N K A L G O R I T H M A 0.083 B 0.208 C D 0.50.208 , . , . TextRank: Bringing Order into Texts Rada Mihalcea and Paul Tarau
  16. 16. 3
  17. 17. T E X T R A N K A L G O R I T H M (Schema)
  18. 18. T E X T R A N K A L G O R I T H M 30
  19. 19. 4
  20. 20. T E X T R A N K A L G O R I T H M 7 1,000 7 KSCY 20 21 . , , 1,000 . ( , ) ( , 2 ) / , , . 20 . KSCY , , , , - , Global Session 9 30 . . , , 1 11 (www.kscy.kr) . KSCY , , . 9 (Sentence) 211 (Noun) .
  21. 21. T E X T R A N K A L G O R I T H M , , 1 11 (www.kscy.kr) . B , , 1,000 . A SENTENCE SENTENCE , , , , , , , , , , , , , , , , , , , , , , A NOUNS , , , , , , , , , , , , , , , , , , , , , , B NOUNS
  22. 22. ? ! T E X T R A N K A L G O R I T H M
  23. 23. * (Cosine Similarity) (Structural Equivalence) T E X T R A N K A L G O R I T H M
  24. 24. T E X T R A N K A L G O R I T H M
  25. 25. T E X T R A N K A L G O R I T H M , , 1,000 . A SENTENCE , , 1 11 (www.KSCY.kr) . B SENTENCE 0.60000 .
  26. 26. TR 3 , , 1,000 0.16804301901203098 4 ( , ) ( , 2 ) / , , 0.12720921437593927 2 7 KSCY 20 21 . 0.12403895720955871 8 , , 1 11 (www.KSCY.kr) . 0.12161567732116019 9 KSCY , , 0.11094304196222915 5 KSCY , , , , - , Global Session 9 30 0.09781542856211028 5 20 0.09671097626842523 7 0.08109264598251792 1 7 1,000 0.07253103930602833 T E X T R A N K A L G O R I T H M
  27. 27. 7 1,000 7 KSCY 20 21 . , , 1,000 . ( , ) ( , 2 ) / , , . 20 . KSCY , , , , - , Global Session 9 30 . . , , 1 11 (www.KSCY.kr) . KSCY , , . 30% 7 KSCY 20 21 . , , 1,000 . ( , ) ( , 2 ) / , , . 30% T E X T R A N K A L G O R I T H M
  28. 28. T E X T R A N K A L G O R I T H M , . ' ' . 10 SNS  " # # " . . . (11 ) ' ' 1 6 vs MVP,  8  vs  .
  29. 29. T E X T R A N K A L G O R I T H M TR 2 10 SNS " # # " , , , , , , , , , , 0.3644289912306943 1 ' ' . , , , , , , , , , 0.17644170069290174 3 . , , , , , , , 0.17348340763075204 5 (11 ) ' ' 1 6 vs MVP,  8  vs  , , , , , , , , , , , 0.1446443616177518 4 , , , , , , 0.14100153882790015
  30. 30. / (Jaccard Transformed Index For Specific Union) T E X T R A N K A L G O R I T H M ' ' . A SENTENCE (11 ) ' ' 1 6 vs MVP,  8  vs  B SENTENCE 0.04347826 0.13043478
  31. 31. T E X T R A N K A L G O R I T H M TR 5 (11 ) ' ' 1 6 vs MVP,  8  vs  , , , , , , , , , , , , , 0.36405889831533783 1 ' ' . , , , , , , , , , 0.20943504244072794 4 , , , , , , , 0.14793614614904468 3 , , , , , , , , , , , 0.14014931482237628 2 10 SNS  " # # " . , , , , , , 0.13842059827251335
  32. 32. “ 5 . HQ .” “ 1 .” “ 5 .” 1. “ 5 , 1 .” 2. T E X T R A N K A L G O R I T H M
  33. 33. “ 5 , 1 . .” 3. . T E X T R A N K A L G O R I T H M
  34. 34. 4. , . keyword summary_issue started_at ended_at rank_avg . . 2017-07-10 16:19:14 2017-07-10 20:32:30 3.8 . . ' ' . 2017-07-10 14:18:41 2017-07-10 16:19:00 2.4 2015 . . 2017-07-10 08:18:41 2017-07-10 10:12:30 5.3 T E X T R A N K A L G O R I T H M
  35. 35. 5
  36. 36. R E S U LT S
  37. 37. F U T U R E R E S E A R C H A N D E X P E C T E D E F F E C T S .
  38. 38. https://rankr.kr https://github.com/endlessdev/summarizer F U T U R E R E S E A R C H A N D E X P E C T E D E F F E C T S
  39. 39. Real-time Issue Data Analysis Using TextRank Algorithm
  40. 40. Real-time Issue Data Analysis Using TextRank Algorithm THANK YOU FOR ATTENTION.

×