Game Bot Identification Based on Manifold Learning


Published on

In recent years, online gaming has become one of the most popular Internet activities, but cheating activity, such as the use of game bots, has increased as a consequence. Generally, the gaming community disapproves of the use of game bots, as bot users obtain unreasonable rewards without corresponding efforts. However, bots are hard to detect because they are designed to simulate human game playing behavior and they follow game rules exactly. Existing detection approaches either disrupt players’ gaming experiences, or they assume game bots are run as standalone clients or assigned a specific goal, such as aim bots in FPS games.

In this paper, we propose a manifold learning approach for detecting game bots. It is a general technique that can
be applied to any game in which avatars’ movement is controlled by the players directly. Through real-life data traces, we show that the trajectories of human players and those of game bots are very different. In addition, although game bots may endeavor to simulate players’ decisions, certain human behavior patterns are difficult to mimic because they are AI-hard. Taking Quake 2 as a case study, we evaluate our scheme’s performance based on real-life traces. The results show that the scheme can achieve a detection accuracy of 98% or higher on a trace of 700 seconds.

  • Be the first to comment

  • Be the first to like this

No Downloads
Total views
On SlideShare
From Embeds
Number of Embeds
Embeds 0
No embeds

No notes for slide

Game Bot Identification Based on Manifold Learning

  1. 1. Game Bot Identification  based on Manifold Learning Kuan‐Ta Chen  Academia Sinica Hsing‐Kuo Pao NTUST Hong‐Chung Chang NTUST ACM NetGames 2008
  2. 2. Game Bots Game bots: automated AI programs that can perform  certain tasks in place of gamers Popular in MMORPG and FPS games MMORPGs (Role Playing Games) accumulate rewards in 24 hours a day  break the balance of power and economies in game FPS games (First‐Person Shooting Games) a) improve aiming accuracy only b) fully automated achieve high ranking without proficient skills and efforts Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 2
  3. 3. Bot Detection Detecting whether a character is controlled by a bot is  difficult since a bot obeys the game rules perfectly No general detection methods are available today State of practice is identifying via human intelligence Detect by “bots may show regular patterns or peculiar  behavior” Confirm by “bots cannot talk like humans” Labor‐intensive and may annoy innocent players Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 3
  4. 4. Related Work Prevention CAPTCHA (reverse Turing  tests) [Golle et al; 2005] Detection Process monitoring at client side [GameGuard] Bot program’s signatures are keeping changing Traffic analysis at the network [Chen et al; 2006] Remove bot traffic’s regularity by heavy‐tailed random delays Aiming bot detection using DBN [Yeung et al; 2006] Specific to aiming bots that help aim the target accurately  Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 4
  5. 5. CAPTCHA in a Japanese Online Game Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 5
  6. 6. Our Goal of Bot Detection Solutions Passive detection  No intrusion in players’ gaming experience No client software support is required Generalizable schemes (for other games and other  game genres) Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 6
  7. 7. Our Solution: Trajectory + Manifold Learning Based on the avatar’s movement trajectory in game Applicable for all genres of games where players control  the avatar’s movement directly Avatar’s trajectory is high‐dimensional (both in time  and spatial domain)  Use manifold learning to distinguish the trajectories  of human players and game bots Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 7
  8. 8. The Rationale behind Our Scheme The trajectory of the avatar controlled by a human  player is hard to simulate for two reasons: Complex context information:  Players control the movement of avatars based on their  knowledge, experience, intuition, and a great deal of  environmental information in game.  Human behavior is not always logical and optimal How to model and simulate realistic movements (for  game agents) is still an open question in the AI field.  Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 8
  9. 9. Bot Detection: A Decision Problem Q: Whether a bot is controlling a game client given the movement trajectory of the avatar? A: Yes / No? Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 9
  10. 10. Talk Progress Overview Data Description Proposed Scheme Pace vector construction Dimension Reduction using Isomap Classification Performance Evaluation Conclusion Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 10
  11. 11. Case Study: Quake 2 Choose Quake 2 as our case study A classic FPS game Many real‐life human traces are available on the Internet more realistic than traces collected in experiments Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 11
  12. 12. A Screen Shot of Quake 2 Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 12
  13. 13. Data Collection Human traces downloaded from fan sites including GotFrag Quake,  Planet Quake, Demo Squad, and Revilla Quake Site Bot traces collected on our own Quake server CR BOT 1.14 Eraser Bot 1.01 ICE Bot 1.0 Totally 143.8 hours of traces were  collected Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 13
  14. 14. Aggregate View of Trails (Human & 3 Bots) Human CR Bot Eraser ICE Bot
  15. 15. Trails of Human Players Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 15
  16. 16. Trails of Eraser Bot
  17. 17. Trails of ICE Bot
  18. 18. Talk Progress Overview Data Description Proposed Scheme Pace vector construction Dimension Reduction using Isomap Classification Performance Evaluation Conclusion Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 18
  19. 19. The Complete Process: Overview Step 1. Pace Vector Construction Step 2. Dimension Reduction with Isomap Step 3. Supervised classification Decision Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 19
  20. 20. Step 1. Pace Vector Construction For each trace sn , we compute the pace (distance) in  successive two seconds by p ksn,i+1 − sn,i k = (sn,i+1 − sn,i )T (sn,i+1 − sn,i ) We then compute the distribution (histogram) of paces  with a fixed bin size by Fn = (fn,1 , fn,2 , . . . , fn,B ) where B is the number of bins in the distribution. Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 20
  21. 21. Pace Vector: An Example B is set to 200 (dimensions) in this work Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 21
  22. 22. Step 2. Dimension Reduction with Isomap We adopt Isomap for nonlinear dimension reduction for Better classifiaction accuracy Lower computation overhead in classification Isomap Assume data points lie on a manifold A mathematical space in which every point has a neighborhood which  resembles Euclidean space, but in which the global structure may be  more complicated. (Wikipedia) 1. Construct the neighborhood graph by kNN (k‐nearest neighbor) 2. Compute the shortest geodesic path for each pair of points 3. Reconstruct data by MDS (multidimensional scaling) Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 22
  23. 23. A Graphic Representation of Isomap Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 23
  24. 24. PCA (Linear) vs. Isomap (Nonlinear) Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 24
  25. 25. Step 3. Classification Apply a supervised classifier on the Isomap‐reduced  pace vectors SVM (Support Vector Machine) in our study To decide whether a trajectory belongs to a game bot or  a human player Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 25
  26. 26. Talk Progress Overview Data Description Proposed Scheme Pace vector construction Dimension Reduction using Isomap Classification Performance Evaluation Conclusion Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 26
  27. 27. Five Methods for Comparison Method Data Input kNN Original 200‐dimension Linear SVM Pace Vectors Nonlinear SVM Isomap + kNN Isomap‐reduced Pace  Isomap + Nonlinear SVM Vectors Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 27
  28. 28. Evaluation Results Error Rate False Postive Rate False Negative Rate
  29. 29. Addition of Gaussian Noise Bot programmers can try to evade from detection by  adding random noise into bots’ movement behavior Evaluate the robustness of our schemem by adding  Gaussian noise into bots’ trajectories Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 29
  30. 30. Evaluation Results Error Rate False Postive Rate False Negative Rate Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 30
  31. 31. Cross‐Map Validation Human movement may be restricted by the environment around  him/her Whether a classifier trained for a map can be used for detecting bots on another map? The Edge The Frag Pipe Warehouse Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 31
  32. 32. Evaluation Results Error Rate False Postive Rate False Negative Rate
  33. 33. Talk Progress Overview Data Description Proposed Scheme Pace vector construction Dimension Reduction using Isomap Classification Performance Evaluation Conclusion Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 33
  34. 34. Conclusion We propose a trajectory‐based approach for detecting  game bots. The results show that the Isomap + nonlinear SVM  approach performs good and stable results. Human’s logic in controlling avatars is hard to simulate we believe this approach has the potential to be a  general yet robust bot detection methodology Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 34
  35. 35. Future Work Include more spatial‐domain information in the pace  vector Validate our methodology on other games (game genres) Kuan‐Ta Chen / Game Bot Identification based on Manifold Learning 35
  36. 36. Thank You! Kuan‐Ta Chen ACM NetGames 2008