Sourcing and Matching: Artificial Intelligence vs. Human Cognition


Published on

Glen Cathey's presentation from Sourcecon 2010.

Published in: Business, Technology
1 Comment
No Downloads
Total views
On SlideShare
From Embeds
Number of Embeds
Embeds 0
No embeds

No notes for slide

Sourcing and Matching: Artificial Intelligence vs. Human Cognition

  1. 1. Sourcing and Matching  Glen Cathey  V.P. Recrui3ng, Kforce 
  2. 2. What’s the big deal? 
  3. 3. Hidden Talent Pools can be at least   30‐40% of each database/source 
  4. 4. “When every business has free and ubiquitous  data, the ability to understand it and extract  value from it becomes the complimentary scarce  factor. It leads to intelligence, and the intelligent  business is the successful business, regardless of  its size. Data is the sword of the 21st century,  those who wield it well, the Samurai.”                          ‐Jonathan Rosenberg, SVP, Product Management @ Google 
  5. 5. Finding people is easy… 
  6. 6. Finding the right people  IS NOT! 
  7. 7.   Stop wasting time trying to create difficult and  complex Boolean search strings    Let “intelligent search and match applications”  do the work for you    A single query will give you the results you  need ‐ no more re‐querying, no more waste of  time! 
  8. 8. How do they really work? 
  9. 9.   Intuit experience by context = resume parsing    Parsing breaks down and extracts resume  information  
  10. 10.   Well developed ontologies and taxonomies    Hierarchical 
  11. 11.   Synonymous taxonomy    Programmer, Software Engineer, Developer    Tax Manager, Manager of Tax    CSR, Customer Service Representative    Ruby on Rails, RoR, Rails, Ruby    Oracle Financials, Oracle Applications, e‐Business  Suite, etc. 
  12. 12.   Some applications use complex statistical  methods in an attempt to "understand"  language and relationships between words 
  13. 13.   Keywords with the same or similar meanings in  a natural language sense tend to be "close" in  units of Google distance, while words with  dissimilar meanings tend to be farther apart 
  14. 14.   Non‐interactive and unsupervised machine  learning technique seeking to automatically  analyze and define relationships between  words and concepts 
  15. 15.   The design and development of algorithms  that allow computers to evolve behaviors  based on empirical data    A major focus is to automatically learn to  recognize complex patterns and make  intelligent decisions based on data 
  16. 16.   Aims to classify data (patterns) based either on  a priori knowledge or on statistical information  extracted from the patterns    Ex. Computer‐aided‐diagnosis, spam/non‐spam 
  17. 17.   Finds approximate matches to a pattern in a  string    Useful for word and phrase variations and  misspellings 
  18. 18. PROS and CONS 
  19. 19.   Can lessen or eliminate the need for recruiters  to have deep and specialized knowledge within  an industry or skill set    Reduce and even eliminate time spent on  research    Reduce time to find relevant matches 
  20. 20.   Go beyond literal, identical lexical matching    Levels the playing field    Can make an inexperienced person look like a  sourcing wizard 
  21. 21.   Good for simple/straightforward positions,  where title matching works well and there is a  low volume and variety of keywords    Good for a high volume of unchanging hiring  needs    Good for teams with low search/sourcing  capability  
  22. 22.   Removes thought from the talent identification   process    Danger of eliminating the need for recruiters to  understand what they’re searching for    Information technology, healthcare, and other  sectors/verticals can create pose serious  challenges 
  23. 23.   Apps find some people, miss or bury others    Level the playing field    Different users find and miss the same people 
  24. 24.   Belief that one search finds all of the best  candidates is intrinsically flawed    Best candidates are not necessarily the ones  with the “best” resumes    Can favor keyword rich resumes  
  25. 25.  Sr. Storage & Systems Administrator.   The current environment is SAP & ORACLE on EMC storage and Unix Operating  Systems. The current production database size is 9TB and total storage capacity in  the SAN environment is more then 200TB spread across EMC frames like DMX3 &  DMX2000, DMX800, 8830, 8730, 8430, CX3 & IBM shark F20 & 800.    All SAN storage is connected through the Mcdata 140 & 6064 director level switches  and CISCO MDS 9000. Currently 8 switches are configured in the environment.   Primarily administering and managing SAN storage and secondary all high‐end  servers.  Configured all the EMC storage, creating Symdevices, converting  Symdevices, and creating Metas, allocating/Unallocating to FA, Configuring BCV and  SRDF using the Symconfigure manager & ECC 5.2. Creating zoning on MCDATA  Switches using ECC as well as EFC connectrix manager software. 
  26. 26.  Storage Area Network (SAN) Engineer (Infrastructure Specialist)          In this position I design, develop and test numerous storage solutions utilizing  Network Appliance and EMC products for the largest enterprise active directory  environment in the world (NMCI). I am responsible for meeting life cycle deliverables  and the creation of engineering documentation for use during implementation. I also  participate in the engineering of incentive "proof of concept" projects for potential  corporate revenue for the next fiscal year. Some of these projects include Enterprise  Quota management of file services and Distributed File Service (DFS) utilizing  Windows 2003 R2 Server. This position requires interfacing with numerous vendors  while maintaining and developing bleeding edge SAN technology for a fast paced  environment servicing the Navy and Marine Corps customers ensuring we provide  quality services to meet their proposed requirements. 
  27. 27.   Pre‐built taxonomies are limited in their  completeness    Taxonomies are only as good as who created  them    Cannot “think outside of the box” 
  28. 28.   Related words may not be relevant  
  29. 29.   Match primarily on titles and skill terms    Some applications rank results favoring recent  employment duration    May not be legal/OFCCP compliant 
  30. 30.   Apps are not aware of who they didn’t find    Apps don’t “know” what you’re looking for    Applications are not truly intelligent 
  31. 31.   The capability of a machine to imitate  intelligent human behavior     Artificial = humanly contrived  Source: Merriam‐ 
  32. 32.   The ability to learn or understand or to deal  with new or trying situations: REASON; also:  the skilled use of reason     The ability to apply knowledge to manipulate  one’s environment or to think abstractly  Source: Merriam‐ 
  33. 33.   The power of comprehending, inferring, or  thinking specifically in orderly rational ways     Infer = to derive as a conclusion from facts or  premises   Source: Merriam‐ 
  34. 34.   Dr. Michio Kaku    Theoretical physicist and futurist  specializing in string field theory    Currently working on completing  Einstein's dream of a unified field  theory    What are his thoughts on AI? 
  35. 35.   “…pattern recognition and common sense are  the two most difficult, unsolved problems in  artificial intelligence theory. Pattern  recognition means the ability to see, hear, and  to understand what you are seeing and  understand what you are hearing. Common  sense means your ability to make sense out of  the world, which even children can perform.”                        ‐ Dr. Michio Kaku 
  36. 36.   The job market of the future will be  “dominated by jobs involving common sense  (e.g. leadership, judgment, entertainment, art,  analysis, creativity) and pattern recognition  (e.g. vision and non‐repetitive jobs).  Jobs like  brokers, tellers, agents, low level accountants  and jobs involving inventory and repetition will  be eliminated.”                       ‐ Dr. Michio Kaku 
  37. 37.   Search and match applications do not possess  any true cognitive power    Cognitive: involving conscious intellectual  activity (as thinking, reasoning, or  remembering)  Source: Merriam‐ 
  38. 38.   Matching apps do not have the dynamic ability  to learn, understand and instantly relate new  concepts and through direct experience and  observation    They depend on taxonomies, statistical  models, or semantic clustering to “understand”  relationships and concepts 
  39. 39.   The human mind naturally organizes its  knowledge of the world   Carolinas HealthCare System, Charlo=e, NC   Infec3on Preven3onist 1997‐present   Responsible for all aspects of infec3on preven3on and control for an  800+bed hospital. Uses science‐based research to perform infec3on  preven3on.  Conducts all aspects of surveillance, data analysis, and  presents data to interdisciplinary teams, including the Infec&on  Control Commi=ee. Uses computer‐based sta3s3cal analysis to  present data.  Serves as an educa3onal resource for staff, physicians,  pa3ents, and the community for infec3ous and communicable  diseases.  
  40. 40.   To process natural language, applications use  complex statistical methods in an attempt to  make sense of human language    To computers, sentences can be highly  ambiguous, yielding hundreds or thousands of  possible analyses  
  41. 41.   Humans automatically process and understand  language, regardless of sentence length or  complexity, ambiguity, incorrect grammar, etc.    We can udnretsnad any msseed up stnecene as  lnog as the lsat and frsit lteetrs of wdros are in  the crrcoet plaecs 
  42. 42.   Human sourcers can deduce potential  experience, even with contradictory evidence  or the absence of information 
  43. 43.   Applications are not “aware” of the issues  associated with searching resumes     Human sourcers can specifically target Hidden  Talent Pools 
  44. 44. How do you target candidates  your searches CAN’T find? 
  45. 45.   Well developed taxonomies,  semantically generated query  clouds and matching  algorithms 
  46. 46. Think + Perform Research    For every title or keyword you are thinking of  using in your search, ask:  1.  Would ALL candidates mention those titles and  keywords?  2.  How many ways could the experience you’re  searching for be expressed?  
  47. 47. Global Experience  What search terms might you use if you are  looking for people with global experience? 
  48. 48.   Global, international, foreign, multinational,  worldwide    Europe, European, EU, EMEA, Asia, Asia‐Pac,  Pacific Rim, South America, Latin America,  Americas, CALA (Caribbean and Latin  America), Middle East    Canada, Japan, China, Russia, India, UK,  United Kingdom, etc.    Countries, Offshore, Overseas 
  49. 49. How do you target candidates  your searches DON’T find? 
  50. 50. Run Multiple Searches    Start with maximum qualifications    Use the NOT operator to systematically filter  through mutually exclusive result sets    End with minimum qualifications 
  51. 51.   Required: A,B,C    Explicitly desired: D,E    Implicitly desired: F 
  52. 52. 1.  A and B and C and D and E and F  2.  A and B and C and D and E and NOT F  3.  A and B and C and D and NOT E and F  4.  A and B and C and NOT D and E and F  5.  A and B and C and NOT D and NOT E and F  6.  A and B and C and D and NOT E and NOT F  7.  A and B and C and NOT D and E and NOT F  8.  A and B and C and NOT D and NOT E and NOT F 
  53. 53.   A mix of “man and machine,” integrating  human knowledge and expertise into computer  systems    Essentially ‐ the best of both worlds:     Autopilot    Manual override 
  54. 54.   AI/semantic matching engine    Taxonomies built by human SMEs that are  continually modified and improved specifically  for the organization 
  55. 55.   Resume/profile parsing    White box relevance weighting    Searchable tagging 
  56. 56.   Standard and extended Boolean in full text and  field‐based search    AND, OR, NOT     Configurable proximity    Variable term weighting 
  57. 57.   Lucene and dtSearch are text search engines  that support configurable proximity and term  weighting  
  58. 58.   Resume Mirror    Burning Glass    Sovren 
  59. 59. “Society has reached the point where  one can push a button and immediately  be deluged with…information. This is all  very convenient, of course, but if one is  not careful there is a danger of losing  the ability to think.”     ‐ Eiji Toyoda, Former President of Toyota  Motor Corp 
  60. 60.   Information requires analysis     Matching apps move/retrieve information, but  only PEOPLE can analyze and interpret for  relevance 
  61. 61.   Sourcers and recruiters need technology that  can enable their productivity    Intelligent search and match apps are not a  replacement for creative, curious, analytical,  investigative people     Do not seek to automate that which you do not  understand and cannot accomplish manually! 
  62. 62. “Computers move information,  people do the work”     ‐ Jeffrey Liker, Author of The Toyota  Way 
  63. 63.   “The holy grail of search is to understand what  the user wants. Then you’re not matching  words; you’re matching meaning.”              – Amit Singhal     Can applications ever really know what we’re  looking for?  
  64. 64.   The study of meaning, inherent at the levels  of words, phrases, and sentences    5 Levels of semantic search 
  65. 65. 1.  Skill words/title association, variants, and  misspellings    Director of business development, business  development director, etc.    JDE, JD Edwards, etc.    10Q = SEC reporting    SAP = ERP    JMPC, JP Morgan, JPMorganChase 
  66. 66. 2.  Contextual    Specifically where words, titles and skills are  mentioned in resumes     Summary, education, recent work experience…    Education vs. address (Harvard Ave.)  
  67. 67. 3.  Grammatical, natural language search    3 full life cycle SAP R/3 implementations    Carry out wound (pressure ulcer) assessment,  recommend treatment…    SOX compliancy weekly internal auditing    Perform investment performance and  attribution analysis 
  68. 68.   support* near (CEO or CFO or CTO or CIO or  "C‐Level" or chief*) 
  69. 69.   config* near juniper near router* 
  70. 70.   “created access database”~7 
  71. 71. 4.  Implied skills, experience and responsibilities    Data center migrations  possibility of SAN, and  possibly EMC specifically     Working at Equant  possibility of PeopleSoft  experience 
  72. 72. 5.  Human‐reviewed and classified     Candidate records (resumes, profiles, etc.) that  have been identified, analyzed and labeled    Tagging 
  73. 73.   Using human capital data for talent discovery  and identification     5 Levels  
  74. 74.   Straight lexical matching of job titles and  required skill terms     Deep understanding of positions not necessary    Buzzword bingo    Superficial match    “Once and done”     Easily outsourced and automated 
  75. 75.   Beyond literal lexical matching     Involves:    Interpretive analysis of the need (explicit/implicit)    Synonymous terms and concepts     The analysis of the relevance of the initial search  results and the adaptive process of learning from  the results to creatively refine searches      Awareness of candidates excluded/not found 
  76. 76.   Searching for and identifying what isn’t  explicitly mentioned    Involves:    Understanding of intrinsic limitations of  resumes and profiles    Skill that can only be developed over time from  observation and experience  
  77. 77.   Searching for responsibilities and  capabilities, not keywords     Involves:    Semantic search – specifically targeting what  people DO, not just what they SAY 
  78. 78.   Searching for the “wrong” people to find  the “right” people     Involves:    Targeting under/overqualified professionals     Targeting people who likely work with or know  the professionals you need