Question Classification
               Using Machine Learning Methods


                

                             Jen...
Motivation
• An important step in QA
  – To classify the question to the anticipated type 
    of the answer (semantically...
The Ambiguity Problem
  • What is bipolar disorder?
  • What do bats eat?
  • What is the PH scale?
                
  • H...
Why Machine Learning?
• Manually constructed sets of rules to map a 
    question to its type is not efficient.
     – Req...
Li and Roth (2002):
       Learning Question Classifier
• Uses the SnoW learning architecture.
     – Hierarchical classif...
Li and Roth (cont)
• UIUC question classification dataset
  – 5500 training (from TREC 8,9, including 500 
    rare questi...
Zhang and Lee (2003): 
       Question Classifcation using SVM
• Two kind of features:
   – Bag of words and bag of n­gram...
Zhang and Lee (cont)
• Using the same dataset as Li and Roth
• Same two­layered question taxonomy
• Same assumption:
     ...
Huang et al. (2008):
    QC using Head Words and their Hypernyms
    • In contrast to Li's, a compact feature set 
      w...
Huang et al. (cont)
• Again, use the same dataset.
• Other features:
    – Question wh­word, word  grams, word shape
• Cla...
Datasets for the project
• Same dataset as Li's:
    – http://l2r.cs.uiuc.edu/~cogcomp/Data/QA/QC/
• Additional datasets:
...
Plan for the project
• Experiment with different feature types:
    – Head chunks, semantic features for head 
      chunk...
Head word sense disambiguation




                   
Resources
• Java interface to WordNet:
    – http://wordnet.princeton.edu/links#SQL
• A syntactic parser for extracting th...
Resources (cont)
• Named entity recognizer, a relational 
  feature extraction language (FEX):
    – http://l2r.cs.uiuc.ed...
References
• Li, X. and D. Roth. 2002. Learning Question 
  Classifiers.The 19th international conference on 
  Computation...
References (cont)
• D. Roth, G. Kao, X. Li, R. Nagarajan, V. 
  Punyakanok, N. Rizzolo, W. Yih, C. O. Alm, and 
  L. G. Mo...
Upcoming SlideShare
Loading in …5
×

Question Classifier

2,144 views

Published on

A graduate project presentation on implementing the question classifier based on works by Li & Roth (2002) and Huang et al (2008).

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,144
On SlideShare
0
From Embeds
0
Number of Embeds
13
Actions
Shares
0
Downloads
44
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Question Classifier

  1. 1. Question Classification Using Machine Learning Methods                  Jennifer Lee CSI 5386 Project Presentation Fall 2008    
  2. 2. Motivation • An important step in QA – To classify the question to the anticipated type  of the answer (semantically). – More challenging than common search tasks. • Q: What Canadian city has the largest  population? Answer type: city
  3. 3. The Ambiguity Problem • What is bipolar disorder? • What do bats eat? • What is the PH scale?                  • Hard to categorize those questions into one  single class – Need multiple class labels for a single  question.
  4. 4. Why Machine Learning? • Manually constructed sets of rules to map a  question to its type is not efficient. – Requires the analysis of a large number of  questions.                  – Mapping questions into fine classes requires  the use of lexical items (specific words). • A learned classifier enables one to define only a  small number of “type” features. • Can be trained on a new taxonomy.
  5. 5. Li and Roth (2002): Learning Question Classifier • Uses the SnoW learning architecture. – Hierarchical classifiers – 6 coarse classes: ABBREVATION, ENTITY,                   DESCRIPTION, HUMAN, LOCATION,  NUMERIC VALUE. – 50 fine classes.    
  6. 6. Li and Roth (cont) • UIUC question classification dataset – 5500 training (from TREC 8,9, including 500  rare questions). – 500 test datasets from TREC 10.                  • Six primitive feature types: – Words, pos tags, chunks, named entities, head  chunks and semantically related words • Semantically related word list for each question – “away” belongs to the sensor Rel(distance).    
  7. 7. Zhang and Lee (2003):  Question Classifcation using SVM • Two kind of features: – Bag of words and bag of n­grams. • SVM with kernel tree  – Use LIBVSM (Chang and Lin, 2001).                  – Take advantage of the syntactic structures of  questions. – Compare with Nearest Neighbors, Naïve  Bayes, Decision Tree, SnoW.    
  8. 8. Zhang and Lee (cont) • Using the same dataset as Li and Roth • Same two­layered question taxonomy • Same assumption:                  – One question resides in only one category. • Uses automated constructed features  – No semantically related word list    
  9. 9. Huang et al. (2008): QC using Head Words and their Hypernyms • In contrast to Li's, a compact feature set  was proposed: – Head word                  – Use WordNet to augment the semantic  features. – Adopt Lesk's word sense disambiguation  algorithm    
  10. 10. Huang et al. (cont) • Again, use the same dataset. • Other features: – Question wh­word, word  grams, word shape • Classifiers:                  – Maximum Entropy Model – Support Vector Model – also adopt LIBVSM. – Obtained higher accuracy (89% and 89.2%).     
  11. 11. Datasets for the project • Same dataset as Li's: – http://l2r.cs.uiuc.edu/~cogcomp/Data/QA/QC/ • Additional datasets: – TREC QA: http://trec.nist.gov/data/qa.html                     
  12. 12. Plan for the project • Experiment with different feature types: – Head chunks, semantic features for head  chunk, named­entities, word grams and word  shape feature                  • Use WordNet to automate the generation of  semantic features – Find hypernyms. – Apply Lesk's WSD to the head chunk.    
  13. 13. Head word sense disambiguation    
  14. 14. Resources • Java interface to WordNet: – http://wordnet.princeton.edu/links#SQL • A syntactic parser for extracting the head­ chunk feature:                  – Berkeley parser (Petrov and Klein, 2007). • Use the N­gram Statistics Package    
  15. 15. Resources (cont) • Named entity recognizer, a relational  feature extraction language (FEX): – http://l2r.cs.uiuc.edu/~cogcomp/software.php • Mallet Machine Learning Library: – http://mallet.cs.umass.edu/    
  16. 16. References • Li, X. and D. Roth. 2002. Learning Question  Classifiers.The 19th international conference on  Computational linguistics, vol. 1, pp. 1–7. • Zhang D. and W. S. Lee. 2003. Question  Classification using Support Vector Machines.  The ACM SIGIR conference in information  retrieval, pp. 26–32. • Zhiheng Huang; Marcus Thint; Zengchang Qin.  Question Classification using Head Words and  their Hypernyms.    
  17. 17. References (cont) • D. Roth, G. Kao, X. Li, R. Nagarajan, V.  Punyakanok, N. Rizzolo, W. Yih, C. O. Alm, and  L. G. Moran. 2002. Learning components for a  question answering system. In TREC­2001. • Jonathan Brown – IR Lab.  Entity­Tagged  Language Models for Question Classification in a  QA System. • Donald Metzler, W. Bruce Croft Analysis of  statistical question classification for fact­based  questions (2003).    

×