"IBM Watson — компьютерная лингвистика". Артём Семенихин, IBM

© 2013 International Business Machines Corporation
IBM Watson 
Компьютерная лингвистика
Артём Семенихин
Follow us @IBMWatson

© 2013 International Business Machines Corporation3
Понимает
вопросы на
естественном
для человека
языке
Адаптируется и
учится с
помощью
пользователя
Генерирует и
оценивает
гипотезы для
ответа
Что делает IBM Watson?
1
2
3

Чем экспертная система отличается от поисковой машины?
Человек
Поиск
Находит документы по ключевым словам
Возвращает ранжированный список
Формулирует вопрос
Выделяет ключевые слова
Читает документы, ищет
ответ
Оценивает результат
Эксперт
Понимает вопрос
Находит варианты ответов
Предоставляет отчет
Оценивает степень уверенности в ответе
Задает вопрос
Оценивает результат
Человек

Декомпозиция
вопроса
Оценка
ответов
Models
Ответ со
степенью
уверенности
Вопрос
Источники
доказательств
Models
Models
Models
Models
Models
Поиск
Генерация
ответов-
кандидатов
Генерация
гипотезы
Доказательство и оценка
Окончательная
оценка и
ранжирование
Синтез
Источники
ответов
Анализ
вопроса и
темы
Получение
Оценка
Machine learning:
изученные модели
для взвешенной
оценки
Генерация
гипотезы
Доказательство и оценка
Архитектура Watson: DeepQA

На чем основан DeepQA?
§ PIQUANT (TREC)
§ UIMA (uima.apache.org)
§ UIMA – фреймворк для аналитики
§ Цель UIMA – извлекать знания
UIMA pipeline
Аннотатор Аннотатор Аннотатор
§ Hadoop (Map/Sort/Reduce)

DeepQA: Анализ вопроса
1.  Выделить Focus
2.  Найти LAT
3.  Определить класс вопроса
4.  Найти специальные элементы
POETS & POETRY: He was a bank clerk in the
Yukon before he published “Songs of a Sourdough”
Focus
LATs
QClass = factoid QSection = none

DeepQA: Анализ вопроса
Анализ вопроса:
•  ESG (English Slot Grammar) – синтаксический разбор
•  PAS (Predicate-argument structure) – семантический разбор

DeepQA: Анализ вопроса (Prolog)
Input:
lemma(1, ‘‘he’’).
partOfSpeech(1,pronoun).
lemma(2, ‘‘publish’’).
partOfSpeech(2,verb).
lemma(3,‘‘Songs of a Sourdough’’).
partOfSpeech(3,noun).
subject(2,1).
object(2,3).
Правила Prolog:
authorOf(Author, Composition) :-
createVerb(Verb),
subject(Verb, Author),
author(Author),
object(Verb, Composition),
composition(Composition).-
createVerb(Verb) :-
partOfSpeech(Verb, verb),
lemma(Verb, VerbLemma),
[‘‘write’’, ‘‘publish’’, . . .].
authorOf(1,3)

DeepQA: источники знаний
§ Протестировали Wikipedia на 3500 случайных вопросов Jeopardy
§ Источники информации
§ Чтобы обеспечить достаточную полноту и точность
Wikipedia
Wiktionary
Wikiquote
Project Gutenberg
The Bible
…
§ Расширение источников
§ Поиск Yahoo! по вопросам, которые остались без ответов
§ Парсинг и построение внутреннего представления
§ Не простой инвертированный индекс
§ Преобразование источников в наборы коротких абзацев

DeepQA: Автоматическое извлечение семантической информации
§ Поверхностный синтаксический анализ
«Эйнштейн, опубликовавший свыше 300 научных статей, получил
Нобелевскую премию по физике в 1921 году»
§ Эйнштейн – ученый
§ Ученые публикуют статьи
§ Ученые получают Нобелевские премии
§ Нобелевская премия характеризуется предметом и годом

DeepQA: Автоматическое извлечение семантической информации
PRISMATIC

DeepQA: генерация гипотез
Три этапа
§ Генерация поисковых запросов
§ Поиск релевантной информации
§ Выделение ответов-кандидатов
Главное – побольше гипотез!
...но не слишком
Генерация
запросов
Document search
Поиск
TIC passage
Indri passage
Indri passage
Answer Lookup
PRISMATIC
TOD
Wikipedia title
Anchor text
Simple
Выделение
кандидата

DeepQA: генерация гипотез. Поисковые запросы
Вопрос:
MOVIE-"ING": Robert Redford and Paul Newman
starred in this depression-era grifter flick.
Анализ:
actorIn(Robert Redford; flick : focus)
actorIn(Paul Newman; flick : focus)
Поисковые запросы:
§ Полный: (2.0 Robert Redford) (2.0 Paul Newman) depression-era
grifter (1.5 flick)
§ LAT-only: depression-era grifter flick

DeepQA: генерация гипотез. Типы поисков
§ Document search (для title-oriented документов)
§ Indri search engine (lemurproject.org/indri)
§ Используется 2 индекса:
§ Для больших документов – генерирует 50 ответов-кандидатов
§ Для маленьких документов – генерирует 5 ответов-кандидатов
§ Passage search
§ TIC (title in the clue) – генерирует 10 ответов-кандидатов
§ Использует Indri и Lucene – по 5 ответов-кандидатов каждый
§ Выделяет 1-2 предложения

§ Поиск по структурированным источникам
§ Answer Lookup
§ Часть вопроса переводится в язык запроса (например, SPARQL для
DBpedia)
§ Общий принцип поиска:
§ Допустим есть actorIn(Robert Redford; flick : focus)
§ Мы ищем запись в базе по «Robert Redford»
§ Если у данной записи есть relation – actorIn, то мы пытаемся найти
запись film, где отношение starring указывает на «Robert Redford»
§ Если мы находим взаимосвязь, то получаем ответ-кандидат

§ Поиск по структурированным источникам
§ Поикс по PRISMATIC
§ PRISMATIC содержит множество коротких entities, связанных одним
relation
§ Позволяет быстро определять «is a» связи
§ Пример, где это нужно:
§ Вопрос: «Unlike most sea animals, in the Sea Horse this pair of sense organs can
move independently of one another»
§ Поиск по LAT «sense organs» в PRISMATIC даст сильный вариант
«eyes»:
§ Eye is a sense organ

DeepQA: генерация гипотез. Выделение ответа-кандидата
§ Для структурированных источников – результат поиска и есть ответ-
кандидат
§ Для неструктурированных три типа поиска:
§ Title of Document
§ Для кандидатов от Document Search
§ Wikipedia Title
§ Для кандидатов от Passage Search
§ 95% ответов на вопросы Jeopardy! содержатся в названии Wikipedia документов
§ Из passage выделяются все существительные {n1, n2, n3, …}
§ Если n_i == Wikipedia_doc_title, то получаем ответ-кандидат
§ Anchor Text
§ Для обоих типов поиска
§ Тексты ссылок – это и есть кандидаты

DeepQA: оценка гипотез
§ К данному моменту есть
§ Кандидаты-ответы
§ Confidence score, что кандидат и вопрос имеют один и тот же тип
§ Требуется собрать дополнительные доказательства
§ Passage evidence – параграфы текста «поддерживающие»
кандидата
§ Ответ-кандидат добавляется к вопросу:
§ Запускаются «стандартные» механизмы поиска DeepQA
§ Дополнительный поиск – SER (Supporting Evidence Retrieval) на базе Indri
§ Разные типы evidence имеют разную степень «доверия»

DeepQA: оценка гипотез. Passage Term Match
celebrated
India
In May
1898
400th
anniversary
arrival in
Portugal
India
In May
Garyexplorer
celebrated
anniversary
in Portugal
Term Matching
Term Matching
Term Matching
Term Matching
Term Matching
arrived in
In May, Gary arrived in
India after he celebrated
his anniversary in Portugal.
In May 1898 Portugal celebrated
the 400th anniversary of this
explorer’s arrival in India.

DeepQA: оценка гипотез. Deep Evidence
celebrated
May 1898 400th anniversary
arrival
in
In May 1898 Portugal celebrated
the 400th anniversary of this
explorer’s arrival in India.
Portugal
landed in
27th May 1498
Vasco da Gama
Temporal
Reasoning
Statistical
Paraphrasing
GeoSpatial
Reasoning
explorer
On the 27th of May 1498, Vasco da
Gama landed in Kappad Beach
Kappad Beach
Para-
phrase
s
Geo-
KB
Date
Math
India

DeepQA: оценка гипотез. Еще методы...
§ Skip-Bigram
§ Поиск соответсвия пар терминов в вопросе и параграфе
§ Textual Alignment
§ Соответсвия длинных цепочек слов из вопроса в параграфе
§ Является модификацией алгоритма Waterman-Smith для sequence
matching в ДНК
§ Logical Form Answer
§ Оценка соответсвия семантических графов вопроса и параграфа

DeepQA: финальное ранжирование ответов
§ Проходит в семь этапов (1-3):
§ (1) Hitlist normalization
§ Убираются совсем слабые кандидаты
§ Остается только 100 вариантов
§ (2) Base
§ Распределяем кандидатов по классам (QClasses)
§ Разные классы имеют разные «маршруты» доказательств
§ (3) Transfer Learning
§ Только для редких типов вопросов (definition или translation)
§ Применяется специализированная модель ранжирования

DeepQA: (4) Answer Merging
§ Пример: «John F. Kennedy» и «J.F.K» значат одно и то же
§ Каждая пара ответов-кандидатов проверяется на «похожесть»:
§ Морфологический анализ
§ Анализ полнотоы (пример: <ФИО>, а не <Фамилия>)
§ Подготовленные таблицы
§ Из двух совпавших выбирается наиболее каноничная форма

§ Проходит в семь этапов (5-7):
§ (5) Elite
§ Аналогично Hitlist normalization
§ Остается только пять вариантов
§ (6) Evidence Diffusion
§ Проверяет скрытые связи между кандидатами
§ Если связь есть, то более сильному кандидату добавляется очки
§ (7) Multi Answers
§ Объединение кандидатов для ответа на вложенные вопросы
§ Пример: When "60 Minutes" premiered this man was U.S. president

§ Каждый этап состоит из двух шагов:
§ Объединение однотипных доказательств (например, passages)
§ Запуск классификатора
§  В режиме обучения
§  В режиме применения
§ Тренировока классификатора – 25000 вопросов Jeopardy!
§ www.j-archive.com – архив вопросов Jeopardy!
§  5.7 млн ответов-кандидатов
§  у каждого ответа-кандидата 550 фич

§ DeepQA позволяет встроить любой классификатор
§ Что пробовалось пока разрабатывали Watson:
§ Логистическая регрессия
§ SMV (Support Vector Machines)
§ Линейные и нелинейные ядра
§ Бустинг
§ Нейросети
§ Деревья решений
§ Логистическая регрессия – выбор для Jeopardy!
§ x – вектор численных значений доказательств
§ β – «веса» доказательств (из обучения)
§ Не требует мучительной настройки для каждого запуска
DeepQA: классификатор

Первые шаги Watson
THE AMERICAN DREAM
Decades before Lincoln, Daniel Webster spoke of government "made
for", "made by" & "answerable to" them
NEW YORK TIMES HEADLINES
An exclamation point was warranted for the "end of" this! In 1918
MILESTONES
In 1994, 25 years after this event, 1 participant said, "For one crowning
moment, we were creatures of the cosmic ocean”
THE QUEEN'S ENGLISH
Give a Brit a tinkle when you get into town & you've done this
FATHERLY NICKNAMES
This Frenchman was "The Father of Bacteriology"
the Big Bang
urinate
No One
a sentence
How Tasty Was My
Little Frenchman
Apollo 11 moon landing
the People
WW I
Call on the phone
Louis Pasteur

Baseline 12/06
v0.1 12/07
v0.3 08/08
v0.5 05/09
v0.6 10/09
v0.8 11/10
v0.4 12/08
v0.2 05/08
V0.7 04/10
Точностьответа
Watson развивается...
Облако победителей

Watson в числах
§ Команда: 25 человек
§ Время: 4 года
§ Софт: 1,000,000 SLOC
§ 700K Java, 300K C++
§ ~ 130 компонент
§ Железо: 90 IBM Power-750 servers
2880 Power7 cores @ 80+ TFLOPS
§ 20 TB Disk, 16 TB RAM (memory)
§ 10 Gbps network

On February 14, 2011, IBM Watson made history

IBM Watson в работе. Медицина
Медицинская
информация
удваивается каждые
5 лет
81% терапевтов
читают медицинские
журналы меньше 5
часов в месяц (США)
Такие системы как
Watson могут помочь
врачам

Семейная
история
История
пациента
АнализыМедикаменты
Симптомы
UTI
Diabetes
Influenza
Hypokalemia
Renal Failure
no abdominal pain
no back pain
no cough
no diarrhea
(Thyroid Autoimmune)
Esophagitis
pravastatin
Alendronate
levothyroxine
hydroxychloroquine
Модели
диагностики

frequent UTI
cutaneous lupus
hyperlipidemia
osteoporosis
hypothyroidism
Увереность

difficulty swallowing
dizziness
anorexia
fever
dry mouth
thirst
frequent urination
Семейна
история
Graves’ Disease
Oral cancer
Bladder cancer
Hemochromatosis
Purpura
История
пациентаМедикам.Анализы
supine 120/80 mm HG
urine dipstick:
leukocyte esterase
urine culture: E. Coli
heart rate: 88 bpm
Симптомы
A 58-year-old woman complains of
dizziness, anorexia, dry mouth,
increased thirst, and frequent
urination. She had also had a fever.
She reported no pain in her abdomen,
back, and no cough, or diarrhea.
A 58-year-old woman presented to her
primary care physician after several days
of dizziness, anorexia, dry mouth,
increased thirst, and frequent urination.
She had also had a fever and reported that
food would “get stuck” when she was
swallowing. She reported no pain in her
abdomen, back, or flank and no cough,
shortness of breath, diarrhea, or dysuria
Her family history included oral and
bladder cancer in her mother,
Graves' disease in two sisters,
hemochromatosis in one sister, and
idiopathic thrombocytopenic
purpura in one sister
Her history was notable for cutaneous
lupus, hyperlipidemia, osteoporosis,
frequent urinary tract infections, a left
oophorectomy for a benign cyst, and
primary hypothyroidism, diagnosed a
year earlier
Her medications were levothyroxine,
hydroxychloroquine, pravastatin, and
alendronate.
A urine dipstick was positive for
leukocyte esterase and nitrites. The
patient was given a prescription for
ciprofloxacin for a urinary tract
infection. 3 days later, patient
reported weakness and dizziness.
Her supine blood pressure was
120/80 mm Hg, and pulse was 88.
•  Extract Symptoms from record
•  Use paraphrasings mined from text to handle alternate
phrasings and variants
•  Perform broad search for possible diagnoses
•  Score Confidence in each diagnosis based on
evidence so far
•  Identify negative Symptoms
•  Reason with mined relations to explain away
symptoms (thirst is consistent w/ UTI)
•  Extract Family History
•  Use Medical Taxonomies to generalize medical
conditions to the granularity used by the models
•  Extract Patient History•  Extract Medications
•  Use database of drug side-effects
•  Together, multiple diagnoses may best explain
symptoms
•  Extract Findings: Confirms that UTI was present
Most Confident Diagnosis: DiabetesMost Confident Diagnosis: UTIMost Confident Diagnosis: EsophagitisMost Confident Diagnosis: Influenza
Как DeepQA помогает диагностике

Где еще может пригодиться такая технология?
Поддержка: Help-desk, Contact Centers
Управление знаниями в крупных компаниях
Государственные службы
Поисковики?

Краткая история IBM Watson
R&D
Demonstration
Commercialization
Cross-industry  
Applications
IBM 
Research
Project  
(2006 – )
Jeopardy! 
Grand
Challenge 
(Feb 2011)
Watson  
for 
Healthcare 
(Aug 2011 –)
Watson  
Industry
Solutions 
(2012 – )
Watson  
for Financial
Services 
(Mar 2012 – )
Expansion
Что будет дальше?

Все будет хорошо...
I'm completely operational, and all
my circuits are functioning perfectly

"IBM Watson — компьютерная лингвистика". Артём Семенихин, IBM

More Related Content

Viewers also liked

More from Yandex

"IBM Watson — компьютерная лингвистика". Артём Семенихин, IBM