1. Преобразование
структур зависимостей
Ангелина Иванова
7.04.2012

2. План презентации
Введение
The LinGO Redwoods Treebank
Конвертер для Redwoods
трансформация синтаксических деревьев
трансформация синтаксических зависимостей
Корпус PEST
Сравнительный анализ преобразованных
структур со стандартами
Заключение

3. План презентации
Введение
The LinGO Redwoods Treebank
Конвертер для Redwoods
трансформация синтаксических деревьев
трансформация синтаксических зависимостей
Корпус PEST
Сравнительный анализ преобразованных
структур со стандартами
Заключение

4. Графы и деревья
Граф ­ совокупность (1) точек и (2)
линий, соединяющих некоторые из этих
точек.
Точки называют узлами графа, а линии - дугами.

5. Графы и деревья
Дерево ­ связный ациклический граф.
Дерево составляющих Дерево зависимостей

6. Графы и деревья
Наиболее типичное дерево зависимостей:
● Ориентированный ацикличный связный граф
● Каждое слово в предложении представлено узлом в
дереве
● Корень – узел без входящей дуги
● Для каждого узла есть только один главный узел,
которому он подчиняется

7. План презентации
Введение
The LinGO Redwoods Treebank
Конвертер для Redwoods
трансформация синтаксических деревьев
трансформация синтаксических зависимостей
Корпус PEST
Сравнительный анализ преобразованных
структур со стандартами
Заключение

8. The LinGO Redwoods
Treebank
● Язык: английский
● Лингвистический подход: HPSG
● Грамматика: LinGO ERG
● Виды аннотаций:
– Синтаксические деревья
– Синтаксические зависимости

10. The LinGO Redwoods
Treebank
● Источники данных:
– Verbmobil and e-commerce corpora
– LOGON Norwegian-English MT corpus
– English Wikipedia (from WeScience)
– Brown corpus (SemCor)
– и др.

11. Синтаксические деревья

12. Синтаксические деревья
Синтаксическое дерево
DELPH-IN Derivation Tree
грамматики составляющих

13. Синтаксические зависимости
Формат: элементарные структуры зависимостей
(Elementary Dependency Structures, http://moin.delph-in.net/RmrsEds)
Предикаты соответствуют группам слов
Некоторые слова семантически пусты и не
представлены в графе зависимостей
Элементарные структуры зависимостей не
формируют деревья

14. Синтаксические зависимости
{e2:
x4:thing<0:4>[]
_1:which_q<0:4>[BV x4]
e2:_next_a_1<7:12>[ARG1 x4]
}

15. План презентации
Введение
The LinGO Redwoods Treebank
Конвертер для Redwoods
трансформация синтаксических деревьев
трансформация синтаксических зависимостей
Корпус PEST
Сравнительный анализ преобразованных
структур со стандартами
Заключение

16. Трансформация в структуры зависимостей
Сложные случаи:
● сокращенные отрицательные формы
The dog couldn't bark.
● пунктуация
● устойчивые выражения

17. Трансформация синтаксических деревьев
ROOT_INFORMAL
FLR-HD_WH-MC-SB_C
HDN_BNP-QNT_C HD_XSB-FIN_C
HDN_OPTCMP_C HD-CMP_U_C
What 's W_QMARK_PLR
next?

18. План презентации
Введение
The LinGO Redwoods Treebank
Конвертер для Redwoods
трансформация синтаксических деревьев
трансформация синтаксических зависимостей
Корпус PEST
Сравнительный анализ преобразованных
структур со стандартами
Заключение

19. Трансформация синтаксических
зависимостей
{e2:
x4:thing<0:4>[]
_1:which_q<0:4>[BV x4]
e2:_next_a_1<7:12>[ARG1 x4]
}
x4 e2

20. Трансформация синтаксических
зависимостей
Виды предикатов:
● lexical
● transparent
● relational
● redundant

21. Lexical predicates
Предикаты, которые соответствуют
словам в предложении
[lexical]
/^_.*/
named
card
thing
numbered_hour
person
pron
time

22. Lexical predicates
i18 e10 i16 x4 e2
Two hundred twenty dogs bark.
{e2:
_1:udef_q<0:18>[BV x4]
i8:card<0:3>("2")[ARG1 x4]
e10:card<4:11>("100")[ARG1 x4]
i14:plus<4:11>[ARG1 x4, ARG2 i15, ARG3 i16]
i15:times<4:11>[ARG1 x4, ARG2 i8, ARG3 e10]
i16:card<12:18>("20")[ARG1 x4]
x4:_dog_n_1<19:23>[]
e2:_bark_v_1<24:29>[ARG1 x4]
}

23. Transparent predicates
Предикат, который приравнивается к
одному из своих аргументов
[transparent]
nominalization ARG1
implicit_conj L­HNDL
implicit_conj L­INDEX
/_c$/ L­HNDL
/_c$/ L­INDEX

24. Transparent predicates
Root
e9 e2
The dog arrived and barked.
{e2:
_1:_the_q<0:3>[BV x5]
x5:_dog_n_1<4:7>[]
e9:_arrive_v_1<8:15>[ARG1 x5]
e2:_and_c<16:19>[L­INDEX e9, R­INDEX e11,
L­HNDL e9, R­HNDL e11]
e11:_bark_v_1<20:27>[ARG1 x5]
}

25. Relational predicates
Предикаты с двумя аргументами, один
из которых – главная составляющая, а
другой – зависимая составляющая.
/_c$/ L­HNDL R­HNDL
/_c$/ L­INDEX R­INDEX
of_p ARG2 ARG1
part_of ARG0 ARG1
poss ARG2 ARG1

26. Relational predicates
x12 x10
Browne arrived on Tuesday morning.
{e2:
_1:proper_q<0:6>[BV x5]
x5:named<0:6>("Browne")[]
e2:_arrive_v_1<7:14>[ARG1 x5]
e9:_on_p_temp<15:17>[ARG1 e2, ARG2 x10]
x12:dofw<18:25>("Tue")[]
_2:def_explicit_q<18:25>[BV x10]
e17:of_p<18:25>[ARG1 x10, ARG2 x12]
_3:def_implicit_q<18:25>[BV x12]
x10:_morning_n_of<26:34>[]
}

27. Redundant predicates
Предикат, содержащий аргумент,
подлежащий удалению.
[redundant]
/.*/ L­HNDL L­INDEX
/.*/ R­HNDL R­INDEX

28. Redundant predicates
e9 e11
The dog arrived and barked.
{e2:
_1:_the_q<0:3>[BV x5]
x5:_dog_n_1<4:7>[]
e9:_arrive_v_1<8:15>[ARG1 x5]
e2:_and_c<16:19>[L­INDEX e9, R­INDEX e11,
L­HNDL e9, R­HNDL e11]
e11:_bark_v_1<20:27>[ARG1 x5]
}

29. Трансформация синтаксических
зависимостей
Определение типа Разбиение Разбиение
предиката устойчивых сокращенных
(lexical, transparent, выражений на отрицательных
relational,redundant) отдельные форм
слова
Отделение
пунктуации

30. Примеры

31. Примеры

32. Примеры

33. План презентации
Введение
The LinGO Redwoods Treebank
Конвертер для Redwoods
трансформация синтаксических деревьев
трансформация синтаксических зависимостей
Корпус PEST
Сравнительный анализ преобразованных
структур со стандартами
Заключение

34. Корпус PEST
Язык: английский
Две части: 10 предложений и 15
предложений
Форматы:
CoNLL Syntactic Dependencies
CoNLL PropBank Semantics
Stanford basic
Stanford collapsed dependencies
Enju predicate – argument structures

35. CoNLL Syntactic Dependencies
Деревья из Penn Treebank
трансформированные с помощью утилиты
PennConverter
Главные составляющие – функциональные
слова
Граф зависимостей – ориентированное
дерево:
каждое слово в предложение представлено узлом в графе
граф связный
у каждого узла есть только один главный узел, которому он
подчиняется
в графе отсутствуют циклы

36. CoNLL PropBank Semantics
Аннотации PropBank и NomBank “поверх”
синтаксической разметки PennTreebank
Лексические главные состаляющие
У зависимой составляющей могут быть
несколько синтаксических главных
составляющих
Граф несвязный
Некоторые слова предложения
семантически пусты и не представлены в
графе

37. Stanford Basic Dependencies
Трансформирован из деревьев
составляющих из PennTreebank
Лексические главные состаляющие
Граф зависимостей – ориентированное
дерево:
каждое слово в предложение представлено узлом в
графе
граф связный
у каждого узла есть только один главный узел,
которому он подчиняется
в графе отсутствуют циклы

38. Stanford Standard
Dependencies
Главные составляющие – функциональные
слова
Граф зависимостей не формирует дерево:
Семантически “пустые” слова
множественные главные составляющие
циклы

39. Enju Predicate – Argument
Structures (EP)
Лексические главные состаляющие
Полу-автоматически трансформирован из
PennTreebank с помощью HPSG-
преобразований
Граф зависимостей не формирует дерево

40. План презентации
Введение
The LinGO Redwoods Treebank
Конвертер для Redwoods
трансформация синтаксических деревьев
трансформация синтаксических зависимостей
Корпус PEST
Сравнительный анализ преобразованных
структур со стандартами
Заключение

41. Выбор корня
A similar technique is almost impossible to
apply to other crops, such as cotton,
soybeans and rice.
CoNLL Syntactic: is
CoNLL PropBank: -
Stanford Basic: impossible
Stanford Standard: impossible
Enju Predicate-Argument Structures: is
DELHP-IN Derivation Tree: is
DELPH-IN MRS: almost

42. Союзы
A , B and C A , B and C
CoNLL Syntactic Dependencies CoNLL PropBank Dependencies
A , B and C A , B and C
Stanford Basic Dependencies Stanford Standard Dependencies
A , B and C
Enju PAS
A , B and C A , B and C
DELHP-IN Derivation Tree DELHP-IN MRS

43. Инфинитив
CoNLL syntactic
Enju PAS to apply
DELPH-IN Derivation Tree
Stanford Basic to apply
Stanford Standard
CoNLL PropBank -
DELPH-IN MRS

44. Артикли
CoNLL Syntactic
Stanford Basic
Stanford Standard a technique
DELPH-IN Derivation Tree
Enju PAS
DELPH-IN MRS a technique
CoNLL PropBank

45. Прилагательные
CoNLL Syntactic
Stanford Basic
Stanford Standard similar technique
DELPH-IN Derivation Tree
Enju PAS
DELPH-IN MRS similar technique
CoNLL PropBank -

46. Предлоги
CoNLL Syntactic
Stanford Basic crops such as
DELPH-IN Derevation Tree crops such as
Enju PAS crops such as
DELPH-IN MRS crops such as
CoNLL PropBank -
Stanford Standard

47. “Сложные” прилагательные
A similar technique is almost impossible to apply
Удалённая связь выявлена в следующих форматах:
CoNLL PropBank
Enju PAS
DELPH-IN MRS

48. Попарное совпадение дуг
зависимостей

49. Попарные значения
коэффициента сходства
Jaccard

50. План презентации
Введение
The LinGO Redwoods Treebank
Конвертер для Redwoods
трансформация синтаксических деревьев
трансформация синтаксических зависимостей
Корпус PEST
Сравнительный анализ преобразованных
структур со стандартами
Заключение

51. Заключение
● Различные форматы предлагают
несхожие решения
● DELPH-IN Derivation Trees ближе
всего к CoNLL Syntactic
Dependencies
● DELPH-IN MRS ближе всего к Enju
PAS

52. Будущая работа
● Закончить и опубликовать в свободном
доступе конвертер
● Конвертировать корпус Redwoods в
структуры зависимостей между отдельными
словами
● Использовать Redwoods для экспериментов
с синтаксическими анализаторами
(парсерами)

53. Спасибо за внимание!