Прэзентацыя з першай сустрэчы суполкі NLProc.by

1. Агляд сучасных тэм і сэрвісаў,
якія закранае тэрмін
"Natural Language Processing"
Юрась Гецэвіч
Лабараторыя распазнавання і сінтэзу маўлення
АІПІ НАН Беларусі

2. Бібліяграфія
• Сэт Граймз / MARCH 4, 2013 All About Natural Language Processing
• Гецэвіч, Ю.С. РАСПРАЦОЎКА КАМПАНЕНТА РАСПАЗНАВАННЯ МАЎЛЕННЯ ДЛЯ НАТУРАЛЬНА МАЎЛЕНЧАГА ІНТЭРФЕЙСУ / Ю.С.
Гецэвіч, К.А. Нікалаенка, Л.І. Kайгародава // Открытые семантические технологии проектирования интеллектуальных систем = Open
Semantic Technologies for Intelligent Systems (OSTIS-2015) : материалы V междунар. науч.-техн. конф. (Минск, 19 – 21 февраля 2015
года) / пад рэд. В. В. Голенков (отв. ред.) [и др.]. Минск : БГУИР, 2015. — C. 507-512.
• Гецэвіч, Ю.С. Фанетычная і алафонная апрацоўка тэксту ў сінтэзатары беларускага і рускага маўлення для мабільных платформаў /
Ю.С. Гецэвіч, Б.М. Лабанаў, Д.А. Пакладок // Інфарматыка. — 2014. — №2(42). — C. 25-35
• Taylor, P. Text-to-Speech Synthesis / P. Taylor. New York – Cambridge University Press, 2009. – 642 p.
• NooJ resourses // NooJ [Electronic resourse]. – 2002 . – Mode of access : http://www.nooj4nlp.net/pages/resources.html. – Date of
access : 17.03.2012.
• Etc.
2Для суполкі NLProc.by

3. Што такое
Natural Language Processing?
???
3Для суполкі NLProc.by

4. •​Апрацоўка натуральнай мовы, АНМ
(па-англійску: Natural Language Processing, NLP)
— гэта машыннае пераўтварэнне вуснай і/ці
пісьмовай разнавіднасцяў чалавечай камунікацыі.
•Методыка, апорай якой з’яўляюцца лінгвістыка і
статыстыка ў спалучэнні з машынным навучаннем,
імкнецца мадэляваць мову на службе
аўтаматызацыі.
4Для суполкі NLProc.by

5. Якую карысць можа прынесці
Апрацоўка Натуральнай Мовы?
• Хуткая апрацоўка выгляду Т-Т, Т-М, М-Т, М-М. (так, як апрацоўвае
машына-камп’ютар)
• Т – пісьмовая натуральная мова
• М – вусная натуральная мова
• Колькі заўгоднае паўтарэньне апрацовак, дзе чалавеку стала б
проста складана ці нецікава працаваць (напрыклад, пастаяннае
адсочваньне новых ключавых слоў на новых інтэрнэт-сайтах)
• Эталанізацыю праз фармалізацыю ведаў (напрыклад, сінтэзатар
маўленьня, інтэлектуальныя справачныя сістэмы)
• Дапамога трэцім асобам, якія ня ведаюць мовы ці не спецыялісты ў
лінгвістыцы, праз пабудову прыкладных лінгвістычных
прыстасаваньняў
• ?
5Для суполкі NLProc.by

6. Агульная схема
Апрацоўкі Натуральнай Мовы
Прыклады:
TTS : тэкст -> маўленьне / для слабабачачых, для робататэхнікі
ASR : маўленьне -> тэкст / для журналістаў
Transcription : тэкст -> тэкст / для замежнікаў
STS : маўленьне -> маўленьне / для хуткай камунікацыі
ITS : выява -> маўленьне / для кіроўцаў
…
Распазна -
ваньне …
Генерава
-ньнне …
6Для суполкі NLProc.by

7. Выманне і пошук інфармацыі
• Пошукавыя сістэмы Google, Bing
• выманьне тэрмінаў з тэксту
• парсінг пошукавых запытаў
(людзі, назвы кампаній, сімвалы акцый і месцы)
• выманьне заканамернасцяў
• выманьне атрыбутаў, звязаных з тэрмінамі
(дарагі гадзіннік, чорны аўтамабіль, 4,6 кг рыбы.)
• выяўленне адносін між канцэптамі (Apple Siri, Wolfram Alpha і Google
Now)
7Для суполкі NLProc.by

8. Канцэпцыі, тэмы, танальнасць і
падабенства, а таксама заўвагі па
метадах
• класіфікацыя (групоўка выразаў і дакументаў)
• выманне канцэпта (сістэма камп’ютарнай мовы Карпарацыя
Цыцэрон)
• вызначэнне тэмы
• выяўленьне танальнасці (ажыццяўляецца па звычайных
катэгорыях (станоўчай, адмоўнай ці нейтральнай) ці па больш
вытанчаных эмацыйных катэгорыях, або сігналах намераў
(CrowdFlower))
• распазнаванне плагіяту (ацэнка параграфаў вынятага тэксту па
прынцыпе падабенства)
8Для суполкі NLProc.by

9. Арфаграфія, Граматыка і Стыль
• праверка арфаграфіі (JSpell, SpellCheck.net)
• стварэння дыяграмы сказа
• разметка па часцінах мовы (дэмаверсія ўніверсітэта Іллінойса)
• вывучэнне сінтаксічных адносін (Connexor).
9Для суполкі NLProc.by

10. Пераклад
• машынны пераклад (Google Translate, Promt, ABBY Lingvo,
Multitran, Language Tool)
• аўтаматычная ідэнтыфікацыя мовы
10Для суполкі NLProc.by

11. Гібрыдны сінтэзатар выразнага
маўлення «ЭТАП-МУЛЬТЫФОН»
Машынны пераклад і агучка
11Для суполкі NLProc.by

12. Рэферыраванне тэксту
(разуменне і генерацыя натуральнай
мовы)
12Для суполкі NLProc.by

13. Пытальна-адказныя сістэмы
Агульная схема :
Прыклады :
•IBM Watson
•START
•www.OSTIS.net
13Для суполкі NLProc.by

14. Распазнаванне і сінтэз маўлення
• распазнаванне маўлення
• генерацыя, або сінтэз маўлення
• транскрыбаванне вуснай мовы :
M004,O113,J'013,/,R032,O022,D001,N004,Y322,/,K001,U032,T000,/,#C3, -> [мо̀й] [ро́дны] [ку́т]
• галасавы пошук
• сінтэз маўлення па тэксце.
14Для суполкі NLProc.by

15. «Будаўнічыя блокі» ці
настройвальныя лінгвістычныя
працэсары
• Apache OpenNLP і Mallet - інструментар машыннага навучання
• The Apicultur service і Веб API для Python
NLTK Якоба Перкінса
для элементнага аналізу тэкста
15Для суполкі NLProc.by

16. NooJ (Нудж)
16Для суполкі NLProc.by
nooj4nlp.net
настройваецца для больш за 20 моў,
улічваючы беларускую

17. Апрацоўка натуральнага маўленьня
сorpus.by
17Для суполкі NLProc.by

18. Сэрвіс “Інфармацыя аб сімвалах”,
карысны для лінгвістаў
18Для суполкі NLProc.by

19. Сэрвіс «Частотнасць слоў»
19Для суполкі NLProc.by

20. Частата «слоў» у любым тэксце
Адвольная настройка
слова: пасьлядоўнасьць
лікаў, сімвалаў алфавітаў
ці інш.
20Для суполкі NLProc.by

21. Схема сінтэзу маўленьня па тэксце
21Для суполкі NLProc.by

22. Сінтэзатар беларускага і рускага маўлення
па тэксце для стацыянарных, мабільных і
інтэрнэт платформ
22Для суполкі NLProc.by

23. сorpus.by/tts3
сінтэзатар маўленьня па тэксце on-line
23Для суполкі NLProc.by

24. Выкарыстанне алгарытмаў СМТ для
вырашэння лінгвістычных задач
24Для суполкі NLProc.by

25. 25Для суполкі NLProc.by

26. Запісы словаформаў
да і пасля генерацыі транскрыпцый
26Для суполкі NLProc.by

27. 27Для суполкі NLProc.by

28. Запісы словаформаў да генерацыі транскрыпцый
28Для суполкі NLProc.by

29. Запісы словаформаў пасля генерацыі транскрыпцый
29Для суполкі NLProc.by

30. Плануемы выгляд запісу
ў электронным арфаэпічным слоўніку
сі́гма [с'і́γма ] (назва літары)
ж. Р сі́гмы [с'і́γмы ], ДМ сі́гме [с'і́γм'э ],
сі́гму [с'і́γму ], сі́гмай [с'і́γмай ] (-аю)
(сума) ж. Р сі́гмы [с'і́γмы ],
ДМ сі́гме [с'і́γм'э ], сі́гму [с'і́γму ],
сі́гмай [с'і́γмай ] (-аю) мн. НВ сі́гмы [с'і́γмы ],
сігм [с'і́γм ] (-маў), сі́гмам [с'і́γмам ],
сі́гмамі [с'і́γмам'і ], сі́гмах [с'і́γмах ]
30Для суполкі NLProc.by

31. Праверка “у” і “ў”
31Для суполкі NLProc.by

32. 32Для суполкі NLProc.by

33. Генератар спасылкі на публікацыю
33Для суполкі NLProc.by

34. 34Для суполкі NLProc.by

35. Спецыялізаваны слоўнік
35Для суполкі NLProc.by

36. Спецыялізаваны слоўнік
36Для суполкі NLProc.by

37. 37Для суполкі NLProc.by

38. Апрацоўка гука on-line
38Для суполкі NLProc.by

39. Апрацоўка гука on-line
Выбар гука
Выбар тыпу дыяграмы
-Асцылаграма
-Спектраграма
39Для суполкі NLProc.by

40. Апрацоўка алафона on-line
асцылаграма спектраграма
40Для суполкі NLProc.by

41. Апрацоўка алафоннага радка on-line:
асцылаграма
41Для суполкі NLProc.by

42. Апрацоўка алафоннага радка
on-line: спектраграма
42Для суполкі NLProc.by

43. Генератар тэматычных даменаў
43Для суполкі NLProc.by

44. Генератар тэматычных
даменаў мінімальных
набораў слоў,
які пакрываюць усе
алафоны і дыфоны
беларускай мовы
хаця б 1 раз
44Для суполкі NLProc.by

45. Запіс гуку ў Інтэрнэт
45Для суполкі NLProc.by

46. Запіс гуку ў Інтэрнэт
46Для суполкі NLProc.by

47. Робат, які ўмее гаварыць :)
Для суполкі NLProc.by 47

48. Нашыя распрацоўкі (2)
srlab.by
48Для суполкі NLProc.by

49. Нашыя распрацоўкі (3)
nooj2015.ssrlab.by
49Для суполкі NLProc.by

50. Узроўні мовы (А)
50Для суполкі NLProc.by

51. Узроўні мовы (B)
крыніца
51Для суполкі NLProc.by

52. Узроўні мовы (C,1)
52Для суполкі NLProc.by

53. Узроўні мовы (C,2)
крыніца
53Для суполкі NLProc.by

54. Дзякую за ўвагу!
Тэл.:
+375 (17) 284-27-73 (пакой 422)
+375 (17) 284-25-22 (пакой 430)
E-mail:
yuras.hetsevich@newman.bas-net.by
ssrlab221@gmail.com