Будни data science/NLP стартапа

Будни data science 
NLP стартапа
Или реальность наносит ответный удар
Vsevolod Solovyov
CTO at Prophy Science
@murkt

Что мы делаем:
• Существует 100+ млн научных публикаций

• Население планеты растёт, количество
учёных - тоже

• С каждым годом учёные пишут всё больше
статей

А кто их
читать будет?

Зачем мы читаем статьи?
Чтобы:

• Рекомендовать статью для прочтения
человеку

• Группировать статьи по тематикам

• Находить экспертов в заданной тематике

• ...

Научная публикация
• Заголовок

• Авторы

• Текст

• Ссылки

• Место публикации

• идентификаторы

Pubmed Pubmed Central ArXiv Inspire
Crossref DBLP ADS
Prophy

Импорт статьи
• Качаем файл из источника

• XML, JSON, PDF, ePUB

• Парсим в какую-нибудь структуру

• Сохраняем в базу

Prophy
Источник
{meta: data}

Статьи обновляются
• Выходят новые версии

• Исправляются ошибки в источнике

• У препринта появляется DOI
опубликованной статьи

• и так далее

• Записываем обновленные данные в базу

У разных источников
разная полнота данных

Откуда в данных хлам?
• Появилась статья в ArXiv

• Она же появилась в Inspire

• Обновили данные в ArXiv

• Трижды обновили данные в Inspire

• Вышла новая версия в ArXiv

Откуда в данных хлам?
• Появилась статья в ArXiv

• Она же появилась в Inspire

• Обновили данные в ArXiv

• Трижды обновили данные в Inspire

• Вышла новая версия в ArXiv

• Статья появилась в PMC и pubmed

Prophy
Источник
{meta: data}
Источник
{meta: data}
Источник
{meta: data}
Источник
{meta: data}
Merge, clean, validate
{meta: data}

Import pipeline
• Стандарты врут

• Схемы врут

• Статистика и конкретные примеры —
реальность

• Юнит-тесты на парсеры и мерж

• Перед сохранением в БД валидируем
данные, как внешнее API или формы

J Smith
• John Smith

• Jill Smith

• Jekyll E Smith

• Jekyll M Smith

• Jekyll EM Smith

J Smith
• John Smith

• Jill Smith

• Jekyll E Smith

• Jekyll M Smith

• Jekyll EM Smith
• J David Smith

• Jekyll Smith Sr.

• Jekyll Smith Jr.

• Jekyll Smith III

J Smith
• John Smith

• Jill Smith

• Jekyll E Smith

• Jekyll M Smith

• Jekyll EM Smith
• J David Smith

• Jekyll Smith Sr.

• Jekyll Smith Jr.

• Jekyll Smith III

• Jekill Smyth

JL Smith, MB Salamon
Кто из:

• James L. Smith, Myron B. Salamon

• Janet L. Smith, Theodora Hatziioannou

JL Smith, MB Salamon
Кто из:

• James L. Smith, Myron B. Salamon

• Janet L. Smith, Theodora Hatziioannou

• Jerald L. Smith, Miriam Salamon

J Smith
• Около 15-20 тысяч статей, подписанных
каким-нибудь J Smith (в нашей базе)

• Это больше тысячи реальных людей

• Кто-то написал сотни статей, кто-то - одну-
две

Jürg Fröhlich, Jurg Frohlich,  
Juerg Froehlich
• Пишет про квантовую механику, темную
материю и влияние электромагнитных
полей на организм

• Это один человек? Два? Четыре?

• Он весь из ETHZ (политехнический
университет в Цюрихе)

Ох, китайцы
Странный народ

Еще исключительные
случаи
• Тысячи авторов в одной статье

• Группы авторов

• ATLAS collaboration

• Investigators of the European Huntington's
Disease Network

Идентификаторы  
спешат на помощь
• Специальные идентификаторы для
научных авторов

• ORCID – 0000-0001-8073-3068

• ScopusID – 13204492100

• ResearcherID – E-3698-2015

• Email

Специальные
идентификаторы
• Редко указывают в статьях

• Не человекочитаемы

• Их путают в статьях

• В базах идентификаторов куча бреда

V Petrov'ы
stanislaV, paVel, Vladimir

Lachezar? Sergei?

Email
• Один емейл точно принадлежит одному
человеку

• У одного человека может быть несколько

• Gmail

• Hotmail

• Разные университеты

Email принадлежит
одному человеку?
• isrn.molecular.biology@hindawi.com

• microbiologia.clinica@unt.edu.ar

• gyn-sekretariat@pius-hospital.de

• secretariat@grangettes.ch

Группируем статьи
• Вытаскиваем десятки гигабайт из БД

• Строим граф с правильными весами
между вершинами

• Кластеризуем граф

• Многократно повторяем иерархически

• Как мерять качество?

Улучшаем результаты
• Внимательно делаем code review

• Визуализируем

• Эксперт смотрит глазами

• Добываем больше хороших данных

• Убираем плохие данные (шум)

Мы тут про Python
собрались поговорить?

Python
• Инструменты и библиотеки:

• gensim, sklearn, Jupyter, etc

• Медленный

• Накладно параллелить

• Сложновато ускорять

От ORM больше
вреда, чем пользы

Применение SQL
просветляет
SQL позволяет намного быстрее и удобнее
исследовать данные

Что сделали удачно
• Импорт статей

• "Микросервисный" монолит

• Миграции для Postgres в raw SQL

• Тесты

• Code review

Планы
• Оптимизации: кластеризация 10 млн
статей съедает 100+ Гб RAM и идёт сутки

• Улучшать подход к авторам

• Мерять качество ML

• Куча других вещей

Планы
• Оптимизации: кластеризация 10 млн
статей съедает 100+ Гб RAM и идёт сутки

• Улучшать подход к авторам

• Мерять качество ML

• Куча других вещей

• Расширять команду ;)

Спасибо за
внимание
Вопросы?
Vsevolod Solovyov
CTO at Prophy Science
@murkt
vsevolod.solovyov@gmail.com

Будни data science/NLP стартапа

Recommended

Recommended

More Related Content

Featured

Featured (20)

Будни data science/NLP стартапа