Постановка задачи по загрузке 10 млн. записей в DSpace.

1. Федор Краснов,к.т.н., НЭИКОН Загрузить в DSpace10 000 000 записей

2. Арифметика 10 000 000 Если хранилище будет наполняться со скоростью одна запись в секунду, то нам потребуется 116 дней, чтобы загрузить все. Если одна запись содержит 30 мета-полей (dc.title, dc.date_issued, и.т.п.), то для хранения в Dublin Core у нас получится таблица с 0,3 миллиарда строк. При среднем размере текста статьи 500 кБ нам потребуется минимум 15 Тб дисков .

3. Научное обоснование «Experiment to Investigate theScalability of aDSpace-based Archive» DharitriMisra, Ph. D.National Library of Medicine (NLM) April 30, 2008 (http://www.dspacedev2.org/images/stories/ist2008_paper_submitted1.pdf) Conclusion Our archive, built on DSpace, shows acceptable performance in ingesting up to a million items Larger file sizes will not significantly affect performance Our benchmarks should be useful to other DSpace installation sites concerned with performance

4. Структура работ Процесс загрузки (ingestment) Подготовка записей для конвертации Конвертация записей в формат Dublin Core Загрузка записей в DSpace Подготовкадля доступа через веб Индексирование данных в таблицах Индексирование данных для просмотра (Browse) Индексирование данных для Поиска (Search)

5. Подготовки записей для конвертации Коллекции поставляются в формате tar.gz Проверка уникальности записей Проверка валидности записей Установление соответствия метаданных и текста статьи Проверка целостности (наличия метаданных и полных текстов)

6. Загрузка записей в Dspace Dspaceимеет три интерфейса для загрузки Веб интерфейс (SWORD) Import (bin/dspace import) Metadata-import (bin/dspacemetadata-import) с последующей привязкой документов

7. Подготовкадля доступа через веб Индексирование данных для просмотра (Browse) по Автору, Названию журнала, Дате выпуска с помощью Luceneинтегрированного в Dspace. Индексирование данных для поиска (Search) с помощью Solrинтегрированного в Dspace. Для ManakinSolr обеспечивает facets и auto complition.

8. Текущие результаты Завершен процесс загрузки коллекции 13.7 млн записей (без полных текстов статей) Проведена подготовка записей для конвертации, устранено дублирование, выявлены не валидные записи, произведено сопоставление формата коллекции с Dublin Core. Завершена конвертация записей в формат Dublin Core. Произведена загрузка записей в DSpace

9. Сравнение

10. Сравнение

11. Спасибо за внимание. Продолжение следует …