Workshop KPDI 8 (Konferensi Perpustakaan Digital Indonesia). Bogor, 3 November 2015

1. Registration, Harvesting, Indexing,
Searching, and Community Virtual Hosting
Ismail Fahmi, PhD
Konsultan Perpusnas RI
Inisiator Indonesia OneSearch
Ismail.fahmi@gmail.com
Workshop KPDI 8
Workshop Indonesian OneSearch
Konferensi Perpustakaan Digital Indonesia 8
Bogor, 3 November 2015

2. Perkenalan…
Ismail Fahmi
2004 – 2009 S3, Information Science, Universitas Groningen, Belanda
2003 – 2004 S2, Information Science, Universitas Groningen, Belanda
1992 – 1997 S1, Teknik Elektro, ITB
2009 – Sekarang Engineer di Weborama, Perusahaan Penyedia Platform Iklan
berbasis big data audience (Paris/Amsterdam)
2012 – Sekarang Co-Founder Awesometrics, Media Monitoring &
Analytics Company
2014 – Sekarang Founder PT. Media Kernels Indonesia, a Natural Language
Processing- based Company
2015 – Sekarang Konsultan Perpustakaan Nasional, Inisiator Indonesia
OneSearch
2000 – 2003 Inisiator IndonesiaDLN (Digital Library Network pertama
di Indonesia)
Mengembangkan Ganesha Digital Library (GDL)
Mendirikan Knowledge Management Research Group
(KMRG) ITB
Membangun Digital Library ITB

3. Daftar Isi
1. Roadmap
2. Interoperabilitas
3. Registration
4. Harvesting & Indexing
5. Searching
6. Virtual Community
7. Kesimpulan
3

4. Mengapa Masih Butuh Portal Baru?
• Belum ada portal yang mengindeks seluruh jenis koleksi (jurnal, ILS,
grey literatur / digital library).
– PortalGaruda dan ISJD hanya khusus untuk journal
– Garuda.dikti.go.id sudah tidak aktif lagi.
• Belum ada portal yang sangat mudah digunakan oleh pengguna
dengan fitur informasi yang sangat kaya.
– PortalGaruda yang paling bagus user interfacenya, namun belum lengkap
fitur informasi yang disajikan.
– Perlu portal yang sangat memudahkan pengguna mencari informasi yang
dibutuhkan, dan bahkan bisa meningkatkan serendipity.
• Belum ada portal yang mobile friendly, padahal saat ini mobile
device semakin banyak digunakan oleh pengguna.
– PortalGaruda dan ISJD didesain untuk browser desktop.
– Untuk meningkatkan diseminasi dan usability, portal harus semakin
berorientasi pada pengguna.
4

5. Requirement untuk Portal Baru
• Repository dan koleksi
– Mencakup semua jenis repositori dan koleksi (journal, ILS, digital library)
• Interoperability dan update
– OAI-PMH (Harvesting), satu-satunya metode harvesting
– OAI-PMP (Posting), metode posting offline
– Otomatis update
• User Interface dan fitur
– Simple, mudah digunakan, powerful search engine, diperkaya dengan
faceted search, dan informasi yang lengkap.
• Mobile
– Mendukung mobile device (smartphone, tablet)
• Authority dan report
– Informasi tentang pengarang, citation index, dan statistik yang penting
dan menarik untuk kontributor.
• Sustainable
– Didukung oleh sistem yang memungkinkan portal berkembang untuk
jangka panjang.
5

6. Indonesia OneSearch
6
Any platforms Any collections

7. Road Map
7
Tahap 1 (2015): OneSearch Basic
Input
• Bibliography
• Perpusnas tematic databases
Process
• Harvesting
• Search & Facet
• Bibliography indexing
Output
• Search bibliography
• Search Summon
• OAI Manager
Tahap 2 (2016): OneSearch Advanced
Input
• PDF Fulltext
Process
• PDF crawling
• PDF to text and image converting
• Fulltext indexing
• Linguistics processing
• Semantic indexing
• Content analysis
• Statistics: collection, usage
Output
• View fulltext online (eReader)
• Content analysis and research
• Citation Index
• View collection and usage statistics
Tahap 3 (2017): NoPlagiarism
Input
• PDF Fulltext
• Wikipedia (Bahasa Indonesia)
• Online news (Bahasa Indonesia)
Process
• Wikipedia crawling
• Online news crawling
• Document fingerprint indexing
• Similarity analyzer
• Similarity Report builder
Output
• Document upload
• Document similarity detection report
• Admin

8. Tahap 1 (Mulai 2015)
• OneSearch Basic
• Target
– Teknis:
• Metadata Harvesting, otomatis, tidak ada penambahan manual.
• Interoperability menggunakan OAI-PMH
• Metadata Prefix: MARCXML dan OAI_DC
• Prototipe Server
• Database dan Form Registrasi Repository
• Reporting dan analytics
• Integrasi beberapa Software:
– ILS: INLIS Lite, SLIMs, KOHA
– Journal: OJS
– Digital Library/Repository: Dspace, dll.
– Summon
– Non-Teknis:
• Strategi pengelolaan dan sustainability Indonesia OneSearch
• Masukan dari komunitas
• Pembentukan Tim
• Kerjasama, sosialiasi 8

9. Tahap 2 (Mulai 2016)
• OneSearch Advanced
• Target:
– Teknis:
• Full-text Harvesting
• Penerapan teknologi NLP (Natural Language Processing)
• Content analysis terhadap full-text
• Pengguna mendapatkan banyak kemudahan dalam melakukan pencarian
dan riset.
• Authority index.
• Citation parsing and indexing.
– Non-Teknis:
• Kampanye tentang sharing full-teks,
• Demo manfaat content analysis untuk pengguna.
9

10. Perl ParsCit
• Parsing and indexing citation.
• Using ParsCit open source software.
– https://github.com/knmnyn/ParsCit
– http://wing.comp.nus.edu.sg/parsCit/
– ParsCit is used by CiteseerX to parse document for citation.
10

11. CiteSeerX
11

12. Teknologi NLP di dalam OneSearch
• Text mining, content analysis:
– Terminologi extraction
– Named entity extraction: person, organization, location,
event, time
– Quote extraction
– Cooccurrence analysis
– Relationship extraction: S-P-O (subject-predicate-object)
relations, entity relations.
– Clustering, topic mapping
12

13. Contoh S-P-O Relationship Extraction
13

14. Contoh Relationship Mapping
14

15. Tahap 3 (Mulai 2017)
• NoPlagiarism
• Target:
– Teknis:
• Membangun sistem plagiarism detector.
• Mengindeks news, wikipedia, blogs, dan seluruh full-teks dalam Indonesia
OneSearch untuk plagiarism detector; paling lengkap untuk teks dalam
bahasa Indonesia.
• Menyediakan infrastruktur server dan data center untuk plagiarism
detector.
• Membangun interface seperti Turnitin untuk pengguna di PT, lembaga
riset, dan individual.
– Non-Teknis:
• Ujicoba dan sosialiasi NoPlagiarism ke dosen dan mahasiswa di perguruan
tinggi.
• Kampanye anti-plagiarism.
15

16. Turnitin
16
Kemampuan
mendeteksi
plagiarisme sangat
tergantung pada
database artikel yang
diindeks.
Turnitin mengindeks
sebagian besar artikel
berbahasa Inggris,
tetapi tidak untuk
yang berbahasa
Indonesia dan
tidak dishare.

17. Indonesia OneSearch + NoPlagiarism
17

18. Konfigurasi Lengkap Indonesia OneSearch
18

19. Program Perpustakaan Nasional
19
Indonesia OneSearch
is a program by the
National Library of
Indonesia

20. Daftar Isi
1. Roadmap
2. Interoperabilitas
3. Registration
4. Harvesting & Indexing
5. Searching
6. Virtual Community
7. Kesimpulan
20

21. Interoperability
21
Digital Library servers
(Eprints, Dspace, dll)
Otomation/Digital
Library servers (SLIMs)
Library Otomation
servers (INLIS)
Other Repository
(Omeka, dll)
E-Journal (OJS)
MULTI-PLAFORM LIBRARY
INFORMATION SYSTEM
OAI PMH
OAI PMP
Harvesting (online)
Posting (offline)
OAI PMH
Harvesting
Fulltext Files (PDF)
Download

22. Skenario Interoperability
slims-
ucs.onesearch.id
UCS A UCS B
OAI-PMH OAI-PMH OAI-PMH
UCS Upload UCS Upload
OAI-PMH
Open journal system

23. OAI-PMH
23

24. OAI-PMH Structure Model
24

25. Skenario Interoperabilitas
25

26. Contoh
26
http://www.jurnal.unsyiah.ac.id/AIJST/oai

27. Identify
27

28. ListRecords (oai_dc)
28
Record Header
Record Metadata

29. ResumptionToken (oai_dc)
29
http://www.jurnal.unsyiah.ac.id/AIJST/oai?verb=ListRecords&resumptionToken=
c427fbc9b3c0472bd06aeb51ab973bfd
Next Request:

30. ListRecords (marcxml)
30
http://dev.pnri.go.id/oaiinlis/oai2.aspx?verb=ListRecords&metadataPrefix=marcxml
Record Header
Record Metadata

31. ResumptionToken (marcxml)
31

32. Contoh Source Code OAI-PMH (PHP)
32
http://wiki.onesearch.id/doku.php?id=oai-pmh-sample

33. Contoh Library OAI-PMH (SLIMs)
33

34. Daftar Isi
1. Roadmap
2. Interoperabilitas
3. Registration
4. Harvesting & Indexing
5. Searching
6. Virtual Community
7. Kesimpulan
34

35. Bergabung dengan Indonesia OneSearch
• Aspek Legal:
– Institusi Anda akan bekerja sama dengan Perpustakaan Nasional RI.
– MOU dan Perjanjian Kerjasama (jika dibutuhkan) dapat dilakukan
dengan Perpustakaan Nasional RI.
• Aspek Teknis:
– Registrasi Online via situs OneSearch.id
– Konsultasi/support dengan Tim teknis Indonesia OneSearch
35

36. Jenis Repositori
• Journal
• Integrated Library System (ILS)
• Digital Repository/Library
36

37. Registrasi Jurnal
37
http://onesearch.id/Repositories/AddJournal

38. Registrasi Jurnal (lanj.)
38
Library Type
Software Platform
Metadata Prefix

39. Registrasi Jurnal (lanj.)
39
Subject Area mengadopsi
ISJD PDII LIPI

40. Digital Repository
40

41. ILS
41

42. Browse OneSearch Repositories
42

43. Daftar Isi
1. Roadmap
2. Interoperabilitas
3. Registration
4. Harvesting & Indexing
5. Searching
6. Virtual Community
7. Kesimpulan
43

44. Harvesting & Indexing
• Secara otomatis dan periodik dilakukan oleh server Indonesia
OneSearch.
• Selalu pastikan agar OAI-PMH anda aktif dan dapat diakses
oleh server IOS.
44

45. Daftar Isi
1. Roadmap
2. Interoperabilitas
3. Registration
4. Harvesting & Indexing
5. Searching
6. Virtual Community
7. Kesimpulan
45

46. Search & Browse IOS
46

47. Integrasi dengan Summon®
Integration with Summon® Service

48. Alamat Repository Anda di IOS
48

49. Daftar Isi
1. Roadmap
2. Interoperabilitas
3. Registration
4. Harvesting & Indexing
5. Searching
6. Virtual Community
7. Kesimpulan
49

50. Contoh: KINK (Katalog Induk Nasional Kesehatan)

51. Alur data OneSearch dan KINK
Onesearch.kink.kemkes.go.id
Koha, Dspace, SLIMs, dll
(Online)
Indonesia OneSearch
UCS SLIMs
OAI PMH
Filtering
OAI PMH
SLIMs (Offline)
UCS upload

52. Tahap 1: repository online
1. Pusat Komunikasi Publik
2. Sekretariat Badan Litbang Kesehatan
3. Pusdiklat Aparatur
4. Poltekkes Jakarta II
5. Poltekkes Jakarta III
6. Poltekkes Malang
7. Poltekkes Surabaya
8. Poltekkes Semarang
9. Poletekkes Yogyakarta
10.Poltekkes Padang
11.Poltekkes Bandung
12.Poltekkes Tanjung Karang
13.Poltekkes Denpasar

53. Tahap 2: repository offline
1. Ditjen P2PL
2. Sekretariat Badan PPSDM
3. Poltekkes Jakarta I
4. Poltekkes Bengkulu
5. Poltekkes Aceh
6. Poltekkes Palembang
7. Poltekkes Tasikmalaya
8. Poltekkes Pontianak
9. Poltekkes Banjarmasin

54. Alamat URL Virtual Hosting
54

55. Daftar Isi
1. Roadmap
2. Interoperabilitas
3. Registration
4. Harvesting & Indexing
5. Searching
6. Virtual Community
7. Kesimpulan
55

56. Kesimpulan
• Persyaratan Bergabung dengan Indonesia OneSearch:
– Siapkah persyaratan teknis:
• Memiliki sistem otomasi perpustakaan (ILS) yang menggunakan software
seperti SLIMs, Koha, dll.
• Atau memiliki sistem digital library, yang menggunakan software seperti
DSPACE, Eprints, dll.
• Syarat: http://wiki.onesearch.id/doku.php?id=syarat-bergabung
• Pastikan sistem otomasi/digital library sudah mendukung protokol OAI-PMH.
• Contoh untuk SLIMs, lihat di http://wiki.onesearch.id/doku.php?id=oai-slims.
• Registrasi ke Indonesia OneSearch:
– Kontak Indonesia OneSearch (Ismail Fahmi, ismail.fahmi@gmail.com)
– Isi Form ‘suggestion’ sesuai dengan jenis repository: Journal, Digital
Repository/Library, atau ILS.
• Harvesting, Indexing, Launching
– Langkah selanjutnya akan dilakukan oleh Indonesia OneSearch, untuk
mengharvest dan mengindeks data dari repositori perpustakaan anda.
– Setelah proses harvesting dan indexing selesai, koleksi dari perpustakaan
anda akan bisa diakses dari Indonesia OneSearch.
56

57. Terimakasih
57
Ismail Fahmi
Indonesia OneSearch, Inisiator
HP: 0812 8908 3894
Email: Ismail.fahmi@gmail.com