SlideShare a Scribd company logo
SOLR TOTAL17 000 000 Bibliographic records
3 500 000 Authority records
1 000 MARC fields/subfields
2 000 Indexes
200 Go Indexes
>1 Levels of structuration of indexes
1,5 Search engine : Solr + SIREN
www.abes.fr Yann NICOLAS @071625348
Christophe
We need to mine our MARC data
Bibliographic
records
Authority
records
We are demanding !
• All the records
• All the fields, subfields, indicators
• All the time  real time updating of indexes
+ full text indexing
+ facets
Solution #1 (2011) : vanilla SolR
UNIMARC/XML in DB
 XQuery
 Solr XML Documents (flat lists of fields)
 Indexation by Solr
• as text
• as string
Query
• Via API (JAVA) or web service
• Via a gloomy web interface
SOLR TOTAL. A search engine for each MARC field, subfield, indicator
Non flat MARC vs Flat indexes
Search Result
Firstname = Josef
Lastname = Chvéïk
Record with two authors :
• Josef Colomb
• Jean-Jacques Chvéïk
Data [[a1, b1], [a2, b2]] #repetableFields
Index (a1, a2, b1, b2) #flatList
OK, we could enrich the index this way : (a1, a1b1, a2, a2b2, b1, b2)
We could… #lazy
Solution #2 (2016) : SolR + SIREN
Non flat indexes for non flat MARC data
Two levels : fields + their own subfields
Three levels : groups of fields
Etc. (in theory)
<BB700>
<B700-ind1></B700-ind1>
<B700-ind2>1</B700-ind2>
<B700S3>027994007</B700S3>
<B700Sa>Bensoussan</B700Sa>
<B700Sb>Alain</B700Sb>
<B700Sf>1951-....</B700Sf>
<B700Sc>Avocat</B700Sc>
<B700S4>070</B700S4>
</BB700>
Solr+SIREN document to index
Structure :
One field and its subfields
<EE>
<B915>
<B915-ind1></B915-ind1>
<B915-ind2></B915-ind2>
<B915S5>914712101:402653661</B915S5>
<B915Sa>9530403382</B915Sa>
</B915>
(…)
<B930>
<B930-ind1></B930-ind1>
<B930-ind2></B930-ind2>
<B930S5>914712101:402653661</B930S5>
<B930Sb>914712101</B930Sb>
<B930Sa>346.01 BEN inf</B930Sa>
<B930Sj>u</B930Sj>
</B930>
</EE>
Solr+SIREN document to index
Structure :
Fields grouped by holding
{
"boolean" : {
"clause" : [
{
"node" : {
"attribute" : "B200Sa",
"query" : "voltaire"
}
},
{
"twig" : {
"root" : "B701",
"child" : [ {
"occur" : "MUST",
"node" : {
"attribute" : "B700Sa",
"query" : "Chveïk"
}
},{
"occur" : "MUST",
"node" : {
"attribute" : "B700Sb",
"query" : "Josef"
}
} ]
}
}
]
}
}
Subfield in the same field
Subfield in the same field
Field
QUERY
SOLR TOTAL. A search engine for each MARC field, subfield, indicator

More Related Content

More from Y. Nicolas

Abes and semweb (#ELAG14 conference lightning talk)
Abes and semweb (#ELAG14 conference lightning talk)Abes and semweb (#ELAG14 conference lightning talk)
Abes and semweb (#ELAG14 conference lightning talk)
Y. Nicolas
 
Hub de métadonnées - jabes2014
Hub de métadonnées - jabes2014Hub de métadonnées - jabes2014
Hub de métadonnées - jabes2014
Y. Nicolas
 
theses.fr : un exemple d'ouverture de l'information scientifique sur le web d...
theses.fr : un exemple d'ouverture de l'information scientifique sur le web d...theses.fr : un exemple d'ouverture de l'information scientifique sur le web d...
theses.fr : un exemple d'ouverture de l'information scientifique sur le web d...
Y. Nicolas
 
web de données / bib
web de données / bibweb de données / bib
web de données / bib
Y. Nicolas
 
Jabes2012 : tutoriel web de données
Jabes2012 : tutoriel web de donnéesJabes2012 : tutoriel web de données
Jabes2012 : tutoriel web de données
Y. Nicolas
 
Sudoc, Calames, theses.fr et le Web de données
Sudoc, Calames, theses.fr et le Web de donnéesSudoc, Calames, theses.fr et le Web de données
Sudoc, Calames, theses.fr et le Web de données
Y. Nicolas
 
Intégrer IdRef dans les applications documentaires de votre université. Pourq...
Intégrer IdRef dans les applications documentaires de votre université. Pourq...Intégrer IdRef dans les applications documentaires de votre université. Pourq...
Intégrer IdRef dans les applications documentaires de votre université. Pourq...
Y. Nicolas
 
IdRef. Les référentiels comme services. Une politique de l'ABES
IdRef. Les référentiels comme services. Une politique de l'ABESIdRef. Les référentiels comme services. Une politique de l'ABES
IdRef. Les référentiels comme services. Une politique de l'ABES
Y. Nicolas
 
metadata_pour_dirbu_mars2011
metadata_pour_dirbu_mars2011metadata_pour_dirbu_mars2011
metadata_pour_dirbu_mars2011
Y. Nicolas
 
Métadonnées de thèse
Métadonnées de thèseMétadonnées de thèse
Métadonnées de thèse
Y. Nicolas
 
Le Web sémantique : un web de métadonnées
Le Web sémantique : un web de métadonnéesLe Web sémantique : un web de métadonnées
Le Web sémantique : un web de métadonnées
Y. Nicolas
 
Mettre nos données en réseau (données de l'IST en France)
Mettre nos données en réseau (données de l'IST en France)Mettre nos données en réseau (données de l'IST en France)
Mettre nos données en réseau (données de l'IST en France)
Y. Nicolas
 
Vers un portail des Thèses
Vers un portail des ThèsesVers un portail des Thèses
Vers un portail des Thèses
Y. Nicolas
 
Calames :: CERL seminar (Paris, 2008)
Calames :: CERL seminar (Paris, 2008)Calames :: CERL seminar (Paris, 2008)
Calames :: CERL seminar (Paris, 2008)
Y. Nicolas
 
Livres, périodiques, thèses et manuscrits en réseau
Livres, périodiques, thèses et manuscrits en réseauLivres, périodiques, thèses et manuscrits en réseau
Livres, périodiques, thèses et manuscrits en réseau
Y. Nicolas
 
Calames. Editer, rechercher, exposer des métadonnées EAD
Calames. Editer, rechercher, exposer des métadonnées EADCalames. Editer, rechercher, exposer des métadonnées EAD
Calames. Editer, rechercher, exposer des métadonnées EAD
Y. Nicolas
 
Calames - presentation à l'ecole des chartes
Calames - presentation à l'ecole des chartesCalames - presentation à l'ecole des chartes
Calames - presentation à l'ecole des chartes
Y. Nicolas
 

More from Y. Nicolas (17)

Abes and semweb (#ELAG14 conference lightning talk)
Abes and semweb (#ELAG14 conference lightning talk)Abes and semweb (#ELAG14 conference lightning talk)
Abes and semweb (#ELAG14 conference lightning talk)
 
Hub de métadonnées - jabes2014
Hub de métadonnées - jabes2014Hub de métadonnées - jabes2014
Hub de métadonnées - jabes2014
 
theses.fr : un exemple d'ouverture de l'information scientifique sur le web d...
theses.fr : un exemple d'ouverture de l'information scientifique sur le web d...theses.fr : un exemple d'ouverture de l'information scientifique sur le web d...
theses.fr : un exemple d'ouverture de l'information scientifique sur le web d...
 
web de données / bib
web de données / bibweb de données / bib
web de données / bib
 
Jabes2012 : tutoriel web de données
Jabes2012 : tutoriel web de donnéesJabes2012 : tutoriel web de données
Jabes2012 : tutoriel web de données
 
Sudoc, Calames, theses.fr et le Web de données
Sudoc, Calames, theses.fr et le Web de donnéesSudoc, Calames, theses.fr et le Web de données
Sudoc, Calames, theses.fr et le Web de données
 
Intégrer IdRef dans les applications documentaires de votre université. Pourq...
Intégrer IdRef dans les applications documentaires de votre université. Pourq...Intégrer IdRef dans les applications documentaires de votre université. Pourq...
Intégrer IdRef dans les applications documentaires de votre université. Pourq...
 
IdRef. Les référentiels comme services. Une politique de l'ABES
IdRef. Les référentiels comme services. Une politique de l'ABESIdRef. Les référentiels comme services. Une politique de l'ABES
IdRef. Les référentiels comme services. Une politique de l'ABES
 
metadata_pour_dirbu_mars2011
metadata_pour_dirbu_mars2011metadata_pour_dirbu_mars2011
metadata_pour_dirbu_mars2011
 
Métadonnées de thèse
Métadonnées de thèseMétadonnées de thèse
Métadonnées de thèse
 
Le Web sémantique : un web de métadonnées
Le Web sémantique : un web de métadonnéesLe Web sémantique : un web de métadonnées
Le Web sémantique : un web de métadonnées
 
Mettre nos données en réseau (données de l'IST en France)
Mettre nos données en réseau (données de l'IST en France)Mettre nos données en réseau (données de l'IST en France)
Mettre nos données en réseau (données de l'IST en France)
 
Vers un portail des Thèses
Vers un portail des ThèsesVers un portail des Thèses
Vers un portail des Thèses
 
Calames :: CERL seminar (Paris, 2008)
Calames :: CERL seminar (Paris, 2008)Calames :: CERL seminar (Paris, 2008)
Calames :: CERL seminar (Paris, 2008)
 
Livres, périodiques, thèses et manuscrits en réseau
Livres, périodiques, thèses et manuscrits en réseauLivres, périodiques, thèses et manuscrits en réseau
Livres, périodiques, thèses et manuscrits en réseau
 
Calames. Editer, rechercher, exposer des métadonnées EAD
Calames. Editer, rechercher, exposer des métadonnées EADCalames. Editer, rechercher, exposer des métadonnées EAD
Calames. Editer, rechercher, exposer des métadonnées EAD
 
Calames - presentation à l'ecole des chartes
Calames - presentation à l'ecole des chartesCalames - presentation à l'ecole des chartes
Calames - presentation à l'ecole des chartes
 

Recently uploaded

Celonis Busniess Analyst Virtual Internship.pptx
Celonis Busniess Analyst Virtual Internship.pptxCelonis Busniess Analyst Virtual Internship.pptx
Celonis Busniess Analyst Virtual Internship.pptx
AnujaGaikwad28
 
Female Girls Call Mumbai 9920725232 Unlimited Short Providing Girls Service A...
Female Girls Call Mumbai 9920725232 Unlimited Short Providing Girls Service A...Female Girls Call Mumbai 9920725232 Unlimited Short Providing Girls Service A...
Female Girls Call Mumbai 9920725232 Unlimited Short Providing Girls Service A...
45unexpected
 
Girls Call Vadodara 000XX00000 Provide Best And Top Girl Service And No1 in City
Girls Call Vadodara 000XX00000 Provide Best And Top Girl Service And No1 in CityGirls Call Vadodara 000XX00000 Provide Best And Top Girl Service And No1 in City
Girls Call Vadodara 000XX00000 Provide Best And Top Girl Service And No1 in City
gargnatasha985
 
Premium Girls Call Navi Mumbai 🎈🔥9920725232 🔥💋🎈 Provide Best And Top Girl Ser...
Premium Girls Call Navi Mumbai 🎈🔥9920725232 🔥💋🎈 Provide Best And Top Girl Ser...Premium Girls Call Navi Mumbai 🎈🔥9920725232 🔥💋🎈 Provide Best And Top Girl Ser...
Premium Girls Call Navi Mumbai 🎈🔥9920725232 🔥💋🎈 Provide Best And Top Girl Ser...
6459astrid
 
Fine-Tuning of Small/Medium LLMs for Business QA on Structured Data
Fine-Tuning of Small/Medium LLMs for Business QA on Structured DataFine-Tuning of Small/Medium LLMs for Business QA on Structured Data
Fine-Tuning of Small/Medium LLMs for Business QA on Structured Data
kevig
 
Coimbatore Girls call Service 000XX00000 Provide Best And Top Girl Service An...
Coimbatore Girls call Service 000XX00000 Provide Best And Top Girl Service An...Coimbatore Girls call Service 000XX00000 Provide Best And Top Girl Service An...
Coimbatore Girls call Service 000XX00000 Provide Best And Top Girl Service An...
vrvipin164
 
M44.pdf dairy management farm report of an
M44.pdf dairy management farm report of anM44.pdf dairy management farm report of an
M44.pdf dairy management farm report of an
ManjuBv2
 
Beautiful Girls Call Pune 000XX00000 Provide Best And Top Girl Service And No...
Beautiful Girls Call Pune 000XX00000 Provide Best And Top Girl Service And No...Beautiful Girls Call Pune 000XX00000 Provide Best And Top Girl Service And No...
Beautiful Girls Call Pune 000XX00000 Provide Best And Top Girl Service And No...
birajmohan012
 
Beautiful Girls Call 9711199171 9711199171 Provide Best And Top Girl Service ...
Beautiful Girls Call 9711199171 9711199171 Provide Best And Top Girl Service ...Beautiful Girls Call 9711199171 9711199171 Provide Best And Top Girl Service ...
Beautiful Girls Call 9711199171 9711199171 Provide Best And Top Girl Service ...
janvikumar4133
 
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
ginni singh$A17
 
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
ginni singh$A17
 
NPS_Presentation_V3.pptx it is regarding National pension scheme
NPS_Presentation_V3.pptx it is regarding National pension schemeNPS_Presentation_V3.pptx it is regarding National pension scheme
NPS_Presentation_V3.pptx it is regarding National pension scheme
ASISHSABAT3
 
Verified Girls Call Andheri 9930245274 Unlimited Short Providing Girls Servic...
Verified Girls Call Andheri 9930245274 Unlimited Short Providing Girls Servic...Verified Girls Call Andheri 9930245274 Unlimited Short Providing Girls Servic...
Verified Girls Call Andheri 9930245274 Unlimited Short Providing Girls Servic...
revolutionary575
 
Best Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Service And ...
Best Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Service And ...Best Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Service And ...
Best Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Service And ...
sharonblush
 
potential usefulness of multi-agent maze-solving in general
potential usefulness of multi-agent maze-solving in generalpotential usefulness of multi-agent maze-solving in general
potential usefulness of multi-agent maze-solving in general
huseindihon
 
Female Service Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Se...
Female Service Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Se...Female Service Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Se...
Female Service Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Se...
dizzycaye
 
CHAPTER-1-Introduction-to-Marketing.pptx
CHAPTER-1-Introduction-to-Marketing.pptxCHAPTER-1-Introduction-to-Marketing.pptx
CHAPTER-1-Introduction-to-Marketing.pptx
girewiy968
 
Exclusive Girls Call Noida 🎈🔥9873940964 🔥💋🎈 Provide Best And Top Girl Service...
Exclusive Girls Call Noida 🎈🔥9873940964 🔥💋🎈 Provide Best And Top Girl Service...Exclusive Girls Call Noida 🎈🔥9873940964 🔥💋🎈 Provide Best And Top Girl Service...
Exclusive Girls Call Noida 🎈🔥9873940964 🔥💋🎈 Provide Best And Top Girl Service...
sheetal singh$A17
 
Willis Tower //Sears Tower- Supertall Building .pdf
Willis Tower //Sears Tower- Supertall Building .pdfWillis Tower //Sears Tower- Supertall Building .pdf
Willis Tower //Sears Tower- Supertall Building .pdf
LINAT
 
New Girls Call Delhi 🎈🔥9711199171 🔥💋🎈 Provide Best And Top Girl Service And N...
New Girls Call Delhi 🎈🔥9711199171 🔥💋🎈 Provide Best And Top Girl Service And N...New Girls Call Delhi 🎈🔥9711199171 🔥💋🎈 Provide Best And Top Girl Service And N...
New Girls Call Delhi 🎈🔥9711199171 🔥💋🎈 Provide Best And Top Girl Service And N...
tanupasswan6
 

Recently uploaded (20)

Celonis Busniess Analyst Virtual Internship.pptx
Celonis Busniess Analyst Virtual Internship.pptxCelonis Busniess Analyst Virtual Internship.pptx
Celonis Busniess Analyst Virtual Internship.pptx
 
Female Girls Call Mumbai 9920725232 Unlimited Short Providing Girls Service A...
Female Girls Call Mumbai 9920725232 Unlimited Short Providing Girls Service A...Female Girls Call Mumbai 9920725232 Unlimited Short Providing Girls Service A...
Female Girls Call Mumbai 9920725232 Unlimited Short Providing Girls Service A...
 
Girls Call Vadodara 000XX00000 Provide Best And Top Girl Service And No1 in City
Girls Call Vadodara 000XX00000 Provide Best And Top Girl Service And No1 in CityGirls Call Vadodara 000XX00000 Provide Best And Top Girl Service And No1 in City
Girls Call Vadodara 000XX00000 Provide Best And Top Girl Service And No1 in City
 
Premium Girls Call Navi Mumbai 🎈🔥9920725232 🔥💋🎈 Provide Best And Top Girl Ser...
Premium Girls Call Navi Mumbai 🎈🔥9920725232 🔥💋🎈 Provide Best And Top Girl Ser...Premium Girls Call Navi Mumbai 🎈🔥9920725232 🔥💋🎈 Provide Best And Top Girl Ser...
Premium Girls Call Navi Mumbai 🎈🔥9920725232 🔥💋🎈 Provide Best And Top Girl Ser...
 
Fine-Tuning of Small/Medium LLMs for Business QA on Structured Data
Fine-Tuning of Small/Medium LLMs for Business QA on Structured DataFine-Tuning of Small/Medium LLMs for Business QA on Structured Data
Fine-Tuning of Small/Medium LLMs for Business QA on Structured Data
 
Coimbatore Girls call Service 000XX00000 Provide Best And Top Girl Service An...
Coimbatore Girls call Service 000XX00000 Provide Best And Top Girl Service An...Coimbatore Girls call Service 000XX00000 Provide Best And Top Girl Service An...
Coimbatore Girls call Service 000XX00000 Provide Best And Top Girl Service An...
 
M44.pdf dairy management farm report of an
M44.pdf dairy management farm report of anM44.pdf dairy management farm report of an
M44.pdf dairy management farm report of an
 
Beautiful Girls Call Pune 000XX00000 Provide Best And Top Girl Service And No...
Beautiful Girls Call Pune 000XX00000 Provide Best And Top Girl Service And No...Beautiful Girls Call Pune 000XX00000 Provide Best And Top Girl Service And No...
Beautiful Girls Call Pune 000XX00000 Provide Best And Top Girl Service And No...
 
Beautiful Girls Call 9711199171 9711199171 Provide Best And Top Girl Service ...
Beautiful Girls Call 9711199171 9711199171 Provide Best And Top Girl Service ...Beautiful Girls Call 9711199171 9711199171 Provide Best And Top Girl Service ...
Beautiful Girls Call 9711199171 9711199171 Provide Best And Top Girl Service ...
 
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
 
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
Celebrity Girls Call Noida 9873940964 Unlimited Short Providing Girls Service...
 
NPS_Presentation_V3.pptx it is regarding National pension scheme
NPS_Presentation_V3.pptx it is regarding National pension schemeNPS_Presentation_V3.pptx it is regarding National pension scheme
NPS_Presentation_V3.pptx it is regarding National pension scheme
 
Verified Girls Call Andheri 9930245274 Unlimited Short Providing Girls Servic...
Verified Girls Call Andheri 9930245274 Unlimited Short Providing Girls Servic...Verified Girls Call Andheri 9930245274 Unlimited Short Providing Girls Servic...
Verified Girls Call Andheri 9930245274 Unlimited Short Providing Girls Servic...
 
Best Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Service And ...
Best Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Service And ...Best Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Service And ...
Best Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Service And ...
 
potential usefulness of multi-agent maze-solving in general
potential usefulness of multi-agent maze-solving in generalpotential usefulness of multi-agent maze-solving in general
potential usefulness of multi-agent maze-solving in general
 
Female Service Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Se...
Female Service Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Se...Female Service Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Se...
Female Service Girls Call Navi Mumbai 9930245274 Provide Best And Top Girl Se...
 
CHAPTER-1-Introduction-to-Marketing.pptx
CHAPTER-1-Introduction-to-Marketing.pptxCHAPTER-1-Introduction-to-Marketing.pptx
CHAPTER-1-Introduction-to-Marketing.pptx
 
Exclusive Girls Call Noida 🎈🔥9873940964 🔥💋🎈 Provide Best And Top Girl Service...
Exclusive Girls Call Noida 🎈🔥9873940964 🔥💋🎈 Provide Best And Top Girl Service...Exclusive Girls Call Noida 🎈🔥9873940964 🔥💋🎈 Provide Best And Top Girl Service...
Exclusive Girls Call Noida 🎈🔥9873940964 🔥💋🎈 Provide Best And Top Girl Service...
 
Willis Tower //Sears Tower- Supertall Building .pdf
Willis Tower //Sears Tower- Supertall Building .pdfWillis Tower //Sears Tower- Supertall Building .pdf
Willis Tower //Sears Tower- Supertall Building .pdf
 
New Girls Call Delhi 🎈🔥9711199171 🔥💋🎈 Provide Best And Top Girl Service And N...
New Girls Call Delhi 🎈🔥9711199171 🔥💋🎈 Provide Best And Top Girl Service And N...New Girls Call Delhi 🎈🔥9711199171 🔥💋🎈 Provide Best And Top Girl Service And N...
New Girls Call Delhi 🎈🔥9711199171 🔥💋🎈 Provide Best And Top Girl Service And N...
 

SOLR TOTAL. A search engine for each MARC field, subfield, indicator