Este documento introduce los conceptos básicos de los motores de búsqueda, Lucene y Solr. Explica que Lucene es una biblioteca de búsqueda de texto escrita en Java que usa un índice invertido, mientras que Solr es una plataforma de búsqueda empresarial de código abierto que utiliza Lucene como núcleo y agrega características como APIs REST, configuración externa y escalabilidad a través de replicación y particionamiento. También describe conceptos clave como documentos, campos, términos y

1. Search Engines + Solr

3. Qué es Lucene

4. Qué es Solr

5. Conceptos de Lucene y Solr

6. Cómo es una aplicación de búsqueda típica

7. Qué otros features ofrece Solr / Lucene

10. Yanadiepuedeimaginar internet sin Google o un buscadorequivalente.

12. Simplificar la tarea de encontraresoquebusca:

13. Eliminandoresultadosque no son de interés del usuario

14. Asegurandose de mostraraquellosresultadosque SI son de interés

15. Que los resultadostengan un ordenlógico, quefaciliteencontrar la mejoropcióndentro de los resultados

16. Velocidad en la respuesta

19. Escrita en Java

20. Muy Flexible

21. Usa un índiceinvertido

23. Escrita en Java

24. Muy Flexible

25. Usa un índiceinvertido

27. Escrita en Java

28. Muy Flexible

29. Usa un índiceinvertido

30. MuyestableMulti Platforma. También se implementó en otroslenguajes

32. Escrita en Java

33. Muy Flexible

34. Usa un índiceinvertido

35. MuyestablePuedeutilizarse en casi cualquieraplicación Java querequierabúsqueda portexto

37. Escrita en Java

38. Muy Flexible

39. Usa un índiceinvertido

40. MuyestableOptimizadapararealizar búsquedas de texto

42. Escrita en Java

43. Muy Flexible

44. Usa un índiceinvertido

45. Muyestable10+ años de desarrollo open source. Utilizada en muchas aplicacionesproductivas (porejemplo: Twitter, Linked-in)

46. ¿Qué es Solr?

47. Primero el Nombre… S O L R earch over ucene at esin

49. Escrita en Java

50. Lucene essunúcleo

51. Agregaalgunos features

52. Muyescalable

53. APIs “REST-like” HTTP/XML y JSON

54. Configuraciónexterna

56. Escrita en Java

57. Lucene essunúcleo

58. Agregaalgunos features

59. Muyescalable

60. APIs “REST-like” HTTP/XML y JSON

61. Configuraciónexterna

63. Escrita en Java

64. Lucene essunúcleo

65. Agregaalgunos features

66. Muyescalable

67. APIs “REST-like” HTTP/XML y JSON

68. Configuraciónexterna

69. Extensible mediante plug-insMulti plataforma

71. Escrita en Java

72. Lucene essunúcleo

73. Agregaalgunos features

74. Muyescalable

75. APIs “REST-like” HTTP/XML y JSON

76. Configuraciónexterna

77. Extensible mediante plug-insIncluyetodaslascaracterísticas y features de Lucene

79. Escrita en Java

80. Lucene essunúcleo

81. Agregaalgunos features

82. Muyescalable

83. APIs “REST-like” HTTP/XML y JSON

84. Configuraciónexterna

85. Extensible mediante plug-insSimplifica el análisis, highlighting, faceting, spell-checking, integración con bases de datos, extracción de contenido de documentoscomo word, pdf, etc

87. Escrita en Java

88. Lucene essunúcleo

89. Agregaalgunos features

90. Muyescalable

91. APIs “REST-like” HTTP/XML y JSON

92. Configuraciónexterna

93. Extensible mediante plug-insReplicación, Sharding Integración con Zookeeper

95. Escrita en Java

96. Lucene essunúcleo

97. Agregaalgunos features

98. Muyescalable

99. APIs “REST-like” HTTP/XML y JSON

100. Configuraciónexterna

101. Extensible mediante plug-insEs simple de usardesde cualquieraplicaciónescrita en cualquierlenguaje. No es necesario saber Java parausarlo. Desacopla la búsqueda de la aplicación.

103. Escrita en Java

104. Lucene essunúcleo

105. Agregaalgunos features

106. Muyescalable

107. APIs “REST-like” HTTP/XML y JSON

108. Configuraciónexterna

109. Extensible mediante plug-insPodríanconstruirsecientos de aplicacionescompletamente distintas sin tocarunalínea de código Java.

111. Escrita en Java

112. Lucene essunúcleo

113. Agregaalgunos features

114. Muyescalable

115. APIs “REST-like” HTTP/XML y JSON

116. Configuraciónexterna

117. Extensible mediante plug-insSe pueden extender o crear nuevoscomponentes y agregarlos de manera simple

118. ¿Quées Solr?

120. Conceptualmente, es lo que el usuariova a buscar en la aplicación. Porejemplo, en Google, un documentoseríaunapágina web, en unabiblioteca, podría ser un libro, etc. Se define dependiendo del negocio de la aplicación.

122. Contiene un conjunto de terminos (terms)

125. Algunasdefiniciones... Documents, Fields y Terms id: 12345 Album: The Dark Side of the Moon Artist: Pink Floyd Genere: Progressive Rock Release_Date: March 1973 Un campo o Field

126. Algunasdefiniciones... Documents, Fields y Terms id: 12345 Album: The Dark Side of the Moon Artist: Pink Floyd Genere: Progressive Rock Release_Date: March 1973 Un Término o “Term”

127. Algunasdefiniciones... ÍndiceInvertido ÍndiceInvertido: Unaestructura de datosquemapeatodos los términosexistentes con los documentos en los quedichosterminosaparecen.

129. Aplicado a los documentos al indexarcontenido.

130. Aplicado a la query del usuario al realizarbúsquedas.

131. Lucene proveediferentestipos de análisisparadiferentestipos de dato.

133. Un ejemplo... Analysis Searching with Solr Tokenization Searching with Solr

134. Un ejemplo... Analysis Searching with Solr Tokenization Searching with Solr Lowercase Filter searching with solr

135. Un ejemplo... Analysis Searching with Solr Tokenization Searching with Solr Lowercase Filter searching with solr Steming Filter search with solr

136. Un ejemplo... Analysis Searching with Solr Tokenization Searching with Solr Lowercase Filter searching with solr Steming Filter search with solr Stop Filter search solr

137. Un ejemplo... Analysis Searching with Solr Tokenization Searching with Solr Lowercase Filter Analysis searching with solr Steming Filter search with solr Stop Filter search solr

138. Un ejemplo... Analysis mal hecho

139. Un ejemplo... Analysis mal hecho

140. Un ejemplo... Analysis mal hecho

141. El Proceso en unaaplicación de búsqueda Adquirir Contenido Interfaz de Usuario Construir Documento Construir Query Armar Resultados Analizar Documento Ejecutar la Query Indexar Documento Índice

142. El Proceso en unaaplicación de búsqueda Interfaz de Usuario Realizar Búsquedas: El objetivo Construir Query Armar Resultados Ejecutar la Query Índice

143. El Proceso en unaaplicación de búsqueda Adquirir Contenido Construir Documento Indexar: El mal necesario Analizar Documento Indexar Documento Índice

144. ¿Quehace Lucene? Adquirir Contenido Interfaz de Usuario Construir Documento Construir Query Armar Resultados Analizar Documento Ejecutar la Query Indexar Documento Índice

145. ¿Queagrega Solr? Adquirir Contenido Interfaz de Usuario Construir Documento Construir Query Armar Resultados Analizar Documento Ejecutar la Query Indexar Documento Índice

147. Consola de Administración

148. Cache

149. Algunas estadísticas

150. Casi todo se puede hacer por configuración

151. Interfaz via REST-API

152. Escalabilidad integrada

155. No afectan el score del resultado

156. Se pueden almacenar en cache y reutilizar

157. Ejemplo:

158. Sólo quiero ver artículos usados

162. Ejemplo:

163. Libros de un mismo autor

165. Dar relevancia a resultados mas cercanos a un punto.

167. Clusterizar resultados

171. Escalabilidad Replicación Cuando la cantidad de queries porsegundocrece Updates Index Server (Master) Search Servers (Slaves) Queries Queries Queries

172. Escalabilidad Sharing Updates Updates Unamitad del Índice La otramitad del Índice Podríapartirse el índice en N partes

173. Escalabilidad Sharing Updates Updates Queries Queries Queries Solr se encarga de que las consultas vayan a todos los “shards” que se le indican y de “mergear” los resultados luego

174. Escalabilidad Sharing Una Query Distribuida q q q Resultadosparciales Merge resultados Resultado Final

175. Escalabilidad Tambiénpuedehacersetodojunto Master 1 Master 2 Slaves

177. Los números de versiones, sobre todo de Solr, pueden parecer raros… es porque son raros.

179. http://lucene.apache.org/solr

180. Lucene in Action, SecondEdition

181. Solr 1.4 Enterprise Search Server

182. Mailing Lists:

183. solr-user@lucene.apache.org.