Chi sono?
Magento e TYPO3 developer in
Di cosa vi parlerò
- L’importanza della ricerca nell’e-commerce
- Cosa offre Magento
- Apache Solr
- Prestazioni
- Qualcos...
Ricerca
Perchè è importante
“L’80% di chi acquista
usa la ricerca per trovare
quello che vuole”
“Chi trova un prodotto
attraverso ...
Rilevanza dei risultati
“I migliori della classe, per
quanto riguarda la rilevanza
della ricerca, riescono a
fornire il pr...
Cosa offre Magento EE
Like
Fulltext serach
Like + Fulltext
- Non perde risultati
- Problemi di prestazioni
- Tende a resti...
Mysql Fulltext
2 Modalità
Natural Language Boolean Mode
- Score basato su TF-IDF
(“term frequency / inverse document frequ...
Problemi Fulltext (1/3)
Risultato atteso:
http://dev.mysql.com/doc/refman/5.7/en//fulltext-stopwords.html
Problemi Fulltex...
Query: “school”
Calcolo della rilevanza disatteso, vorrei
che il primo risultato fosse l’oggetto che
ha la Keyword nel nom...
Problemi Fulltext (3/3)
Query: “jeens”
Se l’utente sbaglia non
ottiene nessun risultato
L’importanza del
Did you mean...
S...
Apache Solr
cos’è
High performance search engine server (basato su )
Open Source - 100% Java
caratteristiche
- Funzionalità avanzate d...
Funzionalità di ricerca avanzata
- Stemming Es. "pescare", "pescato", "pescatore" si riferisco a "pesce"
- Fuzzy search (e...
Configurabile da XML
- ${solr.solr.home}/solr.xml
- ${istanceDir}/conf/solrconfig.xml
- ${istanceDir}/conf/schema.xml
(con...
Solr + Magento EE
- Codice EE per l’integrazione + pre-configurazione per Solr 3.6.2
- Sostituisce la ricerca standard con...
Solr + Magento EE
- Suggerimenti e autocorrezioni
- Calolo della rilevanza in base
al peso degli attributi
- Stopwords mul...
Cosa Manca?
- Auto-completamento o Rich Auto-Complete Search Box
- More Like this
- Indicizzare contenuti correlati ai pro...
Prestazioni
Analisi sui dati 7.4 million Posts = 8.18 GB
Like
index 0
index size 0
query 49k-399k ms
(%% - rexExp)
Fulltext (MyISAM)
i...
Ricerca per keyword
Maximizing Performance and Scalability with Magento Enterprise Edition
http://www.magentocommerce.com/...
Nostri test interni
Ricerca Concorrenza Tempo di risposta medio
Like 1 2.09
Like 5 3
Like 10 5
Like 20 13.65 sec
Fullsearc...
Navigazione faccette
Maximizing Performance and Scalability with Magento Enterprise Edition
http://www.magentocommerce.com...
Magento CE
Community ?
- Compatibile con Solr 4.x
- Autocompletamento
- Ricerca per keyword
- Indexing integrato
- Configurazione Sol...
Istant Search
Istant Search
(Da auto-complete a rich auto-complete)
Quello che fa già
l’estensione
- Schema.xml
- Indicizzatore
- QueryBuilder
- Frontend Block
Dove intervenire
app/code/community/JeroenVermeulen/
Solarium...
- Schema.xml
- Indicizzatore
- QueryBuilder
- Frontend Block
Dove intervenire
app/code/community/JeroenVermeulen/
Solarium...
- Schema.xml
- Indicizzatore
- QueryBuilder
- Frontend Block
Dove intervenire
app/code/community/JeroenVermeulen/
Solarium...
- Schema.xml
- Indicizzatore
- QueryBuilder
- Frontend Block
Dove intervenire
app/code/community/JeroenVermeulen/
Solarium...
Risultato
(Da Auto-complete a
Rich auto-complete)
Con Varnish la ricerca diventa istantanea
Modifichiamo la rilevanza
...&defType=edismax&qf=name^2.0+text
https://www.youtube.com/watch?v=RDb8WLzgzEg
Riepilogo
+ Rilevanza nella ricerca
+
Riepilogo
+ Rilevanza nella ricerca
+ Adattabile al dominio
+
Riepilogo
+ Rilevanza nella ricerca
+ Adattabile al dominio
+ Pronto per scalare+
Riepilogo
+ Rilevanza nella ricerca
+ Adattabile al dominio
+ Pronto per scalare
+ Migliori prestazioni
+
Riepilogo
+ Rilevanza nella ricerca
+ Adattabile al dominio
+ Pronto per scalare
+ Migliori prestazioni
+
= Migliore esper...
Riepilogo
+
= maggiori conversioni
?Domande
Luca Peressini
Mail: luca.peressini@webformat.com
twitter: @PeressiniLuca
linkedin: http://it.linkedin.com/pub/lu...
Integrare Apache Solr in Magento per migliorare la ricerca
Upcoming SlideShare
Loading in …5
×

Integrare Apache Solr in Magento per migliorare la ricerca

1,248 views

Published on

Perché è importante migliorare i motori di ricerca interna nei siti di e-commerce e come riuscirci integrando Apache Solr su Magento EE/CE.

Published in: Internet
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,248
On SlideShare
0
From Embeds
0
Number of Embeds
26
Actions
Shares
0
Downloads
16
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Integrare Apache Solr in Magento per migliorare la ricerca

  1. 1. Chi sono? Magento e TYPO3 developer in
  2. 2. Di cosa vi parlerò - L’importanza della ricerca nell’e-commerce - Cosa offre Magento - Apache Solr - Prestazioni - Qualcosa in più
  3. 3. Ricerca
  4. 4. Perchè è importante “L’80% di chi acquista usa la ricerca per trovare quello che vuole” “Chi trova un prodotto attraverso la ricerca interna compra il doppio delle volte” “L’utente non ha sempre voglia e pazienza di navigare il catalogo per trovare quello che vuole” Suggerimenti Rich auto-complete search box Aumenta le vendite fino a 4 volte Jakob Nielsen, UseIt.com
  5. 5. Rilevanza dei risultati “I migliori della classe, per quanto riguarda la rilevanza della ricerca, riescono a fornire il prodotto cercato tra i primi 10 solo nel 67% dei casi” La ricerca è un aspetto complesso che deve essere adattato al tipo di dominio e al gruppo di utenti. Aberdeen Group study Abituati bene
  6. 6. Cosa offre Magento EE Like Fulltext serach Like + Fulltext - Non perde risultati - Problemi di prestazioni - Tende a restituire più di quello che serve - Molto veloce anche su database grandi - Risultati spesso poco rilevanti - Poca personalizzazione (score e token) - Migliora la rilevanza della ricerca - Problemi di prestazioni
  7. 7. Mysql Fulltext 2 Modalità Natural Language Boolean Mode - Score basato su TF-IDF (“term frequency / inverse document frequency”) - MATCH (+keyword1, -keyword2) - Score basato su numero di match - Pesi diversi alle parole - No customizzazioni sul metodo che usa per spezzare in parole - Tokenize - Numero minimo di caratteri 4 (impostazione modificabile a livello global) - Elenco di stopwords (impostazione modificabile a livello global) - Le parole presenti nel 50% dei documenti vengono trattate come stopwords Caratteristiche comuni
  8. 8. Problemi Fulltext (1/3) Risultato atteso: http://dev.mysql.com/doc/refman/5.7/en//fulltext-stopwords.html Problemi Fulltext Lunghezza minima della parola 4 caratteri e lista di parole ignorate: “Seven bag”
  9. 9. Query: “school” Calcolo della rilevanza disatteso, vorrei che il primo risultato fosse l’oggetto che ha la Keyword nel nome. Problemi Fulltext (2/3) Rilevanza risultati
  10. 10. Problemi Fulltext (3/3) Query: “jeens” Se l’utente sbaglia non ottiene nessun risultato L’importanza del Did you mean... Spellcheck
  11. 11. Apache Solr
  12. 12. cos’è High performance search engine server (basato su ) Open Source - 100% Java caratteristiche - Funzionalità avanzate di ricerca fulltext - Flessibile e configurabile via XML - Estendibile attraverso plug-in - REST-like APIs - Eseguito esternamente alla web-app in un Java servlet container (Tomcat, Jetty …) - Ottimizzato per alti volumi di traffico e predisposto per scalare (replication e sharding) - Indicizza documenti come insiemi di attributi (chiave valore) - Parser di documenti di formati diversi (es. word, PDF, ...) Attuali versioni stabili: 3.6.2 - 4.8.1
  13. 13. Funzionalità di ricerca avanzata - Stemming Es. "pescare", "pescato", "pescatore" si riferisco a "pesce" - Fuzzy search (es. shirt = sirt) - Score dei risultati basati su (VSM, TF, IDF, doc/query Boost, funzioni custom es. log(sum(popularity,1))) - Schemaless - Faccette (Layer navigation) - Content elevation (risultati sponsorizzati) - Did you mean? - Stopwords e Synonyms (divisi per lingua) - Recommendations (More Like This) - Geographical search
  14. 14. Configurabile da XML - ${solr.solr.home}/solr.xml - ${istanceDir}/conf/solrconfig.xml - ${istanceDir}/conf/schema.xml (configurazioni: cache, ricerca, index …) (definisce la struttura dei documenti che indicizza) <fieldType name="text_en" class="solr.TextField" ..> <analyzer type="index"> <tokenizer /> <charFilter /> <filter /> </analyzer> <analyzer .. </fieldType> <!-- System required fields. --> <field name="id" type="string" indexed="true" required="true" stored="true"/> <field name="in_stock" type="boolean" indexed="true" required="true"/> <dynamicField name="*_def" type="textgen" indexed="true"/> <dynamicField name="*_en" type="text_en" indexed="true"/> <dynamicField name="*_fr" type="text_fr" indexed="true"/> <dynamicField name="*_de" type="text_de" indexed="true"/> Esempio di Schema
  15. 15. Solr + Magento EE - Codice EE per l’integrazione + pre-configurazione per Solr 3.6.2 - Sostituisce la ricerca standard con fallback a Mysql nel caso Solr non risponda - Sistema di indexing integrato - Ritorna l’elenco degli ID
  16. 16. Solr + Magento EE - Suggerimenti e autocorrezioni - Calolo della rilevanza in base al peso degli attributi - Stopwords multi-lingua - Faccette (Layer navigation) - Ricerca con caratteri speciali spider man | spiderman = > spider-man - Migliori performance Con elevato traffico, Solr evita i frequenti updates della tabella MySQLcatalogsearch_fulltext e mitiga il problema dei lock del db. - Maggiore controllo e personalizzazione - Scalabile
  17. 17. Cosa Manca? - Auto-completamento o Rich Auto-Complete Search Box - More Like this - Indicizzare contenuti correlati ai prodotti (blog aziendale + Manuali in PDF) - Regole custom per calcolo rilevanza (più venduti ecc.)
  18. 18. Prestazioni
  19. 19. Analisi sui dati 7.4 million Posts = 8.18 GB Like index 0 index size 0 query 49k-399k ms (%% - rexExp) Fulltext (MyISAM) index 31m18s index size 2382MiB query 16-200ms (boolean - natural) Fulltext (InnoDB) index 25m27s index size ? query 350-740ms Apache Solr index 14m28 index size 2766MiB query 79ms Full Text Search Throwdown Bill Karwin, Percona Inc. Ricerca del 2012 2 aspetti da considerare in Magento Test su strada Dataset Ricerca per keyword Navigazione catalogo
  20. 20. Ricerca per keyword Maximizing Performance and Scalability with Magento Enterprise Edition http://www.magentocommerce.com/whitepaper/
  21. 21. Nostri test interni Ricerca Concorrenza Tempo di risposta medio Like 1 2.09 Like 5 3 Like 10 5 Like 20 13.65 sec Fullsearch 1 1.4 Fullsearch 5 1.96 Fullsearch 10 3.04 Fullsearch 20 5.14 Solr 1 1.45 Solr 5 2.20 Solr 10 3.06 Solr 20 5.4 50K prodotti Quad core 4GB di ram
  22. 22. Navigazione faccette Maximizing Performance and Scalability with Magento Enterprise Edition http://www.magentocommerce.com/whitepaper/
  23. 23. Magento CE
  24. 24. Community ? - Compatibile con Solr 4.x - Autocompletamento - Ricerca per keyword - Indexing integrato - Configurazione Solr base
  25. 25. Istant Search
  26. 26. Istant Search (Da auto-complete a rich auto-complete) Quello che fa già l’estensione
  27. 27. - Schema.xml - Indicizzatore - QueryBuilder - Frontend Block Dove intervenire app/code/community/JeroenVermeulen/ Solarium/Model/Engine.php app/code/community/JeroenVermeulen/ Solarium/Model/Engine.php app/code/community/JeroenVermeulen/ Solarium/Block/Catalogsearch/ Autocomplete.php ${istanceDir}/conf/schema.xml <schema name="magento_fulltext" version="100"> <types> ... <fieldType name="text_general" class="solr.TextField" positionIncrementGap="100"> <analyzer type="index"> <tokenizer class="solr.StandardTokenizerFactory"/> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> <analyzer type="query"> <tokenizer class="solr.StandardTokenizerFactory"/> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> </fieldType> </types> <fields> <field name="id" type="int" indexed="true" stored="true" required="true"/> <field name="product_id" type="string" indexed="true" stored="true" required="true" /> <field name="store_id" type="int" indexed="true" stored="true" required="true"/> <!-- Magento Product Fulltext --> <field name="text" type="text_general" indexed="true" stored="true"/> <field name="url" type="string" indexed="false" stored="true"/> <field name="image" type="string" indexed="false" stored="true"/> <field name="name" type="text_general" indexed="true" stored="true"/> <field name="_version_" type="long" indexed="true" stored="true"/> </fields> <uniqueKey>id</uniqueKey> <solrQueryParser defaultOperator="AND"/> </schema>
  28. 28. - Schema.xml - Indicizzatore - QueryBuilder - Frontend Block Dove intervenire app/code/community/JeroenVermeulen/ Solarium/Model/Engine.php app/code/community/JeroenVermeulen/ Solarium/Model/Engine.php app/code/community/JeroenVermeulen/ Solarium/Block/Catalogsearch/ Autocomplete.php ${istanceDir}/conf/schema.xml public function rebuildIndex( $storeId = null, $productIds = null ) { ... while ( $product = $products->fetch() ) { $productModel = Mage::getModel('catalog/product') ->setStoreId($storeId) ->load($product[ 'product_id' ]); $data = array( 'id' => intval( $product[ 'fulltext_id' ] ), … 'name' => $productModel->getName() ); $buffer->createDocument( $data ); } $solariumResult = $buffer->flush(); … } <doc> <field name="id">123</field> <field name="product_id">166</field> <field name="store_id">1</field> <field name="text">Fulltext index | </field> <field name="url">url</field> <field name="image">url_image</field> <field name="name">Nome prodotto</field> </doc>
  29. 29. - Schema.xml - Indicizzatore - QueryBuilder - Frontend Block Dove intervenire app/code/community/JeroenVermeulen/ Solarium/Model/Engine.php app/code/community/JeroenVermeulen/ Solarium/Model/Engine.php app/code/community/JeroenVermeulen/ Solarium/Block/Catalogsearch/ Autocomplete.php ${istanceDir}/conf/schema.xml … $query = $this->_client->createSelect(); $query->addParam( 'df', 'text' ); $query->setQuery( $this->_filterString( $queryString ). '*' ); $query->setRows( $this->getConf( 'results/max' ) ); $query->setFields( array( 'product_id', 'score', 'name', 'image', 'url') ); $dismax = $query->getEDisMax(); $dismax->setQueryFields('name^2 product_id^1.5 text'); $solrResultSet = $this->_client->select( $query ); … { "response":{ "numFound":15, "start":0, "maxScore":1.0, "docs":[ { "product_id":"164", "name":"Gaming Computer", "score":1.0 }, { "product_id":"162", "name":"Microsoft Wireles", "score":1.0 }, … ] } Result http://localhost:8983/solr/select/? spellcheck=true&sort=score+des&spellcheck.q=micr*&json. nl=flat&wt=json&rows=100&omitHeader=true&df=text&fl=product_id,score,text, name&start=0 &q=micr*&timeAllowed=5&fq=store_id:1&spellcheck.alternativeTermCount=1 Query
  30. 30. - Schema.xml - Indicizzatore - QueryBuilder - Frontend Block Dove intervenire app/code/community/JeroenVermeulen/ Solarium/Model/Engine.php app/code/community/JeroenVermeulen/ Solarium/Model/Engine.php app/code/community/JeroenVermeulen/ Solarium/Block/Catalogsearch/ Autocomplete.php ${istanceDir}/conf/schema.xml class JeroenVermeulen_Solarium_Block_Catalogsearch_Autocomplete extends Mage_CatalogSearch_Block_Autocomplete { … public function getSuggestProduct() { if ( ! $this->_suggestProduct ) { $query = $this->helper('catalogsearch')->getQueryText(); $query = $query . '*'; $counter = 0; $data = array(); $storeId = Mage::app()->getStore()->getId(); $engine = Mage::getSingleton('jeroenvermeulen_solarium/engine'); $products = $engine->queryAutosuggest( $storeId, $query, 1 ); foreach ( $products as $value) { $_datap = array( 'id' => $value['product_id'], 'row_class' => ( ++$counter ) % 2 ? 'odd' : 'even', 'text' => $value['name'], … ); $datap[] = $_datap; } $this->_suggestProduct = $datap; } return $this->_suggestProduct; } … }
  31. 31. Risultato (Da Auto-complete a Rich auto-complete) Con Varnish la ricerca diventa istantanea
  32. 32. Modifichiamo la rilevanza ...&defType=edismax&qf=name^2.0+text
  33. 33. https://www.youtube.com/watch?v=RDb8WLzgzEg
  34. 34. Riepilogo + Rilevanza nella ricerca +
  35. 35. Riepilogo + Rilevanza nella ricerca + Adattabile al dominio +
  36. 36. Riepilogo + Rilevanza nella ricerca + Adattabile al dominio + Pronto per scalare+
  37. 37. Riepilogo + Rilevanza nella ricerca + Adattabile al dominio + Pronto per scalare + Migliori prestazioni +
  38. 38. Riepilogo + Rilevanza nella ricerca + Adattabile al dominio + Pronto per scalare + Migliori prestazioni + = Migliore esperienza utente
  39. 39. Riepilogo + = maggiori conversioni
  40. 40. ?Domande Luca Peressini Mail: luca.peressini@webformat.com twitter: @PeressiniLuca linkedin: http://it.linkedin.com/pub/luca-peressini/56/182/128

×