Modulo di Serendipità in   Michele Filannino
                            [info@filanninomichele.com]

   ITem Recommender  ...
Outline

• Cos’è la Serendipità


• Applicazioni Informatiche


• Serendipità nell’Information
  Filtering


• Metriche di...
Cos’è la Serendipità
Origini [1]

• Cristoforo Armeno, 1557
  Fiaba persiana “Tre principi di
  Serendippo”


• Horace Walpole, 1754
  “Making ...
Scoperte ed Invenzioni

• Il continente americano da parte di Cristoforo Colombo


• La dinamite da parte di Alfred Nobel
...
Serendipità nella
ricerca scientifica [2]

                         • "It should be recognized that
                       ...
Serendipità, creatività e casualità [1] [3]

• Non proviene da casualità ma da circostanze portate alla luce da un’attivit...
Equazioni della serendipità 1/2 [4]

• P = Problema
  KP = Conoscenza di dominio del problema
  EP = Errata conoscenza i d...
Equazioni della serendipità 2/2 [4]

• P = Problema
  KP = Conoscenza di dominio del problema
  EP = Errata conoscenza i d...
Applicazioni informatiche
Max 1/2 [5]

• Agente software che naviga il web, simulando il comportamento umano,
  cercando informazioni interessanti p...
Max 2/2 [5]

• Processo di ricerca e navigazione (best fit - treshold)


• Valutazione euristica basata sul prodotto estern...
Serendipità
nell’Information Filtering
Ieri, oggi e domani...

• “La ricerca delle informazioni tramite mezzi informatici può ridurre la
  probabilità di incontr...
Ovvietà delle
raccomandazioni [6]

• Esempi (Viaggi - White Album -
  Star Trek)


• Ratability: probabilità che un
  item...
Novelty vs Serendipity [7] [8]

• Entrambi esempi di non-ovvietà


• Novelty: raccomandazione di un item non conosciuto ch...
Metriche di valutazione
Inadeguatezza delle
metriche classiche [7]

• Le metriche classiche non
  tengono conto di ovvietà,
  novelty e serendipit...
Valutazione basata sull’utente [9]

• Gli utenti non vogliono un algoritmo con punteggi migliori, ma una
  raccomandazione...
Proposte

• Interviste agli utenti che
  contengano:


    • Percentuale di item
      sconosciuti su tutti quelli
      p...
Strategie per migliorare la serendipità [3]

• “Blind Luck”: ritorno di raccomandazione casuale


• “Prepared Mind”: profil...
Un nuovo approccio
Assunto di base

• Il profilo di un utente non rappresenta i gusti dell’utente come in un classico
  sistema di recommendin...
Probabilità del verificarsi della serendipità

• La serendipità non può avvenire se l’utente conosce già ciò che gli viene
...
Affiancare, non sostituire

• Una proposta che ha l’intento di favorire la serendipità dunque può basarsi
  sulla dissimila...
Obiettivi nobili e pratici

• Gli obiettivi sono dunque:


   • Nobili: permettere all’utente di conoscere qualcosa di nuo...
Architettura
Profilo della Conoscenza

• I profilo utente solitamente rappresenta i gusti dell’utente


• Per implementare il modulo di s...
Profilo inverso

• Dovendo ricercare per dissimilarità, il sistema dovrà creare una versione
  “inversa” del profilo utente
...
Randomicità all’interno del treshold

• Per evitare problemi di cold start e di proposte ripetute si può selezionare la
  ...
Struttura


                               ITR

                                                      Serendipitous
      ...
Prossimi sviluppi
Sviluppi futuri

• Implementazione di un “Reasoner by Analogy”


• Implementazione degli altri algoritmi proposti da de Bo...
Bibliografia 1/2

• [1] Anatomy of the Unsought Finding. Serendipity: Orgin, History, Domains,
  Traditions, Appearances, P...
Bibliografia 2/2

• [6] Accurate is not always good: How Accuracy Metrics have hurt
  Recommender Systems - McNee, Riedl, K...
Upcoming SlideShare
Loading in …5
×

Modulo di serendipità in un Item Recommender System

1,489 views

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,489
On SlideShare
0
From Embeds
0
Number of Embeds
19
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Modulo di serendipità in un Item Recommender System

  1. 1. Modulo di Serendipità in Michele Filannino [info@filanninomichele.com] ITem Recommender Piero Molino [piero.molino@gmail.com]
  2. 2. Outline • Cos’è la Serendipità • Applicazioni Informatiche • Serendipità nell’Information Filtering • Metriche di valutazione • Un nuovo approccio • Architettura • Prossimi sviluppi
  3. 3. Cos’è la Serendipità
  4. 4. Origini [1] • Cristoforo Armeno, 1557 Fiaba persiana “Tre principi di Serendippo” • Horace Walpole, 1754 “Making discoveries by accident and sagacity, of things which one is not on quest of” ispirandosi alla fiaba • Pek van Andel, 1994 “The art of making an unsought finding”
  5. 5. Scoperte ed Invenzioni • Il continente americano da parte di Cristoforo Colombo • La dinamite da parte di Alfred Nobel • La penicillina da parte di Alexander Fleming • Gli effetti psichedelici dell'LSD da parte di Albert Hofmann • Il cellophane inventato nel 1908 da Jacques Edwin Brandenberger • La struttura del benzene da parte di Friedric August Kekulé
  6. 6. Serendipità nella ricerca scientifica [2] • "It should be recognized that serendipitous discoveries are of significant value in the advancement of science and often present the foundation for important intellectual leaps of understanding" - M.K. Stoskopf • Serendipità come risultato di una grande preparazione e di una mente aperta e curiosa • Queste caratteristiche permettono il riconoscimento della serendipità quando essa si manifesta
  7. 7. Serendipità, creatività e casualità [1] [3] • Non proviene da casualità ma da circostanze portate alla luce da un’attività ai limiti tra il conscio e l’inconscio • Classificazione degli “information seekers” • Ruolo delle caratteristiche personali nella serendipità • “Lateral thinking” e tecniche (de Bono)
  8. 8. Equazioni della serendipità 1/2 [4] • P = Problema KP = Conoscenza di dominio del problema EP = Errata conoscenza i dominio del problema M = Ispirazione KM = Conoscenza di dominio dell’ispirazione S = Soluzione KN = Nuova conoscenza • Creatività convenzionale P1 ∈ (KP1), M ∈ (KM) S1 ∈ (KP1, KM, KN) • Serendipità P1 ∈ (KP1), M ∈ (KM) P2 ∈ (KP2), S2 ∈ (KP2, KM, KN)
  9. 9. Equazioni della serendipità 2/2 [4] • P = Problema KP = Conoscenza di dominio del problema EP = Errata conoscenza i dominio del problema M = Ispirazione KM = Conoscenza di dominio dell’ispirazione S = Soluzione KN = Nuova conoscenza • Serendipità senza ispirazione P1 ∈ (KP1) P2 ∈ (KP2), S2 ∈ (KP2, KN) • Serendipità da conoscenza errata P1 ∈ (KP1, EP1) P2 ∈ (KP2), S2 ∈ (KP2, KN)
  10. 10. Applicazioni informatiche
  11. 11. Max 1/2 [5] • Agente software che naviga il web, simulando il comportamento umano, cercando informazioni interessanti per l’utente • L’obiettivo è di stimolare la creatività dell’utente permettendo nuovi punti di entrata alle informazioni e indurre scoperte basate sulla serendipità • Utilizza tecniche IR ed euristiche ad-hoc
  12. 12. Max 2/2 [5] • Processo di ricerca e navigazione (best fit - treshold) • Valutazione euristica basata sul prodotto esterno • L’interazione con l’utente avviene via e-mail • Utilizzo di WordNet
  13. 13. Serendipità nell’Information Filtering
  14. 14. Ieri, oggi e domani... • “La ricerca delle informazioni tramite mezzi informatici può ridurre la probabilità di incontrare informazioni serendipitose” - Gup (1997-1998) • “La figura del ricercatore immerso nei libri alla ricerca di connessioni serendipitose può sembrare antiquata, ma rimane potente, la sfida per le librerie digitali è di preservare questa opportunità” - Huwe 1999 • C’è un grado di reazione emotiva associato alla scoperta serendipitosa di informazioni che è difficile catturare con un sistema di valutazione
  15. 15. Ovvietà delle raccomandazioni [6] • Esempi (Viaggi - White Album - Star Trek) • Ratability: probabilità che un item sia il prossimo ad essere sottoposto all’utente dato il profilo • L’assunzione implicita è che l’utente sia interessato all’item con la maggiore ratability. E’ vera per problemi di classificazione ma non per i recommenders
  16. 16. Novelty vs Serendipity [7] [8] • Entrambi esempi di non-ovvietà • Novelty: raccomandazione di un item non conosciuto che l’utente avrebbe potuto scoprire autonomamente • Serendipity: raccomandazione di un item non conosciuto che l’utente NON avrebbe potuto scoprire autonomamente • Esempio Movie Recommender
  17. 17. Metriche di valutazione
  18. 18. Inadeguatezza delle metriche classiche [7] • Le metriche classiche non tengono conto di ovvietà, novelty e serendipity • Raccomandazione accurata ≠ raccomandazione utile per l’utente • Impossibile valutare il grado di serendipità senza considerare il feedback degli utenti
  19. 19. Valutazione basata sull’utente [9] • Gli utenti non vogliono un algoritmo con punteggi migliori, ma una raccomandazione sensata • Bisogna considerare compiti e obiettivi degli utenti in relazione ad algoritmi diversi per ottenere raccomandazioni utili • Human-Recommender Interaction: Framework per strutturare aspetti dell’interazione tra uomo e recommender, basato sulle esperienze e desideri dell’utente
  20. 20. Proposte • Interviste agli utenti che contengano: • Percentuale di item sconosciuti su tutti quelli proposti • Percentuale di item interessanti su tutti quelli proposti • Soddisfazione della raccomandazione
  21. 21. Strategie per migliorare la serendipità [3] • “Blind Luck”: ritorno di raccomandazione casuale • “Prepared Mind”: profilazione accurata dell'utente • “Anomalies and Exception”: ricerca per dissimilarità • “Reasoning by Analogy”: non ancora implementato
  22. 22. Un nuovo approccio
  23. 23. Assunto di base • Il profilo di un utente non rappresenta i gusti dell’utente come in un classico sistema di recommending, ma rappresenta ciò che l’utente conosce • A tal proposito esso può essere aggiornato con delle informazioni non solo sugli acquisti ma anche sulle ricerche, poiché se l’utente ricerca qualcosa, questo qualcosa o è da lui conosciuto, o lo diventa a seguito della visualizzazione dei risultati della ricerca • Il profilo può essere aggiornato anche con informazioni sulle semplici visualizzazioni degli item
  24. 24. Probabilità del verificarsi della serendipità • La serendipità non può avvenire se l’utente conosce già ciò che gli viene proposto • Minore è la probabilità che l’utente conosca un item, maggiore è la probabilità che la proposta sia serendipitosa • Possiamo assumere che la probabilità che l’utente conosca qualcosa concettualmente vicino a ciò che siamo certi lui conosca sia maggiore della probabilità che lui conosca qualcosa di concettualmente lontano • Se decidiamo di valutare la vicinanza concettuale con una metrica di similarità, ne risulta che è più probabile che si verifichi serendipità proponendo all’utente qualcosa di dissimile dal suo profilo
  25. 25. Affiancare, non sostituire • Una proposta che ha l’intento di favorire la serendipità dunque può basarsi sulla dissimilarità • Ovviamente nell’uso pratico di un recommender non ci si può basare solamente su proposte serendipitose • Si può però affiancare ad una proposta basata su metodi classici una proposta serendipitosa che stimoli l’utente e gli dia nuovi “Entry Point” agli item presenti nel sistema
  26. 26. Obiettivi nobili e pratici • Gli obiettivi sono dunque: • Nobili: permettere all’utente di conoscere qualcosa di nuovo, di fare nuove scoperte interessanti, di confrontarsi con qualcosa di diverso rispetto a ciò a cui è abituato, sollecitando la sua curiosità • Pratici: aumentare la possibilità che l’utente conosca un item che non avrebbe potuto scoprire in altra maniera (o che gli sarebbe stato difficile scoprire in altra maniera), aumentare il tasso di serendipità complessivo nelle proposte del recommender
  27. 27. Architettura
  28. 28. Profilo della Conoscenza • I profilo utente solitamente rappresenta i gusti dell’utente • Per implementare il modulo di serendipità sarebbe più utile un profilo che rappresenti le conoscenze dell’utente, i campi di interesse, ecc. • In tal senso sarebbe opportuno tener traccia delle pagine visitate e delle ricerche effettuate dall’utente
  29. 29. Profilo inverso • Dovendo ricercare per dissimilarità, il sistema dovrà creare una versione “inversa” del profilo utente • Si sostituiscano i pesi tf-idf con dei pesi ricavati da questa formula: • ∀ wi ∈ P: nwi = maxweight(P) - wi • wi è il peso della word nella i-esima posizione nel vettore originale, maxweight(P) è il peso più alto all’interno del profilo P, nwi è il peso della word nella i-esima posizione nel “vettore inverso”
  30. 30. Randomicità all’interno del treshold • Per evitare problemi di cold start e di proposte ripetute si può selezionare la proposta in maniera casuale • Data una lista di risultati in ordine di ranking si può imporre un treshold di similarità (dissimilarità) all’interno del quale scegliere casualmente l’item da proporre • Si può altresì scegliere casualmente l’item da proporre all’interno degli x item più simili (dissimili) indipendentemente dal valore di similarità (dissimilarità) proporzionando x sul quantitativo totale degli item presenti nel sistema
  31. 31. Struttura ITR Serendipitous Profile Reccommendation Serendipity Module Query Inverse Profile Results Generator Inverted Profile Query Recommendation Generator
  32. 32. Prossimi sviluppi
  33. 33. Sviluppi futuri • Implementazione di un “Reasoner by Analogy” • Implementazione degli altri algoritmi proposti da de Bono e Toms • Implementare un sistema che scelga l’algoritmo da utilizzare in base all’utente e al task che deve compiere • Progettazione di un “negoziante virtuale” con cui interagire durante la navigazione che faccia un’analisi per ricondurre l’utente e il task che deve compiere all’interno di uno dei profili HRI e modifichi di conseguenza il sistema, cambiando algoritmo di retrieval, approccio di filtering, ecc.
  34. 34. Bibliografia 1/2 • [1] Anatomy of the Unsought Finding. Serendipity: Orgin, History, Domains, Traditions, Appearances, Patterns and Programmability - van Andel (1994) • [2] Serendipity and Information Seeking - Foster & Ford (2003) • [3] Serendipitous Information Retrieval - Toms (2000) • [4] The Serendipity Equations - de Figueiredo, Campos (2001) • [5] Searching the Unsearchable: Inducing Serendipitous Insights - de Figueiredo, Campos (2001)
  35. 35. Bibliografia 2/2 • [6] Accurate is not always good: How Accuracy Metrics have hurt Recommender Systems - McNee, Riedl, Konstan (2006) • [7] Evaluating Collaborative Filtering Recommender Systems - Herlocker, Konstan, Terveel, Riedl (2004) • [8] Modern Information Retrieval - Baeza-Yates, Ribeiro-Neto (1999) • [9] Making Recommendations Better: An Analytic Model for Human- Recommender Interaction - McNee, Riedl, Konstan (2006)

×