Recommended
Recommended
More Related Content
Similar to Collaborative Learning in Social Media: Automatic developing of a Q&A service
Similar to Collaborative Learning in Social Media: Automatic developing of a Q&A service (20)
Collaborative Learning in Social Media: Automatic developing of a Q&A service
- 1. Apprendimento collaborativo nei social media: costruzione automatica di un servizio di Q&A Relatore: Chiar.mo Prof. Filippo Lanubile Correlatrice: Dott.ssa Nicole Novielli Laureando: Fiorella Fabio a.a. 2013/2014
- 2. Obiettivo • Sviluppare una piattaforma a supporto dell’apprendimento collaborativo online – Analisi delle attività e delle interazioni online degli studenti universitari – Analisi delle risorse open-source disponibili – Problema: adozione della piattaforma (Cold start) 2/17 Bisogni studenti e requisiti Migrazione community e contenuti Classificazione e importazione automatica dei post Open Platform Implementazione piattaforma
- 3. I gruppi Facebook • Spazi virtuali che ogni utente può creare, al fine di condividere le informazioni che desidera con i membri. – Gli studenti utilizzano i gruppi Facebook per collaborare durante il percorso di studi 3/17
- 4. Community-based Question & Answering Un utente espone un problema sotto forma di domanda la comunità degli utenti risolve il problema Si crea conoscenza utile e riutilizzabile da altri utenti che in futuro avranno un problema simile Modello molto efficace nella condivisione di conoscenza Un esempio di grande successo è Stack Overflow 4/17
- 5. Analisi dell’interazione online • Gruppi Facebook di studenti universitari - corsi di laurea in informatica (triennali e magistrali) - 4 università italiane: Università degli studi di Bari Sapienza - Università di Roma Università degli studi di Milano Università degli studi di Pisa 5/17
- 6. Struttura dei gruppi Gruppo riferito ad un corso di laurea Strutturazione dei gruppi 6/17 Gruppo riferito ad un insegnamento Teaching I Teaching I Teaching II Teaching III
- 7. Analisi dell’interazione Gruppi Facebook Q&A Caratteristiche Comuni Tempi di risposta 11 min. 11 min. Attività utenti 20% degli utenti produce l’80% dei contenuti Pochi utenti producono la maggior parte dei contenuti Tipo post Domande, gruppi studio, offerta informazioni, immagini Domande L. Mamykina, B. Manoim, M. Mittal, G. Hripcsak, and B. Hartmann, “Design lessons from the fastest Q&A site in the west.”CHI 2011, pp. 2857-2866. Differenze Contenuti caricati utili, spam Solo utili (gamification e moderazione della community). Ordinamento contenuti Esclusivamente cronologico Cronologico, score, attività Upload file Frequente Non consentito 7/17
- 8. Ultima release: 7 Gennaio 2015 Tutte le funzionalità di un sito di Q&A. In più upload immagini e file Integrabile ed espandibile. Grande quantità di plug-in, sia a pagamento che non. Grande community Progetto longevo 8/17
- 9. Adozione della piattaforma • Risolvere il problema del cold start. • Affiancare i gruppi Facebook offrendo i vantaggi del Q&A Piattaforma di Q&A Estrarre conoscenza da ogni gruppo d’Italia Server della piattaforma Classificazione e migrazione dei post 9/17 Amministratori o membri del gruppo
- 10. Definizione di una tassonomia per la classificazione 3 dimensioni di annotazione: Obiettivo: Importare nella piattaforma solo i post Useful e Lasting 10/17
- 11. Classificazione dei post 11/17 Dimensione Fleiss’ Kappa Rilevanza 0.838 Persistenza 0.805 Direzione 0.805 3 annotatori Dimensione Istanze Feature Attributo di classe Nome N. Istanze Rilevanza 1015 5523 Spam 14 % Useful 86 % Persistenza 751 4410 Lasting 64 % Temporary 36 % Direzione 459 3264 Need_info 87 % Give_info 13 % Accordo totale tra i 3 annotatori 1092 post • Approccio supervisionato – SVM, come in (Harper et al., 2011) – Weka • Training set formato da: – Feature testuali (word count) – Feature che descrivono le caratteristiche del post Harper, F.M., Moy, D., and Konstan, J.A. Facts or friends?: distinguishing informational and conversational questions in social Q&A sites. Proceedings of CHI 2009, ACM (2009), 759-768.
- 12. Classificazione – Risultati Dimensione Rilevanza Recall Precision F-Measure Class 0.994 0.981 0.98 Spam 0.957 0.987 0.972 Useful Weighted Avg. 0.983 0.983 0.983 Recall Precision F-Measure Class 0.804 0.831 0.817 Temporary 0.909 0.892 0. 9 Lasting Weighted Avg. 0.871 0.87 0. 87 Dimensione Persistenza Dimensione Direzione Recall Precision F-Measure Class 0.992 0.961 0.977 Need_info 0.733 0.936 0.822 Give_info Weighted Avg. 0.959 0.958 0.956 12/17 10-fold validation
- 13. Universitree.com - Migrazione Post Richiesta/Offerta Informazioni Commenti Risposte Like Voti Identità Facebook Identità fittizie Gruppo Facebook Universitree.com
- 14. Universitree.com - Migrazione Contenuti suddivisi ricalcando la struttura gerarchica dei corsi: - Università - Corso di laurea - Insegnamento Tag dimensione direzione informazione Tag insegnamento 14/17
- 15. Universitree.com • 478 domande, 2847 risposte prodotte da 833 utenti • 100 tag. 15/17
- 16. Conclusioni • Piattaforma per gli studenti universitari che unisce: − Question & Answering − Features a supporto delle attività degli studenti universitari, evinte dall’analisi dei gruppi Facebook − Sistema automatico di classificazione dei post come supporto alla migrazione dei contenuti • Sviluppi futuri: − Supportare altri tipi di interazione non previsti dal Q&A (gruppi studio, informazioni con utilità temporale ridotta) − Suggerimento di tag 16/17
Editor's Notes
- Buona sera sono Fabio Fiorella e presento il mio lavoro di tesi dal titolo Apprendimento collaborativo nei social media: costruzione automatica di un servizio di Q&A. I relatori sono il professor Filippo Lanubile e la Dottoressa Nicole Novielli.
- Con questo lavoro di tesi si è voluto sviluppare una piattaforma a supporto dell’apprendimento collaborativo degli studenti universitari. Di conseguenza è stata effettuata un’analisi delle interazioni online degli studenti che ha portato alla definizione dei loro bisogni e dei requisiti per la piattaforma. In seguito sono state analizzate le risorse open source disponibili adatte al nostro scopo. Infine si è REALIZZATA una soluzione per indurre gli studenti all’adozione della piattaforma e risolvere il problema del cold start attraverso la classificazione e l’importazione automatica dei post all’interno della nostra piattaforma.
- In questo lavoro ci siamo concentrati sugli strumenti a supporto dell’apprendimento informale, in particolare sui gruppi Facebook degli studenti universitari e sulle community di question e answering. I gruppi Facebook sono spazi virtuali che ogni utente può creare per condividere ciò che vuole. Gli studenti universitari li utilizzano durante il loro percorso di studi per condividere dubbi, materiale didattico e informazioni utili.
- Tuttavia i gruppi Facebook non nascono come uno strumento per la condivisione e la valorizzazione della conoscenza. Invece, un modello molto efficace per tale scopo è quello del Question & asnwering , in cui un utente espone un problema sotto forma di domanda, la comunità di utenti risolve il problema e si genera conoscenza utile e riutilizzabile da altri utenti che in futuro avranno lo stesso problema.
- Per analizzare l’attività dei gruppi sono stati presi in considerazione quelli degli studenti iscritti ai corsi di laurea di informatica, sia magistrale che triennale, di 4 università italiane e cioè: L’università di Bari, di Milano, di Roma e di Pisa.
- Poiché ogni utente può creare un proprio gruppo, i primi gruppi universitari sono nati in modo disordinato. Tuttavia è possibile riconoscere alcuni pattern ricorrenti. In generale è possibile evidenziare due tipi di gruppi: quelli legati ad un insegnamento, all’interno dei quali gli studenti condividono informazioni e materiale per quell’insegnamento, e i gruppi legati invece ad un corso di laurea, in cui oltre ad informazioni del corso di laurea viene svolta anche l’attività relativa ai singoli insegnamenti. È frequente poi che tali gruppi vengano strutturati in modo gerarchico avendo quindi un gruppo di corso di laurea e i rispettivi gruppi dei vari insegnamenti di quel corso di laurea.
- Come detto in precedenza la prima fase di questo lavoro ha riguardato l’analisi dei comportamenti degli studenti nei gruppi Facebook, al fine di evidenziare i bisogni e i pattern tipici di interazione, per derivare quindi la specifica dei requisiti della piattaforma. L’analisi dell’interazione nei gruppi ha mostrato analogie e differenze con le community di Q&A. In particolare si hanno tempi di risposta simili a Stack Overflow e una simile distribuzione degli utenti che producono contenuti. All’interno dei gruppi avvengono inoltre diversi tipi di interazione, oltre alle domande si ha offerta di informazioni, condivisione immagini, formazione gruppi di studio. A causa della mancata presenza di un efficace strumento di moderazione i contenuti utili si mischiano a post poco pertinenti con il mondo universitario. Ancora, all’interno dei gruppi Facebook i contenuti sono ordinati esclusivamente in modo cronologico, di conseguenza molta conoscenza va persa col tempo. Infine gli studenti sono soliti effettuare l’upload di file e materiale didattico. Per tale motivo si è proceduto nel realizzare una piattaforma di Q&A per gli studenti universitari, che in più unisca altre features utili per gli studenti. Tale piattaforma ha le tipiche features delle piattaforme di Q&A e quindi permetterà di: fare una domanda, contrassegnare le risposte utili come tali, assegnare tag alle domande, visualizzare le domande in ordine di rilevanza, commentare domande e risposte e sfruttare il sistema di moderazione e gamification. In più tale piattaforma offrirà la possibilità di allegare immagini e file alle domande , fornirà un profilo utente arricchito con informazioni universitarie e infine sarà strutturata secondo un modello che ricalchi l’organizzazione universitaria.
- Per la realizzazione della piattaforma si è effettuata una comparazione tra quelle esistenti e offerte in white label. La scelta è ricaduta su Question2answer. Question2answer è un progetto open source molto attivo, l’ultima release è stata rilasciata pochi mesi fa. Esso fornisce tutte le funzionalità di un sito di Q&A ed è inoltre integrabile ed espandibile. Mette a disposizione una grande quantità di plugin sia a pagamento che non e intorno ad esso è nata una grande comunità che garantisce longevità al progetto.
- A questo punto è stato affrontato il problema dell’adozione della piattaforma e del cold start. Infatti, l’analisi condotta nella prima fase del mio lavoro ha evidenziato come il ricorso ai gruppi Facebook sia un’abitudine consolidata degli studenti. Inoltre, i gruppi fb analizzati contengono numerosi post che non RAPPRESENTANO un semplice processo di ‘information seeking’ ma che piuttosto sono l’output di un processo di costruzione collaborativa di conoscenza e quindi vanno resi disponibili e accessibili. In questa fase ho quindi sviluppato un sistema per la classificazione automatica dei post con lo scopo di riconoscere quelli più utili e importarli automaticamente nella mia piattaforma. In questo modo intendo affrontare e risolvere il duplice problema di supportare l’adozione della piattaforma per amministratori e membri dei gruppi facebook ed estrarre e rendere disponibili nella piattaforma di Q&A i thread di discussione che rappresentano pezzi di conoscenza costruita dagli studenti nel corso delle loro interazioni online. Ciò permetterà inoltre di fruire in modo più facile delle informazioni superando i limiti dei gruppi Facebook che non offrono la possibilità di rappresentare in maniera strutturata i contenuti.
- Per la classificazione è stata definita una tassonomia che prevede di classificare ogni post secondo uno schema a 3 dimensioni. La prima dimensione è la rilevanza, in cui si distingue tra post rilevanti per il contesto universitario e post completamente inutili, come lo spam di offerte di lavoro o promozione di eventi. La seconda dimensione è quella della persistenza in cui si distinguono post che hanno un valore informativo durevole nel tempo da post la cui utilità è limitata (si vuole ad esempio distinguere la risoluzione di un esercizio dalla richiesta dell’orario delle lezioni). Infine si è interessati a distinguere la direzione dell’informazione e cioè se un post contiene una richiesta o una offerta di condivisione di informazioni. L’obiettivo della classificazione è quello di importare nella piattaforma solo i post Useful e Lasting e di distinguere quindi tra i due tipi di contributi Give_Info e Need_Info.
- Al fine di creare il training set, 3 volontari hanno annotato manualmente 1092 post. Per valutare il grado di accordo è stata utilizzata la misura statistica Fleiss’ kappa, adatta a questo scopo quando i valutatori sono più di 2. Per tutte e tre le dimensioni il valore risulta molto alto, indicando un accordo quasi perfetto. In seguito all’annotazione si è proceduto a creare il training set, prendendo i post per cui i 3 annotatori sono d’accordo. Abbiamo quindi ottenuto 3 training set , uno per ogni dimensione, composti dai lemmi delle parole e da altre features che descrivono il post, come: presenza di link, informazioni di formattazione o dispositivo da cui è stato caricato il post. Per la costruzione del modello si è adottato quindi un approccio supervisionato e un’implementazione di WEKA di SVM.
- I risultati ottenuti in seguito ad una 10 fold validation, rispecchiano il grado di accordo ottimo osservato nella fase di annotazione, per tutte e tre le dimensioni.
- Ho utilizzato quindi il classificatore per realizzare la migrazione dei contenuti dei gruppi all’interno della piattaforma. Coerentemente con il modello del Q&A i post sono diventati le richieste e le offerte di informazioni, i commenti le risposte, i like i voti e le identità di Facebook sono state sostituite con identità fittizie.
- Inoltre i contenuti sono stati suddivisi ricalcando il mondo universitario secondo la gerarchia Università – Corso di laurea – Insegnamento. Si è scelto di utilizzare come tag l’etichetta ottenuta per la dimensione direzione, quindi need_info o give_info e l’insegnamento cui il post si riferisce.
- La piattaforma è visibile al sito www.universitree.com e l’immagine ne mostra la home page. Attualmente vi sono quasi 500 domande con circa 3000 risposte e 100 tag.
- In conclusione è stata sviluppata una piattaforma per gli studenti universitari che unisce features del question & answering e features dei gruppi Facebook. Il sistema di classificazione automatica dei post consente di selezionare i contenuti utili dai gruppi facebook attualmente in uso, per trasferirli nella piattaforma, affrontare il problema del cold start e supportare l’adozione della piattaforma da parte di amministratori e membri dei gruppi. In futuro prevedo di integrare nel sistema funzionalità di supporto ad altri tipi di interazione, necessari per gli studenti, come la creazione dei gruppi studio o la gestione ad hoc di informazioni con utilità temporale ridotta. Ancora, ho pianificato l’inclusione di feature di suggerimento automatico di tag in modo da poter automaticamente gestire differentemente ogni tipo di interazione sin dal momento in cui il contributo viene postato sulla piattaforma.