Kublai evaluation   key findings
Upcoming SlideShare
Loading in...5
×
 

Kublai evaluation key findings

on

  • 55 views

Results of the evaluation of the Kublai project (http://www.progettokublai.net/)

Results of the evaluation of the Kublai project (http://www.progettokublai.net/)

Statistics

Views

Total Views
55
Views on SlideShare
55
Embed Views
0

Actions

Likes
0
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Kublai evaluation   key findings Kublai evaluation key findings Presentation Transcript

  • Evaluating Kublai: key findings 1
  • Housekeeping • 11.30-13.00 • Presentation of evaluation results (David Osimo) • Discussion • Presentation of ideas for the future of Kublai • Discussion • Wrap up • Remember: you can pose questions during the presentation and the discussion using the chat window 2
  • What is Kublai? • Kublai is a collaborative environment where project ideas can be discussed, refined, and developed into viable projects. It has been created in 2008 by the Department of Development Policies of the Italian Ministry of Economic Development to help good ideas turn into real world social innovation projects with a concrete economic and employment impact at the local level. • Kublai does not stress competition amongst start-up projects, but aims at promoting exchange and establishing collaboration amongst people who share the common interest based on the assumption that innovation is always a collective process. Cooperation is free and voluntary: based on personal passions, interests, and life projects, each and every participant to Kublai’s social platform can choose the most appropriate way to interact with others. • The Kublai environment includes a dedicated staff actively assisting all the ongoing discussions and projects, and available to support all project proponents at every step of the drafting process through different tools: project threads, chatrooms, and live helpdesk sessions. Kublai does not award funds to start-ups, but advises and accompanies the deserving projects at the end of the process, to the sources of competitive funding most appropriate for them – both private and public. • Only exception to this rule is the Kublai Award, which every year is given to the best social and territorial innovation project raised inside the Kublai community: the award aims at supporting the project promoter in the acquisition of consultancy and/or training services needed for project take-off. • The Kublai community includes more than 3000 members and 600 projects under discussion. Kublai has helped among many other initiatives currently in the start-up phase, projects such as: Neronote, Angeli per Viaggiatori, Critical City, Film Voices, Kinovan, Fund For Culture, AerialClick. 3Source: http://www.cross-innovation.eu/designing-connectivity-kublai/news/
  • Participants’ target 4 Usual suspects Deserving winners Low skills Missed opportunities Not creative Creative Don’t receive public funding Receive public funding
  • Key indicators Budget 2008-2014 (7 yrs) € 1.441.514,00 Comments 15.959 Users 3.861 Projects discussed 576 Cost per comment € 90,33 Cost per user € 373,35 Cost per project € 2.502,63 90 550 Kublai EU ePar cipa on project Cost per comment (EUR) 5
  • Participation trends (2008=100) 6 Users Projects Comments
  • Participant’s profile • >35 yrs (58%) • >University degree (73%) • Equally from north or southern Italy, men or women • 67% employed, of which 73% with at least 3yrs experience, mostly as independent 7
  • Before joining Kublai… 58% 47% 26% 37% 0% 20% 40% 60% 80% 100% I had dra ed a project I had managed an ini a ve (profit or nonprofit) I had received public funding I had used other services to support project prepara on 8
  • If you used other services, how is Kublai with respect to them?… 9 7% 18% 18% 4% 21% 32% Much lessuseful Lessuseful Asuseful More useful Much more useful Useful but in a different way
  • How useful was Kublai (1 to 5) 10 1 1.5 2 2.5 3 3.5 4 4.5 5 Participation to the web forum Feedback from other members Participating at events Usage of material produced by the project Feedback from staff
  • How did you benefit (1 to 5) 11 1 1.5 2 2.5 3 3.5 4 4.5 5 Acquiring collaborationswith government Visibility and capacity to attract funding Opening partnershipswith other membersof Kublai Acquiring professional skills Improving the project idea Acquiring a culture of sharing and collaborating
  • Did you implement the project? 12 31% 23% 46% Yes, asplanned Yes, but differently No
  • Would you have implemented it without Kublai? 13 53% 10% 21% 16% Yes Yes, but it would have been worse Yes, but it would have taken more time No
  • If you implemented the project… 14 91% 55% 0% 10%20%30%40%50%60%70%80%90%100% Isthe project still active? Did you create a businessor an association out of it?
  • Finally 15 87% 76% 0% 20% 40% 60% 80% 100% Would you recommend Kublai to others? Would you present other projects to Kublai 30% would accept to pay 5 EUR/month or more
  • Discussion: what options for the future? • Platform funded by several funding agencies • Spin out as a company • Community service for open innovation , such as Innocentive • Crowdfunding • Outsourcing to another public agencies 16
  • ANNEX 17
  • Obiettivi della valutazione (da D1) Obiettivo generale • Fornire un strumento utile ad una presa di decisione razionale ed evidence-based Obiettivi specifici • Valutazione dei risultati del progetto Kublai dal 2008 fino ad oggi • Studio di fattibilità sull’assetto futuro dell’iniziativa • Informazione e sensibilizzazione sul progetto interna alla amministrazione e nei confronti dell’opinione pubblica 18
  • Obiettivi del progetto (da D1) Obiettivi principali • Migliorare l’Beneficio dei fondi strutturali • Migliorare il coinvolgimento degli utenti nei finanziamenti pubblici • Fornire ai creativi competenze necessarie alla progettazione e alla redazione di bandi • Coinvolgere i creativi nei programmi di finanziamento pubblico attraverso un approccio informale e peer to peer Obiettivi accessori • Aumentare il numero di utenti supportati attraverso l’utilizzo di meccanismi peer to peer • Raggiungere nuove competenze utili al Ministero • Diffondere verso altri programmi approcci alla Kublai • Incoraggiare la condivisione di conoscenza e idee fra i partecipanti 19
  • Benefici attesi per i partecipanti (da D1) Benefici dell’iniziativa • Generica acquisizione di competenze in materia di elaborazione dei progetti • Ottenimento di specifici consigli utili al miglioramento del progetto • Promozione e comunicazione del progetto verso possibili finanziatori • Capacità di networking ed accesso a possibili collaboratori del progetto • Conseguimento di concrete collaborazioni con altri Kublaiani 20
  • Methodology What Status Casi studio In fase di completamento Survey Completata - 81 rispondenti su 575 portatori di progetto contattati in 4 istanze: Prima mail generale contenente la survey Seconda mail collettiva di richiamo Mail collettiva di richiamo da parte dello staff di Uval Messaggio personale sulla piattafoma a oltre 200 promotori iscritti negli anni 2011-2014 Analisi dei dati Della piattaforma Completata Studio di fattibilità In corso 21
  • Metodologia 22
  • Rilevanza: domande, indicatori e fonti di valutazione Domanda Indicatore Fonte Si è coinvolto il target previsto (creative innovativi con scarse competenze progettuali da aree svantaggiate)? % di utenti nuovi ai finanziamenti pubblici survey portatori di progetto % da sud Italia; % laureati survey portatori di progetto valutazione originalità di progetti desk-based analisi dei progetti % di utenti che non avevano realizzato progetti autonomi fino ad oggi survey portatori di progetto distribuzione geografica utenti attivi/portatori di progetto survey portatori di progetto % di progetti con forte componente web Dati piattaforma Adeguatezza del peer to peer % di partecipanti che hanno proposto idee di progetto; Dati piattaforma % di utenti che valutano utile/molto utile I consigli di altri Kublaiani survey portatori di progetto 23
  • Efficienza: domande, indicatori e fonti di valutazione Domanda Indicatore Fonte Si è ottenuta una adeguata partecipazione? n. utenti; % utenti attivi; trend nel tempo dati di progetto n. commenti dati di progetto n. commenti totali/n commenti staff dati piattaforma costo per commento; costo per utente dati piattaforma/dati di progetto si è riuscito ad aiutare un numero di utenti più' elevati dei servizi tradizionali? costo per utente supportato / anno dati di progetto 24
  • Efficacia e addizionalità: domande, indicatori e fonti di valutazione Domanda Indicatore Fonte Valore dei consigli ricevuti % di utenti che rispondono utile o molto utile survey portatori di progetto Quanto ha fornito elementi unici rispetto ad altre piattaforme? % di utenti che rispondono si survey portatori di progetto Lo staff centrale ha fornito consigli utili? % di utenti che rispondono utile o molto utile survey portatori di progetto I kublaiani hanno fornito consigli utili? % di utenti che rispondono utile o molto utile survey portatori di progetto Servizi più utili di Kublai survey portatori di progetto Saresti disposto a pagare una fee (10 E mensuali) per usare Kublai / attribuisci un valore ai consigli ricevuti su Kublai - % di utenti che rispondono si survey portatori di progetto 25
  • Domanda Indicatore Fonte Efficacia dell’autoselezione % di progetti di successo fra I 50 più discussi analisi desk e dati piattaforma corrispondenza fra progetti più discussi e progetti vincitori dati piattaforma; risultati awards Acquisizione di competenze Scelta multipla: % di utenti che rispondono si survey portatori di progetto Esempi di progetti migliorati sensibilmente Casi di studio I progetti sono diventati realtà? (incl. data) % di utenti che rispondono si ; % su categorie specifiche survey portatori di progetto % di utenti che hanno ricevuto finanziamenti ; % su categorie specifiche survey portatori di progetto se si, in che misura questo successo è attribuibile a Kublai % di utenti che rispondono rilevante o molto rilevante survey portatori di progetto Beneficio su cittadini numero totale utenti dei servizi realizzati Survey portatori di progetto nuove collaborazioni reclutate tramite Kublai numero intervista a committente Efficacia e addizionalità: domande, indicatori e fonti di valutazione 26
  • Efficacia – Utilità percepita delle varie attività 1 1.5 2 2.5 3 3.5 4 4.5 5 La partecipazione al forum web Il feedback ricevuto da altri Kublaiani La partecipazione ad eventi Uso di materiale prodotto dal progetto Il feedback ricevuto dallo staff 27
  • Efficacia – Benefici percepiti dalle varie attività 1 1.5 2 2.5 3 3.5 4 4.5 5 Acquisizione di nuove collaborazioni con un’amministrazione pubblica Visibilità e capacità di ottenere finanziamenti pubblici o privati Apertura di collaborazioni con altri Kublaiani Acquisizione di skills professionali Miglioramento dell’idea progettuale Sviluppo dell’attitudine alla condivisione e collaborazione 28
  • Efficacia – Realizzazione del progetto 31% 23% 46% Si, esattamente come previsto Si, in maniera differente No 54% ha realizzato il progetto 29
  • Efficacia – Rapporto fra feedback forniti e ricevuti 14% 4% 43% 20% 19% Dato molto di più Dato un po di più Paritario Ricevuto un po di più Ricevuto molto di più 39% ha saldo positivo contro il 18% con saldo negativo 30
  • Efficacia – Misura in cui sono state condivise informazioni 5% 18% 27% 32% 18% Per nulla Poco Abbastanza Molto Moltissimo Il 50% ha condiviso molto, il 23% ha condiviso poco 31
  • Efficacia – Soddisfazione generale di Kublai 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Si No Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai? Il 30% sarebbe disposto a pagare almeno 5 EUR/mese 32
  • Addizionalità – Realizzazione del progetto senza Kublai 53% 10% 21% 16% Si Si, avrei avviato un'iniziativa diversa/più debole Si, ma ci avrei messo più tempo No 47% ha avuto un effetto addizionale da Kublai (Base: solo chi ha realizzato il progetto) 33
  • Addizionalitá – Giudizio su Kublai rispetto ad altri servizi alla progettazione 7% 18% 18% 4% 21% 32% Molto meno utile Meno utile Di uguale utilità Poco più utile Molto più utile Utile, ma in maniera diversa 57% ha avuto valore aggiunto da Kublai rispetto ad altri servizi (Base: solo chi ha utilizzato altri servizi) 34
  • Domanda Indicatore Fonte La partecipazione è in crescita? utenti attivi/mese; visite/ mese dati piattaforma I progetti supportati sono continuati? % di utenti che rispondono si survey portatori di progetto Hanno condotto alla creazione di imprese e posti di lavoro? % di utenti che rispondono si survey portatori di progetto Gli enti beneficiari sono interessati ai servizi di Kublai? numero di enti interviste a stakeholder L’approccio Kublai è stato adottato da altri enti pubblici? numero casi citati intervista a committente / stakeholder Sostenibilità: domande, indicatori e fonti di valutazione 35
  • Sostenibilità – Progetti e creazione di attivitá economiche 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Si No Il progetto è ancora attivo? Ha creato un'impresa, un'associazione o una cooperativa a seguito del progetto? 36
  • Analisi statistica Analisi Metodologia Creazione di gruppi basati sulle variabili di profilo K-means clustering Estrazione di due variabili: Utilità percepita o Feedback ricevuto dallo staff o Feedback ricevuto da altri Kublaiani o Uso di materiale del progetto o Partecipazione ad eventi o Partecipazione al forum web Beneficio percepito o Sviluppo dell’attitudine alla condivisione e alla collaborazione o Miglioramento dell’idea progettuale o Miglioramento di skills professionali o Apertura di collaborazioni con altri Kublaiani o Visibilità e capacità di ottenere finanziamenti o Acquisizione di collaborazioni con un’amministrazione pubblica Factor analysis Correlazione tra i fattori estratti e variabili qualitative Univariate Anova – univariate analysis of variance Correlazione tra variabili Pearson's chi-squared test 37
  • Risultati dell’analisi statistica (1) • PRESENZA di correlazione significativa tra Beneficio/utilità o Provenienza da regioni convergenti o Difficoltà nella realizzazione del progetto o Condivisione delle informazioni • MANCANZA di correlazione significativa tra Beneficio/utilità o Esperienza in redazione di progetti o Esperienza in gestione di iniziative o Aver già ottenuto finanziamenti prima di Kublai o Esperienza professionale o Livello educativo o Tipo di occupazione 38
  • Risultati dell’analisi empirica (2) • Gli utenti con minore esperienza manageriale hanno una percezione maggiore di: o Utilità dell’uso del materiale di progetto o Utilità del feedback ricevuto dallo staff o Utilità del feedback ricevuto dagli altri Kublaiani o Utilità di Kublai nell’acquisizione di skills professionali • Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria • Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo • Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri Progetti su Kublai 39
  • In altre parole • I Kublaiani del sud e quelli senza esperienza manageriale giudicano Kublai piú utile • I Kublaiani con esperienza manageriale hanno maggiore probabilitá di realizzare il progetto, ma lo avrebbero realizzato indipendentemente da Kublai • Non ci sono altre differenze significative nel beneficio fra Kublaiani skilled/unskilled 40
  • Conclusioni generali (1) Kublai ha avuto un impatto positivo in termini di impulso alla creazione di una comunità di progettisti e di stimolo alla progettazione. In particolare l’utilità ed i benefici di Kublai appaiono maggiori per gli utenti provenienti da regioni svantaggiate e con poca competenza nel campo manageriale. Rilevanza • Il progetto ha raggiunto il proprio obiettivo in termini di profilo dei soggetti coinvolti, status lavorativo, esperienza, genere, livello educativo, provenienza Efficienza • Il progetto è indubbiamente molto efficiente dal punto di vista del costo per commento, sebbene non vi siano elementi per valutare il rapporto tra risorse impiegate ed iniziative create 41
  • Conclusioni generali (2) Efficacia •La maggior parte dei progettisti dichiara di aver realizzato il progetto, sebbene sia difficile determinare cosa il promotore intenda specificamente per progetto •Tutte le attività principali del progetto vengono percepite come utili, in particolare il feedback dello staff, mentre i benefici percepiti paiono limitati • Buona parte dei progettisti (40%) ha ricevuto un beneficio netto dall’interazione •I progettisti ripeterebbero l’esperienza e la raccomanderebbero ad altri, ed una buona parte (30%) sarebbe addirittura disposta a pagare per il servizio Addizionalità •Quasi la metà dei progettisti dichiara che non avrebbe realizzato l’iniziativa o l’avrebbe realizzata in maniera più debole/in un tempo più lungo senza Kublai, e la maggioranza ritiene che Kublai abbia un valore aggiunto rispetto a servizi analoghi Sostenibilità •L’interazione nella piattaforma ha subito una drastica diminuzione nel 2011-2012 •La stragrande maggioranza dei progetti rimangono attivi nel tempo, ma solo una modesta parte si traduce in attività economiche 42
  • Idee per lo studio di fattibilitá (1) (TBC) 43
  • Idee per lo studio di fattibilitá (2) (TBC) 44
  • Prossimi steps What When Webinar sullo studio di fattibilità 4 Luglio Conclusione analisi dei dati della piattaforma 6 Luglio Conclusione dei casi studio 13 Luglio Invio report finale sulla valutazione sulla base dei commenti ricevuti 20 Luglio Conclusione dello studio di fattibilità 31 Luglio 45
  • Grazie per l’attenzione! 46
  • www.open-evidence.com David Osimo Francesco Mureddu C/Roc Boronat 117 8th Floor 08018 Barcelona Spain Phone: +34 934 505252 dosimo@open-evidence.com fmureddu@open-evidence.com 47
  • Allegato – analisi empirica 48
  • Anova output – esempio caso significativo Sum of Squares df Mean Square F Sig. Perceived Impact Between Groups 4,846 1 4,846 5,046 ,028 Within Groups 72,032 75 ,960 Total 76,878 76 Perceived utility Between Groups 4,427 1 4,427 4,628 ,035 Within Groups 75,573 79 ,957 Total 80,000 80 49
  • Anova output – Statistica descrittiva N Mean Std. Deviation Std. Error 95% Confidence Interval for Mean Minimum Maximum Between- Compone nt Variance Lower Bound Upper Bound FAC1_1 Perceived Impact Competitivo 41 -,2261676 ,92705156 ,14478113 -,5187812 ,0664460 -1,42236 1,57135 Convergente 36 ,2766494 1,03723504 ,17287251 -,0743005 ,6275992 -1,42236 2,55376 Total 77 ,0089157 1,00576182 ,11461720 -,2193643 ,2371956 -1,42236 2,55376 Model Fixed Effects ,98001335 ,11168289 -,2135680 ,2313994 Random Effects ,25172823 -3,1895948 3,2074262 ,10136068 FAC1_2 Perceived utility Competitivo 45 -,2091052 ,97655226 ,14557582 -,5024939 ,0842836 -2,12679 1,56963 Convergente 36 ,2613815 ,97997167 ,16332861 -,0701933 ,5929562 -1,85412 1,56963 Total 81 ,0000000 1,00000000 ,11111111 -,2211182 ,2211182 -2,12679 1,56963 Model Fixed Effects ,97806867 ,10867430 -,2163108 ,2163108 Random Effects ,23606644 -2,9995085 2,9995085 ,08676337 50
  • Means plotsBeneficiopercepito Regioni competitive Regioni convergenti 51
  • Means plotsUtilitàpercepita Regioni competitive Regioni convergenti 52
  • Means plotsBeneficiopercepito Sarebbe riuscito a realizzare il progetto anche senza Kublai? Si Si, ma avrei avviato un’iniziativa diversa/più debole Si, ma avrei impiegato più tempo No 53
  • Means plotsUtilitàpercepita Sarebbe riuscito a realizzare il progetto anche senza Kublai? Si Si, ma avrei avviato un’iniziativa diversa/più debole Si, ma avrei impiegato più tempo No 54
  • Means plotsBeneficiopercepito In che misura ha condiviso informazioni sul progetto? Per nulla Poco Abbastanza Molto Moltissimo 55
  • Means plotsUtilitàpercepita In che misura ha condiviso informazioni sul progetto? Per nulla Poco Abbastanza Molto Moltissimo 56
  • Means plotsUtilitàpercepita No Si Esperienza manageriale Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 57
  • Anova output – esempio caso non significativo Sum of Squares df Mean Square F Sig. FAC1_1 Perceived Impact Between Groups 1,480 1 1,480 1,457 ,231 Within Groups 75,181 74 1,016 Total 76,661 75 FAC1_2 Perceived utility Between Groups 3,979 1 3,979 4,100 ,046 Within Groups 75,707 78 ,971 Total 79,687 79 58
  • Means plots Capacità manageriali Variabile composta da esperienza in progettazione, esperienza in gestione di initiative ed ottenimento previo di finanziamenti Beneficiopercepito 59
  • Means plotsUtilitàpercepita Capacità manageriali Variabile composta da esperienza in progettazione, esperienza in gestione di initiative ed ottenimento previo di finanziamenti 60
  • Means plots Il rispondente ha già ottenuto dei finanziamenti prima di partecipare a Kublai Beneficiopercepito No Si 61
  • Means plots Il rispondente ha già ottenuto dei finanziamenti prima di partecipare a Kublai Utilitàpercepita No Si 62
  • Means plots Esperienza manageriale Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai Beneficiopercepito No Si 63
  • Means plots Esperienza in progettazione Il rispondente ha già scritto dei progetti prima di partecipare a Kublai Beneficiopercepito No Si 64
  • Means plotsUtilitàpercepita No Si Esperienza in progettazione Il rispondente ha già scritto dei progetti prima di partecipare a Kublai 65
  • Pearson's chi-squared test – esempio caso significativo Value df Asymp. Sig. (2- sided) Pearson Chi-Square 13.034 a 4 ,011 Likelihood Ratio 13,673 4 ,008 Linear-by-Linear Association 1,513 1 ,219 N of Valid Cases 80 a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39. 66
  • 00% 10% 20% 30% 40% 50% 60% No Si Esperienza manageriale Molto bassa Bassa Media Alta Molto alta Utilità del materiale di progetto Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai Analisi della correlazione (1) 67
  • Analisi della correlazione (2) 00% 10% 20% 30% 40% 50% 60% No Si Esperienza manageriale Molto bassa Bassa Media Alta Molto alta Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai Utilità del feedback ricevuto dallo staff 68
  • Analisi della correlazione (3) Utilità del feedback ricevuto dagli altri Kublaiani 00% 05% 10% 15% 20% 25% 30% 35% 40% No Si Esperienza manageriale Molto bassa Bassa Media Alta Molto alta Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 69
  • Analisi della correlazione (4) Utilità di Kublai nell’acquisizione di skills professionali 00% 05% 10% 15% 20% 25% 30% 35% 40% No Si Esperienza manageriale Molto bassa Bassa Media Alta Molto alta Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 70
  • Analisi della correlazione (5) Ha realizzato il progetto? 00% 10% 20% 30% 40% 50% 60% 70% No Si Esperienza manageriale Si Si, in maniera diversa No Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 71
  • Analisi della correlazione (6) Sarebbe riuscito a realizzare il suo progetto senza Kublai? 00% 10% 20% 30% 40% 50% 60% 70% 80% 90% No Si Esperienza manageriale Si Si, ma avrei avviato un’iniziativa diversa/più debole Si, ma avrei impiegato più tempo No Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai 72
  • Analisi della correlazione (7) 00% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Regioni competitive Regioni convergenti Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai 73