רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute

1,095 views

Published on

Presented at Indicators conference at JIIS on Oct 24th

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,095
On SlideShare
0
From Embeds
0
Number of Embeds
502
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • שלב ראשון: סקירת ספרות מקיפה בנושא ממשל מקוון: מדדים להערכת האיכות של ממשל מקוון; גורמי הצלחה בהטמעת מערכות מידע בכלל, ובתחום ממשל מקוון בפרט; ניתוח מקרים. שלב שני: פיתוח כלי למדידת רמת הממשל המקוון ברשויות מקומיות בישראל.
  • קיימות שיטות רבות להערכת האיכות של אתרים בכלל, ולהערכת איכות השירות והמידע באתרים של ממשל מקוון. המדדים שנבחרו במחקר נקבעו תחת אילוץ ברור, והוא מצב האתרים כיום. בפועל, יכולנו בעיקר לספור כמה יישומים בחרה כל רשות לרכוש מתוך סל יישומים קבוע ועד לא מזמן כמעט בלעדי. מתודולוגיה של "תצפית מבוקרת": קופסה שחורה. הערכת האתר ומערכות המידע שמאחוריו באמצעות כניסה לאתר, ללא מידע נוסף.
  • להמחשת ההתקדמות בממשל זמין – מה מדדה בממשלת ארה"ב בשנת 2003 לעומת ממשל אובמה, בשקף הבא.
  • במצגת שיטות הערכה כפי שהתפתחו בעשור האחרון.
  • הגדרת הדרך למדידת הצלחה איננה מספקת . הדרך המקובלת בספרות האסטרטגיה והכלכלה היא לבדוק כיצד מדדים שונים של אתרים משפיעים על הצלחת הארגון ( הצלחה כספית , ארגונית , הגירה פנימה , וכו ') או על שביעות הרצון של התושבים מהאתר או ע " י שביעות הרצון של המנהלים בארגון המשתמשים באתר ( או בחלקיו ). From successful to citizen-oriented .
  • הספרות בתחום מערכות המידע מדגישה את חשיבות היחסים ביניהם.
  • הקריטריונים יכולים להיקבע בדרכים רבות. אחת השיטות המקובלות מתבססת על האבולוציה של אתרי האינטרנט, המספקים ממשק בין מערכות המידע למשתמש.
  • עלייה במורכבות הטכנולוגית והארגונית ובאינטגרציה בין המערכות.
  • המדד במחקר זה מתייחס לסוגי המידע והשירותים הנפוצים באתרים של רשויות מקומיות בישראל, ומתבססים ברובם הגדול על מוצרי החברה לאוטומציה. בראיונות מקדימים ( Bonoma, 1985 ) התברר מקומה המרכזי של החברה לאוטומציה בהקמת האתרים ומערכות המידע ברשויות. ניכר כי החברה לאוטומציה מילאה תפקיד משמעותי בשלבים הראשונים של החדרת הטכנולוגיה לרשויות המקומיות ( S-curve ) וייתכן כי סיימה את תפקידה ההיסטורי. כיום לא ברור אם תהיה זו החברה לאוטומציה שתוביל לחדשנות באתרים ובמערכות המידע של הרשויות המקומיות או שיהיו אלה מתחרות מהשוק הפרטי שיספקו לרשויות שירותים ברמות שונות, ואולי גופים חדשים מהמגזר השלישי שיזהו את העוצמה הטמונה בטכנולוגיות התקשורת והמידע לקידום מטרות ציבוריות.
  • Adapted marketing framework applied to e-services
  • ההבדלים מתבטאים בשיטות המדידה.
  • ירושלים במקום גבוה (לעומת מקום נמוך במחקר אחר, שיוצג בהמשך הקורס).
  • ארבעת השקפים האחרונים: קשורים זה לזה. רלוונטיים יותר לשיתוף הציבור.
  • רונית פוריאן 2012 10-24 evaluation - indicators at jerusalem institute

    1. 1. ‫42 באוקטובר 2102‬‫יום עיון – אינדיקטורים לבחינת מצבה של רשות מקומית‬ ‫מושב שני‬ ‫מדידה מנקודות מבט שונות‬ ‫ד"ר רונית פוריאן‬ ‫אוניברסיטת תל אביב ומרכז אקדמי דן‬ ‫‪Confidential‬‬ ‫1‬
    2. 2. ‫מטרות המחקר‬‫‪ ‬לבנות כלי למדידת ממשל מקוון ברשויות המקומיות‬ ‫בישראל.‬ ‫בהתאם לתוצאותיו:‬ ‫‪ ‬לזהות ולתאר את גורמי ההצלחה בהקמת אתרים‬ ‫ומערכות מידע ברשויות מקומיות בישראל.‬ ‫עם הבנת החסמים וגורמי ההצלחה בתחום:‬ ‫‪ ‬להציע לרשויות המקומיות מודלים לממשל מקוון.‬ ‫‪Confidential‬‬ ‫2‬
    3. 3. ‫שאלות המחקר‬ ‫מה למדוד? איזה משקל לתת לכל מרכיב במדד?‬ ‫•‬ ‫יותר מ-01 מדדים בעולם:‬ ‫•‬‫•‬ ‫.‪OECD: Government at a Glance‬‬‫•‬ ‫.‪The Economist Intelligence Unit‬‬‫•‬ ‫.‪Brown University‬‬ ‫בישראל: מוצרים של חברה בעלת נתח שוק גדול.‬ ‫•‬ ‫העדר חקיקה.‬ ‫‪Confidential‬‬ ‫3‬
    4. 4. ‫?מהי מערכת מידע מוצלחת במגזר הציבורי‬ ‫1002 ‪Layne & Lee‬‬ ‫‪Confidential‬‬ ‫4‬
    5. 5. US E-Government Strategy (2003): 25 initiativesSource: p. 100, figure 2, in Lee, S.M., Tan, X. & Trimi, S. (2005). "Current practices of leading Confidential 5e-government countries". Communications of the ACM. Oct. Vol. 48, Iss. 10; pp. 99-104.
    6. 6. The President Introduces the Office of Public Engagement Confidential 6
    7. 7. ‫תחומי המחקר‬ Human-Computer Quality of Service Interface (HCI) EvaluationMarketing, Sales Website Evaluation Task Serviceand Online Sales usability evaluation Sales features Evaluation criteria Repository of Generic Evaluation Criteria Industry User RequirementsCharacteristics Industry adjustment Task requirements Industry-specific requirements Industry-specific requirements Industry-Specific Evaluation Criteria • Basic vs. Premium Requirements Confidential • Y/N vs. Graded Value 7What to measure?
    8. 8. ‫שיטות להערכת שביעות רצון‬ Confidential 8Source: Capgemini, 2009; Figure 32, p 55.
    9. 9. ‫ממשק משתמש‬ Office Telephone Internet TV Mail Kiosk Confidential 9Contact channels
    10. 10. Confidential 10
    11. 11. Confidential 11
    12. 12. Confidential 12
    13. 13. Confidential 13
    14. 14. Confidential 14
    15. 15. Confidential 15
    16. 16. Confidential 16
    17. 17. Confidential 17
    18. 18. Confidential 18
    19. 19. ‫התנהגות ארגונית‬ ‫סוציולוגיה: סמכות, תרבות, פורמליות.‬ ‫•‬‫פסיכולוגיה: הסתגלות, תקשורת, מוטיבציה.‬ ‫•‬ ‫פוליטיקה: השפעה )דומה לסוציולוגיה(.‬ ‫•‬ ‫ניהול: תהליכי קבלת החלטות.‬ ‫•‬ ‫כלכלה: רציונליות בקבלת החלטות.‬ ‫•‬ ‫מיקרו/מקרו.‬ ‫‪Confidential‬‬ ‫91‬
    20. 20. ‫רקע: על מה אנחנו מדברים‬ ‫• לפני שנמשיך לחלק הבא )מהי מערכת‬‫מידע מוצלחת במגזר הציבורי בישראל( –‬ ‫קצת רקע על התחום.‬ ‫‪Confidential‬‬ ‫02‬
    21. 21. ‫מערכות מידע וממשל זמין‬ ‫מהי מערכת מידע?‬ ‫•‬ ‫מהי מערכת מידע מוצלחת?‬ ‫•‬ ‫מהי מערכת מידע מוצלחת במגזר הציבורי?‬ ‫•‬‫מהי מערכת מידע מוצלחת במגזר הציבורי בישראל?‬ ‫•‬ ‫‪Confidential‬‬ ‫12‬
    22. 22. ‫מהי מערכת מידע?‬ ‫• מערכת מידע היא מערכת המייצרת ומספקת:‬ ‫נתונים )‪ .(data‬הנתונים לבדם לא משמשים לפעולה או‬ ‫–‬ ‫החלטה.‬ ‫מידע )‪ .(information‬מידע הוא מסר המתקבל כתוצאה‬ ‫–‬ ‫מעיבוד נתונים, ומשמש לביצוע פעולה או קבלת החלטה.‬‫ידע )‪ .(knowledge‬ידע הוא היכולת להשתמש במידע תוך‬ ‫–‬ ‫קבלת החלטה.‬ ‫חוכמה )‪ .(wisdom‬חוכמה מבוססת על למידת דפוסים‬ ‫–‬ ‫לאורך זמן.‬‫.)0002 ,‪• (Alavi & Leidner, 2001; Nonaka, 1994; Spiegler‬‬ ‫‪Confidential‬‬ ‫22‬
    23. 23. ‫מהי מערכת מידע?‬‫• היררכיית הידע המקובלת )9991 ,‪ ,Tuomi‬עמ 601(:‬ ‫‪Confidential‬‬ ‫32‬
    24. 24. ‫מהי מערכת מידע מוצלחת?‬ ‫• מידת האינטראקטיביות עם המשתמש –‬ ‫– צפייה.‬ ‫– שליחת טופס.‬‫– ביצוע טרנזקציות המשפיעות על בסיסי נתונים‬ ‫בתוך הארגון.‬ ‫‪Confidential‬‬ ‫42‬
    25. 25. ‫מהי מערכת מידע מוצלחת?‬ ‫שלבי ההתפתחות –‬ ‫•‬ ‫קטלוג: האתר כולל מידע, ולעתים גם טפסים שניתן להוריד או להדפיס‬ ‫–‬ ‫אותם ולשלוח באופן לא מקוון, באמצעות פקס או בדואר רגיל. רמה‬ ‫נמוכה של אינטגרציה בין המערכות.‬ ‫טרנזקציות: האתר כולל טפסים שניתן לשלוח באופן מקוון, ובסיסי‬ ‫–‬ ‫נתונים מקוונים. רמה גבוהה יותר של אינטגרציה בין המערכות.‬ ‫אינטגרציה אנכית: האתר מאפשר יצירת קשר בין מערכות מקומיות‬ ‫–‬ ‫ייעודיות למערכות הליבה של הארגון.‬ ‫אינטגרציה אופקית: האתר מאפשר יצירת קשר בין מערכות חוצות‬ ‫–‬ ‫ארגון, ולא ייעודיות למחלקה מסוימת. האתר מספק למשתמש‬ ‫פונקציונליות מלאה וגישה נוחה, ללא אבחנה בין היחידות הארגוניות.‬ ‫הרמה הגבוהה ביותר של אינטגרציה ומורכבות טכנולוגית.‬‫.)1002 ‪• (Lee, Tan & Trimi, 2005; Layne & Lee‬‬ ‫‪Confidential‬‬ ‫52‬
    26. 26. ‫מהי מערכת מידע מוצלחת?‬ ‫• בדיקת האתר ומערכות המידע שמאחוריו יכולה‬‫להיעשות בכמה דרכים, השואבות ידע מדיסציפלינות‬ ‫שונות:‬ ‫– מדידה כמותית:‬ ‫• מזווית המשתמש – מספר היישומים שהמערכת מאפשרת;‬‫• מזווית הארגון – החזר על ההשקעה )– ‪Return on Investment‬‬ ‫‪.(ROI‬‬ ‫– הערכה איכותית:‬ ‫• מזווית המשתמש – איכות השירות, איכות המידע, ערך המידע‬ ‫ללקוח, הערכת ארכיטקטורת האתר והניווט בו, הערכת העיצוב‬ ‫הגרפי וכד;‬ ‫• מזווית הארגון – מידת התרומה לניהול, סיוע לתפעול או לקבלת‬ ‫החלטות אסטרטגיות )1791 ,‪ (Simon‬וכד.‬ ‫‪Confidential‬‬ ‫62‬
    27. 27. ‫?מהי מערכת מידע מוצלחת במגזר הציבורי‬ The wide scope of e-government UN Department of Economic and Social Affairs, 2005• E-Information• E-Consultation• E-Decision Confidential 27
    28. 28. ‫מהי מערכת מידע מוצלחת במגזר הציבורי?‬ ‫• בהערכת אתרים ומערכות מידע במגזר הציבורי,‬ ‫מתחזק המשקל של המשתנים הסביבתיים.‬ ‫• שיטות ההערכה תלויות בגישות השונות ליחסים בין‬ ‫השלטון – ספק השירות, לאזרחים – ציבור‬ ‫המשתמשים או הלקוחות.‬ ‫• שיטות ההערכה נבדלות בכיוון:‬‫.‪• Top-down‬‬‫.‪• Bottom-up‬‬ ‫‪Confidential‬‬ ‫82‬
    29. 29. ‫מהי מערכת מידע מוצלחת במגזר הציבורי?‬ ‫• 5002( ‪Scott‬הציע מסגרת אינטגרטיבית למדידה )‬ ‫המתייחסת לחמישה מימדים ולקורלציות הרצויות‬ ‫:ביניהם,‪Transparency, transactions‬‬ ‫‪. connectivity, personalization, Usability‬‬ ‫• שיטות מדידה נוספות, וחדשות יחסית, כוללות‬ ‫קריטריונים המתייחסים לתהליכים חברתיים כמו‬‫דמוקרטיה ושיתוף הציבור; תהליכים של שיתוף פעולה‬ ‫וידע בין ארגונים ובין מדינות; וכן חדשנות טכנולוגית‬ ‫ועוד.‬ ‫‪Confidential‬‬ ‫92‬
    30. 30. ‫מהי מערכת מידע מוצלחת במגזר הציבורי בישראל?‬ ‫המדדים רבים כוללים פרמטרים שעדיין אינם רלוונטיים בישראל,‬ ‫•‬ ‫כמו שיתוף הציבור בקבלת החלטות ודמוקרטיה מקוונת.‬ ‫מצב האתרים הנוכחי בישראל עדיין אינו מתאים לשאלונים‬ ‫•‬ ‫הבוחנים השלכות חברתיות רחבות )מסוג השאלונים של ה-‬ ‫‪.(Eouropean Commission‬‬‫הרבה רשויות מקומיות מספקות שירותים מקוונים ברמה בסיסית,‬ ‫•‬ ‫אם בכלל.‬ ‫יש רשויות שעוד אין בהן מחשבים או רשת תקשורת מרכזית, או‬ ‫•‬ ‫שבמחשביהן מותקנת מערכת ההפעלה חלונות 59.‬ ‫ועדיין, ניתן למצוא אתרים אינפורמטיביים וידידותיים גם ברשויות‬ ‫•‬ ‫שאינן גדולות או עשירות במיוחד.‬ ‫מהם הגורמים להבדלים?‬ ‫•‬ ‫‪Confidential‬‬ ‫03‬
    31. 31. ‫איסוף נתונים כמותי‬ ‫היקף המידע: מספר הדפים ובסיסי המידע שהמשרד פותח לציבור,‬ ‫•‬ ‫מספר השפות שבהן הוא נותן שירות ומספר הקישורים כמדד לתועלת‬ ‫שנותן האתר למשתמשים.‬ ‫השימוש באתר: סטטיסטיקות של השימוש באתר והשוואות תקופתיות‬ ‫•‬ ‫)השוואה לשנה הקודמת(.‬ ‫טפסים מקוונים: שיעור הטפסים שניתן להוריד, למלא, ולשלוח באופן‬ ‫•‬ ‫מקוון למשרד; והשיעור בפועל.‬‫מכרזים מקוונים: שיעור המכרזים שניתן להוריד, למלא ולהשתתף בהם;‬ ‫•‬ ‫והשיעור בפועל.‬ ‫תשלומים מקוונים: שיעור השוברים שניתן לשלם באופן מקוון; והשיעור‬ ‫•‬ ‫בפועל.‬ ‫תהליכים מקוונים: שיעור התהליכים המקוונים המלאים, כולל הזדהות‬ ‫•‬ ‫וביצוע פעולות; ושיעור ההשתתפות בהם בפועל.‬ ‫ערוצי גישה: למידע באתר ולמשרד עצמו, כגון דואר אלקטרוני, טופס‬ ‫•‬ ‫פניות, ‪ ,RSS‬רשימת דיוור, פורומים ו-‪.Call center‬‬ ‫‪Confidential‬‬ ‫13‬
    32. 32. Web efficiency of federal & state service sites Awareness The total number of internet visitors relative to total agency visitors or consumers. Popularity Agency rank (in monthly visitors) relative to the rank of other federal and state agencies (in monthly visitors). Contact A score based on overall site content (e.g. convenience, security, and privacy with on-line data, publications, e-mail, licenses etc.). Conversion Scores based on customer satisfaction with federal services, state electronic transactions, and visitor time. Retention Customer loyalty based on repeat transactions and repeat visits. Confidential 32Source: p. 370, table 1, in Steyaert, J.C. (2004). “Measuring the performance of electronic governmentservices”. Information & Management, 41, pp. 369–375.
    33. 33. Quality in local government websites Five characteristics Expectations Transparency The site makes it easy for users to of general monitor official public records and to content for communicate with city officials. municipal sites. Transactions The site allows users to complete a wide range of online transactions. Connectivity The site connects users with other individuals or organizations that contribute to the local civic interest. The overall Personalization The site personalizes Web content design of based on analysis of user preferences sites and how and behavior. they function. Usability The site is reliable and easy to use. Confidential 33Source: pp. 152-153 in Scott, K. J. (2005). "Assessing the Quality of Municipal Government WebSites". State and Local Government Review. 37:2, pp. 151-165.
    34. 34. Top 20 Cities in Digital Government Ranking City 1-7 Seoul Hong Kong SAR Singapore New York Shanghai Rome Auckland 8 Jerusalem 9-20 Tokyo Toronto Helsinki Macao SAR Stockholm Tallinn Copenhagen Paris Dublin Dubai Sydney JakartaSource: p. 12, table 4, in Melitski, J., Holzer, M., Kim, S., Kim, C. & Rho, S. (2005). "Digital Confidential 34Government Worldwide: An e-Government Assessment of Municipal Web Sites“. International Journalof Electronic Government Research, 1(1), 1-19, Jan-March.
    35. 35. The wide scope of e-government Codagnone, Boccardelli and Leone, 2006 Confidential 35
    36. 36. The wide scope of e-government Codagnone, Boccardelli and Leone, 2006 Confidential 36
    37. 37. New context: E-democracy• Web-based discussion forum• Political debates• Decision-making systems• Face-to-face• One-way mass media• www.recovery.gov• Social Media: Dont be stupid Confidential 37E-democracy
    38. 38. What is Web 2.0 (OReilly, 2005) Ofoto Flickr mp3.com Napster (YouTube) Britannica Online Wikipedia personal websites Blogging •page views •cost per click •publishing •participation •CMS •wikis •directories (taxonomy) •tagging ("folksonomy") Confidential 38OReilly, T. (2005). "What Is Web 2.0 – Design Patterns and Business Models for the Next Generation of Software". www.oreillynet.com/pub/a/oreilly/tim/news/2005/09/30/what-is-web-20.html
    39. 39. Collaboration models Confidential 39p. 6, figure 1, in Dawes, S. & Eglene, O. (2008). “New models of collaboration for delivering e-government services: a dynamicmodel drawn from multi-national research”, Working Paper, Center for Technology in Government, University at Albany, NY.
    40. 40. Expecting more from your e-gov (Goldman, 2006; Online Deliberation)• New Zealand – wiki: new national Policing Act.• France – Parliament Law Commission: simplifying laws. Online forum.• United States – Sunlight Foundation: transparency draft bill. PublicMarkup.org.• England – e-petition: directly on the 10 Downing Street website. connect with each other around particular issues.• Estonia – “Today I Decide”: comment on draft laws and submit ideas for new ones. If a majority of online voters support a draft bill, it is forwarded to the government. Confidential 40E-democracy
    41. 41. ‫בעולם‬ ‫בשנים האחרונות פותחו תשתיות טכנולוגיות רבות הפועלות על גבי האינטרנט לשימוש הציבור הרחב.‬ ‫המאפיינים הבולטים של הפלטפורמות החינמיות הן נוחות השימוש, והאידיאולוגיה הברורה של‬ ‫זמינות ושיתופיות. רבות מהמערכות מאפשרות משיכת נתונים להצגתם במגוון תרשימים אפשריים.‬ ‫בעבודה זו נתמקד בפלטפורמות להצגת נתונים על גבי מפות. לדוגמה:‬ ‫-‪Swivel - www.ushahidi.com‬‬ ‫•‬ ‫הפרויקט אושהידי )עדות בסווהילית( נועד לשיתוף מידע על אסונות, בעיקר במקרי קטסטרופה‬‫בחירות עם זאת, נע‬ ‫.)‬ ‫(0102 ,‪Hagtun and Meier‬‬ ‫במדינות ערב, עוד לפני תחילת המהומות; וביתר שאת עם פרוץ ההפגנות בכיכר תחריר. אתרים‬ ‫:נוספים שמציעים יישומים גיאוגרפיים דומים‪.crisscrossed, seeclickfix‬‬ ‫- ‪Data360 - www.data360.org‬‬ ‫•‬ ‫האתר ופלטפורמת התוכנה הנלווית אליו, מאפשרת לעורכי תוכן/מידע מכל העולם כלי נוח לעדכון‬ ‫ופרסום מידע, בצורה חזותית ונוחה.‬ ‫סוג ואופי הנתונים באתר מגוון וכולל נתונים כלכליים וחברתיים המעודכנים ע"י גורמי ממשל, צוות‬ ‫.האתר, ואזרחים בעלי נגישות למידע‬ ‫- ‪Google Fusion Tables - www.google.com/fusiontables‬‬ ‫•‬ ‫‪ Fusion tables‬הינו מוצר טכנולוגי חדש של גוגל שמטרתו לאפשר הצגת מידע ע"ג מפה, בצורה‬ ‫נוחה וברורה למשתמש.‬ ‫ניתן לחלק את‪: FT‬לשתי שכבות‬ ‫שכבת המידע – בסיס נתונים טבלאי, המאפשר עריכת ושמירת מידע ע"ג הרשת.‬ ‫–‬ ‫שכבת ההצגה – מערכת ‪ GIS‬המציגה את מפת העולם ומאפשרת לקשר באופן חזותי בין אל‬ ‫–‬ ‫המידע שבבסיס הנתונים.‬ ‫הצגת הנתונים נעשית בצורה של סמנים, או ‪ heat maps‬בהתאם לשדות אותם מגדיר‬ ‫–‬ ‫המשתמש.‬ ‫גופים ממשלתיים ועסקיים אימצו את הזירה השיתופית בדרכים שונות ובמגוון תחומים, במערכות‬ ‫•‬ ‫המיועדות רובן ככולן למטרה משותפת של טובת הכלל: החברה, הסביבה, איכות החיים וכד, ולא‬ ‫רק למטרה עסקית או תפעולית ישירה וממוקדת, הניתנת לכימות כלכלי מיידי.‬ ‫בין הדוגמאות הבולטות והמעניינות:‬ ‫•‬ ‫‪Confidential‬‬ ‫14‬ ‫‪: LA crime‬של העיתון לוס אנגלס טיימס ‪http://projects.latimes.com/mapping-la/crime‬‬ ‫•‬
    42. 42. E-Democracy models• Liberal democracy• Deliberative democracy• Partisan democracy• Direct democracy Confidential 42E-democracy
    43. 43. Arguments• The Internet is not a “black box”.• The new ICT may increase democratization.• Implementation of E-Democracy should: – be adapted to the specific democracy model(s); – may require elements from all four models; – stay dynamic over time. Confidential 43E-democracy
    44. 44. Models of e-democracyWho sets the Citizens Governmentagenda?Citizens’ role indecision makingprocesses:Explicit defined Direct Deliberative Democracy democracyImplicit Partisan Liberal Democracy democracy Confidential 44 E-democracy
    45. 45. Categorization (Dahl, 1989)• Inclusion in decisions.• Control of the agenda. Confidential 45E-democracy

    ×