Performance evaluation of web information systems

557 views

Published on

The quality of web information systems is closely related with their
users’ expectations. In order to create good quality systems, web designers
should understand how users perceive service quality of various performance
attributes such as security, usability and information quality, and which ones
they value the most. In this study, users’ service quality perceptions of two different
web sites were investigated. Data were obtained from 1,900 users of web
sites of a for-profit online bookstore and a not-for-profit national information
center through the E-Qual Index that was administered online. Users were
asked to rate to what extent each web site satisfied the 22 performance attributes
included in the E-Qual Index along with the importance they attached
thereto. Quadrant analysis and gap analysis were used to analyze the data to
find out the strengths and weaknesses of the web sites investigated. Moreover,
performance attributes that need to be improved or that were “undervalued” by
the users were identified. Findings indicate that each web site satisfied more
than half the performance attributes listed in the E-Qual Index. Users attached
more importance to performance attributes such as ease of use, provision of
timely and relevant information and safety. Findings can be used to remedy the
shortcomings of each web site and improve the web service quality.

Yaşar Tonta and İrem Soydal, Performance evaluation of web information systems. Paper presented at the 2nd International Symposium on Information Management in a Changing World, IMCW 2010, Ankara, Turkey, September 22-24, 2010.). (Sunuş slaytları – PDF / Presentation slides -PDF) Appeared in: Serap Kurbanoğlu, Umut Al, Phyllis Lepon Erdoğan, Yaşar Tonta ve Nazan Özenç Uçak (Eds.). Technological Convergence and Social Networks in Information Management: 2nd International Symposium on Information Management in a Changing World, IMCW 2010, Ankara, Turkey, September 22-24, 2010. Proceedings. (pp. 175-188) Berlin: Springer, 2010.

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
557
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Performance evaluation of web information systems

  1. 1. Yaşar Tonta , İrem Soydal 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  2. 2.  Giriş:  “Web bilgi sistemi” kavramı  Algılanan hizmet kalitesi  Geleneksel ve web hizmet kalitesi boyutları Araştırmanın amacı ve yöntem Quadrant ve boşluk analizi bulguları Sonuç 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  3. 3.  “Web siteleri aslında bilgi sistemleridir ve bilgi sistemlerinin kullanımı ile ilgili her şey web siteleri için de geçerlidir.” (Loiacono, Watson ve Goodhue 2000)  Bilgi sunma  Etkileşimli hizmetler 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  4. 4. Beklentilerin karşılanması Kullanıcı memnuniyeti Başarılı bilgi sistemleriSistemin yapısı Bilginin niteliği 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  5. 5.  “Algılanan kalite, kullanıcı memnuniyetinin temelidir…Kullanıcının bir ürün ya da hizmetin genel mükemmellik ve üstünlüğü hakkındaki yargısı olarak tanımlanır…” (Zeithaml 1988)  Somut olma  Güvenilirlik  Yanıt verme  Güvence  Empati 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  6. 6.  Geleneksel hizmet kalitesi boyutları + Başarılı içerik ve sunum Kullanıcıya yol gösterici ögeler Kolay kullanılabilirlik Bilginin niteliği Kullanıcı güvenliği 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  7. 7.  Amaç, farklı web bilgi sistemlerinde kullanıcıların kalite algısını belirlemek. Kar amacı güden (Idefix, Çevrimiçi alışveriş sitesi) ve gütmeyen (ULAKBİM, Ulusal bilgi merkezi) iki farklı web sitesi E-Qual İndeksi Çevrimiçi anket - Beşli likert ölçeği – “Önem” ve “Memnuniyet” puanları Yaklaşık 1900 yanıt ve ortalama puanları Quadrant analizi Boşluk analizi 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  8. 8. 1. Sitenin kullanımını kolay öğrenilebilir buluyorum 2. Siteyle olan etkileşimim açık ve anlaşılır 3. Siteyi kolay dolaşılabilir buluyorum 4. Siteyi kolay kullanılabilir buluyorum Kullanılabilirlik 5. Sitenin çekici bir görünümü vardır 6. Tasarım sitenin türüne uygundur 7. Site uzmanlarca hazırlanmış hissi verir 8. Site benim için olumlu bir deneyim yaratır 9. Doğru bilgi sağlar 10. İnandırıcı bilgi sağlar 11. Zamanında bilgi sağlar Bilginin Niteliği 12. İhtiyaçlarımla ilgili bilgi sağlar 13. Kolay anlaşılır bilgi sağlar 14. Uygun detayda bilgi sağlar 15. Bilgiyi uygun bir biçimde sunar 16. Saygındır 17. İşlemleri tamamlamak konusunda güven verir 18. Kişisel bilgilerimin güvenlikte olduğu hissini verirHizmet Etkileşimi 19. Kişiselleştirilmiş izlenimi yaratır 20. Bir topluluğa ait olma hissi uyandırır 21. Kurumla iletişim kurmayı kolaylaştırır 22. Hizmet ya da ürünlerin söz verildiği şekilde iletileceği konusunda kendimi güvende hissederim 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  9. 9.  Kar amacı güden ve gütmeyen kurumların kullanıcıları bilginin niteliği, kullanılabilirlik ve hizmet etkileşimi gibi performans bileşenlerini nasıl algılıyorlar? Tasarım açısından kâr amacı güden ve gütmeyen kurumların web sitelerinin zayıf ve güçlü yanları neler? Geliştirilebilecek performans bileşenleri var mı? Kullanıcılar web hizmet kalitesi ile ilgili hangi performans bileşenlerine daha fazla değer veriyorlar? Kullanıcılar tarafından göz ardı edilmiş hizmet kalitesi performans bileşenleri var mı? 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  10. 10. Idefix ULAKBIMPerformans bileşenleri Önem Memnuniyet Önem Memnuniyet 1. Sitenin kullanımını kolay öğrenilebilir buluyorum 4.4 4.3 4.5 3.7 2. Siteyle olan etkileşimim açık ve anlaşılır 4.3 4.3 4.4 3.6 3. Siteyi kolay dolaşılabilir buluyorum 4.6 4.1 4.6 3.5 4. Siteyi kolay kullanılabilir buluyorum 4.6 4.1 4.6 3.6 5. Sitenin çekici bir görünümü vardır 3.8 3.3 3.7 2.8 6. Tasarım sitenin türüne uygundur 4.0 3.7 3.9 3.3 7. Site uzmanlarca hazırlanmış hissi verir 4.0 3.7 4.0 3.4 8. Site benim için olumlu bir deneyim yaratır 3.8 3.8 4.1 3.5 9. Doğru bilgi sağlar 4.8 4.2 4.8 4.3 10. İnandırıcı bilgi sağlar 4.7 4.1 4.8 4.3 11. Zamanında bilgi sağlar 4.7 4.1 4.8 4.0 12. İhtiyaçlarımla ilgili bilgi sağlar 4.6 4.0 4.8 3.9 13. Kolay anlaşılır bilgi sağlar 4.6 4.2 4.7 3.8 14. Uygun detayda bilgi sağlar 4.6 3.7 4.6 3.8 15. Bilgiyi uygun bir biçimde sunar 4.5 4.0 4.6 3.8 16. Saygındır 4.5 4.3 4.5 4.2 17. İşlemleri tamamlamak konusunda güven verir 4.8 4.4 4.6 4.1 18. Kişisel bilgilerimin güvenlikte olduğu hissini verir 4.9 4.2 4.7 4.1 19. Kişiselleştirilmiş izlenimi yaratır 3.9 3.3 3.9 3.2 20. Bir topluluğa ait olma hissi uyandırır 3.0 2.9 3.7 3.5 21. Kurumla iletişim kurmayı kolaylaştırır 4.2 3.7 4.3 3.8 22. Hizmet ya da ürünlerin söz verildiği şekilde iletileceğikonusunda kendimi güvende hissederim 4.8 4.2 4.6 4.1 X : 4.4 3.9 4.4 3.7 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  11. 11. 18. Kişisel bilgilerimin güvenlikte olduğu hissini verir (4,9) 20. Bir topluluğa ait olma hissi uyandırır (3,7) 17. İşlemleri tamamlamakPuan konusunda güven verir (4,4) 20. Bir topluluğa ait olma hissi uyandırır (2,9) Performans bileşenleri 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  12. 12. 9. Doğru bilgi (4,8) 10. İnandırıcı bilgi (4,8) 11. Zamanında bilgi (4,8) 12. İhtiyaçlarımla ilgili bilgi sağlar (4,8) 20. Bir topluluğa ait olma5. Sitenin çekici bir hissi uyandırır (3,7)görünümü vardır (3,7) 9. Doğru bilgi (4,3) 10. İnandırıcı bilgi (4,3) 5. Sitenin çekici bir görünümü vardır (2.8) Performans bileşenleri ULAKBİM memnuniyet önem 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  13. 13.  Bulguları görselleştirir Grafik korelasyon tekniği  Quadrant grafiğinin iki boyutu: ▪ Performans bileşenine verilen önem (yatay eksen), ▪ Algılanan performans / memnuniyet (dikey eksen) Ortalama önem ve memnuniyet puanları 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  14. 14. 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, AnkaraHacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  15. 15. Q1 (Kazananlar)Q2 (Hafife alınanlar) 1. Sitenin kullanımını kolay öğrenilebilir buluyorum , 4. Siteyi2. Siteyle olan etkileşimim açık ve kolay kullanılabilir buluyorum, 3. Siteyi kolay dolaşılabilir buluyorum, 9. Doğru bilgi sağlar, 10. İnandırıcı bilgi sağlar, 11.anlaşılır Zamanında bilgi sağlar, 12. İhtiyaçlarımla ilgili bilgi sağlar, 13. Kolay anlaşılır bilgi sağlar, 15. Bilgiyi uygun bir biçimde sunar, 16. Saygındır, 17. İşlemleri tamamlamak konusunda güven verir, 18. Kişisel bilgilerimin güvenlikte olduğu hissini verir, 22. Hizmet ya da ürünlerin söz verildiği şekilde iletileceği konusunda kendimi güvende hissederim Q3 (Önemsiz kusurlar) Q4 (Fırsatlar)5. Sitenin çekici bir görünümü vardır, 6. 14. Uygun detayda bilgi sağlarTasarım sitenin türüne uygundur, 7. Siteuzmanlarca hazırlanmış hissi verir, 8. Sitebenim için olumlu bir deneyim yaratır, 19.Kişiselleştirilmiş izlenimi yaratır, 20. Birtopluluğa ait olma hissi uyandırır, 21.Kurumla iletişim kurmayı kolaylaştırır 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  16. 16. Q2 (Hafife alınanlar) Q1 (Kazananlar) 1. Sitenin kullanımını kolay öğrenilebilir buluyorum, 9. Doğru 20. Bir topluluğa ait olma hissi bilgi sağlar, 10. İnandırıcı bilgi sağlar, 11. Zamanında bilgi uyandırır sağlar, 12.İhtiyaçlarımla ilgili bilgi sağlar, 13. Kolay anlaşılır bilgi sağlar, 14. Uygun detayda bilgi sağlar, 15. Bilgiyi uygun bir biçimde sunar, 16. Saygındır, 17. İşlemleri tamamlamak konusunda güven verir, 18. Kişisel bilgilerimin güvenlikte olduğu hissini verir, 22. Hizmet ya da ürünlerin söz verildiği şekilde iletileceği konusunda kendimi güvende hissederim Q3 (Önemsiz kusurlar) Q4 (Fırsatlar)5. Sitenin çekici bir görünümü vardır 2. Siteyle olan etkileşimim açık ve6. Tasarım sitenin türüne uygundur anlaşılır7. Site uzmanlarca hazırlanmış hissi verir8. Site benim için olumlu bir deneyim yaratır 3. Siteyi kolay dolaşılabilir buluyorum19. Kişiselleştirilmiş izlenimi yaratır 4. Siteyi kolay kullanılabilir buluyorum20. Bir topluluğa ait olma hissi uyandırır 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  17. 17.  Quadrant analizi, önemsenen performans bileşenlerinin hangilerinden memnun olunduğu ya da olunmadığını net olarak göstermez. Bir değişken “yüksek önem, yüksek memnuniyet” (kazananlar) bölgesinde yer alsa bile önem ve memnuniyet puanları arasındaki fark yüksek olabilir. Boşluk analizi bu farkları net gösterir. 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  18. 18.  Önem puanları – Memnuniyet puanları:  Büyük boşluklar= İlk ilgilenilmesi ve düzeltilmesi gereken konular  Küçük boşluklar= Güçlü yanlar  Negatif boşluklar: Gereksiz zaman harcandığı, kullanıcıyı fazla ilgilendirmediği anlaşılan konular 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  19. 19. 1. öğrenmesi kolay 2. anlaşılır 3. kolaydolaşılabilir 4. kullanışlı 5. çekici6. site türün uygun tasarım7. uzmanlarca tasarlanmış 8. olumlu deneyim 9. doğru bilgi 10. inandırıcı bilgi 11. zamanında bigi 12. ilgili bilgi 13. anlaşılır bilgi 14. doğru detayda bilgi 15. uygun biçimli bilgi 16. saygın 17. güvenilir 18. emniyetli 19. kişiselleştirme hissi 20. topluluk hissi 21. kolay iletişim kurulur 22. sözünü tutar 0,0 0,2 0,4 0,6 0,8 1,0 1,2 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Idefix - Boşluk ULAKBİM - Boşluk Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  20. 20.  Quadrant Analizi  Her iki sitede de performans bileşenlerinin yarıdan fazlası “kazananlar” (Q1) bölgesinde ve bu bileşenler her iki sitede de benzer. ▪ Uygun detayda bilgi sunulması, güven ve güvenlik, vb.  Her iki sitede de kolay kullanım, zamanında ve ilgili bilgi sunulması ve güvenlik gibi performans bileşenlerine daha fazla önem atfedilmiş. 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  21. 21.  ..Quadrant Analizi  Her iki sitede de tasarım, kişiselleştirme, sitenin olumlu izlenim bırakması vb. performans bileşenleri fazla önemsenmemiş.  Idefix kullanıcıları web sitesinden daha detaylı bilgi alabilmeyi, ULAKBİM kullanıcıları ise daha rahat dolaşılabilir ve kullanılabilir bir web sitesi istemiş. 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  22. 22.  Boşluk Analizi  Kullanıcılara göre ULAKBİM web sitesinin dolaşım ve kullanılabilirlikle ilgili sorunları var, site çekici değil, sitede anlaşılır ve ihtiyaçları ile ilgili bilgi yer almıyor.  Kullanıcılara göre ULAKBİM web sitesinin güçlü yanları saygın olması, bir topluluğa dahil olma hissi uyandırması, inandırıcı bilgi sunması. 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  23. 23.  .. Boşluk Analizi  Kullanıcılara göre Idefix web sitesi, zamanında, ilgili ve yeterince detaylı bilgi sunmuyor, hizmet sunarken verilen sözler tam olarak tutulmuyor ve kullanıcıların güvenlik konusunda endişeleri var.  Idefix kullanıcıları web sitesinden olumlu deneyimlerle ayrılmaktan ve sitenin ününden memnun. Sitenin kolay anlaşılır ve kolay öğrenilebilir bir arayüzü olduğunu düşünüyorlar. 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
  24. 24. Yaşar Tonta , İrem Soydal{tonta,soydal}@hacettepe.edu.tr 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü

×