Your SlideShare is downloading. ×
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Aims course managementsoftwarereport (1)
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Aims course managementsoftwarereport (1)

111

Published on

Published in: Technology, Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
111
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Usability Report for AIMS Course Management Software   Research Team: Tristan Carkuff, Samuel Childs, Derek Rumpler, Stuart Yamartino    Client: Armstrong Institute for Interactive Media Studies      1 
  • 2. Executive Summary  Research and Testing  Issues and Recommendations  Prototype Testing and Design  Methods and Results  Competitive Analysis  Actionable Intelligence  Identifying the Competition  Website Features Audit  Comparative Research  Heuristic Analysis  User Testing Analysis (Niihka Usability Testing)  User Testing Analysis (In­Depth Interviews)  System Usability Questionnaire  Site Persona Development  Redesign Recommendations  Site Map  Wireframes  Prototypes  Appendix A: List of AIMS Redesign Competitors  Appendix B: Website Feature Audit Table  Appendix C: Comparative Research Table  Appendix D: Data for Heuristic Analyses of Niihka  Appendix E: Usability Testing  Script  Detailed Usability Results  Niihka’s Initial Survey  Appendix F: Summary of In­Depth Interview Responses  Appendix G: System Usability Scale Survey Data  Niihka SUS Surveys  AIMS Redesign Surveys  Appendix H: Persona Supplements  Interview Notes  Persona Profile  Persona Comics  Appendix I: Redesign Supplements  Site Map  Wireframes  2 
  • 3. Executive Summary College students have a number of commitments that require their time; therefore it is important  that online course management software does not become a burden in their already harried  lives. Recently the authors of this study contracted with Artie Kuhn of the Armstrong Institute for  Interactive Media Studies at Miami University to provide efficient course management software  that minimizes the frustration associated with online courses.    In our study, we conducted a series of usability tests on the Niihka course management website.  Niihka is the current course management website for students and faculty at Miami University.  After identifying a number of issues through various methods and in­depth interviews, we then  created a new course management solution which we feel best represents the needs of the  Miami University student body.    Research and Testing We used a number of different testing methods to discover the issues with Niihka. These  included the following:    ● Heuristic Analysis: As a group, we decided to quantify our initial reactions to Niihka  using Forrester’s Scorecard as a guideline. Forrester’s Scorecard provides a  professional standard to assess and address usability issues. We then discussed our  individual answers and created a group scorecard.  After doing this, we discovered that  Niihka failed the group heuristic analysis. Overall, we felt that the design of the site was  far too technical and did not efficiently or effectively help students accomplish their goals.    ● In­Depth Interviews: After conducting a number of in­depth interviews, we discovered  that students are generally technophobic and desire one­to­one interaction with  professors. They also desire a significant degree of consistency across courses on  Niihka. We feel effective course management software should meet these goals.    ● Usability Testing: We had students conduct a number of course related tasks on the  Niihka website using eye tracking software to identify usability issues with the Niihka  interface. We followed this with a similar usability test on our design. From these tests,  we discovered that users spend considerably less time performing tasks on our new  design as opposed to Niihka.    ● System Usability Scale: We used the industry standard System Usability Scale to  compare the usability of Niihka to the redesign. Initially, Niihka scored an almost failing  grade of 56% (a D when converted to a standard letter grade). However, our design  scored a high A (96.5%).    3 
  • 4. ● Competitive Analysis: After identifying Niihka and Coursera as the primary competitor to  our online course management platform, we developed a series of best practices that  stressed contact with the professor, ease of navigation, and means to gauge progress.  Issues and Recommendations After the totality of our research, we decided the best course of action would include the following  recommendations:  ● Streamline site features and focus on those features that are important to course goals  (in other words, avoid feature creep).  ● Design an interface that makes it easy for students to contact their classmates and the  professor if necessary.  ● Ease the tension in the homework submission process. Assist students in trusting that  the assignment submission system is reliable and trustworthy.    Prototype Testing and Design We implemented the recommendations in Issues and Recommendations. Our redesigned  obtained a high A grade on the System Usability Scale opposed to Niihka’s D grade. Thus we  can say that the data supports that we have sufficiently dealt with the usability issues presented  in Niihka and our methodology seems sound for designing course management software.                4 
  • 5. Methods and Results Following is a detailed report of the specific quantitative and qualitative methods that we engaged  in leading up to our redesign.    Competitive Analysis We decided to look at other course management platforms to inform our design for our course  management site. This is the result of our research:    Actionable Intelligence Based on our feature audit and input we have received from students at Miami University, we  have developed the following best practices:    ● There should be a system whereby students can easily track their progress within the  course. This includes being able to visit previously completed weeks via some interface  such as a calendar and being able to know their grade at any given moment.  ● Course platforms should focus on the students’ needs. Unnecessary elements which  complicate student goals should not be part of a course platform. Students should be  able to navigate a course platform with minimal to no tutorials or orientation.  ● While many of the online course platforms that we analyzed did not include instructor  feedback, a frequent complaint from some students of online courses was that students  felt they were unable to contact their instructor. Other features, such as online forums  with other students, may benefit the student, but few things were as appreciated as  having easy access to instructors. Therefore, a course platform should highlight this  functionality.    These best practices were determined after identifying our competition, conducting a website  features audit, and doing comparative research.    Identifying the Competition When conducting our competitive analysis, we identified a number of competitors based on their  use across Miami University and from our knowledge of other popular course platforms. We  confirmed our list with the client and additional suggestions were made. From this research, we  identified two key competitors to the AIMS platform. We chose these two platforms since their  goals seemed closer to those of the AIMS platform and thus provided a significant benchmark  whereby we could judge our redesign.     [A thorough list of competitors can be found in Appendix A: List of AIMS Competitors.]      5 
  • 6. Table 1.1: Tier I Competitors to Our Course Management Site  Company/Platform  URL  Category  Description  Coursera  https://www.coursera.org/  Tier I  Coursera is an online course  platform with both course  management and tools to  facilitate online classes.  Niihka  http://niihka.muohio.edu  Tier I  Site used to display student  grades, post assignments  and resources, as well as  forums and email support to  encourage communication  within the class.    Website Features Audit In conducting our websites feature audit, we first compiled a number of features that we found  on the different sites that we analyzed. Based on our analysis from these sites and the feedback  that we received from students, we determined that the following features were important for our  redesign:  ● An interactive calendar  ● Email resources  ● Grade features  ● Online submission  ● Teacher feedback  ● Forums    [A thorough table of website features can be found in Appendix B: Website Feature Audit Table.]  Comparative Research The next step was to determine perceived advantages and foibles in each of the sites that we  analyzed. We decided to optimize visual aspects of the Coursera website in our redesign: a  simple, clean interface which focused on student needs first and foremost. We strived to avoid  the major issue that we perceived in the Niihka platform: needless information. Further, we  wanted to promote social features such as email and forum posts. Our analyses of both Niihka  and Coursera can be found in the following table:            6 
  • 7. Table 1.2: Comparative Research    Platform  Advantages/Core  Competencies  Obstacles/Foibles  Coursera  Coursera is very similar to Niihka in its  design. However, the design has more  white space, the font size is a size 11  Arial font, and the left tool bar only  contains information essential to the  course. General and weekly  announcements are on the main course  page and students can access other  important things (such as quizzes or  homework) through the left toolbar.  A casual observation of the site reveals  that Coursera course learning is  primarily discussion forum based. While  the site is large enough for individuals  to learn from students covering a wide  variety of experience, it is up to the  instructor to determine if they want to  provide individualized responses. In one  course (Gamification), the instructor  decided to address overwhelming  student concerns through the forums  and videos.  Niihka  Niihka possesses a number of  customization options for navigation  purposes. They can add tabs at the top  of the webpage through preferences.  This allows them to access each  course. They can also access their  current courses through the “More  Sites” tab. Individual course pages  contain pertinent information in the left  toolbar. These include things such as  assignments, announcements, a grade  book, and a resource folder.  Through extensive interviewing, we  have discovered that several people  are not content with the Niihka platform.  The primary reason being that the  platform requires a substantial time  commitment to master. While students  have demonstrated proficiency with the  platform, it sometimes takes excess  time, since the Niihka platform contains  unneeded information on the courses’  left sidebar. Individual professor needs  might lead to a lack of consistency  between courses which increase the  time needed to accomplish user goals,  leading to further frustration.    [See Appendix C: Comparative Research Table for a table detailing critical features of the sites  that we analyzed.]  Heuristic Analysis After consultation as a group, we deemed it best to do a heuristic analysis of the Niihka platform.  We decided that this was fruitful since this was the main course platform used by students of  Miami University; therefore it would help us understand potential design pitfalls when planning our  in­depth interviews and eye tracking tasks. We used Forrester’s Scorecard individually and then  created a group scorecard after some discussion.The results of this evaluation demonstrated  that Niihka failed the group heuristic, obtaining a total score of ­6. The scale for this heuristic runs  from ­50 to +50. Anything higher than a 0 is considered passing. As a group, we decided to use  the code “NA” when we felt that something did not apply. Therefore, it is possible Niihka might  score higher or lower.     [See Appendix D: Data for Heuristic Analyses.]  7 
  • 8.   User Testing Analysis (Niihka Usability Testing) Further, we conducted three usability testing sessions using the Niihka platform and eye­tracking  software. After a pre­interview, eye­tracking, and post­interview, we discovered that students  generally were familiar with the platform but did take some time in finding what they were  seeking. This confirmed our presupposition that the Niihka platform might be too complicated for  most students.     We then designed a prototype including the feedback that we received from this analysis. After  we gathered five different students as test subjects, we found that there was a significant  decrease in time between the Niihka platform and our proposed AIMS platform. This is  summarized in the following chart:    Table 1.3: Usability Task Times  Task  Original Time in Seconds  (Niihka)  New Time in Seconds (AIMS  Platform)  Time Reduced  Find News Pertinent to the  Course  9.57  4.48  53.19%  Find New Assignment  10.90  1.96  82.02%  Find Due Date for  Assignment  9.27  4.22  54.48%  Find Description on How to  Do Homework  11.83  5.34  54.86%  Find Current Grade for  Semester  12.37  4.76  61.52%  Find Quiz Grade  8.07  3.56  55.89%    It should be noted that since this was the second semester of the school year, our test subjects  already had significant experience with Niihka. Even though there was a drastic improvement in  time for those already experienced with Niihka, we suspect that new students without exposure  to Niihka will adapt to our platform at a faster rate than if they had started with Niihka.    [See Appendix E: Usability Testing for our sample script and more detailed results.]  User Testing Analysis (In-Depth Interviews) As a team, we conducted a total of nine in­depth interviews with Miami University students  possessing various levels of experience with online courses and course platforms. We  discovered that these students generally distrusted online platforms and desired personal  interaction with professors. They also despised the lack of consistent structure across courses  on Niihka. Therefore we concluded that online courses must include features that seek to deal  with these anxieties and that provided close correspondence with professors.   8 
  • 9.   Included is our script guideline we used to facilitate discussions with students:  ● Have you taken a class where the primary component involved being online? These can  include completely online classes or hybrid classes.  What was the platform?  ● Would you take/retake an online class if you had the opportunity to do so?  ● If you think about online classes, what are your initial reactions?  ● What would be the key attributes of a successful online class?  ● Do you have any fear or apprehension about taking online classes? What are they?  ● Can you share an experience in which an online learning platform such as Niihka has  been detrimental to a class?  ● Can you talk about the experience?  ● Can you share an experience in which an online learning platform such as Niihka has  been beneficial to a class?  ● Can you talk about the experience?    [See Appendix F for the Summary of In­Depth Interview Responses.]   System Usability Questionnaire We asked 5 different students for their feedback regarding Niihka using John Brooke’s System  Usability Scale. Based on our feedback, we discovered that Niihka received a grade of 56%  which is considered a D on this scale. Anything above 68% is considered above average using  this scale.    However, after testing our redesign, we discovered that it was a significant improvement over  Niihka. Our final score using the System Usability Scale resulted in an average of 96.5%, a high  A on the scale.    [See Appendix G for System Usability Scale Survey Data.  Site Persona Development In order to best understand how to redesign the site, we created a site persona that we felt was  symbolic of the variety of user data that we obtained. Our persona is a female college student  named Salley O’Malley taking online classes for the first time.  We decided it would be most  informative to use a persona who was capable of using computers for simple tasks, but was not  sufficiently tech­literate.  This kind of persona was useful for us because it exposed any site  characteristics that were difficult for students unskilled in computers.    [See Appendix H for Persona Supplements.]    9 
  • 10. Redesign Recommendations Site Map When constructing our design, we created a sitemap to determine how navigation across the  course platform would occur. From this exercise, we discovered that much of the central activity  centered around the planner and designed our site map accordingly.  Wireframes After this, we made a simple wireframe inspired by similar interfaces such as the Windows 8  mobile theme and Apple’s iOS operating system. Our goal for the wireframe was to design a  central place for students to see all of their classes and obtain an overview of tasks that needed  to be completed.    Prototypes After discussing the features in our wireframe and site map, we made the following prototype.      Prototype Image 1.1  10 
  • 11.   Prototype Image 1.1 shows Union Station, the first page that Miami University students will see  after they access the site through Blackboard. In this image, current courses are listed as  app­style buttons with push badges demonstrating current tasks. According to this image, there  is one task that needs to be completed in the course IMS 413.      Prototype Image 1.2  After clicking a course in Union Station, users will immediately navigate to a page similar to the  one in Prototype Image 1.2. This page is the Planner. The text and items in the gray text box  allow students to know the agenda for the current week. Students can “check” off tasks as they  complete them. On the left are the core components of the class. Each component has a great  big button, a large icon, and labels to quickly assist students in identification. Students can also  navigate between weeks using the folder icons at the top of the page.  11 
  • 12.   Prototype Image 1.3  Prototype Image 1.3 demonstrates the message page. The messages page is setup like an  email thread and the user can have message conversations with their professor. It was inspired  by social networking sites such as Facebook which has its own integrated email system. This is  a response to students who felt as if they did not have consistent contact with their instructors.    12 
  • 13.   Prototype Image 1.4  Prototype Image 1.4 shows the grade pages. This page is setup to easily let a student to view  their previous grade on assignments. Further, the grades icon in the left toolbar is interactive and  displays the student’s current grade. This feature is consistent across the site. 13 
  • 14.   Prototype Image 1.5  Prototype Image 1.5 displays the calendar page. The calendar page is setup to lay out all of the  users assignments on the calendar. The user can hover over each day on the calendar and see  what they have to do for that day. They can then click on any of the assignments on the calendar  and it will navigate the user to the assignments page and to that specific assignment.    14 
  • 15.   Prototype Image 1.6  Prototype Image 1.6 shows an assignment page as categorized by week. It provides a  description of the assignment, allows users to upload files, and provides a textbox to allow  students to provide further comments if they feel the need to do so.  15 
  • 16.   Prototype Image 1.7  Prototype Image 1.7 is the forum page as categorized by week. This allows students to discuss  with their peers and professor various topics at the professor’s discretion. It was incorporated  because it was a feature that students appreciated.  16 
  • 17.   Prototype Image 1.8  Prototype Image 1.8 is a resource folder similar to the one found in Niihka. This is a place where  instructors can upload syllabi, course readings, and other files pertinent to the course. The  students can then download these for their own perusal.    [See Appendix I for Redesign Supplements.]                      17 
  • 18. Appendix A: List of AIMS Redesign Competitors The following is a complete list of the competitors that we analyzed. Within the body of our  report, we chose to only focus on competitors that we deemed to be Tier I. This designation was  chosen since their goals seemed to overlap what we were doing with our redesign.    Table A.1: Complete List of Competitors to Our Course Management Site  Company/Platform  URL  Category  Description  Chalk and Wire  https://ep.chalkandwire.com/ ep2_muohio/login.aspx?cus= 228  Tier II  Chalk and Wire is the online  course management  software for Miami  University’s Honors Program.  Coursera  https://www.coursera.org/  Tier I  Coursera is an online course  platform with both course  management and tools to  facilitate online classes.  Desire2Learn  http://www.desire2learn.co m  Tier II  System that allows teachers  to focus on teaching, leaving  the design and management  of the online course to  experts at Desire2Learn.  The platform allows for  online assignments,  resources, and grading as  well as other analytic  services.  Khan Academy  https://www.khanacademy. org/  Tier II  Khan Academy is an online  learning platform that is  based around user  achievements. It also has  features that can be used by  instructors to track user  progress.  Niihka  http://niihka.muohio.edu  Tier I  Site used to display student  grades, post assignments  and resources, as well as  forums and email support to  encourage communication  within the class.        18 
  • 19. Appendix B: Website Feature Audit Table In conducting our websites feature audit, we first compiled a number of features that we found  on the different sites that we analyzed. We then took note when a site had a given feature (x) or  when it did not (­­­). The following table is a list of these features:    Table B.1: Complete Website Feature Audit  Website Features and  Functionality  Chalk and Wire  Coursera  Khan Academy  Niihka  Calendar/  schedule  ­­­  x  ­­­  x  Email resources  ­­­  ­­­  ­­­  x  Help  x  x  x  x  Tutorials  x  x  x  x  Grades*    *measured feedback,  not necessarily  lettered  x  x  x  x  Online submission  x  x  x  x  Embedded videos  ­­­  x  x  x  Teacher feedback  x  x  x  x  Forums  ­­­  x  x  x  Blog  ­­­  ­­­  ­­­  x  Course roster  ­­­  x*    *if course roster is  understood to include  students in forums  x  x  Online tests/quizzes  ­­­  x  x  x  Multiplatform support  ­­­  ­­­  x  x  Portfolio  x  ­­­  x  x  Student selects  courses  ­­­  x  x  ­­­  Tracking progress  ­­­  ­­­  x  x    19 
  • 20.   Appendix C: Comparative Research Table The following concerns the competitors outlined in Table A.1. Within this table, we outline both  the positive and negative design decisions of each of our competitors.    Table C.1: Complete Comparative Research Table  Platform  Advantages/Core Competencies  Obstacles/Foibles  Chalk and Wire  Chalk and Wire is arranged by portfolio.  Within the Miami University Honors  portfolio, Honors requirements are  marked as categories in the left toolbar.  This clear design allows students to  readily access what is needed for the  program and to submit their work within  sections relevant to program goals.  Chalk and Wire has a steep learning  curve that requires a great deal of  outside help and tutorials to master. It is  difficult to find material on the site since  the mappings do not seem logical, menu  items are unclear, and there is too much  information on the pages. Further, the  information on how to operate the site  is spread across several Miami  University websites.  Coursera  Coursera is very similar to Niihka in its  design. However, the design has more  white space, the font size is a size 11  Arial font, and the left tool bar only  contains information essential to the  course. General and weekly  announcements are on the main course  page and students can access other  important things (such as quizzes or  homework) through the left toolbar.  A casual observation of the site reveals  that Coursera course learning is  primarily discussion forum based. While  the site is large enough for individuals  to learn from students covering a wide  variety of experience, it is up to the  instructor to determine if they want to  provide individualized responses. In one  course (Gamification), the instructor  decided to address overwhelming  student concerns through the forums  and videos.  Khan Academy  Khan Academy is a free online learning  platform that allows people to tackle  any subject that interests them.  Progress is tracked through a progress  map that shows their “trek” across  various interrelated domains of  knowledge. Students can also earn  merit badges which they can display  publicly. The site also contains metrics  of the individual’s progress, which  either they or “coaches” can use to  improve learning.   Like Coursera, discussions are  relegated to an Internet forum (unless a  coach ­­ such as an instructor ­­  provides outside feedback). The site is  designed to be self­paced and  self­motivated with students able to  engage themselves with anything that  interests them. This design might not  benefit all students.  Niihka  Niihka possesses a number of  customization options for navigation  purposes. They can add tabs at the top  of the webpage through preferences.  This allows them to access each  course. They can also access their  current courses through the “More  Through extensive interviewing, we  have discovered that several people  are not content with the Niihka platform.  The primary reason being that the  platform requires a substantial time  commitment to master. While students  have demonstrated proficiency with the  20 
  • 21. Sites” tab. Individual course pages  contain pertinent information in the left  toolbar. These include things such as  assignments, announcements, a grade  book, and a resource folder.  platform, it sometimes takes excess  time, since the Niihka platform contains  unneeded information on the courses’  left sidebar. Individual professor needs  might lead to a lack of consistency  between courses which increase the  time needed to accomplish user goals,  leading to further frustration.              21 
  • 22. Appendix D: Data for Heuristic Analyses of Niihka For more information on the  Forrester Scorecard, you can peruse their website for more  information: http://www.forrester.com/home    Following is a table of individual group scores corresponding to the Forrester Scorecard with the  group scorecard scores provided.    Table D.1 Table of Individual and Group Scores  Individuals  Score  Individual 1  0  Individual 2  ­15  Individual 3  ­1  Individual 4  N/A  Group Consensus  ­6    Due to a number of technical issues, we are unable to include the score cards in the appendix.  Nonetheless, they can be accessed here: http://goo.gl/r10Gr   22 
  • 23. Appendix E: Usability Testing Script The following is the script that we used for both usability tests (note: we omitted everything  before Familiarization and the Post Test Section for the test of our redesign since the Niihka test  was diagnostic):    Introduction  We are going to do a number of usability tests to ensure that the site operates the way that you  think it should. Because of this, we are testing the site, not you. If you are confused about  something or can’t find anything, tell us and we will communicate that to the site’s creators.  Since we did not create the site, you should not worry about offending us.    Niihka/AIMS Platform Usability Process  Do you have any experience with courses where the online component was predominant?  These can include courses that were fully online or hybrid courses. Could you describe your  experience with these courses?    What is important to you when trying to locate course work or class materials online?    Do online course platforms work how you would expect them to work? If not, why/how?    Familiarization  Have the user look at the material for a minute.    Can you tell me briefly what you can do on the site?    Could you discuss how the site is organized?    Tasks (eye­tracking)  1. Your instructor posted a new assignment. Can you show me where you would access this  information?    2. Your instructor graded the quiz that you took yesterday and posted this grade online. Show me  how you would find this grade.    3.You wanted to find your grade on a homework assignment that you took at the beginning of the  semester. Show me where you would go.    4. Show me where you would go if you want a description on how to do the homework.    5. Your instructor recently posted news pertinent to the course. Show me where you would go.    23 
  • 24. 6. Show me where you would go if you wanted to know the due date of an assignment.    Post­Test    1. What was the most difficult task we asked you to do?  2. What did you like visually about the site?  3. What didn’t you like visually about the site?  4. What is something that you have had difficulty doing with Niihka over the semester?  5. What is something that you wish you could do with this interface?  6. Do you prefer a consistent navigational structure or does it matter for your courses?  Detailed Usability Results The following table is the detailed results of the usability data between Niihka and our redesign  (termed AIMS Platform in this table):    Table E.1: Complete Usability Results    Niihka’s Initial Survey Miami University Students’ initial reactions to handling the Niihka interface were documented in  the form of a survey when Niihka was first launched.  The majority of the student population  agreed that it was helpful to be able to access class content through the web and improved  student teacher communication.  Few students experienced problems, most of which were  minor.     On the written portion of the survey several students expressed interest in some sort of help  system for the Niihka interface.  When asked to describe the nature of the problems they  experienced, a great deal of students reported problems with either the layout or network/server  errors. This data is located at http://goo.gl/EhVYu    24 
  • 25. Appendix F: Summary of In-Depth Interview Responses Table F.1: Summary of Coded In­Depth Interview Responses                25 
  • 26. Appendix G: System Usability Scale Survey Data We distributed the survey for the System Usability Scale to different two groups of five people  each. The first group used Niihka and the second used our redesign. As the survey data  demonstrates, we have made a significant improvement over Niihka. Our data can be  reconfirmed by using this guideline to calculate the results into a letter grade:  http://www.measuringusability.com/sus.php    Survey data continues on the next page.        26 
  • 27. Niihka SUS Surveys 27 
  • 28. 28 
  • 29.   29 
  • 30.   30 
  • 31.           31 
  • 32. AIMS Redesign Surveys       32 
  • 33.     33 
  • 34.         34 
  • 35.             35 
  • 36.         36 
  • 37.           37 
  • 38. Appendix H: Persona Supplements Interview Notes We conducted interviews with seven different students. Included are the important highlights of  these interviews. These highlights informed our redesign.    Student 1  ○ never taken online class  ○ would like to take online class  ○ desires contact with professor beyond simply email  ○ wants lots of resources offered in the course  ○ afraid professors might not be accessible    Student 2  ○ never taken online class  ○ willing to take online course but dependant on topic, because he wants to be able  to have contact with professor for explaining  ○ doesn’t feel that online classes are really focused on by professors  ○ thinks that online classes are only easy course, more flexible than standard  courses, require less effort  ○ a good online class should have more structure, which isn’t what he would like  ○ good course would have lots of interaction between professor/students  ○ afraid he would forget to do assignments, since you don’t go to classes  ○ feels that some professors are very unorganized in an online course/platform    Student 3  ○ never taken online class  ○ wouldn’t want to take online class, because he wants personal interaction with  professor  ○ feels like online classes have lack of structure  ○ feels that professors have less to do with online classes than with regular classes  ○ would like online classes to be structured  ○ feels like you will learn more from interaction with a real professor (not online)  ○ more concrete courses (Mathematics, Statistics) would work better than flexible  (philosophy, social sciences)  ○ afraid of computer/platform errors, such as niihka not submitting homework    Student 4  ○ has taken online course (on Niihka)  ○ enjoyed online class  ○ enjoyed interaction with other students (forums)  ○ thinks online classes will be easier and no group projects  38 
  • 39. ○ exams easier, because they are all open book, long time to complete  ○ blogs very helpful, videos helped  ○ wasn’t sure if she could talk to professor for help  ○ used virtual office hours through Skype  ○ interaction with other students is really helpful    Student 5  ○ has taken an online class  ○ wouldn’t retake online class, it was very difficult to access  ○ not in touch with the professor, has trouble keeping up with assignments  ○ access should be simplified  ○ online classes require lot of independent work  ○ dislikes only being able to communicate with professor through email  ○ would like access to old material  ○ forgets to turn things in, no reminders  ○ site is not standardized enough to allow people to use it properly from class to  class    Student 6  ○ has taken online class before  ○ would retake an online class  ○ liked online class (useful during the summer)  ○ feels that online classes are very independent  ○ feels that online classes need good communication  ○ thinks that an online classes requires a good platform  ○ afraid of miscommunication in the course  ○ afraid of missing assignments  ○ afraid that it will be difficult to contact professors for help  ○ afraid of platform not working properly (not submitting assignment)  ○ likes that online resources can be accessed through any computer    Student 7  ○ never taken online class  ○ would like to take online class  ○ likes that online classes allow more freedom  ○ feels that online classes are easy  ○ likes that online classes can be taken anytime of the day  ○ feels that a good online class should have at least one assignment a week  ○ fears video chatting teacher because it would be awkward  ○ fears platform will not work properly  ○ likes how online class allow for submission times at midnight    Student 8  39 
  • 40. ○ has taken online class  ○ found online class to be more interesting than regular class  ○ feels that online classes are more dependent on the student to learn  ○ no fear of online class  ○ likes being able to look back at past material  ○ feels that online classes are more organized than regular classes          40 
  • 41. Persona Profile   Image H.1 Persona Profile    41 
  • 42.   Persona Comics Before we began designing our wireframes, we felt that it was important to step into the role of  our persona, Salley O’Malley. Below are two web comics that were designed to help us  understand how Salley might interact with the proposed AIMS Platform.     In the first comic, Salley wants to figure out a quick way to get to her AIMS course. She needs to  read the syllabus in this course. As the user can see, this is a quick process of clicking the  appropriate course tab and clicking the syllabus icon. She begins this process feeling neutral,  slightly elated, and then excited. At the climax, she is elated since the process was seamless for  her.   Image H.2: Syllabus Usability Comic     In our second scenario, Salley is trying to access her course reading. As in the previous comic,  she clicks on the course but instead opts to click on the Homework tab.  This brings her to the  Homework page, then an Assignment page with a link to her reading. After doing her homework,  she presses the Submit button which also excites her considerably.    Image H.3: Assignment Usability Comic  From this exercise, we decided that navigation through the AIMS Platform should be as  seamless as possible.  42 
  • 43.     Appendix I: Redesign Supplements Site Map   Image I.1: Site Map        43 
  • 44. Wireframes   Image I.2: Wireframe of Union Station    44 
  • 45.   Image I.3: Wireframe of Planner Page  45 
  • 46.   Image I.4: Wireframe of Resources Page  46 
  • 47.   Image I.5: Wireframe of Grades Page  47 
  • 48.   Image I.6: Wireframe of Messages Page  48 
  • 49.   Image I.7: Wireframe of Forums Page  49 
  • 50.   Image I.8: Wireframe of Calendar Page  50 
  • 51.   Image I.9: Wireframe of Assignments Page  51 

×