Keynote banking's best websites


Published on

  • Be the first to comment

  • Be the first to like this

No Downloads
Total views
On SlideShare
From Embeds
Number of Embeds
Embeds 0
No embeds

No notes for slide

Keynote banking's best websites

  1. 1. Bankings Best Websites:Who is Leading the Way and Why An InformationWeek Financial Services Webcast Sponsored by
  2. 2. Webcast Logistics
  3. 3. Today’s Presenters Chris Musto, GM, Keynote Competitive Research and Financial Services Keynote Systems Ken Harker Senior Consultant Keynote Systems
  4. 4. Bankings Best WebsitesWho is Leading the Way and WhyChris Musto GM, Keynote Competitive Research & Financial ServicesKen Harker Sr. Consultant, Keynote Systems
  5. 5. To learn what works in online banking, Keynote asked online bankers as they used online banking SITES EVALUATED: SAMPLE:  Bank of America  7 evaluations; 1519 panelists total  Chase  ~200 per site; US online adults 18+  Citibank  Current online banking customer of site being  evaluated  SunTrust  All panelists successfully logged in to account  U.S. Bank  Wachovia TIMING:  Wells Fargo  Wave 7 evaluation period: May 2010  Previous evaluation period: May 2009  Next evaluation: May 2011
  6. 6. As they took the study, we saw how they used the offering, asked what they thought of it, and analyzed the results We invited online  …to evaluate their  ..using our browser  bankers… bank’s online  companion that  banking captures events  …which  we analyze  …providing  …performing tasks  quantitatively and  clickstreams,  & answering  qualitatively comments and   questions feedback “Find information that meets  your needs.” “How satisfied are you  with this site?”
  7. 7. To the user, the evaluation was a natural experienceThe user’s view  Keynote asks user  to perform a task  Keynote asks  questions about  the user’s  experience  performing that  task  Keynote asks the  user’s impressions  of the bank To us, it was an opportunity to find out how some banks get better  business outcomes from online banking
  8. 8. We asked users to perform six tasks 1. Log In 2. Check Balances and Transactions 3. Update Personal Information 4. Schedule Payment or Explore Online Bill Payment 5. Use Customer Support 6. Explore the bank’s other products
  9. 9. As users conducted the six tasks, we found the experiences that  predicted Brand and Loyalty BUSINESS SUCCESS DRIVERS BRAND IMPACT LOYALTY IMPACT Correlation to  Correlation to  Brand Impact Loyalty Impact1. Customer Support3. Bill Pay Satisfaction = The highest partial correlation of driver to index
  10. 10. Who excelled at these business‐driving site experiences? Bill Pay RANK Customer Support Satisfaction 1 SunTrust Bank of America 2 3 Bank of America SunTrust 4 U.S. Bank 5 6 7
  11. 11. Customer SupportWho is Leading the Way and Why
  12. 12. Customer Support Rankings Top metrics in this driverSunTrust and Bank of America among top sites • Options to resolve  satisfaction • Agree in‐context help  provided • Agree site cares • Online help not well  organized • Difficult to locate FAQs and  other online help • Difficult to search online  help • Site doesnt provide  specific tips/ instructions as I  complete different tasks
  13. 13. SunTrust Leads: Agree In‐Context Help ProvidedRate of “top‐two box” agreement with statement How strongly do you disagree or  agree with the following  statement? "This site provides me  with help, tips, and  guidance specific to the  task I am trying to  complete (i.e., without  having to leave the page I  am on)."  1 = Strongly disagree 7 = Strongly agree
  14. 14. Rate of online banking users frustrated by lack of live chat in online bankingBank of America is meeting an expectation Which of the following problems  or frustrations, if any, have you  encountered when contacting  customer service at COMPANY in  the past (via e‐mail, phone, etc.)?  [Check all that apply] Online chat not available
  15. 15. Live Chat gets noticed: Bank of America Multiple contact/ help options • “There are different options to get customer  service such as telephone, email or chat.” • “…seem to be there for you 24/7. If you need  to talk to someone, you can chat, e‐mail, or  call the 1800 number.” • “I like the fact that there are different  channels of support whether it is live or  web/phone. I do like having immediate  support.” • “I like that when I click help it pops up help for  the section of the site I am on, ex if I am in bill  pay I am given help for bill pay.” Live chat helpful for immediate help • “Like very much online live chat. Very very  helpful.” • “I used the live chat for a problem and it was  resolved right away.” • “…I also really like that there is an online chat.  That makes it really easy when I am already  on the computer and I need help solving an  issue.”
  16. 16. Bill Pay SatisfactionWho is Leading the Way and Why
  17. 17. Bill Pay Satisfaction Rankings All metrics • Schedule payment  satisfaction (Q58) • Schedule payment  difficulty (Q56)  • Inadequate online banking  feature: Pay bills online  (Q117) • Reason to Stop Online Bill  Pay: Difficult to use (Q61) • Reason to Stop Online Bill  Pay: Not enough bill pay  features/options (Q61) • Inadequate online banking  feature: Receive bills online  (i.e., e‐bills) (Q117) • Reason to Stop Online Bill  Pay: Fees are too high (Q61)
  18. 18. SunTrust and U.S. Bank: Schedule Payment Satisfaction (Q58) How satisfied are you with the  online bill payment service at this  site?  1 = Not at all satisfied 7 = Extremely satisfied
  19. 19. Bill Pay Satisfaction Best Practices: U.S. Bank Quick and easy to use • “Quick, clear, easy.” • “Its very easy to use, the process is fast.” • “Its convenient and very easy to use.” • “I like the simplicity of it. Very clean.” Ease of looking up/ adding a new bill • “It can pay a person by looking up his phone  number.” • “Setting up new payee started with asking for  phone number, to simplify process.” • “Its so easy to look up a person if you are  paying them a bill. finds all of their  information for you.” • “Easy to figure out how to add bills, and lots  of good instructions.” Helpful ‘Payment Assistant’ window • “When you click on a bill to pay, a box comes  up with information on the last 3 payments  that were made to the account.”
  20. 20. Bill Pay Satisfaction Best Practices: SunTrust Quick and easy to make payments, service  is free • “Its easy to use, & fast.” • “The ease of use and its free!” • “The online bill pay procedure is very straight  forward and simple. And it is free.” • “It is fast and easy to arrange the payment  online and hassle‐free.” • “The service is very easy to use and  convenient.” Helpful ‘Payment Assistant’ window • “My payment history is right there so that I  can review previous payments and time when  they were made.” • “I like being able to see what my payment  history to each biller is…” Ease of adding new payee • “I like how easy it is to add a bill and to make  a payment.” • “It is easy to use and I can pay any bill or  anyone.”
  21. 21. How banks are learning from the best of the WebWho is Leading the Way and Why
  22. 22. BB&T: Landing page as hubTell the customer what they need to know, even if they didn’t realize they needed to know  Display upcoming transactions  Show alert topics  Highlight “new” information
  23. 23. PNC: Leading the movement from statement to hubTell the customer what they need to know, even if they didn’t realize they needed to know  Available balance is the one dimensional metric that matters most in a checking account  But what has posted and what will post are critical to understanding that metric and answer most questions On page tools to sort  or filter transactions Aggregate of pending  withdrawals and deposits
  24. 24. Webster: The little bank whose customers could… do it more easliyWhat do I need to know and what can I do? Unlike customers at most large  banks, Webster customers don’t  have to click past the secure site  landing page to see if a recent  transaction has been processed. The site also provides an on‐page  transfer interface. The link directly to the current  statement is an easily ignored but  important feature, with most banks  requiring a one click to pick an  account and a second click to view  its statements.
  25. 25. Lowing the barrier to feedbackWho is Leading the Way and Why
  26. 26. Bank of America: Transaction history enables on‐page editingA streamlined path to edit transaction  records directly from the table without  clicking through hierarchical pages  makes for a more intuitive and faster  user experience
  27. 27. Bank of America: Low barrier to feedback on transaction tagging “Tax deductible” “reimbursable” Not just beautiful words to  your accountant Lower barriers to positive  returns on consumer effort still  pay off for both bank and  customer
  28. 28. Keynote Competitive Research Banking Prospects Study
  29. 29. Banking Prospects How do banking sites compare in technical quality? Site performance and site availability are a good start Keynote uses a more holistic approach to assessing site quality Consider a common path (transaction) through the site In this case, start at a bank home page, step through the process of  finding information on checking accounts, and begin the application  process  Knowing how your site ranks in a competitive study is important,  but knowing why you rank where you do is more important
  30. 30. Typical Study Measurement LocationsAtlanta VerizonBoston VerizonChicago VerizonDallas VerizonDetroit Level3Houston VerizonLos Angeles QwestMiami VerizonNew York AT&TPhiladelphia Level3San Francisco SprintWashington D.C. Qwest
  31. 31. Transaction Compared Home Page List/Details Apply Prospective  Customer
  32. 32. 7 Key Factors High Speed Response  Dial‐Up  Response Responsiveness  Response Time Consistency Index Geographic Uniformity  Load Handling  Availability  Reliability Outage Hours Index
  33. 33. Study Period For one‐time studies, Keynote uses at least three weeks of data • Important to measure weekdays and weekends  • Multiple weeks reduce the impact of any holidays or unusual news events • For banking studies, Keynote does not consider weekends to be “peak  period”, but as more and more customers interact with financial  institutions online, this might need to change • Long‐term continuous measurement is the best way to manage site  performance
  34. 34. An Example of an Action Area – Average Time and Variability All pages are very slow to a small percentage of site visitors • 5% of visitors see page load times of slower than 23 seconds • Keynote recommends all page loads average 2 seconds or faster High 95th percentile  times indicate  small number  of site visitors  see much  slower times  than the  average site  visitor
  35. 35. Action Areas – Profiling Page Performance by Element Many things can impact site  performance, including issues  with application calls, CDNs, and  third‐party elements You cannot rely upon  implementing  best practices to  solve all problems, you need to  measure
  36. 36. Action Areas – Application Calls and Variability The application call that generates the base page content occasionally takes 5  to 8 seconds to load End users see no changes to the new page until this call is complete The delay is very damaging to end user perception of the site
  37. 37. Action Areas – Client‐Side Processing 150 ms of client‐side  processing delayAlthough banking sites are not pushing  the AJAX, Javascript, and Flash  model as much as other industries,  we are seeing it more and more You need to understand  the impact of client‐ 200 ms of client‐ side processing time side processing  delayThis page has two periods of client‐side  processing, early in the page  download, that impact the end user  perception of the page
  38. 38. Action Areas – Third‐Party Elements Managing the performance and reliability of third‐party calls (ad tags,  analytics tags, marketing tags, etc.) is a challenge Delays from third‐party elements can block critical page content from loading The delay is very damaging to end user perception of the site   call takes an  extraordinarily long  time Critical page content  from the banking site  is blocked from  loading
  39. 39. Action Areas – Geographic UniformitySite visitors in San Francisco, Miami, and Los Angeles have slower page download  times than the other markets Is this normal?  Can something be done? Would a CDN help?  Are third‐party elements partly to blame? What else can I do to make sure all of my customers are getting the same level of service?
  40. 40. Keynote Competitive Research  Mobile Banking
  41. 41. Common Challenges to Overcome 1. Increasing demand for your services on mobile 2. Need for consistent QoS across devices and networks 3. Dependency on 3rd Parties to deliver mobile services 4. Lack of ability enforce SLA due to insufficient “evidence” 5. Service downtime and poor performance can affect revenue and brand  reputation 6. Quick release cycles impacting QoS 7. Need for performance trend analysis 
  42. 42. Different Options to Deliver Content Web Applications SMS Applications Native Applications
  43. 43. Web Application Monitoring Typical Online Banking Customer Activity: Send Payment 1. Start browser on mobile device 2. Open site URL 3. Login with account credentials 4. Complete payment transaction 5. Take timings of page load response 6. Validate correct content appears 7. Save result to reporting server
  44. 44. Web Application Monitoring : Send Payment 2 3 1 4
  45. 45. 100% 80%“We are unable tocomplete your payment...” 45 March 10, 2011 ©2009 Keynote Systems, Inc. - All rights reserved
  46. 46. Mobile Web Applications Issues Image timed‐out Expected  Actually Received
  47. 47. Native Smartphone Application Monitoring Download from mobile app store 1. Start App 2. Login 3. Access main account balance screen 4. Take timings based on UI actions 5. Validate correct result appears on the UI 6. Save timings to reporting server
  48. 48. Native Application Monitoring #1 Start #2 Login #3 Retrieve #4 Display Application Account Info Account Balance
  49. 49. Login function is  Account summary  broken for several  screen takes over 60  seconds to load hours Loading… Login function is  broken for several  hours MyKeynote can track problems with applications running on real iPhones  49 and other popular mobile handsets March 10, 2011©
  50. 50. Competitive Benchmark: Home Page Download Performance in Seconds How important is  being fast?©2007 Keynote Systems, Inc.  Keynote & Client Confidential.
  51. 51. Mobile Banking Summary  Mobile Banking is providing competitive differentiation Mobile Banking leverages:  SMS  Mobile Websites  Native Smartphone Applications (iPhone, Android, BlackBerry)  Composite Transactions End users show low “failure tolerance” when applications touch their personal  financial information Competitive benchmarking is extremely popular 
  52. 52. Questions?
  53. 53. Q&A Please Submit Your Questions Now
  54. 54. Resources  To View This or Other Events On-Demand Please Visit: For more information please visit: