SPONSOR LOGOJoin Daniel Burstein as he interviews Amelia Showalter, Director of Digital Analytics, Obama for America as th...
Join the conversation#SherpaWebinar
Email Optimization How A/B testing generated $500 million in donations
Today’s presentersDaniel BursteinDirector of Editorial ContentMECLABS@DanielBurstein @ameliashowalterAmelia Showalter Dire...
Join the conversation#SherpaWebinar
Optimization Summit 2013 Wrap‐up: Top 5 takeaways for testing websites, pay‐per‐click ads and email– http://www.marketings...
You’ve heard this story…
• The Ground Game• Thousands of paid staffers organized 2 million volunteers to get voters registered and to the polls.Fac...
You’ve heard this story…
Fact check: TRUESophisticated technology and targeting• Giant data  microtargeting operation• Fully integrated databases• ...
What you didn’t hearAll of that costs money
What you didn’t hearAll of that costs money
• In 2008, Obama campaign raised $750 million• Would not be enough in 2012The fundraising challengeNot impressed$750 milli...
The fundraising challengeFundraising was proving more difficult in 2012 than in 2008• President was less available for fun...
The fundraising challengeThe real game changer? It’s something most of you already do every day.
First, the results:more than $500,000,000 in online donations4.5 million donors $53 average gift
How Did We Do It?Being Pretty isn’t EverythingDon’t Trust Your GutContent MattersFoster a Culture of TestingInvest in Your...
SPONSOR LOGOWinning with A/B Testing
What impact can testing have?
Testing = constant improvement• Little improvements add up• Improving 1% here and 2% there isn’t a lot at first, but over ...
Test every elementQuestion: What footer language should we use to reduce unsubscribes?Variation: Recipients UnsubscribesUn...
Tests upon tests upon tests• Every piece of communication is an opportunity to test• A single email can have many tests at...
No, really. Test every element.Running tests in the background via personalized content
Longitudinal tests: Experiment: gave sample audience higher volume of email for an extended time, and compared to controlR...
So, we made shirts.
Lessons
SPONSOR LOGODrafts and Subject Lines Matter
Example: Subject linesversion Subject line v1s1 Heyv1s2 Two things:v1s3 Your turnv2s1 Heyv2s2 My opponentv2s3 You decidev3...
Example: Draft language – Version 1
Example: Draft language – Version 2
Example: Draft language – Version 3
Example: Draft language – Version 4
Example: Draft language – Version 5
Example: Draft language – Version 6
www.act‐on.com  |  @ActOnSoftware |  #ActOnSWwww.act‐on.comU.S.     1.877.530.1550Int’l    +91 80 4098‐5338Manage your onl...
Example: Best vs. Worst Versions version Subject line  donors moneyv1s1 Hey 263 $17,646v1s2 Two things: 268 $18,830v1s3 Yo...
The Best Performer:AmeliaBarack Obama <info@barackobama.com>From:Subject:Name as subjectVersion 4
Some of the best subject lines:
Our research team at Meclabs wanted to know….Is This Transferable? 
… So we tested.Twice.Is This Transferable? http://3.bp.blogspot.com/‐T66ipEp81J8/UGQ7sbe‐ViI/AAAAAAAAARY/JNgjYQVVI5g/s1600...
ControlSubject: “[Live Webinar] How A/B testing generated $500 million in donations”First Line: “Come see an inside look i...
TreatmentHeySubject: “Hey”First Line: “Tune in this Wednesday to see why we used the “Hey” subject line.”
44Results:Increase in Opens 51.5%Increase in Clickthrough214.6%*Results are at a 99% Level of ConfidenceIncrease in Opens ...
SPONSOR LOGODon’t Trust Your Gut
We don’t have all the answers• Conventional wisdom is often wrong• Long‐held best practices are often wrong• Going with th...
SPONSOR LOGOThe Prettiest aren’t Always the Best
Experiments: Ugly vs. Pretty• We tested sleek and pretty• That failed, so we asked: what about ugly?• Ugly yellow highligh...
SPONSOR LOGOIncentives Matter
People respond to incentivesGiving away bumper stickers and car magnets and then daisy chaining to a donate page yielded e...
SPONSOR LOGOInvest in Your Team
Email, Social Media, Mobile, BlogOFA Digital DepartmentOutboundDigital AnalysisFront‐End DevelopmentProjectManagementDesig...
More voices, more talents• Outbound Team•18 email writers•4 social media writers and bloggersDigital Analytics Team•15 ana...
The human element and our voiceHonestyAuthenticityHonesty-and-Authenticity
Real people, real charactersRufus GiffordAn emotional roller coasterAnn Marie HabershawTough love
SPONSOR LOGOFoster a Culture of Testing
The culture of testing• Check your ego at the door• Use every opportunity to test something• Compare against yourself, not...
Keep a testing calendar• We had short‐term and long‐term calendars for national emails• We added a “tests” column to plan ...
Circulate your test results internallyInternal list serve for circulating test resultsHelped get  buy‐in and increased fam...
The Big Picture
Testing wins.• This mentality was applied across the board:• Did we mention raising half‐a‐billion dollars?• Testing resul...
Big data ≠ big brotherTesting allows you to listen to your user baseLet them tell you what they likeOptimization gives the...
Experiments: PersonalizationAdding “drop‐in sentences” that reference past behavior can increase conversion rates…its goin...
Final Conclusions• Big groups of smart people working together can accomplish a lot, even in 18 months• But, you don’t nee...
Email Optimization: A discussion about how A/B testing generated $500 million in donations
Email Optimization: A discussion about how A/B testing generated $500 million in donations
Upcoming SlideShare
Loading in...5
×

Email Optimization: A discussion about how A/B testing generated $500 million in donations

1,894

Published on

In this webinar you’ll hear from Amelia Showalter, who headed the email and digital analytics teams for President Barack Obama’s 2012 presidential campaign.
They’ll discuss how they maintained a breakneck testing schedule for its massive email program with Daniel Burstein, Director of Editorial Content, MECLABS. Take an inside look at the campaign headquarters, detailing the thrilling successes and informative failures Obama for America encountered at the cutting edge of digital politics.
In this session, you'll learn:
• Why subject lines mattered so much, and the back stories behind some of the most memorable ones
• Why the prettiest email isn’t always the best email
• How a free bumper sticker offer can pay for itself many times over
• The most important takeaway from all those tests and trials

Published in: Business, Technology
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,894
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
38
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

Transcript of "Email Optimization: A discussion about how A/B testing generated $500 million in donations"

  1. 1. SPONSOR LOGOJoin Daniel Burstein as he interviews Amelia Showalter, Director of Digital Analytics, Obama for America as they discuss the important role of Email testing during the 2012 Presidential Campaign.Live Event June 19, 2013 at 3:30 EDT!Access our other webinars
  2. 2. Join the conversation#SherpaWebinar
  3. 3. Email Optimization How A/B testing generated $500 million in donations
  4. 4. Today’s presentersDaniel BursteinDirector of Editorial ContentMECLABS@DanielBurstein @ameliashowalterAmelia Showalter Director of Digital AnalyticsObama for AmericaPresenters
  5. 5. Join the conversation#SherpaWebinar
  6. 6. Optimization Summit 2013 Wrap‐up: Top 5 takeaways for testing websites, pay‐per‐click ads and email– http://www.marketingsherpa.com/article/wrap‐up/top‐5‐takeaways‐op‐summit‐2013Email Testing: How the Obama campaign generated approximately $500 million in donations from email marketing – http://www.marketingsherpa.com/article/case‐study/obama‐email‐campaign‐testingEmail Marketing: 77% of marketers use website registration pages to build email lists –http://sherpablog.marketingsherpa.com/email‐marketing/77‐percent‐use‐website‐registration/Marketing Strategy: How to find answers to the most common marketing questions –http://sherpablog.marketingsherpa.com/marketing/most‐common‐marketing‐questions/ResourcesFurther Resources
  7. 7. You’ve heard this story…
  8. 8. • The Ground Game• Thousands of paid staffers organized 2 million volunteers to get voters registered and to the polls.Fact check: TRUESource: TheMonkeyCage.Org02004006008001000Obama RomneyField Offices786284Ohio
  9. 9. You’ve heard this story…
  10. 10. Fact check: TRUESophisticated technology and targeting• Giant data  microtargeting operation• Fully integrated databases• Smarter new methods of targeting TV ads• New technology developed in‐house for social sharing, polling place lookup, phone banking, volunteer mobilization, vote tracking, election day rapid response
  11. 11. What you didn’t hearAll of that costs money
  12. 12. What you didn’t hearAll of that costs money
  13. 13. • In 2008, Obama campaign raised $750 million• Would not be enough in 2012The fundraising challengeNot impressed$750 million?
  14. 14. The fundraising challengeFundraising was proving more difficult in 2012 than in 2008• President was less available for fundraising events• Early in the campaign, we saw average online donations were half of what it had been in 2008• People were giving less, and less oftenWe had to be smarter, and more tenacious
  15. 15. The fundraising challengeThe real game changer? It’s something most of you already do every day.
  16. 16. First, the results:more than $500,000,000 in online donations4.5 million donors $53 average gift
  17. 17. How Did We Do It?Being Pretty isn’t EverythingDon’t Trust Your GutContent MattersFoster a Culture of TestingInvest in Your TeamIncentives Work
  18. 18. SPONSOR LOGOWinning with A/B Testing
  19. 19. What impact can testing have?
  20. 20. Testing = constant improvement• Little improvements add up• Improving 1% here and 2% there isn’t a lot at first, but over time, it adds up
  21. 21. Test every elementQuestion: What footer language should we use to reduce unsubscribes?Variation: Recipients UnsubscribesUnsubscribe/RecipientSignificant difference in unsubscribe/recipient578,994 195 0.018% None578,814 79 0.014% Smaller than D4578,620 86 0.015% Smaller than D4580,507 115 0.020% Larger than 3D and 4D
  22. 22. Tests upon tests upon tests• Every piece of communication is an opportunity to test• A single email can have many tests attachedSubject and draft testsFull‐list testsBackground personalization tests
  23. 23. No, really. Test every element.Running tests in the background via personalized content
  24. 24. Longitudinal tests: Experiment: gave sample audience higher volume of email for an extended time, and compared to controlResults: more email = more donations• People may say they get too much email• But mild annoyance proved to be the worst result• Unsubscribes accrued linearly• Donations did, tooImplementing a “more email” policy probably led to $20 to $30 million in additional revenue for the campaign.How much email should we send?*
  25. 25. So, we made shirts.
  26. 26. Lessons
  27. 27. SPONSOR LOGODrafts and Subject Lines Matter
  28. 28. Example: Subject linesversion Subject line v1s1 Heyv1s2 Two things:v1s3 Your turnv2s1 Heyv2s2 My opponentv2s3 You decidev3s1 Heyv3s2 Last nightv3s3 Stand with me todayv4s1 Heyv4s2 This is my last campaignv4s3 [NAME]v5s1 Heyv5s2There wont be many more of these deadlinesv5s3 What you saw this weekv6s1 Heyv6s2 Lets win.v6s3 Midnight deadlineEach draft was tested with three subject linesOne subject line would usually be common across all drafts to help make comparisons across messagesTest sends
  29. 29. Example: Draft language – Version 1
  30. 30. Example: Draft language – Version 2
  31. 31. Example: Draft language – Version 3
  32. 32. Example: Draft language – Version 4
  33. 33. Example: Draft language – Version 5
  34. 34. Example: Draft language – Version 6
  35. 35. www.act‐on.com  |  @ActOnSoftware |  #ActOnSWwww.act‐on.comU.S.     1.877.530.1550Int’l    +91 80 4098‐5338Manage your onlineMarketingAll the tools you need, inone place >>Get higher‐qualityleadsSolutions that drive leadgeneration  >>Align sales andmarketingIntegrations that work >>Track and measureyour resultsReal‐time, actionablereporting >>
  36. 36. Example: Best vs. Worst Versions version Subject line  donors moneyv1s1 Hey 263 $17,646v1s2 Two things: 268 $18,830v1s3 Your turn 276 $22,380v2s1 Hey 300 $17,644v2s2 My opponent 246 $13,795v2s3 You decide 222 $27,185v3s1 Hey 370 $29,976v3s2 Last night 307 $16,945v3s3 Stand with me today 381 $25,881v4s1 Hey 444 $25,643v4s2 This is my last campaign 369 $24,759v4s3 [NAME] 514 $34,308v5s1 Hey 353 $22,190v5s2There wont be many more of these deadlines 273 $22,405v5s3 What you saw this week 263 $21,014v6s1 Hey 363 $25,689v6s2 Lets win. 237 $17,154v6s3 Midnight deadline 352 $23,244$0$1$2$3$4ACTUAL ($3.7m)IF SENDING AVGIF SENDING WORSTFull send (in millions)$2.2 million additional revenue from sending best draft vs. worst, or $1.5 million additional from sending best vs. averageTest sends
  37. 37. The Best Performer:AmeliaBarack Obama <info@barackobama.com>From:Subject:Name as subjectVersion 4
  38. 38. Some of the best subject lines:
  39. 39. Our research team at Meclabs wanted to know….Is This Transferable? 
  40. 40. … So we tested.Twice.Is This Transferable? http://3.bp.blogspot.com/‐T66ipEp81J8/UGQ7sbe‐ViI/AAAAAAAAARY/JNgjYQVVI5g/s1600/Doc+Brown.jpgOur research team at Meclabs wanted to know….
  41. 41. ControlSubject: “[Live Webinar] How A/B testing generated $500 million in donations”First Line: “Come see an inside look into the email and digital analytics efforts that fueled President Barack Obama’s 2012 presidential campaign.”
  42. 42. TreatmentHeySubject: “Hey”First Line: “Tune in this Wednesday to see why we used the “Hey” subject line.”
  43. 43. 44Results:Increase in Opens 51.5%Increase in Clickthrough214.6%*Results are at a 99% Level of ConfidenceIncrease in Opens 33%Increase in Clickthrough112%Experiment 1Experiment 1 Experiment 2Experiment 2Open Rate CTR Open Rate CTRControl 19.48% 1.006% 15.27% 1.065%Treatment 29.53% 3.164% 20.43% 2.257%RelativeDifference 51.5% 214.6% 33% 112%
  44. 44. SPONSOR LOGODon’t Trust Your Gut
  45. 45. We don’t have all the answers• Conventional wisdom is often wrong• Long‐held best practices are often wrong• Going with things that previously tested well were often wrongTesting = data‐driven decisionsThere was this thing called the Email Derby…E‐mail
  46. 46. SPONSOR LOGOThe Prettiest aren’t Always the Best
  47. 47. Experiments: Ugly vs. Pretty• We tested sleek and pretty• That failed, so we asked: what about ugly?• Ugly yellow highlighting got us better results• But at some point, it lost its novelty and stopped working• always important to re‐test!Ready to fight? Please donate $19 or more today, ahead of the FEC deadlineBecause you’ve saved your payment information, your donation will go through immediately.QUICK DONATE‐ $19‐ QUICK DONATE $35‐ QUICK DONATE $50‐ QUICK DONATE $100‐ QUICK DONATE $250Or donate another amounthttps://donate.barackobama.com/june‐deadline Ready to fight? Please donate $19 or more today, ahead of the FEC deadlineBecause you’ve saved your payment information, your donation will go through immediately.‐ QUICK DONATE $35‐ QUICK DONATE $50‐ QUICK DONATE $100‐ QUICK DONATE $250Or donate another amounthttps://donate.barackobama.com/june‐deadline QUICK DONATE ‐ $19
  48. 48. SPONSOR LOGOIncentives Matter
  49. 49. People respond to incentivesGiving away bumper stickers and car magnets and then daisy chaining to a donate page yielded enough donations to pay for the freebies immediately.Our Quick Donate program, in turn, raised donation rates by 50% or moreOffering a free bumper sticker for enrolling in our Quick Donate program increased conversions by 30%
  50. 50. SPONSOR LOGOInvest in Your Team
  51. 51. Email, Social Media, Mobile, BlogOFA Digital DepartmentOutboundDigital AnalysisFront‐End DevelopmentProjectManagementDesignVideo2012Small Team2011Department of 200+2012
  52. 52. More voices, more talents• Outbound Team•18 email writers•4 social media writers and bloggersDigital Analytics Team•15 analysts with overlapping skills•Database management •Data analysis •Web analytics 
  53. 53. The human element and our voiceHonestyAuthenticityHonesty-and-Authenticity
  54. 54. Real people, real charactersRufus GiffordAn emotional roller coasterAnn Marie HabershawTough love
  55. 55. SPONSOR LOGOFoster a Culture of Testing
  56. 56. The culture of testing• Check your ego at the door• Use every opportunity to test something• Compare against yourself, not against your competitors or “the industry”Are you doing better this month than last month?Are you doing better than you would have otherwise?
  57. 57. Keep a testing calendar• We had short‐term and long‐term calendars for national emails• We added a “tests” column to plan out which tests would be attached to which emails• If we saw blank spaces, it would remind us to think of more tests to runImportant to do frequent brainstorming sessions
  58. 58. Circulate your test results internallyInternal list serve for circulating test resultsHelped get  buy‐in and increased familiarity with testing processPrompted     discussion and generated new testing ideas
  59. 59. The Big Picture
  60. 60. Testing wins.• This mentality was applied across the board:• Did we mention raising half‐a‐billion dollars?• Testing resulted in about $200,000,000 in additional revenue • Helped recruit 2,000,000 volunteers• Helped build for thousands of phone banks, rallies and events• Got information and “the message” into the hands of our best messengers…and that’s a conservative estimate
  61. 61. Big data ≠ big brotherTesting allows you to listen to your user baseLet them tell you what they likeOptimization gives them a better experienceUsually, the interactions that are the most human are the ones that win.
  62. 62. Experiments: PersonalizationAdding “drop‐in sentences” that reference past behavior can increase conversion rates…its going to take a lot more of us to match them. Will you donate $25 or more today?…its going to take a lot more of us to match them.You stepped up recently to help out ‐‐ thank you. We all need to dig a little deeper if were going to win, so Im asking you to pitch in again. Will you donate $25 or more today?Example: asking recent donors for more moneyAdded sentence significantly raised donation rateConfirmed in several similar experimentsVersion 1Version 2
  63. 63. Final Conclusions• Big groups of smart people working together can accomplish a lot, even in 18 months• But, you don’t need a staff of hundreds to have a good testing programTrain existing staffers, hire more when you canFoster a culture of testing: Every piece of communication     is an opportunity to test somethingEven a small list can be split in two – do what you can

×