Your SlideShare is downloading. ×
Guerrilla resaearch wtf
Upcoming SlideShare
Loading in...5

Thanks for flagging this SlideShare!

Oops! An error has occurred.

Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Guerrilla resaearch wtf


Published on

  • Be the first to comment

No Downloads
Total Views
On Slideshare
From Embeds
Number of Embeds
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

No notes for slide


  • 1. Thoughts  on  guerrilla  research  from  an  occasional  prac33oner.  The  brief?  “Permission   free,  no  funding,  jfdi,  quicker  to  do  research  than  write  bid..”   These  are  slides  I  didn’t  show  in  the  workshop,  but  that  I’d  sketched  as  prepara7on   trying  to  clarify  (or  maybe,  crea7vely  muddle)  my  ideas  about  what  guerrilla  research   may  or  may  not  be…   1  
  • 2. In  retrospect,  I  probably  didn’t  find  out  enough  detail  from  Mar3n  about  what  he   wanted  me  to  cover  in  the  session  –  and  I’m  s3ll  a  liHle  hazy  about  what  he  means  by   “guerrilla  research”.  So  let’s  start  with  a  bit  of  reflec3on  about  what  this  phrase   “guerrilla  research”  might  mean...   2  
  • 3. My  star3ng  point:  some  defini3ons  of  guerrilla  warfare.  These  defini3ons  all  seemed   to  agree  that  guerrilla  warfare  is  a  form  of  unconven7onal  warfare,  so  did  Mar3n   mean  unconven7onal  research?   3  
  • 4. Here’s  an  example  of  a  call  for  unconven3onal  research  from  the  US  Na3onal  Ins3tute   of  Health’s  Department  of  Health  and  Human  Services.   4  
  • 5. They’re  looking  for  novel  hypotheses,  so  possibly  things  counter  to  the  accepted   norm?   5  
  • 6. This  brief  seems  to  suggest  they’re  looking  for  research  that  maybe  goes  against  the   norm,  or  accepted  canon;  research  that  may  be  controversial,  perhaps,  in  that  it  goes   against  the  current  orthodoxy  (something  “paradigm  breaking”?)  Or  maybe   something  that  uses  a  technique  or  approach  that  maybe  hasn’t  been  tried  before,   (at  least,  not  in  the  area  of  the  call?)   6  
  • 7. Is  it?   7  
  • 8. Here’s  some  more  detail  from  the  same  call.  It  seems  as  if  the  DHSS  are  not  looking   for  pilot  projects.  (But  what  is  a  pilot  project  anyway?  One  designed  not  to  find  what   you’re  looking  for  but  to  show  that  you  need  to  look  further?  In  which  case,  it’s  a  real   project  designed  to  show  that  you  need  another  more  substan3al  project?)   8  
  • 9. Or  maybe  I’m  being  too  cynical…?  So  how  do  other  people  categorise  pilot  studies?   9  
  • 10. Let’s  build  the  an3cipa3on…  two  ways  –  what  could  they  possibly  be…?   10  
  • 11. Ah  ha..  A  trial  run…  which  means  a  real  run  but  not  for  real?  Something  like  a  full   dress  rehearsal  maybe?   11  
  • 12. Okay  –  this  one  makes  more  sense  to  me.  This  is  a  bit  more  like  a  technical  dress   rehearsal?  That  is,  we  take  as  long  as  we  need,  stopping  the  clock  whenever  we  come   across  a  problem  and  figure  out  how  to  solve  it?   12  
  • 13. Hmmm..  So  who  pilots  the  pilot?   13  
  • 14. This  presupposes  you  have  a  sort  of  idea  for  the  design  of  a  larger  study?  If  we  were   trying  to  hustle  the  funding  agency,  this  would  be  the  convincer?   14  
  • 15. So,  is  that  what  we’re  here  to  talk  about  –  doing  research  that  is  some  sort  of  pilot   project?   15  
  • 16. What’s  the  etymology  of  “guerrilla”?  Does  that  help  us  figure  out  what  guerrilla   research  may  be?  It  seems  it’s  from  the  Spanish,  meaning  li@le  war,  which  to  me  has   the  sense  of  conven3onal  war  but  on  a  small,  resistance  like  scale?  So  maybe  guerrilla   research  is  in  some  sense  li@le  research?   16  
  • 17. The  tradi3onal/conven3onal  form  such  research  projects  take  is  oeen  in  the  context   of  small  grants  schemes.   17  
  • 18. Small  research  grants  are  oeen  offered  by  conven3onal  funders  but  require  shorter   bid  documents  than  for  funding  larger  scale  bids.  They  may  require  less  detail  than   larger  bids,  partly  because  they  are  less  complex,  (because  less  money  means  less   things  can  be  done,  means  less  planning  and  management  is  required).  Maybe.   Where  ins3tu3ons  have  internal  stage  gate  processes  for  submigng  bids,  there  may   s3ll  be  considerable  overhead  in  pugng  even  a  small  bid  together.   18  
  • 19. Small  grants  are  typically  of  the  order  of  hundreds  to  low  thousands  of  pounds.  On  an   middle  3er  academic  salary  of  £40k,  say  £1k  per  week  (that  is  £200  per  day,  which   with  overhead  comes  in  at  double  that  -­‐  £400  per  day),  if  you  spend  half  a  day  faffing   around  with  the  bid  prepara3on,  and  have  to  get  it  signed  off  internally  too,  you’ve   already  cost  your  ins3tu3on  the  minimum  amount  before  you  even  hear  whether   you’ve  got  the  grant  to  do  whatever  it  was  you  wanted.   I  know  from  wri3ng  up  blog  posts  that  describe  small  experimental  hacks  I;ve  done   that  it  can  take  over  an  hour  to  write  up/document  as  a  blog  post  a  10  minute  hack.   Working  out  how  to  describe  what  I  thought  I  wanted  to  try  to  do,  along  with  some   sort  of  ‘research  ques3on’  to  jus3fy  doing  that  10  minute  hack  would  probably  take   far  longer  once  first  drae,  comments,  re-­‐drae  and  sign  off  on  the  bid  are  taken  into   account.     19  
  • 20. At  first  glance  this  is  promising  –  I  can  funding  to  work  out  either  costs  of  a  very  small   project,  or  to  ask  for  project  planning  money.  But  then,  what  sort  of  project  is   legi3mate?  What  if  I  just  want  to  try  out  something  just  to  see  if  it  looks  like  it  might   be  useful  and/or  interes3ng  in  a  micro-­‐blue  sky  style  approach?  How  do  I  jus3fy  that?   20  
  • 21. So  –  is  that  what  we’re  here  to  talk  about?  How  to  put  together  li@le  research   projects?  It  seems  to  me  that’s  not  what  the  phrase  evokes…  li@le  research  in  the   small  grant  sense  isn’t  unconven7onal.   21  
  • 22. Are  there  any    other  forms  of  guerrilla  ac3vity  that  might  give  us  a  steer?   [A  note  on  info  skills.  I’m  not  sure  where  or  when  I  learned  it,  but  very  early  on  in  life   I  learned  how  to  navigate  books  in  general,  and  then,  later,  how  to  navigate  technical   books,  text  books  and  academic  texts:  book  3tle  and  author  for  an  idea  of  what  was   in  the  book,  along  with  the  notes  on  the  back  cover  or  side  papers;  chapter  lis3ngs  for   gegng  an  idea  of  the  structure  of  a  book,  page  numbers  for  finding  or  remembering   specific  pages,  page  headers  for  keeping  track  or  reorien3ng  myself  within  a  book  or   naviga3ng  it  while  skimming  it,  indexes  for  finding  the  loca3on  by  page  of  a  par3cular   idea,  topic,  person,  or  place;  lists  of  figures  for  finding  out  where  the  pictures  were,   and  maybe  more  about  them;  lists  of  tables  for  finding  where  the  data  is,  and  so  on.  I   also  learned  to  navigate  the  directories  I  use  on  a  daily  basis  on  the  web:  advanced   search  pages  offer  many  ways  of  limi3ng  a  search  to  make  it  more  powerful,  but  how   many  people  use  them?  And  how  many  people  know  that  those  search  limits  are   accessible  by  addi3onal  commands  –  search  limits  –  placed  in  the  search  box.   (Indeed,  that’s  oeen  how  advanced  search  limits  are  added  to  a  search.)  In  this  case,  I   am  limi3ng  my  search  to  pages  on  the  English  version  of  Wikipedia  by  asking  only  for   results  on  h@p://,  to  pages  that  are  actual  Wikipedia  entries   (inurl:wiki  –  look  at  the  URL/web  address  of  a  Wikipedia  page  and  you’ll  spot  why  I   added  that  par3cular  term  -­‐  h@p://;  and   further  asking  that  the  word  guerrilla  appears  in  the  page  3tle.  If  you  want  to  search   content  on  the  OU  website.  A  limit  will  do  it  for  you.  If  you  want  to   search  across  UK  government  websites,  limit  by;  and  so  on.  There  are   other  useful  limits  too:  filtetype:  limits  results  to  par3cular  documents  types:   filetype:ppt  for  Powerpoint  decks  (though  a  beHer  one  there  is,  in  brackets,  the   combined  (filetype:ppt  OR  filetype:pptx)  search  limit),  filetype:pdf  for  PDFs,  or   (filetype:xls  OR  filetype:xlsx  OR  filetype:csv)  to  return  spreadsheet  and  CSV  data  files.]   22  
  • 23. Guerrilla  marke7ng  is  a  form  of  marke3ng  that  subverts  the  tradi3onal  approach  to   marke3ng  in  a  couple  of  ways…   23  
  • 24. Firstly,  it  stands  counter  to  the  tradi3onal  sorts  of  “deliverable”  you  might  expect.   We’re  not  looking  for  tradi3onal  adver3sing  copy,  poster  designs  or  TV  ads…   24  
  • 25. Nor  are  we  going  to  present  the  campaign  to  the  audience  in  a  tradi3onal  way  via   tradi3onal  marke3ng  channels:  the  press,  television,  posters  or  billboards,  for   example.   25  
  • 26. So  is  that  what  we’re  here  to  talk  about?  Might  guerrilla  research  bear  any   resemblance  to  guerrilla  marke7ng,  for  example  in  the  way  it  is  a  subversion  of   tradi3onal  techniques?   26  
  • 27. Guerrilla  art  is  seen    -­‐  by  Wikipedia  at  least!  –  as  a  form  of  environmental  art.   27  
  • 28. How  does  this  sound?  ”The  act  of  guerrilla  research  is  focused  on  cause  and  effect,   not  the  research  piece  itself.  It  aims  to  produce  an  effect  within  the  minds  of  those   people  that  live  within  the  environment  being  altered.  It  does  not  necessarily  aim  to   produce  research  that  is  meaningful  as  research.”   [The  workshop  addi3onally  turned  up  the  idea  of  guerrilla  gardening,  sowing  seeds  or   taking  over  land  without  permission  and  pugng  it  to  use.  This  has  far  more  of  the   feel  I  think  Mar3n  was  sugges3ng…  again,  according  to  Wikipedia,  “the  act  of   gardening  on  land  that  the  gardeners  do  not  have  the  legal  rights  to  u7lize,  such  as   an  abandoned  site,  an  area  that  is  not  being  cared  for,  or  private  property.”  This  is   very  much  in  the  style  of  not  asking  for  permission,  of  iden3fying  a  valuable  but   underu3lised  or  otherwise  neglected  resource,  and  pugng  it  to  some  sort  of  use  that   is  construc3ve  within  the  environment  and  of  benefit  to  the  environment  and  its   inhabitants.]   28  
  • 29. It  seems  to  me  that  one  key  feature  of  many  guerrilla  X  interven3ons  is  that  they  are   localised,  or  at  least  represent  local  ac7ons  although  those  ac3ons  may  scale.  (For   example,  a  guerrilla  gardening  ac3vity  where  a  individuals  in  different  ci3es  or  towns   sow  a  par3cular  sort  of  seed  in  a  par3cular  sort  of  place  in  their  own  3mes  as  part  of   a  co-­‐ordinated  distributed  ac3on.   Note  that  we  don’t  necessarily  need  to  localise  in  3me  either.  Segng  up  an  online   social  media  bot  to  search  for  men3ons  of  a  par3cular  brand  or  topic  and  tweet  an   autoresponse  might  be  considered  a  guerrilla  marke3ng  ac3vity.  Bots  can  be  quick   and  easy  to  set  up,  but  then  they  can  be  lee  to  free  run.  In  a  guerrilla  research  sense,   maybe  we  can  set  a  data  collec3on  ac3vity  running  (for  example,  a  tweet  stream   archiver  using  Mar3n  Hawksey’s  TAGSexplorer)  and  then  forget  about  if  for  a  month   or  two  un3l  it’s  collected  some  data  for  us?   29  
  • 30. Well…  did  we?   30  
  • 31. We  formulated  some  sort  of  ques3on,  tried  to  find  resources  exploring  that  ques3on,   and  then  made  an  informal  cri3que  of  some  of  them  in  the  context  of  ‘are  these  the   proper3es  we  might  ascribe  to  guerrilla  research?   31  
  • 32. Or  maybe  that  wasn’t  “research”…  We’ve  explored  “guerrilla”,  bit  not  “research”.   What  is  “research”  anyway?   32  
  • 33. Let’s  use  Wikipedia  again,  because  it’s  convenient.  We  could  use  an  academic   database,  but  Wikipedia  is  quicker  for  this  informal  study  (and  the  Wikipedia  ar3cles   are  some3mes  backed  up  by  “proper”  academic  references,  which  can  give  us  a  quick   in  (sic)  to  the  literature;-­‐)   33  
  • 34. Crea7ve:  check    -­‐  we  made  it  up  as  we  went  along.   Systema7c  –  ish:  a  iimited  Google  query  to  scope  the  results,  systema3c  within  the   Wikipedia  domain.   Increase  the  stock  of  human  knowledge:  we’re  trying  to  come  up  with  a  defini3on   where  one  doesn’t  already  exist.   Increase  the  use  of  this  stock  of  knowledge:  if  guerrilla  research  is  somehow  related   to  appropria3ng  resources  and  using  them  to  ask  research  like  ques3ons  where  those   ques3ons  weren’t  being  asked  (like  guerrilla  gardening  using  “spare”  ground),  then   yes,  we  are  trying  to  use  this  current  stock  of  knowledge  to  devise  new  insight,  and   possibly  new  things…   34  
  • 35. Of  course,  maybe  we  were  just  playing  at  research.  Or  maybe  we  were  just  playing…   35  
  • 36. Play  is  oeen  frowned  upon,  but  play  is  one  of  the  most  crea7ve,  and  directed  within   it’s  own  undirected/open  ended  terms,  that  I  can  think  of.   Play  is  oeen  associated  with  leisure,  or  recrea3onal  ac3vi3es,  so  if  we  were   previously  engaged  with  playing  at  research,  rather  than  guerrilla  research,  might  it   be  useful  to  explore  the  no3on  of  recrea7onal  research  and  then  see  contrast  this   with  out  emerging  sense  of  what  guerrilla  research  may  or  may  not  be?   (There  could  also  be  an  interes3ng  counterpoint  here  to  things  like  ci3zen  science,   and  amateur  science  (which  can  oeen  produce  “professional”  results,  as  for  example   in  the  case  of  “amateur”  astronomical  observa3ons.)   36  
  • 37. If  you  do  Sudoku,  or  Kakuro,  or  Killer,  or  any  other  Japanses  style  matheme3cal   puzzles,  you’re  doing  recrea7onal  mathema7cs.   There’s  actually  lots  of  it  about  –  it’s  even  a  recognised  book  category:  hHp://­‐Mathema3cs-­‐Science-­‐Nature-­‐Books/b? ie=UTF8&node=922944   37  
  • 38. The  thing  is,  the  sort  of  problems  that  underpin  many  recrea3onal  maths  puzzles   require  you  to  use  real  maths  techniques  to  solve  them.  The  puzzle  provides  the   context  for  bringing  to  bear  a  par3cular  style  of  mathema3cal  problem  solving.   38  
  • 39. Recrea3onal  maths  also  gives  you  an  authen3c  problem  with  which  to  try  out  new   mathema3cal  ideas  or  problem  solving  techniques.  The  context  is  recrea3onal,  but   the  problem  isin  some  sense  authen3c.   But  maybe  that  was  a  diversion  –  but  it’s  worth  bearing  in  mind:  should  we  develop   the  ideas  of  both  guerrilla  research  and  recrea3onal  research.   39  
  • 40. Let’s  go  back  to  the  world  of  guerrillas.  An  area  we  might  realis3cally  class  as   research,  sort  of,  is  guerrilla  usability  tes7ng.  Usability  tes3ng  is  an  approach  used  by   designers  to  test  the  usability  of  a  design  (including  a  website  or  soeware  applica3on   user  interface  design)  with  “real”  people.   Guerrilla  usability  tes7ng  takes  this  to  the  streets.   40  
  • 41. I  first  came  across  it  via  one  of  the  most  crea3ve  people  I  know  (in  the  sense  of   follow!)  on  the  web  –  Mar3n  Belam.   41  
  • 42. Here’s  something  he  says  about  the  scien3fic  validity  of  the  approach:  “But  it  isn’t   research  science.”   It  might  be  properly  useful,  but  it’s  not  science.  So  it’s  not  proper  research?   42  
  • 43. Guerrilla  tes7ng  isn’t  just  used  by  the  crea3ve  industries  –  it’s  used  by  government   soeware  developers  too…   43  
  • 44. But  note  –  there  is  a  3ghtening  of  the  language  to  make  it  clear  what  is  and  what  isn’t   happening.  There  is  an  element  of  informality  in  the  technique…   44  
  • 45. …it’s  not  science.   45  
  • 46. So  –  that  was  the  prequel…  What  follows  is  what  I  started  to  talk  about…   46  
  • 47. Thoughts  on  guerrilla  research  from  an  occasional  prac33oner.  The  brief?  “Permission   free,  no  funding,  jfdi,  quicker  to  do  research  than  write  bid..”   [I  added  to  the  slides  as  Mar7n  Weller  presented,  trying  to  bring  in  addi7onal   examples  from  my  own  ed-­‐tech  7nkerings  to  reflect  the  interests  of  the  #elesig   community.  Unfortunately,  I  didn’t  have  7me  to  then  prune/revise  the  narra7ve!  So   here’s  the  overkill  version!]   Some  reflec7ons  on  my  own  “prac7ce”    -­‐  is  this  guerrilla  research?   47  
  • 48. I’m  going  to  split  the  talk  into  three  sec3ons,  exploring  means,  opportunity  and   mo7ve…   48  
  • 49. So  what  means  are  available  to  us  a  prototypical  guerrilla  researchers  (whatever  that   phrase  might  mean!)?   49  
  • 50. I’m  going  to  focus  on  access  to  tools,  not  just  technological  tools  and  applica3ons,   though  there  will  be  a  lot  of  those,  but  also  conceptual  and  legal  tools.   (I’ve  also  done  related  presenta3ons  on  this  under  the  theme  “Appropria3ng  IT”,  eg   hHp://­‐data-­‐with-­‐free-­‐tools-­‐lasi13-­‐workshop-­‐ round-­‐up/  )   50  
  • 51. Here’s  one  example:  WriteToReply.   Several  years  ago  the  UK  Government  released  a  report  called  “Digital  Britain”.  At  the   3me  I  was  interested  in  ways  of  engaging  with  government  consulta3ons  online,  so  I   posted  on  TwiHer  asking  if  anyone  had  reposted  the  original  PDF  document  in  a  blog   format  to  support  commen3ng  on  it  at  a  reasonable  level  of  granularity.  Joss  Winn,   whom  I  didn’t  know  at  the  3me,  replied,  and  within  a  couple  of  days  we’d  set  up  a   site  –  (since  shut  down)  –  and  republished  the  document  in   commentable  form.  In  the  weeks  and  months  that  followed,  we’d  set  up  a  company,   published  several  reports  by  our  own  doing  and  working  with  government   departments.  Vis  Joss,  we’d  also  got  some  JSIC  funding  to  further  develop  the   Wordpress  theme  we  were  using  as  deploy  to  a  commentable  document  playrom  for   JISC  called  JISCPress.   Read  more  about  WriteToReply  here:  hHp:// s=writetoreply&order=asc   51  
  • 52. As  someone  who  plays  with  tech  a  lot,  I’ve  no3ced  how  it’s  got  much  easier  to  do   some  things  over  3mes  (as  well  as  harder  to  others  as  various  services  shut  down   features  that  make  them  “hackable”  in  the  sense  of  easily  appropriated).   52  
  • 53. Maps  are  a  good  example  of  this…   Several  years  ago  I  had  on  my  mental  to-­‐do  list  “learn  how  to  put  markers  on  maps”.  I   was  wai3ng  for  an  appropriate  data  set  to  turn  up,  and  one  did:  the  newly  launched   Guardian  data  blog  published  a  spreadsheet  of  MPs  travel  and  office  expenses.  (This   was  before  the  MPs’  expenses  scandal  arising  from  the  release  of  individual  receipts  –   totalled  expenses  by  spending  area  per  MP  had  been  released  on  an  annual  basis  for   years;  the  Guardian  just  made  it  easier  to  work  with  by  publishing  it  via  a  Google   spreadsheet).   I  played  with  the  data,  producing  a  range  of  “tradi3onal”  visualisa3ons  –  histograms   to  count  the  number  of  MPs  claiming  a  par3cular  amount  in  a  par3cular  spending   area,  scaHerplots  to  look  for  (an3)correla3ons  between  spending  areas  (office   expenses  and  postage,  for  example,  or  rail  fares  vs  air  fares).  I  also  learned  how  to  put   markers  on  maps  –  colouring  markers  according  to  the  value  of  a  claim  in  a  par3cular,   selected  spending  area  and  markers  placed  on  the  mid-­‐point  of  the  MPs  cons3tuency.   In  most  cases,  MPs  claimed  similar  amounts  to  theit  neighbours,  but  in  others  they   were  out  of  kilter;  the  map  helped  iden3fy  such  differences.  (Another  way  of   revealing  such  informa3on  might  be  to  plot  expense  type  vs  distance  or  travel  3me   from  the  cons3tuency  to  Westminster).   53  
  • 54. As  well  as  learning  how  to  plot  maps,  I  learned  how  to  draw  boxes,  in  this  case   represen3ng  the  bounding  box  around  cons3tuencies  to  see  if  area  might  be  related   to  the  size  of  a  par3cular  expense  type.  At  the  3me  it  was  hard  to  plot  maps  that   displayed  cons3tuency  boundaries,  colouring  in  consituencies  by  the  size  of  claim  to   produce  choropleth  maps.  The  release  of  shapefiles  as  open  data  on  the  one  hand,   and  development  of  free  online  mapping  applica3ons  on  the  other,  has  made  this   much  easier  to  do  nowadays.   54  
  • 55. Having  learned  how  to  draw  boxes,  I  also  learned  how  to  draw  circles,  again  using  the   MP’s  travel  expenses  as  a  foil.  In  this  case,  the  area(?)  is  related  to  the  size  of  a   par3cular  expense  type  and  the  colour  is  by  party:  did  claim  sizes  appear  to  follow   party  poli3cal  lines?!   55  
  • 56. An  idea  that  par3cular  intrigued  as  a  possible  example  of  sort-­‐of-­‐academic  research   posted  non-­‐tradi3onally  can  be  found  pn  the  Prochronism  blog.  (A  prochromism  is  a   par3cular  sort  of  anachronism,  where  a  word  or  phrase  is  used  in  story  set  in  a   par3cular  period,  for  example,  earlier  than  the  phrase  appears  in  commonly  reported   language.)     56  
  • 57. The  original  prochromism  blog  post  (which  originally  appeared  on  the  author’s   personal  blog  before  he  set  up  the  Prochronism  blog  to  collect  together  these   associated  posts)  describes  how  tradi3onal  approached  to  anachronism  research   might  proceed.   57  
  • 58. The  author  takes  a  different  approach.   58  
  • 59. Let  the  machines  do  it…   59  
  • 60. The  recipe  gets  built  into  a  tool  and  the  analysis  becomes  1-­‐click  easy…   60  
  • 61. Visual  techniques  help  you  iden3fy  prochronisms  by  eye.   61  
  • 62. And  the  technique  can  be  employed  at  the  speed  of  life,  rather  than  the  speed  of   most  academic  research  proposals…   62  
  • 63. If  guerrilla  research  is  a  strike  against  the  conven3onal,  it  may  provide  a  context  for   exploring  novel  coding  schemes,  either  developed  de  novo,  or  in  the  context  of   impor3ng  a  technique  common  in  one  discipline  into  another  where  it  is  not  used.   63  
  • 64. A  technique  I  have  found  useful  I  first  saw  used  by  MaH  Morrison  (@mediaczar)   [hHp://­‐should-­‐page-­‐admins-­‐deal-­‐with-­‐ flame-­‐wars/  ].  We  had  both  been  learning  about  genera3ng  charts  using  the  ggplot2   library  in  R,  and  swapping  techniques  we  had  learned.  One  chart  in  par3cular  jumped   out  at  me,  not  least  because  the  coding  schemed  it  use  was  so  simple,  yet  it  produced   some  startlingly  original  charts  (to  me  at  least).   The  chart  type  is  a  scaHerplot;  along  the  x-­‐axis  we  have  a  3me  base,  in  this  case,  the   ‘number’  of  a  post  on  a  Facebook  wall.  On  the  y-­‐axis,  we  have  accession  number  of   individusal  pos3ng  on  to  the  wall.  The  first  individual  has  accession  number  1,  the   second  accession  number  2,  and  so  on.  If  someone  returns  to  post  several  3mes,  we   use  the  accession  number  from  the  first  3me  we  saw  them.  This  technique  –  which   we  started  to  call  accession  plots,  or  accession  charts  –  was  completely  new  to  me.   And  very  generalisable.   64  
  • 65. Here’s  an  example  of  an  accession  chart  I  created  around  a  TwiHer  hashtag.  Aeer   collec3ng  tweets  that  contained  the  tag,  I  ploHed  them  using  the  tweet  crea3on   3mestamp  on  the  x-­‐axis.  On  the  y-­‐axis  I  ploHed  TwiHer  screen-­‐names,  ordering  the   names  according  to  the  order  in  which  users  first  used  the  hashtag  (that  is,  their   accession  to  the  hashtag  usage).   Ver3cal  lines  to  the  lee  show  that  a  large  number  of  people  (rela3vely  speaking)  use   the  hashtag  for  the  first  3me  over  a  short  period  of  3me;  a  large  number  of  dots   along  a  horizontal  line  show  a  user  is  par3cularly  prolific  in  their  use  of  the  hashtag.   65  
  • 66. Here’s  the  same  chart  as  before,  with  an  addi3onal  informa3on  layer:  tweets  are   coloured  as  to  whether  they  are  a  retweet  or  a  new  tweet.  This  way  we  can  see   whether  nor  not  we  have  a  retweet  burst,  or  maybe  a  conversa3on…?     66  
  • 67. Here’s  another  TwiHer  chart,  again  using  an  accession  number  device  on  the  y-­‐axis,  but  this  3me  related  to  the   accession  number  of  followers  of  an  individual  [hHp://­‐follower-­‐ accession-­‐charts-­‐for-­‐twiHer/  ].  (If  you  get  the  friends  or  followers  list  of  someone  on  TwiHer,  it  is  in  reverse   chronological  order.)  In  this  chart,  accession  number  1  is  the  first  person  to  follow  the  named  individual,  number  2   the  send  person  to  follow  them,  and  so  on.  The  x-­‐axis  the  number  of  days  ago  (from  the  3me  the  chart  was   generated)  that  each  follower  had  first  joined  TwiHer.  The  chart  thus  plots  accession  number  when  following  a   specified  individual  against  3me  since  joining  twiHer  (in  days).   We  see  two  features  in  the  chart:     a)  a  sharp  edge  1500  days  ago,  which  corresponds  to  a  3me  when  the  number  of  TwiHer  users  in  general   exploded;   b)  A  cut  off  line,  marked  red,  that  provides  an  es3mate  of  the  date  when  follower  with  accession  number  N   started  following  the  target  individual.  Generally,  this  informa3on  is  not  available  –  the  follower  list  orders  the   followers  of  an  individual  but  doesn’t  tell  you  when  they  started  following.  However,  note  that  person  X   cannot  follow  person  Y  before  person  X  joins  TwiHer.  As  accession  number  y-­‐increases,  if  we  keep  track  of  the   most  recent  TwiHer  user  crea3on  date  seen  so  far  (the  right  most  point  seen  to  date)  and  plot  that  in  red,  we   get  an  es3mate  of  when  users  started  to  follow  the  target.  (Read  it  this  way:  suppose  that  in  week  M,  a  user   joins  TwiHer  and  immediately  follows  the  target  account  on  date  dM,  gaining  follower  accession  number  aM   for  that  account,  user  with  accession  number  aM+1  can’t  have  started  following  the  target  un3l  at  least  date   dM,  even  if  both  they  and  the  target  account  have  been  on  TwiHer  for  many  months  prior  to  that  date.)   The  line  chart  at  the  boHom  of  the  graph  is  actually  derived  data  that  provides  a  count  of  how  many  people  are   es3mated  to  have  started  following  the  target  on  each  day.  In  this  case  we  see  a  spike  440  or  so  days  ago.  This   chart  actually  corresponds  to  an  MP  –  the  day  they  got  a  sharp  increase  in  followers  was  the  day  they  were   elected.  Looking  up  the  dates  corresponding  to  spikes  on  other  MPs’  follower  accession  chart  in  news  archives   turns  up  other  similar  effects,  as  well  as  scandal  stories  that  hit  the  news,  were  shared  on  TwiHer,  and  lead  to   people  following  the  MP  as  a  result  [hHp://­‐happened-­‐then-­‐using-­‐ approximated-­‐twiHer-­‐follower-­‐accession-­‐to-­‐iden3fy-­‐poli3cal-­‐events/  ].   Having  shared  this  technique  via  my  blog,  several  other  people  picked  it  up  and  started  using  it  in  more  formal   research  [hHp://­‐twiHer-­‐follower-­‐accession-­‐graphs/  ].   67  
  • 68. I  was  also  contacted  by  a  UK  journalist  to  inves3gate  whether  one  par3cular  MP  had   been  buying  followers.  I  generated  the  follower  accession  chart  and  came  to  the   conclusion  they  had  been  aHacked  by  spam  bots…  The  sudden  growth  in  followers  is   due  to  large  numbers  of  followers  with  batched  crea3on  dates  (i.e.  machine   generated)  signing  up  as  followers  in  a  very  short  period  of  3me.  Bought  followers   can  oeen  being  machine  generated  and  maintained,  but  you’d  have  to  be  really  cheap   to  buy  such  obvious  ones…   Note  that  this  signature  more  the  machine  generated  accounts  is  easy  to  spot:  but   apparently  not  so  easy  that  TwiHer  can  spot  them  and  block  them  automa3cally…   68  
  • 69. We’re  all  familiar  with  the  idea  of  using  a  microscope  to  look  at  the  very  small.  By  a   similar  token,  macroscopes  allow  us  to  look  at  everything  within  a  dataset  (“N=all”).   69  
  • 70. For  some  years  the  OU  has  been  publishing  open  data  (on  about  OU   courses  and  resources.  One  of  the  datasets  lists  courses  and  courses  they  are  related   to.  Grabbing  a  copy  of  this  whole  dataset,  then  graphing  connec3ons  between   courses  that  are  related  to  each  other  and  mapping  the  result  using  a  force  directed   network  layout  algorithm  that  tries  to  posi3on  nodes  that  are  connected  to  each   other  close  to  each  other,  we  can  generate  a  map  that  shows  how  OU  courses  relate   to/cluster  with  each  other  [hHp://­‐university-­‐ undergraduate-­‐module-­‐map/  ].   Try  gegng  such  a  macroscopic  view  from  the  OU  courses  website…   70  
  • 71. This  is  a  macroscopic  view  over  MP  vo3ng  behaviour  over  a  parliament  several   governments  ago  (data  was  grabbed  from  the  public  whip  website,  I  think?).  Each  row   is  an  MP,  the  rows  grouped  by  party  (Labour,  the  government  at  the  3me,  is  the  top   block;  then  LibDems,  then  Conserva3ves,  then  Other).  Each  column  is  a  separate   division/vote  in  the  House  of  Commons.  The  colour  show  whether  the  MP  voted  for   or  against  the  mo3on  (I  think?!)  [  hHp://­‐ whether-­‐the-­‐libdems-­‐side-­‐with-­‐the-­‐tories-­‐or-­‐labour-­‐in-­‐parliamentary-­‐votes/  ].   Once  you  get  your  eye  in,  you  see  that  the  LibDems  tended  to  vote  with  the   Conserva3ves  in  many  case.  When  you  really  get  your  eye  in,  you  can  also  spot  rebels.   The  black  horizontal  lines  are  where  an  MP  didn’t  vote  –  possibly  because  they’re  a   minister  doing  other  things…   (This  was  actually  an  interac3ve  visualisa3on  generated  using  Processing  –  you  could   hove  over  points  to  find  the  name  of  each  MP,  the  par3cular  vote,  etc.)   The  idea  of  this  visualisa3on  nd  the  summaries  and  analy3c  ques3ons  is  suggests  is   part  of  the  value  of  this  piece,  rather  than  it’s  u3lity  as  a  visualisa3on  of  the  data   itself.   Here  are  some  other  experiments  using  another  source  of  vote  data,  this  3me  from   general  elec3ons:  hHp://­‐with-­‐processing-­‐arc-­‐ and-­‐general-­‐elec3on-­‐data-­‐2005/     71  
  • 72. Every  presenta3on  I  do,  I  try  to  get  some  Formula  One  data  in!   This  is  data  grabbed  from  the  McLaren  live  dashboard,  an  online  interac3ve  that   McLaren  ran  for  several  years  that  streamed  telemetry  data  rela3ng  to  speed,  “g-­‐ force”,  throHle  and  brake  control,  gear,  distance  round  circuit  and  la3tude  and   longitude  of  the  two  McLaren  cars  during  race  weekends  [  hHp:// 2010/04/07/f1-­‐data-­‐junkie-­‐driver-­‐dna/  ].   The  line  charts  on  the  lee  are  a  typical  display.  The  right  charts  I  called  DNA  charts  –   distance  round  the  circuit  is  on  the  horizontal  x-­‐axis,  lap  number  on  the  y-­‐axis.  The   charts  show  the  remarkable  consistency  of  the  drivers.   The  top,  blue  strip  shows  the  gear  (1  to  7);  the  green  strip  shows  the  throHle  pedal   depression  (0-­‐100%),  and  the  red  strip  shows  the  brake  (0-­‐100%).  The  light  blue  strip   is  a  composite  of  the  previous  three  strips.  The  whiter  the  pixel,  the  closer  it  is  to   100%  throHle  in  7th  gear  with  no  braking.   The  boHom  two  traces  show  the  longitudinal  and  lateral  g-­‐force  respec3vely.  For  the   longitudinal  trace,  red  shows  braking  –  being  forced  into  the  steering  wheel;  green   shows  accelera3on  –  being  forced  back  into  your  seat.  You’ll  see  the  greatest  g-­‐force   under  braking  occurs  when  the  brakes  are  slapped  full  on…  (the  red  bits  in  the  third   and  fieh  traces  line  up).  For  the  la3tudinal  g-­‐force,  the  red  shows  the  driving  being   flung  to  the  lee  (i.e.  right  hand  corner),  the  green  shows  them  being  pushed  out  to   the  right.   72  
  • 73. We  can  also  pair  the  DNA  charts  of  the  two  McLaren  drivers,  and  then  look  for   differences…  [  hHp://­‐data-­‐junkie-­‐mclaren-­‐driver-­‐ comparison-­‐snapshots/  ]  Midway  round  the  circuit,  we  no3ce  the  NGear  traces   markedly  differ,  for  example.   73  
  • 74. Here’s  one  example  of  where  the  traces  differ  at  a  par3cular  point  round  the  circuit.   74  
  • 75. We  can  rebase  the  chart  to  use  a  2d  plot  loca3ng  the  points  according  to  la3tude  and   longitude  values,  rather  than  distance  round  the  track  to  see  where  on  a  more   tradi3onal  circuit  layout  the  differences  occur.  (I  have  also  offset  the  two  drivers   traces  so  we  can  see  them  beHer  –  they  are  not  taking  such  radically  different  lines!)   75  
  • 76. Another  important  element  of  Means  relates  to  data,  and  in  par3cular  data  sources   that  we  can  reuse  for  our  own  analyses.   Collec3ng  data  is  oeen  a  major  part  of  research  exercises,  but  in  guerrilla  research   maybe  we  should  focus  more  on  appropria3ng  and  reusing  data  that  already  exists.  If   I  only  have  half-­‐an-­‐hour  to  do  something  interes3ng,  I  can’t  spend  six  months   collec3ng  data…  But  I  may  be  able  to  download  something  relevant  in  seconds…   Maybe  we  don’t  need  more  data  –  maybe  we  just  need  to  spend  a  liHle  more  3me   looking  at  how  we  can  piece  together  data  that  already  exists  and  ask  ques3ons   across  it    in  a  form  of  what  we  might  term  combinatorial  data  analysis.   (If  I  have  three  data  sets,  A,  B,  C  that  share  a  common  column  that  allows  them  to  be   combined,  I  can  analyse:  just  A,  just  B,  just  A,  A  and  B  combined,  A  and  C  combined,  B   and  C  combined,  A  and  B  and  C  combined.  Most  people  will  have  researched  on  A  or   B  or  C.  In  a  typical  research  project  I  might  then  collect  D.  Maybe  we  should  start   looking  to  see  if  we  can  analyse  the  combina3ons  instead?  (Of  course,  there  are  many   reasons  why  combina3ons,  even  if  possible,  may  not  be  valid.  But  combinatorics   suggests  there  are  a  large  number  of  possible  combina3ons  that  may  be  valid  as  we   increase  the  number  of  combinable  datasets  available)).     76  
  • 77. In  the  UK,  recent  years  has  seen  cross-­‐party  support  for  the  release  of  public  data   under  an  open  license  that  allows  it  to  be  shared  and  reused.  is  a   catalogue  that  covers  data  releases  from  across  UK  government  and  other  public   services.   But  is  there  a  land  grab  going  on?  All  data  is  poli3cal,  and  it  seems  that  cataloguing  it   is  poli3cal  too.  As  the  Government  Digital  Service  (GDS)  takes  over  the  website   opera3ons  of  more  and  government  departments  within  its  domain,  it  can   oeen  be  more  convenient,  and  more  complete,  to  search  departmental  content   published  on  than  –  the  laHer  requires  human  effort  to  add   catalogue  records  to  point  to  content  that  has  been  published  on,  whereas   once  on,  it  can  be  discovered  more  directly.       77  
  • 78. As  well  as  open  data  published  by  the  public  sector,  academic  research  is  star3ng  to   be  opened  up  too.   78  
  • 79. If  public  money  has  funded  the  produc3on  of  (research)  data,  that  data  should  be   available  to  the  public,  or  so  the  argument  goes…   79  
  • 80. Some  journals  too  are  making  it  a  requirement  that  data  is  published  alongside   research  papers,  not  least  so  the  analyses  that  appear  in  those  papers  can  be   replicated  using  the  same  data.   80  
  • 81. As  well  as  data  published  openly  and  either  freely  or  at  cost,  we  can  also  request  data   using  Freedom  of  Informa3on  legisla3on  (as  well  as  the  Data  Protec3on  Act  for  data   about  ourselves,  and  data  covered  by  environmental  protec3on  regula3ons).     81  
  • 82. Note  that  despite  the  driver  from  the  Research  Councils  UK  that  more  academic   research  data  is  openly  shared,  and  despite  the  fact  that  publicly  funded  university   research  is  FOIable,  there  are  exemp3ons  from  releasing  research  data  under  FOI…   82  
  • 83. If  you  haven’t  made  an  FOI  request  before,  and  you’re  happy  for  it  to  be  made   publicly,  makes  it  easy:  select  the  pubic  organisa3on  you’d  like   to  make  a  request  to,  and  you  can  send  an  email  directly  to  the  right  address.  Any   responses  are  managed  by  the  service.   If  you  browse  through  responses  to  requests,  you  see  many  of  them  include  data  files   (CSV  files  or  Excel  spreadsheets).  A  quick  hack  I  produced  [hHp:// 2012/04/28/the-­‐foi-­‐route-­‐to-­‐real-­‐fake-­‐open-­‐data-­‐via-­‐whatdotheyknow/  ]  indexed  the   requests  that  returned  data  files  so  I  could  use  it  as  an  index  of  FOId  data.  (Note  that   just  because  data  is  released  under  FOI  it  doesn’t  mean  it’s  openly  licensed…)     Not  all  FOI  requests  are  made  through  WhatDoTheyKnow,  of  course  (journalists   wouldn’t  take  to  make  requests  made  as  part  of  an  inves3ga3on  available  via  a  public   service  where  other  people  can  see  what  they  are  reques3ng).  Informa3on  about  FOI   requests  made  to  organisa3ons  is,  however,  public  informa3on…  Some  organisa3ons   rou3nely  publish  a  disclosure  log,  where  they  publish  informa3on  about  requests  and   responses  with  personal  informa3on  removed.  In  other  cases,  you  may  have  to  FOI   the  same  informa3on…   83  
  • 84. The  Guardian  Data  Store  has  been  republishing  public  data  via  Google  Spreadsheets   for  some  3me.  Each  year,  it  publishes  the  data  used  for  its  university  rankings  tables.   This  example  [hHp://­‐guardian-­‐university-­‐data-­‐ every-­‐which-­‐way-­‐you-­‐can/  ]  shows  how  I  used  the  Google  Visualisa3on  API  to  provide   a  quick  tool  for  exploring  the  rankings  based  on  selec3vely  filtering  across  each  of  the   ranking  factors.     This  year,  I  used  the  R  Shiny  library  to  produce  an  interac3ve  explorer  using  R:  hHp://­‐visual-­‐data-­‐explorers-­‐with-­‐shiny-­‐guardian-­‐ university-­‐tables-­‐2014/   84  
  • 85. If  you  don’t  feel  comfortable  building  your  own  applica3on  from  lines  of  code  (even  if   it  only  takes  10  or  20  lines  of  code  you  can  largely  copy  and  paste  from  other  people   who’ve  done  similar  things  before…)  tools  like  Google  Fusion  Tables  allow  you  to   interac3vely  explore  quite  large  datasets.  The  example  shown  here  provides  an   environment  for  exploring  chari3es  data  [  hHp://­‐ quick-­‐peek-­‐at-­‐some-­‐chari3es-­‐data/  ].   Whilst  Fusion  Tables  look  like  spreadsheets,  they  have  several  benefits:   1)  they  can  be  used  to  store  much  larger  datasets  than  you  can  load  in  to  a   spreadsheet;   2)  it’s  easy  to  merge  different  tables  that  share  a  common  column  (hence  “fusion”   tables?).  If  VLOOKUP  confuses  you,  this  makes  it  much  easier  and  works  across   tables  too;   3)  you  can  add  filters  to  tables  to  see  just  the  informa3on  you  want;   4)  genera3ng  pivot  table  style  summary  reports  is  easy  (and  these  work  across   filtered  data  too);   5)  genera3ng  charts  is  easy  (and  these  work  across  filtered  data  too);   6)  If  you  address  data,  Google  Fusion  Tables  can  geocode  it  for  you  too,  so  you  can   add  markers  to  a  map,  and  colour  them  by  data  values;   7)   if  you  have  shapefile  data  or  data  that  can  be  merged  with  shapefiles  (eg  MP   cons3tuencies),  you  can  use  Google  Fusion  Tables  to  make  choropleth  maps.   85  
  • 86. When  is  a  thing  the  same  as  another  thing?  Is  Poppleton  University  the  same  as  the   University  of  Poppleton?  Is  the  laHer  the  same  as  the  University  of  Poppelton?  What   would  a  search  for  “Poppleton”  turn  up?   86  
  • 87. OpenRefine  (from  is  a  cross-­‐playorm  browser  based  applica3on  for   cleaning  and  reshaping  datasets.  It  has  something  of  the  look  of  a  spreadsheet   applica3on  about  it,  in  that  it  works  with  tabular  data,  but  it  has  been  designed  for   gegng  your  data  into  a  state  and  a  shape  where  you  can  start  to  work  with  it.  (As  well   as  opening  spreadsheet  files,  CSV  files,  a  wide  range  of  text/line  item  based  data  files,   it  can  open  XML  files  and  JSON  files  and  help  you  get  them  into  a  tabular  format.)   One  of  the  tools  it  offers  is  to  “cluster”  similar  elements  appearing  within  a  data   column.  There  are  several  well-­‐known  algorithms  for  trying  to  do  this  that   OpenRefine  supports.  Running  a  clustering  algorithm  iden3fies  items  that  are   different-­‐but-­‐might-­‐actually-­‐be-­‐the-­‐same,  and  gives  you  the  op3on  of  rewri3ng  them   automa3cally  so  they  are  the  same.  It  beats  working  through  the  files  by  hand…   87  
  • 88. OpenRefine  also  gives  you  a  way  in  to  the  world  of  Linked  Data  and  the  seman3c  web.   OpenRefine  can  look  up  items  within  a  column  against  Linked  Data  sources  and   retrieve  canonical  iden3fiers  for  them.     88  
  • 89. These  iden3fiers  can  then  be  used  to  pull  back  data  associated  with  (that  is,  “linked”   to)  those  items…   89  
  • 90. So  the  means  of  discovering  and  obtaining  data  that  already  exists,  as  well  as  finding   tools  that  can  work  wonders  with  that  data,  are  increasingly  out  there.  But  do  we   have  any  opportunity  to  make  use  of  those  resources  without  the  backing  of  a  formal   –  and  funded  –  research  project?   The  guerrilla  research  mentality  of  “just  doing  it”  suggests  we  could  use  the  3me  that   would  otherwise  be  spent  wri3ng  bids  actually  doing  the  (guerrilla)  research  just   anyway…  but  then,  at  some  point  we  have  to  become  accountable  (or  maybe  we   don’t!).  So  let’s  consider  what  opportuni3es  there  are  for  doing  guerrilla  research   that  we  may  be  able  to  jus3fy  by  other  means  if  called  to  account…   90  
  • 91. Several  years  ago  I  looked  aeer  an  OU  short  course  that  was  delivered  largely  online  but  with   some  offline  reading  and  ac3ves.  At  the  3me  I  was  interested  in  the  extent  to  which  we  could   use  web  analy3cs  to  analyse  the  performance  of  a  course  delivery  website  as  a  website,   something  that  s3ll  doesn’t  really  feature,  as  far  as  I  can  tell  (learning  analy7cs  tend  to  focus   on  slghtly  different  concerns,  and  has  the  poten3al  to  be  far  more  misleading  and   malevolent…)   The  above  chart  shows  the  course  pages  segmented  into  groups,  with  each  group  containing   the  pages  related  to  a  par3cular  week’s  ac3vi3es.  Time  is  along  the  horizontal  x-­‐axis,  some   measure  of  ac3vity  on  the  ver3cal  y-­‐axis.  The  chart  shows  that  the  students  appear  to  work   through  the  course  as  paced,  returning  to  the  content  of  earlier  weeks  as  the  end-­‐of-­‐course   assessment  deadline  looms.   Web  analy3cs  have  come  on  some  way  since  then,  and  I’d  track  and  analyse  things  slightly   differently  now;  but  I  think  there’s  s3ll  a  lot  that  can  be  done  in  terms  of  understanding  how   online  courses  work  as  websites  that  can  feed  back  into  the  course  design.  (A  no-­‐brainer  is   tracking  which  links  are  clicked  on;  if  no-­‐one  ever  clicks  on  a  par3cular  resource  link,  what  use   is  it?  If  it’s  key,  you  need  to  find  new  ways  of  encouraging  students  to  click  it…)   There  are  of  course  ethical  and  privacy  issues  associated  with  using  Google  Analy3cs  –  you   tell  Google  every  page  that  each  of  your  students  has  visited  on  the  site,  and  when.  And   Google  could  in  principle  generate  a  marke3ng  group  based  on  your  cohort  from  the  set  of   individuals  accessing  that  set  of  pages.  (For  related  considera3ons,  see:  hHp://­‐declara3ons-­‐on-­‐your-­‐behalf-­‐why-­‐visi3ng-­‐one-­‐ website-­‐might-­‐tell-­‐another-­‐you-­‐were-­‐there/  )   Old  presenta3on:  hHp://­‐analy3cs-­‐in-­‐context-­‐ presenta3on   91  
  • 92. As  well  as  dabbling  with  googaly3cs  on  course  webpages,  something  I  wasn’t   supposed  to  do,  I  also  managed  to  get  access  (with  permission)  to  the  webstats  for   the  OU  Library.  Again,  I  was  interested  in  seeing  what  we  could  learn  about  how  well   the  site  was  working  as  a  website.  And  then  I  posted  some  thoughts  and  learnings   about  it…   92  
  • 93. For  a  long  term,  search  was  my  passion,  wondering  how  we  could  appropriate  search   technologies  for  our  own  ends.  We’ve  already  seen  how  search  limits  can  be  used  to   refine  a  web  search  so  that  results  can  be  limited  to  results  of  a  par3cular  sort  (from  a   par3cular  domain,  of  a  par3cular  document  type,  or  containing  a  par3cular  word  in   the  3tle,  for  example).   One  tool  for  industrialising  this  is  a  custom  search  engine  such  as  a  Google  Custom   Search  Engine.  These  search  engines  can  be  configured  to  return  sets  from  a   par3cular  set  of  web  pages  or  domains.  To  a  certain  limited  extent  you  can  also  tune   the  rankings.  Over  several  years,  I  dabbled  with  ways  of  dynamically  selec3ng  the   resources  that  custom  search  engines  would  search  over.  But  always  at  the  back  of   my  mind  was  whether  a  course  custom  search  engine  would  be  useful.   That  is,  for  courses  that  have  lots  of  links  to  web  pages  or  other  online  resources,   could  we  make  a  useful  search  engine  based  around  those  resources?  For  example,   could  we  extract  the  links  contained  in  the  course  materials  for  a  par3cular  course   (yes  we  can,  it’s  easy)  and  use  these  as  the  basis  of  a  custom  search  engine,  i.e.  one   that  would  search  over  the  resources  listed  in  the  course,  and  other  poten3ally   rela3ve  content  (or  content  of  a  reputable  quality,  by  associa3on)  from  the  domains   the  linked  to  content  was  published  on.   Well,  yes,  we  can  do  that,  but  from  my  dabblings,  it’s  a  bit  rubbish  –  the  course   custom  search  engine  doesn’t  have  a  big  enough  index  to  be  useful  as  a  search   engine,  even  within  a  limited  domain.     More:  hHp://­‐on-­‐custom-­‐course-­‐search-­‐engines-­‐ derived-­‐from-­‐ou-­‐structured-­‐authoring-­‐documents/         93  
  • 94. One  of  the  many  great  things  about  the  OU  is  the  way  the  ins3tu3on  has  engaged  with  the   publishing  of  open  content  in  standardised  formats.  The  course  material  web  pages  published   on  the  OpenLearn  website  are  rendered  (as  are  OU  ‘actual’  course  materials)  from  a   structured  XML  document  format.  I’m  not  sure  if  you  s3ll  can,  but  you  certainly  used  to  be   able  to  get  hold  of  the  underlying  XML  document  that  provided  the  ‘source  code’  for   OpenLearn  course  materials  just  by  hacking  around  with  the  URL.   So..  Play3me,  right?  In  one  experiment,  I  tried  genera3ng  interac3ve  mindmaps  as  alterna3ve   naviga3on  surfaces  over  OpenLearn  materials  (hHp:// genera3ng-­‐openlearn-­‐naviga3on-­‐mindmaps-­‐automagically/  ).  This  harked  back  to  a  more   bespoke  approach  I’d  used  in  a  previous  OU  course  where  I’d  created  a  mindmap  by  hand  to   provide  students  with  an  alterna3ve  way  of  naviga3ng  the  online  course  materials.  One   advantage  of  genera3ng  mindmaps  automa3cally  was  that  I  could  put  in  a  generic  search   term  and  generate  a  mindmap  style  way  of  naviga3ng  over  all  OpenLearn  resources  that   reference  the  par3cular  search  term.   Another  quick  hack,  as  depicted  in  the  slide,  was  to  create  a  gallery  of  all  the  images   contained  in  OpenLearn  course  resources,  and  provide  a  search  over  them.  It  only  took   changes  to  a  couple  of  lines  of  code  to  then  produce  a  search  tool  that  covered  glossary  items   from  across  the  OpenLearn  course  content.  These  quick  tools  could  easily  be  hacked  up   around  all  OU  course  materials  for  use  internally  as  ad  hoc  tools  to  help  support  course   development,  for  example.  But  they  haven’t  been.  If  a  project  isn’t  big  enough  to  aHract  a   budget  code  and  kudos  for  a  manager,  it  won’t  be  pursued.  Guerrilla  projects  are   irresponsible,  and  without  responsibility,  they  won’t  be  adopted…  At  least,  not  formally  ;-­‐)   94  
  • 95. I  love  the  word  “finesse”,  as  for  example  in  cards  or  chess  where  you  get  something   extra,  for  free,  that  maybe  you  shouldn’t  have  expected  to  have  a  right  to.  By   “finessing  permission”,  I  mean  something  complementary  to  asking  for  permission   qua  forgiveness,  aeer  the  fact…  Rather,  I  mean  something  more  akin  to  retrofi_ng   permission,  finding  some  ra3onale,  maybe  even  a  post  hoc  ra3onale*,  that  let’s  you   jus3fy  a  guerrilla  research  ac3on.   *  As  anyone  who  has  ever  wriHen  up  a  piece  of  formal  research,  the  way  it  happened   is  not  the  way  you  write  it  up.  Another  reason  why  formal  research  reports  are  oeen   rubbish  when  it  comes  to  helping  other  figure  out:  a)  what  you  did,  b)  why  you  did  it,   and  c)  how  you  figured  out  how  to  do  it  that  way.  Blog  posts  as  a  research  notebook   posts  are  far  more  authen3c,  and  far  more  useful  for  helping  people  figure  out  your   method  and  methods  of  their  own.     95  
  • 96. As  well  as  course  materials  extracted  from  “official”,  for  credit  OU  courses,  OpenLearn   also  published  material  to  support  the  various  broadcast  offerings  that  the  OU  co-­‐ produces  with  the  BBC.  Every  so  oeen  I  submit  an  ar3cle  to  the  OpenLearn  editorial   team,  or  respond  to  a  request  from  them,  to  wrap  a  feature  on  the  the  Radio  4   programme  More  or  Less  or  to  pick  up  on  a  current  news  story.   96  
  • 97. Time  is  money,  supposedly.  So  if  you  need  to  get  money  into  the  equa3on,  or  at  least,   the  promise  of  it,  (how  much  3me  is  spent  preparing  bids  in  the  hope  that  one  of   them  pays  off?!),  what  op3ons  are  there?   97  
  • 98. If  you  know  the  story  of  “Longitude”,  you  know  about  prize  funds.  Rather  than  gegng   people  to  compete  for  money  based  on  things  they  say  they  are  going  to  do,   government  or  government  agencies  set  up  a  challenge  and  then  reward  the  best   entry;  or  they  don’t,  if  the  best  entry  isn’t  good  enough.     The  thing  that’s  now  Google’s  autonomous  car?  DARPA  bootstrapped  that  with  their   autonomous  vehicle  Grand  Challenge.   The  EU  is  looking  to  use  inducement  prices  as  part  of  its  funding  strategy.  And  the   research  councils  keep  experimen3ng  too:  the  currently  open  “Visualising  Research”   compe33on  encourages  people  to  submit  visualisa3ons  and  visualisa3on  applica3ons   around  data  about  UK  research  awards,  as  published  via  the  Gateway  to  Research.  So   if  you  want  to  learn  how  to  get  JSON  data  out  of  an  API,  or  want  to  learn  how  to   create  a  par3cular  sort  of  visualisa3on,  steal  some  3me  and  have  a  play  with  the  GtR   data.  And  if  anyone  ass  why,  say  you’re  hoping  to  put  an  entry  into  the  Visualising   Research  compe33on.  It’s  just  like  pugng  a  research  bid  in,  in  that  there’s  no   guarantee  of  a  payoff  (though  there  is  a  chance),  but  it’s  different  in  that:  a)  you’ll   have  learned  something;  b)  you’ll  have  already  have  finished  the  project  and   produced  some  hopefully  useful  output  to  meet  a  prespecified  need.   98  
  • 99. Here’s  an  example  of  a  typical  call  for  funding.  For  four  to  six  projects.  Up  to  £1.87   million  pounds.   I  hacked  around  the  food  data  space  for  a  couple  of  couple  of  hour  sessions  when  the   horsemeat  scandal  hit,  and  posted  a  couple  of  quick  blog  posts  (hHp://­‐maths-­‐technology/compu3ng-­‐and-­‐ict/meat-­‐here-­‐ hun3ng-­‐data-­‐about-­‐the-­‐food-­‐supply-­‐chain  and  hHp:// made-­‐to-­‐measure-­‐reshaping-­‐horsemeat-­‐importexport-­‐data-­‐to-­‐fit-­‐a-­‐sankey-­‐ diagram/  ).  These  led  to  a  slot  at  an  Open  Data  Ins3tute  session  on  food  data:  hHp://­‐food    (full  annotated  slides  s3ll  to  follow...)   £1.87  million  pounds.   Four  to  six  projects.   99  
  • 100. Some3mes  you  have  a  scab  and  you  just  keep  on  picking  at  it..  Fun,  eh?   Dickens’  books  were  originally  produced  as  serials  in  popular  magazines  of  the  3me.   Many  of  today’s  longer  form  TV  series  are  wriHen  out  as  the  earlier  episodes  are   broadcast.  So  might  it  be  worth  thinking  about  guerrilla  research  as  a  form  of   serialised  research,  at  least  in  its  produc3on,  compared  to,  say,  a  Hollywood   blockbuster  film?   £1.87  million  pounds.   Sheesh…   100  
  • 101. Every  so  oeen  I  take  a  phrase  and  turn  it  somewhere  different.  Media  pluraility  refers   to  the  desire  to  have  the  ownership  of  the  apparatus  of  the  news  media  spread   across  several  (“a  plurality  of”)  different  owners.   News  is  content,  designed  to  inform  us  about  the  state  of  the  world.  News  is  oeen   published  from  a  par3cular  perspec3ve,  or  with  a  par3cular  slant.  The  editor’s  hand  is   always  there.   School  curricula  inform  us  too.  An  event  happened.  The  Times  reports  it  one  way,  the   Sun  another,  the  Guardian  yet  another.  The  na3onal  curriculum  is  published,  EdExcel   treat  it,  teach  it,  assess  it,  one  way,  AQA  another.   I  started  to  poke  around  looking  for  sta3s3cs  about  school  exam  sta3s3cs…     101  
  • 102. I  refined  my  search  a  liHle…   102  
  • 103. And  then  refined  it  again…   103  
  • 104. I  got  some  data,  and  had  a  play…   £1.87  million  pounds.   4  to  6  projects.   Sheesh…   104  
  • 105. Here’s  something  else  I’m  involved  with.  One  day  per  week  I  work  for  the  Open   Knowledge  Founda3on  on  a  project/ini3a3ve  called  the  School  of  Data.  The  School  of   Data  is  all  about  hands  on,  learning  by  doing  engagement  with  data.  The  audience  is   journalists  and  NGOs.   The  School  of  Data  do  a  thing,  a  really  neat  thing,  called  Data  Expedi3ons.  Get  a  topic,   a  group  of  people  with  an  interest  in  the  topic,  and  then  go  data  hun3ng;  frame  some   ques3ons  round  the  data  and  start  digging  in  to  it.  Look  for  stories  in  the  data,  then   find  a  way  of  telling  them.  In  a  day.  Or  less.  Or  over  a  week,  but  make  it  episodic.   Serialise  the  steps.  It  works,  too…   105  
  • 106. Means,  Opportunity  –  and  Mo3ve.   Why  bother?  Not  for  promo3on  [hHp://­‐for-­‐a-­‐penny-­‐ in-­‐for-­‐a-­‐pound-­‐my-­‐promo3on-­‐case-­‐for-­‐support/  x  several  aHempts  so  far;  one  reason   I  dropped  to  4  days  per  week.].  So  why?   106  
  • 107. Because  it’s  fun…  and  maybe  because  it  could  be  useful.  Or  at  least,  interes3ng…  And   you  might  learn  something.  Or  beHer.  Like  how  to  do  something.  You  might  even   invent  how  to  do  that  something.  Or  innovate  a  solu3on  to  something  out  of  bits  and   pieces  that  already  exist.   107  
  • 108. You’ve  seen  this  already…   108  
  • 109. Just  because  it’s  recrea3onal  in  context  doesn’t  mean  it’s  not  real…   109  
  • 110. ..doesn’t  mean  it’s  not  useful.   110  
  • 111. There’s  a  lot  of  sensemaking  that  goes  on  in  the  world,  to  different  3mescales  and   budgets.  To  different  agendas.  For  different  purposes.   Channels  exist  between  these  different  communi3es,  conduits  that  pass  par3cular   sorts  of  informa3on,  or  impression,  packaged  in  par3cular  ways,  between  them.   Disrupt  the  f****rs.   111  
  • 112. What  sort  of  context  interests  you?  What  sort  of  context  is  important  to  you?  What   context  isn’t  working?  Can  you  cross-­‐context?  Can  you  appropriate  a  context  and  use   it  to  jus3fy,  finesse  style,  your  guerrilla  research?   112  
  • 113. I  like  full  fact.  A  lot.  The  Conversa3on,  not  so  much.  But  the  Conversa3on  is  a  channel   that  some  universi3es  appear  to  support,  so  maybe  it’s  a  channel  you  can  use  to   provide  a  reverse  jus3fica3on  for  a  par3cular  piece  of  guerrilla  research,  par3cular  if   it  hooks  in  to  the  news  agenda.   113  
  • 114. “Why  are  you  doing  that?”  Response:  because  it’s  important.   114  
  • 115. Folk  keep  leaving  academia.  This  chap  lee  because  it  p****d  him  off  and  got  in  the   way.  So  he’s  building  a  solu3on  to  what  he  sees  as  part  of  the  problem.  Going  from   the  inside  to  the  outside  to  build  something  works  at  the  edge.   115  
  • 116. This  looks  interes3ng.  And  a  possible  jus3fica3on.  Do  something  low  risk  in  a  new   environment  to  experiment  with  a  new  workflow.  You  don’t  want  to  jeopardise  a  real   research  project  with  a  flaky  new  workflow,  aeer  all,  do  you,  really,  come  on?!  So   what  can  you  try  it  out  with…?   (The  tes3ng  of  the  environment  provides  the  jus3fying  context  for  what  you  do  inside   it…)     116  
  • 117. Exploring  workflows  that  embed  research  in  context,  exploring  tools  that  help  make   research  more  readable,  more  reproducible,  more  transparent,  seems  to  me  to  be   important  from  an  ed  tech  perspec3ve.  Notebook  style  working  works  for  me,  in  this   sense  [  hHp://­‐with-­‐ipython-­‐notebooks-­‐for-­‐ educa3on/  ].  Have  you  tried  it  yet?  [  hHp://­‐to-­‐ drop-­‐calculators-­‐in-­‐favour-­‐of-­‐notebook-­‐programming/  ]     Or  virtual  machines?  [  hHp://­‐soeware-­‐for-­‐ distance-­‐learners-­‐vms-­‐101/  ]   Use  either  as  context,  maybe,  for  some  guerrilla  research  of  your  own.  If  anyone  asks,   you’re  evalua3ng  the  notebook  way  of  working.  But  as  you  and  I  know,  that’s  also  to   provide  cover…     (Which  reminds  me:  have  I  men3oned  sabotage  yet…  or  corporate  foolery?  hHp://­‐foolery-­‐and-­‐the-­‐abilene-­‐paradox/  )   By  the  by,  the  screen  shot  demonstrates  another  excuse  for  ac3vity.  Replica3ng  (and   in  this  case,  not)  a  piece  of  outstanding  work….   117  
  • 118. Another  top  tool  that  got  me  wondering  about  workflow.  Rstudio.   You  can  host  it:  hHp://­‐research-­‐data-­‐processes-­‐ kmi-­‐crunch-­‐hosted-­‐rstudio-­‐analy3cs-­‐studio/   And  it’s  a  gateway  drug  to  rapidly  prototypable  R  applica3ons:  hHp://­‐visual-­‐data-­‐explorers-­‐with-­‐shiny-­‐guardian-­‐ university-­‐tables-­‐2014/  (you’ve  seen  this  before…)   118  
  • 119. Maybe  lack  of  knowledge  mo3vates  you…  Or  helping  come  up  with  ways  of  working   that  protect  us  from  ourselves…   119  
  • 120. But  that  won’t  stop  anyone…  As  a  guerrilla  researcher,  you  have  the  opportunity  to   do  just  as  much  and  just  as  valid  “research”  as  other  people,  because  they’re  making   it  up  too…  Only,  they’re  not  doing  it  for  a  reason…  They’ll  be  doing  it  because  it’s  their   job.   120  
  • 121. There’s  work  to  be  done.     This  is  one  of  the  ques3ons  that  drives  me.  How  to  make  use  of  all  the  stuff  that’s  out   there  already?  How  to  put  it  together  so  it  works  together?  How  to  use  one  bit  that   exists  to  help  make  sense  of  another  bit  that  exists.   Outside  one  of  the  mee3ng  rooms  at  the  OU,  there  is,  or  at  least  was,  a  framed  jigsaw   on  the  wall.  The  picture  seemed  to  make  sense.  Or  maybe  it  didn’t.  Because  that   jigsaw  was  made  from  pieces  from  different  jigsaws.  I  liked  that.  It  made  sense.   Par3cularly  in  that  environment.  Different  people,  coming  together  with  independent   ideas,  leaving  with  the  same  picture.   What  drives  you?   121  
  • 122. Last  tool.   Last  toy.   This  is  Gephi  [  hHp://  ]  –  a  cross-­‐playorm  desktop  tool  that’s  great  for   genera3ng  effec3ve  network  visualisa3ons.  I  have  some  tutorials  and  sample  datasets   if  anyone  wants  to  give  it  a  whirl…[  hHp://­‐deal-­‐ network-­‐analysis-­‐with-­‐gephi-­‐tutorial/  Or  do  some  guerrilla  research  around  your   Facebook  network  by  googling  this:  in7tle:"facebook  network”     Alterna3vely,  see  if  what  they  like  reveals  anything  about  you…  hHp://­‐interest-­‐posi3oning-­‐visualising-­‐facebook-­‐friends-­‐ likes/  ]   122  
  • 123. I  like  networks.  A  lot.  I  like  them  as  maps.  Maps  help  you  make  sense  of  a  space,  help   you  navigate  a  space.  They  give  you  a  view  over  the  whole,  over  the  parts,  over  how   the  parts  relate  to  each,  how  the  parts  relate  to  the  whole,  how  the  whole  relates  to   the  parts.  At  least,  in  part.   This  map  shows  where  I  posi3on  myself,  or  at  least,  where  I  am  socially  posi3oned,  on   TwiHer.  It’s  based  on  how  my  followers  follow  each  other  on  TwiHer,  grabbed  some   3me  ago.   Gephi  drew  it,  with  my  help.  Or  maybe  I  drew  it,  with  Gephi’s  help.   You  can  draw  things  like  this  too…  in  the  simplest  case  all  you  need  is  two  columns  of   data,  from  and  to.  A  two  column  CSV  file.  Each  line  says:  draw  a  line  from  from  to  to.   And  Gephi  will.  Then  you  can  place  the  points,  with  Gephi’s  help.  Or  Gephi  will  place   the  points,  with  your  help.  I’m  never  really  sure  which.   I  can  see  territories  in  my  map,  because  the  names  are  meaningful  to  me.  Each  name   has  an  associa3on,  in  interest  space,  what  to  me  are  the  interests  of  each  TwiHer  user   displayed.   Together,  their  interests  coalesce.  The  colours  help  reinforce  that.  The  map  has   regions.  It  makes  some  sort  of  sense,  the  sense  made  by  the  sense  of  each  point  on   the  map,  and  the  interests  they  express  whenever  they  make  a  connec3on  to  another   person  on  TwiHer.   The  map  of  my  interests  is  beyond  my  control  –  it’s  a  map  of  my  interests  as  projected   by  the  interests  of  people  who  follow  me  on  TwiHer.   We  can  draw  other  maps  too.  I  par3cularly  like  emergent  social  posi7oning  maps,   projec3ons  from  the  followers  of  an  individual,  or  users  of  a  hashtag,  onto  the  people   123  
  • 124. Once  you  start  looking,  you  find  opportuni3es  to  grab  graph  data,  edge  data,   connec3on  data,  from  all  sorts  of  places.   Here’s  an  example  built  out  of  the  Shell  corporate  sprawl.  The  data  comes  from,  in  the  form  of  directors  associated  with  companies.  I  draw  lines   between  companies  and  directors,  then  remove  the  directors  and  add  edges  to   connect  companies  that  shared  two  or  more  directors.  The  labels  are  sized  rela3ve  to   the  PageRank  score  of  each  node,  which  a  measure  of  how  well  connected  the  node   is  in  the  graph  (the  “importance”  of  each  node  is  dependent  on  the  “importance”  of   the  nodes  connected  to  it….)   The  lines  also  provide  a  background  that  highlights  the  connec3vity    -­‐  and  structure  –   of  the  corporate  elements.   There’s  a  recipe  here  -­‐  hHp://­‐of-­‐data-­‐ mapping-­‐company-­‐networks  –  for  working  with  OpenCorporates  data  that  also  makes   use  of  OpenRefine  and  Gephi.   I  had  to  work  out  how  to  do  it  myself,  but  you  can  follow  along  if  you  want  to…  Or  you   can  start  off  by  following  my  way,  then  make  up  your  own.  Or  just  go  for  it.  JFDI.   124  
  • 125. Last  tool,  last  toy,  s3ll,  but  a  toy  within  a  toy,  a  tool  within  a  tool.   Gephi  has  plugins,  and  one  plugin    -­‐  Seman3c  Web  Import  –  lets  you  pull  data  into   Gephi  from  a  SPARQL  endpoint.  Nor  me.   Here’s  a  recipe:  hHp://­‐related-­‐entries-­‐in-­‐ wikipedia-­‐using-­‐gephi/   And  a  variant:  hHp://­‐how-­‐programming-­‐ languages-­‐influenced-­‐each-­‐other-­‐according-­‐to-­‐wikipedia/   And  another:  hHp://­‐related-­‐musical-­‐genres-­‐ on-­‐wikipediadbpedia-­‐with-­‐gephi/   Same  recipe,  different  ingredients.  As  I  learned  from  the  Urban  Peasant  when  I  was  a   postgrad:  hHp://­‐3me-­‐reflec3ng-­‐on-­‐the-­‐urban-­‐ peasant/   It  doesn’t  maHer.   125  
  • 126. This  is  a  map  of  terms  pulled  from  DBpedia  (that  is,  Wikipedia  page  info  boxes)  around  the   concept  of  Marke7ng.   prefix  gephi:<h@p://>   CONSTRUCT{   ?term  gephi:label  ?termname  .   ?otherterm  gephi:label  ?othername  .   ?termsubject  gephi:label  ?subjname  .   ?term  <h@p://>  ?termsubject  .   ?termsubject  <h@p://>  ?otherterm   }  WHERE  {   ?termsubject  <h@p://>  <h@p:// Category:Marke7ng>  .    ?termsubject    <h@p://>  ?term  .    ?termsubject    <h@p://>  ?otherterm  .    ?termsubject  <h@p://­‐schema#label>  ?subjname  .    ?term  <h@p://­‐schema#label>  ?termname  .    ?otherterm  <h@p://­‐schema#label>  ?othername  .   FILTER(?term  !=  ?otherterm  &&    langMatches(lang(?othername),  "en")    &&  langMatches (lang(?termname),  "en")    &&  langMatches(lang(?subjname),  "en"))   }  LIMIT  10000   Nor  me.   Actually,  not  true.  Because  it  was  me.  Copying  and  pas3ng,  then  tweaking  and  changing.   Me.   But  if  me,  then  you  too.  Why  not?   126  
  • 127. So  there  we  have  it:  some  example  means,  opportuni7es  and  mo7ves.   But  of  what?  Do  they  help  us  iden3fy  what  guerrilla  research  may  or  may  not  be,  or   suggest  what  sorts  of  ac3vi3es  might  count  as  such?   Do  you  have  the  means…?   ..the  mo3ve..?   …the  opportunity?   Of  course  you  do.   127  
  • 128. So:  what  sorts  of  ac7vi7es  do  you  think  might  make  guerrilla  sense  in  your  domain  or   ins7tu7on?   We’re  not  really  looking  for  tradi3onal  research  projects,  done  small  –  that’s  the   realm  of  small  grants.  We’re  looking  for  ways  that  you  can  appropriate  and  maybe   subvert  resources,  tools,  applica3ons,  procedures  or  processes  that  already  exist…   128