Your SlideShare is downloading. ×
Cesar working document 9 urban strategy experiment 6
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Cesar working document 9 urban strategy experiment 6

126
views

Published on

Published in: Technology, Business

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
126
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. CESAR  WORKING  DOCUMENT  SERIES   Working  document  no.9                 DRAWING  VERSUS  CALCULATING     The   difference   in   added   value   between   a   drawing   PSS   (Phoenix)   and   a   calculating  PSS  (Urban  Strategy)  (trial  No6)       M.  te  Brömmelstroet   14  March  2014             This  working  document  series  is  a  joint  initiative  of  the  University  of  Amsterdam,    Utrecht  University,  Wageningen  University  and   Research  centre  and  TNO               The  research  that  is  presented  in  this  series  is  financed  by  the  NWO  program  on  Sustainable  Accessibility  of  the  Randstad:   http://dbr.verdus.nl/pagina.asp?id=750        
  • 2. CESAR Working Document Series no. 9 Drawing vs. calculating Page 2 TABLE  OF  CONTENT   1.   INTRODUCTION  ...............................................................................................................  3   2.   SETUP  OF  THE  EXPERIMENT  ............................................................................................  4   2.1   Urban  Strategy  ......................................................................................................................  4   2.2   Phoenix  .................................................................................................................................  5   2.3   Setup  of  the  experiment  .......................................................................................................  6   Student  groups  .............................................................................................................................  6   Control  and  treatments  ................................................................................................................  7   2.4   Data  gathering  and  analysis  ..................................................................................................  7   3.   EVALUATION  RESULTS  .....................................................................................................  9   3.1   Perceived  quality  of  the  planning  process  ............................................................................  9   3.2   Perceived  quality  of  the  planning  outcome  ........................................................................  10   3.3   Perceived  Usability  of  the  PSS  ............................................................................................  11   4.   CONCLUSIONS  AND  IMPLICATIONS  ...............................................................................  13   4.1   Reflections  ..........................................................................................................................  13   4.2   General  conclusions  ...........................................................................................................  13   REFERENCES  ..........................................................................................................................  14   APPENDIX  I:  COMPETITION  SHEET  (DUTCH)  .........................................................................  15   5.   STEDELIJKE  PLANNING  COMPETITIE  ..............................................................................  15   5.1   Introductie  ..........................................................................................................................  15   APPENDIX  II:  THE  ROLES  AND  THEIR  INFORMATION  (DUTCH)  .............................................  17   APPENDIX  II:  EVALUATION  FORM  FOR  QUALITY  OF  THE  PROCES  ........................................  21   APPENDIX  III:  EVALUATION  FORM  FOR  QUALITY  OF  THE  OUTCOME  ...................................  23   APPENDIX  IV:  EVALUATION  FORM  FOR  USABILITY  OF  PSS  ...................................................  24    
  • 3. CESAR Working Document Series no. 9 Drawing vs. calculating Page 3 1. INTRODUCTION   In  this  working  document  we  report  on  a  sixth  randomized  controlled  trial  to  test  the  added  value   of  Planning  Support  Systems  (PSS)  in  strategy  making  practices.  In  this  trial  we  are  focussing  on  the   differences  between  a  PSS  that  aims  to  support  collective  drawing  (Phoenix  of  Geodan)  and  one   that  aims  to  offer  quick  calculations  of  effects  (TNO’s  Urban  Strategy).       Both   state   of   the   art   instruments   claim   and   aim   to   improve   strategy-­‐making   processes   in   urban   planning  practice.  In  this  research  line,  these  claims  are  tested  under  controlled  conditions.  In  trial   six,  the  goal  is  to  find  out  what  the  strengths  and  weaknesses  are  of  an  instrument  that  specifically   offers  support  for  collective  drawing  and  designing  (Phoenix)  and  an  instrument  that  offers  explicit   knowledge  about  the  effects  of  urban  interventions  (Urban  Strategy).     To  do  so,  we  have  designed  a  trial  in  which  groups  of  students  from  the  Urban  Planning  bachelor  of   the  University  of  Amsterdam  were  invited  to  create  designs  for  an  area  in  the  city  of  Utrecht.  The   nine  groups  were  randomly  divided  over  three  conditions:  business  as  usual,  support  by  Phoenix   and  support  by  Urban  Strategy.  We  were  especially  interested  in  how  these  different  treatments   would  influence  the  usability  of  PSS  and  the  general  quality  of  the  planning  process  and  planning   outcomes.  To  do  so,  we  made  use  of  the  conceptual-­‐  and  measuring  frameworks  as  introduced  and   discussed  in  CESAR  Working  Document  No.  1.       First,  we  describe  the  setup  of  the  experiment  and  the  different  treatments  that  we  have  compared   (section  2).  Then,  the  findings  of  the  experiment  are  presented  (section  3).  In  the  fourth  section  we   will  briefly  discuss  the  implications  of  these  findings  and  further  research.        
  • 4. CESAR Working Document Series no. 9 Drawing vs. calculating Page 4 2. SETUP  OF  THE  EXPERIMENT   2.1 Urban  Strategy     TNO   started   around   2005   with   the   development   of   Urban   Strategy   (Borst   et   al.   2007;   2009a;   2009b).   This   instrument   specifically   aims   to   bridge   the   existing   flexibility-­‐   and   communication   bottlenecks  that  severely  limit  the  usability  of  many  PSS.  Urban  Strategy  aims  to  improve  complex   spatial  planning  processes  on  the  urban-­‐  and  regional  level.  To  do  this,  different  computer  models   are  linked  to  a  central  database  and  interface  to  provide  insights  in  a  wide  area  of  urban  indicators   and  maps.  The  effects  of  interventions  in  infrastructure,  land  use,  build  objects  and  their  functions   can  be  calculated  and  visualized.  Because  the  PSS  is  able  to  calculate  fast  and  present  the  results  in   an   attractive   1D,   2D   and   3D   visualisation   this   can   be   used   in   interactive   sessions   with   planning   actors.       Starting  point  for  Urban  Strategy  is  the  use  of  existing  state-­‐of-­‐the-­‐art  and  legally  accepted  models.   To  link  these  existing  models  a  number  of  new  elements  were  developed:   - a  database  with  an  uniform  datamodel;   - interfaces  that  show  a  3D  image  of  the  modeled  situation,  indicators  and  that  offer  functionality   to  add  interventions;   - a  framework  that  structures  the  communication  between  the  models  and  the  interfaces.     The  goal  of  Urban  Strategy  is  to  enable  planning  actors  in  workshop  sessions  to  communicate  their   ideas  and  strategies  to  the  PSS  and  to  learn  from  the  effects  that  are  shown.  This  interactivity  calls   for  fast  calculations  of  all  the  model  and  fast  communication  between  all  elements.  For  this,  the   models   were   enabled   to   respond   on   events   (urban   interventions   from   the   participants   in   the   workshops.  A  new  software  architecture  was  developed  to  have  all  these  elements  communicate   (figure  2).     Through  this  increases  speed  and  the  wide  variety  of  models  that  are  linked  together,  the  PSS  aims   to   be   highly   flexible   in   offering   answers   to   a   large   number   of   questions   that   a   group   of   urban   planning  actors  can  have.     Figure  2      Schematic  overview  of  communication  architecture  of  Urban  Strategy.         The  3D  interface  generates,  based  on  objects  in  the  database,  a  3D  digital  maquette  of  the  urban   environment.  To  this,  different  information  layers  can  be  addes,  such  as  air  quality  contours,  noise   contours  and  groundwater  levels.  Also,  the  objects  can  be  colored  according  to  their  characteristics   (function,  energy  use,  CO2  emissions,  number  of  inhabitants,  etc).  The  2D  interface  can  be  used  by   the  end  user  (or  operator)  to  add  changes  to  the  database.  Objects  can  be  added  or  removed,  their   location  can  be  changed  and  the  characteristics  of  the  object  can  be  changed.  The  1D  interface   shows   indicators   that   are   calculated   by   all   the   models   that   are   included.   Examples   are   the  
  • 5. CESAR Working Document Series no. 9 Drawing vs. calculating Page 5 percentage  of  noise  hindrance,  group  risk  in  an  area  or  the  contribution  of  types  of  objects  to  CO2   emission.       Figure  3      The  three  interfaces  of  Urban  Strategy             Urban   Strategy   as   a   PSS   is   not   only   a   computer   instrument,   but   also   offers   process   support   for   groups  of  planning  participants.  It  does  so  by  using  a  Maptable  (a  surface  table  screen  on  which   people  can  interact  with  the  information  from  the  instrument)  and  by  having  a  mediator  organize   the  exchange  of  knowledge  between  participants  and  between  them  and  the  computer  instrument.     Using  Urban  Strategy  in  a  participatory  setting  is  supported  by  a  mediator  (who  guides  the  process   and  interaction  between  the  instrument  and  the  users)  and  two  chauffeurs  (who  translate  ideas   into  the  instrument  and  run  the  analyses).       2.2 Phoenix   The  map  is  a  natural  platform  for  discussion.  This  new  touch  table  application  supports  this  for   effective  internal  and  external  communication.  By  combining  simple  controls  with  a  clear  user   interface  design  it  offers  valuable  tools  for  interaction.  Phoenix  allows  users  to  quickly  combine  and   overlay  layers  of  huge  amounts  of  geographical  information,  to  consult  data  and  to  draw   interventions.  It  can  be  using  for  a  wide  range  of  processes  and  spatial  scales,  ranging  from  local   participatory  processes  to  regional  location  decisions  to  international  negotiations.         Through  this,  Phoenix  allows  the  users  to  use  maps  that  are  often  individually  used  in  interactive   situations.   The   focus   is   not   on   specialist   operations   and   analysis   but   on   clear   visualization,   accessible  map  navigation  in  2D  and  3D  and  easy  ways  to  draw  interventions  or  make  notes.  For   this   purpose,   Phoenix   offers   a   package   of   specially   designed   hard-­‐   and   software   that   is   also   accessible  and  usable  for  actors  without  a  technical  background.     Using  Phoenix  in  a  participatory  setting  is  supported  by  a  mediator  and  one  chauffeur.                
  • 6. CESAR Working Document Series no. 9 Drawing vs. calculating Page 6     Figure  4      Phoenix  as  a  information  sharing  platform             2.3 Setup  of  the  experiment     The  research  question  is:  Is  there  a  difference  in  the  added  value  of  a  communicating  PSS  and  a   analytical  PSS  for  the  quality  of  strategy  making?     We  designed  our  study  as  a  randomized  controlled  laboratory  experiment.  With  this  we  aimed  to   optimize  the  internal  and  external  validity  of  our  findings.  Testing  general  claims  of  the  PSS   literature  calls  for  a  strong  focus  on  the  ability  to  translate  our  findings  to  theory.  Although  we   aimed  to  mirror  characteristics  of  urban  planning  practice  (see  below),  the  focus  on  internal  and   external  validity  means  a  sacrifice  of  ecological  validity.   Student  groups   The  experiment  was  set  up  as  an  obligatory  part  of  a  second  year  combined  course  of  the  Urban   Planning  and  Social  Geography  bachelors  of  the  University  of  Amsterdam.  For  these,  students  were   randomly  assigned  to  a  group.  Each  of  these  groups  of  about  8  students  were  asked  to  join  a  90   minute  urban  strategy  making  competition  for  an  infill  area  in  the  city  of  Utrecht.  On  arrival,  each   groups  was  presented  with  an  existing  plan  for  the  area  (figure  5)  and  problems  of  this  plan  on  air   quality,  noise  and  mobility.  Among  the  students,  four  roles  were  assigned  randomly:  transport   planner,  environmental  advisor,  urban  designer  and  citizen.  Each  of  these  roles  received  a  specific   role  specific  problem  definition  and  goal.  To  win  the  competition,  each  role  competed  with  the   same  roles  in  other  groups.     A  total  of  69  students  participated  in  9  groups.              
  • 7. CESAR Working Document Series no. 9 Drawing vs. calculating Page 7 Fig.  4.  Urban  infill  plan  for  the  Cartesiusdriehoek  area  in  the  city  center  of  Utrecht     Control  and  treatments   The  nine  groups  were  randomly  divided  into  control  and  treatment  conditions.  The  three  control   groups  received  no  support;  they  were  assigned  to  a  table  with  empty  plans,  instructed  to  start,   and  informed  when  the  time  was  up.  Three  groups  received  the  full  support  by  TNO’s  Urban   Strategy,  together  with  their  mediator  and  chauffeurs.  The  other  three  groups  received  the  full   support  by  Geodan  with  their  mediator  and  chauffeur.           Fig.  6.  Physical  setup  for  groups:  Control  group  (left)  Urban  Strategy  (middle)  and  Phoenix  (right)                 2.4 Data  gathering  and  analysis   To  find  out  if  there  are  any  systematic  differences  in  the  performance  of  the  control-­‐  and  treatment   groups  we  have  made  use  of  several  data  gathering  techniques.  For  this  we  used  the  framework  for   quality  of  planning  as  presented  on  the  2013  CUPUM  conference.  See  table  1  for  the  dimensions   and  subdimensions  that  were  measured.      
  • 8. CESAR Working Document Series no. 9 Drawing vs. calculating Page 8 Table  1.  Dimensions  of  the  quality  of  planning         First,  two  external  planning  experts  (PhD  candidates  in  Urban  Planning  of  the  University  of   Amsterdam)  rated  the  general  quality  of  the  resulting  strategies.  For  each  strategy,  they  were   asked  to  respond  to  statements  on  the  dimensions  A  to  F  of  table  1  (on  a  7  point  Likert  scale).  They   were  not  informed  of  the  hypothesis,  nor  were  they  aware  of  which  strategies  came  from  control-­‐   or  treatment  groups.       Secondly,  all  participants  filled  in  an  evaluation  form  in  which  we  solicited  their  personal   perceptions  of  the  quality  of  the  planning  process.  They  responded  to  statements  relating  to  the   dimensions  J-­‐W  of  table  1.  And  thirdly,  we  have  used  direct  observation.  These  observations  were   mainly  used  to  understand  the  outcomes  of  the  first  three  analytical  instruments.     For  the  analysis,  the  responses  on  the  statements  were  averaged  and  then  compared  and  tested   for  systematic  differences.  To  indicate  the  strength  of  the  differences  in  effects,  we  used  the  p-­‐ value  of  a  ANOVA  F-­‐test  to  compare  two  independent  means  (<0,05  is  considered  statistical   significant).  The  statements  were  grouped  for  the  subdimensions  and  overall  dimensions  by   averaging  them.  The  two  statements  on  conflict  were  first  inverted  to  make  them  compatible  with   this  process.  For  the  outcome  dimensions,  the  scores  of  the  raters  were  also  averaged  and  then   processed  in  the  same  way.     Finally,  when  relevant,  we  asked  the  participants  to  rate  the  used  PSS  on  a  number  of  generic   usability  indicators,  using  a  7-­‐point  Likert  scale.        
  • 9. CESAR Working Document Series no. 9 Drawing vs. calculating Page 9 3. EVALUATION  RESULTS   3.1 Perceived  quality  of  the  planning  process   All  findings  are  represented  in  figure  7.  On  the  x-­‐axis,  all  process  dimensions  are  represented  (the   grouped  dimensions  are  capitalized).  The  y-­‐axis  represents  the  average  score  on  a  seven  point   Likert  Scale.  Table  2  presents  the  outcomes  in  more  detail.  Also,  the  differences  (between  the  PSS   and  the  control  group  and  between  the  PSS  themselves)  and  their  statistical  significance  are   presented.     We  see  here  that  the  scores  of  the  treatment  groups  are  relatively  high  (an  overall  overage  of  5.2).   Especially  on  consensus  (on  problem  and  strategies)  and  role  satisfaction.  Participants  that  were   supported  by  Phoenix  perceived  less  quality  of  the  process  on  all  measured  dimensions.    Urban   Strategy  scores  lower  on  some  dimensions  (i.e.  Shared  language,  Consensus  and  Role  satisfaction)   and  higher  in  others  (most  notably  in  Reaction  and  Insight)     Fig.  7.  Scores  on  all  process  dimensions  on  7-­‐point  Likert  scale  (composite  dimensions  are  capitalized)         Table  2.  Scores,  differences  and  p  values  on  all  process  dimensions  (significant  differences  are  highlighted)           Average   control   Urban   Strategy   Phoenix   Dif  US   P  value  US   Dif   Phoenix   P  value  Phoenix   Dif  US  -­‐   Phoenix   Pvalue  US   -­‐  Phoenix   REACTION   5,26   5,42   4,89   0,15   0,571   -­‐0,37   0,138   0,53   0,071     ENTHUSIASM   5,10   5,58   4,98   0,49   0,098   -­‐0,12   0,695   0,60   0,038     SATISFACTION   5,62   5,63   5,25   0,01   0,982   -­‐0,37   0,125   0,37   0,188     CREDIBILITY   5,05   5,10   4,47   0,05   0,887   -­‐0,58   0,077   0,63   0,077   INSIGHT   4,81   5,06   4,66   0,25   0,26   -­‐0,16   0,423   0,40   0,045     INSIGHTPROBLEM   4,73   5,05   4,66   0,33   0,2   -­‐0,07   0,775   0,40   0,095     INSIGHTASSUMPTIONS   4,88   5,07   4,66   0,18   0,43   -­‐0,23   0,304   0,41   0,062   COMMITMENT   5,62   5,54   5,04   -­‐0,08   0,826   -­‐0,58   0,046   0,50   0,181   COMMUNICATION   5,19   5,38   5,04   0,18   0,47   -­‐0,15   0,64   0,33   0,267   SHAREDLANGUAGE   5,00   4,52   4,27   -­‐0,48   0,105   -­‐0,73   0,005   0,25   0,390   CONSENSUS   5,66   5,33   5,34   -­‐0,34   0,193   -­‐0,32   0,162   -­‐0,02   0,952     CONSENSUSPROBLEM   5,74   5,23   5,33   -­‐0,51   0,101   -­‐0,40   0,13   -­‐0,10   0,742     CONSENSUSGOALS   5,38   5,29   5,21   -­‐0,09   0,774   -­‐0,17   0,566   0,08   0,785     CONSENSUSSTRATEGIES   5,74   5,44   5,42   -­‐0,30   0,267   -­‐0,32   0,175   0,02   0,942   COHESION   4,67   4,47   4,01   -­‐0,20   0,472   -­‐0,66   0,013   0,46   0,065   EFFICIENCY   5,19   4,92   4,25   -­‐0,27   0,541   -­‐0,94   0,043   0,67   0,143   ROLLEN   5,78   5,40   5,28   -­‐0,38   0,164   -­‐0,50   0,051   0,13   0,678   TOTAAL   5,15   5,11   4,75   -­‐0,05   0,812   -­‐0,41   0,022   0,36   0,085                             N   21   24   24              
  • 10. CESAR Working Document Series no. 9 Drawing vs. calculating Page 10 3.2 Perceived  quality  of  the  planning  outcome   Figure  8  has  a  similar  setup  as  figure  7.  The  scores  of  the  two  raters  are  averaged  per  statement   and  than  averaged  for  each  dimension.  Table  3  presents  the  detailed  scores  and  differences.  Here,   we   see   that   the   Urban   Strategy   groups   score   higher   on   all   measured   dimensions,   except   on   implementability.  The  plans  of  the  groups  that  were  supported  by  Phoenix  score  lowest  on  most   dimensions.       Fig.  8.  Scores  on  all  outcome  dimensions  on  7-­‐point  Likert  scale  (composite  dimensions  are  capitalized)       Table  3.  Scores,  differences  and  p  values  on  all  outcome  dimensions  (there  are  no  significant  differences)         Average   control   Urban   Strategy   Phoenix   Dif  US   P  value  US   Dif   Phoenix   P  value   Phoenix   Dif  US  -­‐   Phoenix   Pvalue  US  -­‐   Phoenix   NOVELTY   3,89   4,28   4,00   0,39   0,600   0,11   0,808   0,28   0,733     ORIGINALITY   3,75   4,33   3,88   0,58   0,477   0,13   0,775   0,46   0,608     PARADIGM  RELATEDNESS   4,17   4,17   4,25   0,00   1,000   0,08   0,872   -­‐0,08   0,911   WORKABILITY   4,33   4,50   4,33   0,17   0,587   0,00   1,000   0,17   0,609     IMPLEMENTABILITY   4,17   3,83   3,67   -­‐0,33   0,653   -­‐0,50   0,417   0,17   0,834     ACCEPTABILITY   4,39   4,72   4,56   0,33   0,349   0,17   0,101   0,17   0,624   RELEVANCE   4,44   4,50   3,72   0,06   0,768   -­‐0,72   0,334   0,78   0,296     APPLICABILITY   4,67   4,83   4,17   0,17   0,519   -­‐0,50   0,588   0,67   0,477     EFFECTIVENESS   4,33   4,33   3,50   0,00   1,000   -­‐0,83   0,238   0,83   0,238   SPECIFICITY   4,88   5,08   4,48   0,20   0,305   -­‐0,40   0,160   0,60   0,074     COMPLETENESS   4,60   4,79   4,29   0,19   0,329   -­‐0,31   0,171   0,50   0,057     IMPLICATIONAL  EXPLICITNESS   5,33   5,67   4,67   0,33   0,422   -­‐0,67   0,294   1,00   0,101     CLARITY   5,67   5,83   5,08   0,17   0,519   -­‐0,58   0,165   0,75   0,134   TOTAL   4,47   4,70   4,25   0,23   0,385   -­‐0,22   0,434   0,45   0,249                             N   3   3   3                                            
  • 11. CESAR Working Document Series no. 9 Drawing vs. calculating Page 11 3.3 Perceived  Usability  of  the  PSS   Figure  9  and  table  4  present  the  scores  on  the  generic  usability  characteristics  as  perceived  by  the   participants.  On  all  dimensions,  Urban  Strategy  scores  higher.  This  difference  can  be  considered   statistical  significant  for  the  dimensions  Credibility,  Extensiveness,  Level  of  Detail,  and  for  the  total   usability.     Fig.  9.  Scores  on  generic  usability  characteristics  of  the  PSS  on  7-­‐point  Likert  scale           Table  4.  Detailed  results  for  the  usability  characteristics   Transparancy Communicative value Clarity Userfriend- lyness Credi bility Extensive- ness Focus Leve of detail Easy to understand Connects to role Urban Strategy Mean 5,57 5,79 5,92 5,57 5,96 6,08 5,43 5,63 5,83 5,58 N 23 24 24 23 24 24 23 24 23 24 Std. Deviation ,992 1,285 1,100 ,843 ,859 ,830 1,121 1,056 ,984 1,349 Phoenix Mean 5,36 5,29 5,46 5,17 4,88 5,38 5,08 4,54 5,57 5,17 N 22 24 24 23 24 24 24 24 23 24 Std. Deviation ,727 ,690 ,884 1,029 ,850 1,245 1,018 1,351 1,161 1,167 Sig.     0,443   0,1   0,118   0,165   0   0,025   0,266   0,003   0,415   0,258     Supports evaluating ideas Supports generating ideas Supports sketching Bullshit detector Creativity support Understand able indicators Efficiency Total Urban Strategy Mean 5,58 5,42 5,83 4,96 4,00 4,83 5,46 5,50 N 24 24 24 23 24 23 24 24 Std. Deviation 1,018 1,213 1,007 1,522 1,44463 1,403 1,318 ,56014 Phoenix Mean 5,38 5,42 5,63 4,38 3,58 4,35 5,04 5,03 N 24 24 24 24 24 23 23 24 Std. Deviation 1,096 1,283 ,970 1,439 1,41165 1,027 1,296 ,53076 Sig.     0,498   1   0,469   0,185   0,317   0,194   0,283   0,005  
  • 12. CESAR Working Document Series no. 9 Drawing vs. calculating Page 12   When  we  zoom  in  on  the  differences  in  roles  we  find  two  significant  differences  for  Urban  Strategy   and  one  for  Phoenix  (figure  10).     Fig.  9.  Role  specific  scores  on  usability  characteristics  based  on  significant  effects  for  Urban  Strategy  (left)  and  Phoenix   (right)          
  • 13. 4. CONCLUSIONS  AND  IMPLICATIONS   4.1 Reflections   There  are  several  important  reflections  to  make  on  the  methodology  that  have  serious  implications   for  the  results  and  their  generalizability.  The  laboratory  setup  with  students  allows  for  strong   control  over  the  treatment  and  control  groups,  but  it  also  simplifies  the  complexity  of  daily   planning  practice  on  some  important  aspects.  The  most  important  limitations  are  discussed  below.       Students:  In  the  context  of  planning  practice,  the  student  population  of  this  experiment  can  be   considered  as  being  empty  vessels.  They  do  not  have  much  tacit  knowledge  about  the  issues  in  the   Waalhaven  case;  neither  do  they  have  vested  interests  or  accountability  for  it.  This  makes  the   experiment  relatively  insensitive  for  some  important  effects  that  can  be  expected  in  real  planning   practice,  such  as  developing  a  shared  language  or  gaining  consensus.  Related  to  that,  we  would  also   expect  to  see  more  effects  on  the  quality  of  the  planning  outcome  in  such  a  practical  environment.       First  timers:  A  large  majority  of  the  students  stated  in  the  open  question  that  they  enjoyed  the   strategy  making  exercise,  since  they  never  did  this  before.  This  is  mirrored  in  the  relatively  high   scores  on  the  process  dimensions  (such  as  satisfaction)  by  the  students  in  the  control  group.  Again,   this  makes  the  experiment  less  sensitive  for  process  effects  that  would  be  expected  in  planning   practice.  Here,  the  participants  would  have  much  more  (negative  and  positive)  experiences  with   similar  processes  and  are  better  able  to  assess  the  added  value  of  Urban  Strategy.  Also,  they  would   be  able  to  score  the  instrument  characteristics  (table  3)  more  in  relation  to  other  instruments.   Related  to  that,  we  cannot  assume  that  the  control  group  worked  as  ‘business  as  usual’.       Raters:  Due  to  time  constraints,  we  worked  with  two  external  raters  from  the  University  of   Amsterdam.  For  them  it  was  difficult  to  assess  some  of  the  quality  dimensions  of  the  planning   outcome.  This  affected  both  their  judgment  of  the  control  and  treatment  planning  outcomes,  which   makes  its  implications  less  relevant.  They  both  noted  that  the  outcomes  were  poorly  written  and   some  lacked  a  legend.  This  sometimes  made  rating  difficult.     4.2 General  conclusions     With   these   methodological   limitations   in   mind,   the   experiment   has   offered   us   some   interesting   insights  how  the  usability  and  use  of  two  different  types  of  PSS:  communicating  and  analytical.       As  in  earlier  experiments  the  generic  usability  characteristics  of  both  instruments  are  highly  rated.   Overall,  participants  are  enthusiastic  about  the  instrument  and  often  surprised  about  its  speed  and   ease  of  use.       The  data  of  this  experiment  does  not  allow  to  draw  many  hard  conclusions.  However,  we  can  say   that  in  this  case  Urban  Strategy  is  considered  to  be  significantly  more  usable  than  Phoenix.  Also,   participants   that   have   worked   with   Urban   Strategy   score   significantly   higher   on   Enthusiasm   and   Insight   than   the   participants   that   worked   with   Phoenix.   Observations   indicated   that   these   could   relate  to  the  process  in  which  the  students  were  engaged  with  the  instrument.  Phoenix  decided  to   follow   a   process   in   which   each   role   was   coming   to   the   table   and   then   conflicts   were   discussed,   while  Urban  Strategy  focused  more  on  getting  all  roles  together  and  engaged  with  the  instrument   and  eachother.  Again,  as  also  found  in  the  earlier  experiments,  it  seems  that  this  process  is  the   main  element  on  which  the  effect  of  PSS  can  be  (easily  and  significantly)  improved.    
  • 14. CESAR Working Document Series no. 9 Drawing vs. calculating Page 14 REFERENCES   Al,  J.,  &  van  Tilburg,  W.  (2005).  Basisboek  instrumenten  regionale  bereikbaarheid.  Rotterdam:   Rijkswaterstaat  AVV.   Couclelis,  H.  (2005).  “Where  has  the  future  gone?”  Rethinking  the  role  of  integrated  land-­‐use   models  in  spatial  planning.  Environment  and  Planning  A,  37,  1353-­‐1371.   Dean,  D.  L.,  Hender,  J.  M.,  Rodgers,  T.  L.,  &  Santanen,  E.  L.  (2006).  Identifying  Quality,  Novel,  and   Creative  Ideas:Constructs  and  Scales  for  Idea  Evaluation.  Journal  of  the  Association  for   Information  Systems,  7,  646-­‐699.   Friedmann,  J.  (1987).  Planning  in  the  public  domain:  From  knowledge  to  action.  Princeton:   Princeton  University  Press.   Klosterman,  R.  (1999).  The  What  If?  collaborative  planning  support  system.  Environment  and   Planning  A,  26,  393-­‐408.   Lee,  D.  B.  (1973).  Requiem  for  large-­‐scale  models.  Journal  of  the  American  Planning  Association,  39,   pp.  163-­‐178.   Lee,  D.  B.  (1994).  Retrospective  on  large-­‐scale  urban  models.  Journal  of  the  American  Planning   Association,  60,  35-­‐40.   Rittel,  H.,  &  Webber,  M.  (1984).  Dilemmas  in  a  general  theory  of  planning.  In  N.  Cross  (Ed.),   Developments  in  design  methodology  pp.  135-­‐144).  Chicester:  John  Wiley  and  Sons.   Rouwette,  E.  A.  J.  A.,  Vennix,  J.  A.  M.,  &  Van  Mullekom,  T.  (2002).  Group  model  building   effectiveness:  a  review  of  assessment  studies.  System  Dynamics  Review,  18,  5-­‐45.   Te  Brömmelstroet,  M.  (2010).  Equip  the  warrior  instead  of  manning  the  equipment:  Land  use  and   transport  planning  support  in  the  Netherlands.  Journal  of  Transport  and  Land  Use,  3,  25-­‐41.   Te  Brömmelstroet,  M.  (2011).  What  do  we  support  and  how  (well)  do  we  do  it?  A  multidimensional   framework  to  measure  the  effectiveness  of  Planning  Support  Systems.  Environment  and   Planning  B:  Planning  and  Design,  submitted.   Te  Brömmelstroet,  M.,  &  Schrijnen,  P.  M.  (2010).  From  Planning  Support  Systems  to  Mediated   Planning  Support:  A  structured  dialogue  to  overcome  the  implementation  gap.  Environment   and  Planning  B:  Planning  and  Design,  37,  3-­‐20.   Vonk,  G.  (2006).  Improving  planning  support;  The  use  of  planning  support  systems  for  spatial   planning.  Utrecht:  Nederlandse  Geografische  Studies.   Vonk,  G.,  &  Ligtenberg,  A.  (2009).  Socio-­‐technical  PSS  development  to  improve  functionality  and   usability—Sketch  planning  using  a  Maptable.  Landscape  and  Urban  Planning,   doi:10.1016/j.landurbplan.2009.10.001           Waddell,  P.  (2002).  UrbanSim:  Modeling  Urban  Development  for  Land  Use,  Transportation  and   Environmental  Planning.  Journal  of  the  American  Planning  Association,  68,  297-­‐314.   Waddell,  P.  (2011).  Integrated  Land  Use  and  Transportation  Planning  and  Modelling:  Addressing   Challenges  in  Research  and  Practice.  Transport  Reviews,  31,  209-­‐229.        
  • 15. CESAR Working Document Series no. 9 Drawing vs. calculating Page 15 APPENDIX  I:  COMPETITION  SHEET  (DUTCH)   5. STEDELIJKE  PLANNING  COMPETITIE     Datum:     29/30  Oktober  2013     5.1   Introductie   Utrecht  wil  zich  in  de  toekomst  verder  ontwikkelen  als  aantrekkelijke  stad  voor  creatieve   bedrijven  en  jonge  gezinnen.  Daarvoor  wordt  nu  vooral  gezocht  naar  locaties  binnen  de   bestaande  stad  die  in  aanmerking  komen  voor  herontwikkeling.  Doordat  deze  plekken  op   korte  afstand  liggen  van  het  centrum  bieden  ze  de  stad  interessante  ontwikkelingslocaties.  Eén   van  deze  locaties  is  de  zogenaamde  Cartesiusdriehoek  (zie  figuur  1)   Figuur  1:  Locatie  Cartesiusdriehoek  in  de  Utrechtse  binnenstad       De  Cartesiusdriehoek  zou  een  creatieve  zone  moeten  worden  waar  hoog  stedelijk  wonen,   sport,  ontspanning  en  kleine  dienstverlening  hand-­‐in-­‐hand  gaan.  Het  moet  daarbij  voorop   lopen  op  het  gebied  van  milieuvriendelijke  en  duurzame  stedelijke  ontwikkeling.  Dat  schrijft   de  gemeente  Utrecht  in  een  uitgebreide  visie.  Daarvoor  moet  de  wegenstructuur  worden   aangepast,  is  er  meer  groen  nodig  en  zouden  er  enkele  cafés  moeten  komen,  zegt  de  gemeente.   Ook  moet  er  op  het  terrein  gezinsappartementen  en  een  groot  bedrijfsverzamelgebouw   verrijzen.  De  contouren  van  deze  strategie  zijn  in  een  ontwerp  vastgelegd  (figuur  2).   Het  ontwerp  scoort  helaas  nog  mager  op  ruimtelijke  kwaliteit.  Daarnaast  zijn  er,  door  de   ligging  in  de  buurt  van  het  spoor  en  in  het  oude  industrieterrein,  een  aantal  harde  (milieu-­‐ )grenzen  die  overschreden  worden.  De  milieudruk  in  het  plangebied  is  zeer  hoog.  De   naastgelegen  industrie  zorgt  voor  de  nodige  geluidsoverlast  en  heeft  een  nadelig  effect  op  de   luchtkwaliteit  in  het  plangebied.  Daarnaast  is  geluidsoverlast  van  het  spoor  groot  en  zijn  er   vragen  gesteld  over  de  veiligheid  van  het  spoor:  er  komen  hier  namelijk  af  en  toe  transporten   met  gevaarlijke  stoffen  langs.    De  Cartesiusweg  levert  de  nodige  geluidsoverlast  in  het   plangebied.  Hoewel  de  doorstroming  op  de  Cartesiusweg  goed  is,  is  de  verkeersafwikkeling  
  • 16. CESAR Working Document Series no. 9 Drawing vs. calculating Page 16 direct  buiten  het  plangebied  ook  een  punt  van  discussie.  Deze  was  zonder  dit  plan  al   problematisch,  maar  wordt  door  de  bijdrage  van  het  plangebied  alleen  maar  verergerd.   Aan  jullie  de  opdracht  om  hiervoor  en  op  basis  van  de  aangereikte  informatie  een  zo  goed   mogelijk  alternatieve  strategie  op  te  stellen.     Figuur  2:  Kaart  van  het  gebied  met  een  indeling  van  woningen  (appartementen),  horeca,     winkels,  groen  en  een  wegenstructuur  .       Opdracht   In  90  minuten  met  je  team  tot  een  verbeterd  plan  komen.  Eén  kaart  (+legenda)  en  een   toelichting  worden  door  ons  beoordeeld  op  hoe  aantrekkelijk  het  gebied  wordt  en  hoe   het  scoort  op  ruimtelijke  kwaliteit  en  milieueisen.  Daarnaast  wordt  gekeken  naar   innovatie,  relevantie,  haalbaarheid  en  specificiteit  van  jullie  plan.                                    
  • 17. CESAR Working Document Series no. 9 Drawing vs. calculating Page 17 APPENDIX  II:  THE  ROLES  AND  THEIR  INFORMATION  (DUTCH)   ~UW  ROL~     De   ontwerpcompetitie   gaat   uit   van   verschillende   rollen.   Iedere   groep   bestaat   uit   stedenbouwkundigen,  milieu  adviseurs,  verkeerskundigen  en  burgers.  Voor  ieder  van  deze  rollen   staat  een  prijs  op  het  spel  voor  de  groep  die  het  rol-­‐specifieke  belang  het  beste  in  het  uiteindelijke   plan  hebben  gekregen.     Uw  rol  is  STEDENBOUWKUNDIGE  (Zilveren  hoed).  Dit  houdt  concreet  in  dat  u  wordt  gevraagd  om   op   basis   van   de   programmatische   uitgangspunten   een   ruimtelijk   plan   op   te   stellen   en   daarbij   tijdens  het  gehele  proces  zo  goed  mogelijk  te  letten  op  de  algehele  kwaliteiten  en  uitstraling  van   het   plan.   Als   er   enkel   naar   juridische   randvoorwaarden   wordt   gekeken,   wordt   er   misschien   een   gebied   ontwikkelt   dat   onvoldoende   ruimte   en   flexibiliteit   biedt   en   niet   interessant   is   voor   de   (creatieve)  bedrijven  en  stedelijke  gezinnen  die  zich  hier  kunnen  vestigen.  Het  is  aan  u  en  uw  mede   stedenbouwkundigen  om  dit  te  voorkomen.  Denk  bij  het  plan  vooral  aan  de  verhoudingen  tussen   de  gebouwen  in  het  gebied,  de  aantrekkelijkheid  van  de  openbare  ruimte  (gedurende  de  hele  dag),   de   samenhang   met   omliggende   buurten   en   functies   die   het   gebied   ook   een   interessante   bestemming  voor  Utrechters  kan  maken.     Het   beste   stedenbouwkundige   team   wint   uiteindelijk   het   prijzenpakket.   U   kunt   hierbij   op   de   volgende  aspecten  punten  scoren:   -­‐ algehele  uitstraling  van  het  uiteindelijke  plan  (voor  (creatieve)  bedrijven  en  jonge   gezinnen)   -­‐ Samenhangend  concept   -­‐ Samenhang  met  omliggende  buurten  en  structuur  van  de  stad   -­‐ Ideeën  voor  de  openbare  ruimte  en  sfeerbeeld  van  bebouwing   -­‐ Aandacht  voor  het  plan  zelf  (legenda,  korte  en  bondige  tekst)     Om   te   beginnen   wordt   u   gevraagd   om   samen   met   de   andere   stedenbouwkundigen   1   á   2   verbeteringen  van  het  bestaande  plan  op  te  stellen  vanuit  uw  rol.  U  heeft  daarvoor  vijf  minuten.   Daarna  gaat  u  samen  een  optimaal  nieuw  plan  voor  het  gebied  uitwerken.                                                                            
  • 18. CESAR Working Document Series no. 9 Drawing vs. calculating Page 18   ~UW  ROL~     De   ontwerpcompetitie   gaat   uit   van   verschillende   rollen.   Iedere   groep   bestaat   uit   stedenbouwkundigen,  milieu  adviseurs,  verkeerskundigen  en  burgers.  Voor  ieder  van  deze  rollen   staat  een  prijs  op  het  spel  voor  de  groep  die  het  rol-­‐specifieke  belang  het  beste  in  het  uiteindelijke   plan  hebben  gekregen.     Uw  rol  is  BURGER  (Blauwe  hoed)  die  pal  naast  het  plangebied  woont  (kies  desgewenst  zelf  een   plek).   Dit   houdt   concreet   in   dat   u   twee   belangen   heeft:   Enerzijds   wilt   u   dat   de   nieuwe   ontwikkelingen  niet  teveel  negatieve  effecten  hebben  voor  uw  woongenot  (bv  extra  verkeer).  U   wilt   daarbij   dat   er   in   de   nieuwe   wijk   zoveel   mogelijk   voorzieningen   die   iets   toevoegen   aan   uw   woonomgeving,   zoals   bijvoorbeeld   winkels,   parken   en   een   aantrekkelijke   openbare   ruimte.   Anderzijds  bent  u  ook  kritisch  naar  de  algehele  financiële  huishouding  van  uw  stad.  Al  die  grote  en   dure  projecten  waarvan  het  voor  u  onduidelijk  is  wat  de  meerwaarde  voor  de  Utrechter  is.  Daarom   kijkt  u  ook  kritisch  naar  de  ambities  die  in  het  gebied  worden  gerealiseerd  en  hoe  deze  volgens  u   wel  of  niet  bijdragen  aan  een  de  buurt  en  de  stad.  Wees  samen  met  de  andere  burgers  in  uw  groep   zoveel  mogelijk  de  kritische  luis  in  de  pels  voor  de  andere  deskundigen.     Het   beste   team   van   burgers   wint   uiteindelijk   het   prijzenpakket.   U   kunt   hierbij   op   de   volgende   aspecten  punten  scoren:   -­‐ Blijven  de  kosten  voor  de  Utrechtse  belastingbetaler  binnen  de  perken?   -­‐ Blijven  de  negatieve  effecten  voor  de  omwonende  beperkt?   -­‐ Hoeveel   nuttige   functies   en   voorzieningen   voor   de   omliggende   buurten   is   er   gerealiseerd  in  het  plangebied?     Om  te  beginnen  wordt  u  gevraagd  om  samen  met  de  andere  burgers  1  á  2  verbeteringen  van  het   bestaande  plan  op  te  stellen  vanuit  uw  rol  als  burger.  U  heeft  daarvoor  vijf  minuten.  Daarna  gaat  u   samen  een  optimaal  nieuw  plan  voor  het  gebied  uitwerken.                                                                            
  • 19. CESAR Working Document Series no. 9 Drawing vs. calculating Page 19     ~UW  ROL~     De   ontwerpcompetitie   gaat   uit   van   verschillende   rollen.   Iedere   groep   bestaat   uit   stedenbouwkundigen,  milieu  adviseurs,  verkeerskundigen  en  burgers.  Voor  ieder  van  deze  rollen   staat  een  prijs  op  het  spel  voor  de  groep  die  het  rol-­‐specifieke  belang  het  beste  in  het  uiteindelijke   plan  hebben  gekregen.     Uw  rol  is  VERKEERSKUNDIGE  (Paarse  hoed).  Dit  houdt  concreet  in  dat  u  verantwoordelijk  bent  voor   de  afwikkeling  van  al  het  verkeer  in  en  rond  het  plangebied.  Daarnaast  moet  u  en  uw  team  zo  goed   mogelijk  proberen  om  de  negatieve  effecten  van  deze  mobiliteit  zoveel  mogelijk  te  reduceren.  Kan   het  bestaande  wegennet  al  het  nieuwe  verkeer  in  en  uit  het  plangebied  verwerken?  Ontstaan  er   capaciteitsproblemen   en   hoe   lost   u   dit   op?   Is   er   voldoende   parkeergelegenheid   voorzien?   Daarnaast   moet   u   en   de   andere   verkeerskundigen   ook   kijken   naar   de   mogelijkheden   van   het   openbaar   vervoer,   de   fiets   en   de   voetganger.   Wordt   er   in   het   plangebied   voldoende   aan   hen   gedacht  en  kan  er  wellicht  gebruik  worden  gemaakt  van  faciliteiten  in  aangrenzende  buurten?     Het   beste   team   van   verkeerskundigen   wint   uiteindelijk   het   prijzenpakket.   U   kunt   hierbij   op   de   volgende  aspecten  punten  scoren:   -­‐ Functioneren  van  het  netwerk  in  en  rondom  het  gebied   -­‐ Aandacht  voor  openbaar  vervoer,  fiets  en  voetganger   -­‐ Afdoende  parkeerfaciliteiten   -­‐ Reductie  van  negatieve  effecten  van  mobiliteit  in  en  rond  het  plangebied     Om  te  beginnen  wordt  u  gevraagd  om  samen  met  de  andere  verkeerskundigen  1  á  2  verbeteringen   van  het  bestaande  plan  op  te  stellen  vanuit  uw  rol.  U  heeft  daarvoor  vijf  minuten.  Daarna  gaat  u   samen  een  optimaal  nieuw  plan  voor  het  gebied  uitwerken.                                                                          
  • 20. CESAR Working Document Series no. 9 Drawing vs. calculating Page 20     ~UW  ROL~     De   ontwerpcompetitie   gaat   uit   van   verschillende   rollen.   Iedere   groep   bestaat   uit   stedenbouwkundigen,  milieu-­‐adviseurs,  verkeerskundigen  en  burgers.  Voor  ieder  van  deze  rollen   staat  een  prijs  op  het  spel  voor  de  groep  die  het  rol-­‐specifieke  belang  het  beste  in  het  uiteindelijke   plan  hebben  gekregen.     Uw   rol   is   MILIEU   ADVISEUR   (Gele   hoed).   Dit   houdt   bij   deze   opdracht   concreet   in   dat   u   en   uw   collega-­‐adviseurs   zich   vooral   richten   op   de   randvoorwaarden   voor   het   plan   vanuit   verschillende   milieunormen  en  de  kansen  om  een  hogere  milieukwaliteit  te  realiseren.  Een  focus  op  kansen  in   plaats   van   alleen   op   beperkingen   is   hierbij   belangrijk.   Zo   mogen   er   geen   woningen   worden   gebouwd  op  de  plekken  waar  sprake  is  van  een  overschrijding  van  de  geluidsnormen  en  kan  door   meer   afstand   te   houden   dan   wettelijk   vereist   of   het   treffen   van   maatregelen   (zoals   geluidschermen)  een  betere  geluidkwaliteit  bij  de  woningen  worden  bereikt.  Naast  het  letten  op   externe  problemen  die  worden  veroorzaakt  door  industrie  en  verkeer  moet  u  uiteraard  ook  letten   over  de  milieu-­‐  en  duurzaamheidskenmerken  van  de  geplande  interventies  in  het  plangebied.  Kijk   daarbij  extra  kritisch  naar  de  ideeën  van  de  andere  partijen  in  je  groep.     Het   beste   team   van   milieu   adviseurs   wint   uiteindelijk   het   prijzenpakket.   U   kunt   hierbij   op   de   volgende  aspecten  punten  scoren:   -­‐ De   mate   waarin   het   plan   voldoet   aan   geluids-­‐   en   luchtkwaliteitscontouren   die   worden   veroorzaakt   door   het   spoor   en   de   weg   (hier   mogen   nu   geen   woningen   dichtbij  worden  gepland)   -­‐ De  mate  waarin  het  plan  voldoet  aan  de  contouren  van  de  industrie   -­‐ Reductie  van  negatieve  milieueffecten  in  en  rond  het  plangebied   -­‐ De  milieuvriendelijkheid  van  alle  interventies  en  van  het  algehele  plan     Om  te  beginnen  wordt  u  gevraagd  om  samen  met  de  andere  milieu  adviseurs  1  á  2  verbeteringen   van  het  bestaande  plan  op  te  stellen  vanuit  uw  rol.  U  heeft  daarvoor  vijf  minuten.  Daarna  gaat  u   samen  een  optimaal  nieuw  plan  voor  het  gebied  uitwerken.                                                                                      
  • 21. CESAR Working Document Series no. 9 Drawing vs. calculating Page 21 APPENDIX  II:  EVALUATION  FORM  FOR  QUALITY  OF  THE  PROCESS  (DUTCH)       Uw#groepsnummer: Uw#studentnummer: Wat#was#uw#rol? Ik#heb#er#vertrouwen#in#dat#de#uitkomst#goed#is Ik#ondersteun#de#meeste#resultaten#van#de#sessie De#sessie#heeft#geleid#tot#nieuwe#inzichten Ik#begrijp#nu#de#voorgestelde#oplossingen#van#de#andere# deelnemers#beter Het#resultaat#van#de#sessie#is#gebaseerd#op#correcte#aannames# over#het#stedelijk#systeem De#sessie#was#succesvol Het#proces#heeft#me#inzicht#gegeven#in#de#meningen#en#ideeen# van#anderen#over#het#probleem Ik#heb#een#goed#gevoel#over#de#sessie Ik#heb#nu#meer#inzicht#in#de#processen#die#een#rol#spelen#in#het# probleem Ik#zal#inzichten#uit#de#sessie#gaan#gebruiken#in#mijn#dagelijkse# praktijk Ik#begrijp#nu#hoe#andere#deelnemers#het#probleem#zien Het#resultaat#biedt#een#echte#oplossing#voor#het#probleem ############ NVT 1 2 3 4 5 6 7 Zeer.mee oneens Zeer.mee eens Het#is#duidelijk#voor#mij#wat#de#oorzaken#van#het#probleem#zijn De#andere#deelnemers#begrijpen#beter#hoe#ik#het#probleem#zie Ik#ben#tevreden#met#de#sessie De#sessie#heeft#geresulteerd#in#bruikbare#resultaten Mijn#inzicht#in#het#probleem#is#vergroot Mijn#begrip#van#de#meningen#van#andere#deelnemers#over#het# probleem#is#toegenomen We#hebben#tijdens#de#sessie#een#gemeenschappelijke# professionele#taal#ontwikkeld De#sessie#heeft#mijn#inzicht#in#de#relatie#tussen#de#verschillende# elementen#van#het#probleem#vergroot De#andere#deelnemers#zijn#volgens#mij#tevreden#met#de#sessie Stedenbouwkundige# Burger# Milieu#adviseur# Verkeerskundige#
  • 22. CESAR Working Document Series no. 9 Drawing vs. calculating Page 22     Ik#was#goed#in#staat#mijn#mijn#rol#uit#te#voeren We#hebben#een#gedeelde#visie#over#strategische#doelen#bereikt Er#was#sprake#van#conflict#tijdens#de#sessie We#waren#in#staat#consensus#over#het#probleem#te# ontwikkelen We#hebben#een#gedeelde#visie#over#mogelijke#oplossingen# bereikt Er#was#conflict#over#de#uit#te#voeren#taak We#hebben#een#gemeenschappelijke#visie#over#het#probleem# bereikt We#hebben#de#tijd#efficiënt#benut Tijdens#de#sessie#ontstond#een#platform#die#het#delen#van# ideeen#ondersteunde De#sessie#bracht#me#dichter#bij#de#andere#deelnemers Ik#heb#vanuit#mijn#rol#interventies#kunnen#inbrengen#in#het# plan De#onderwerpen#die#vanuit#mijn#rol#van#belang#zijn,#zijn#tijdens# de#sessie#goed#naar#voren#gekomen De#resultaten#zijn#een#integratie#van#diverse#meningen#en# ideeen#van#de#deelnemers Ik#had#een#sterk#groepsgevoel#tijdens#de#sessie Heeft#u#nog#andere#opmerkingen#over#de#sessie? NVT 1 2 3 4 5 6 7 Zeer.mee oneens Zeer.mee eens
  • 23. CESAR Working Document Series no. 9 Drawing vs. calculating Page 23 APPENDIX  III:  EVALUATION  FORM  FOR  QUALITY  OF  THE  OUTCOME  (DUTCH)     Geef a.u.b. het nummer van de strategie aan: NVT 1 2 3 4 5 6 7 De  strategie  is  ingenieus De  strategie  is  fantasierijk De  strategie  is  verrassend De  strategie  is  vernieuwend De  strategie  is  radicaal De  strategie  heeft  een  transformerende  potentie De  strategie  is  eenvoudig  te  implementeren De  strategie  is  sociaal  acceptabel De  strategie  is  juridisch  acceptabel De  strategie  is  politiek  acceptabel De  strategie  heeft  een  duidelijk  verband  met  het  probleem De  strategie  zal  het  probleem  oplossen Dit  is  een  effectieve  strategie De  strategie  kan  worden  opgedeeld  in  verschillende  componenten De  strategie  gaat  in  op  "wie" De  strategie  gaat  in  op  "wat" De  strategie  gaat  in  op  "waar" De  strategie  gaat  in  op  "wanneer" De  strategie  gaat  in  op  "waarom" De  strategie  gaat  in  op  "hoe" Er  is  een  duidelijke  relatie  tussen  voorgestelde  acties  &  verwachte  uitkomsten de  strategie  wordt  duidelijk  gecommuniceerd De  strategie  is  makkelijk  te  begrijpen De  strategie  sluit  aan  op  stedelijke  dynamiek Heeft  u  nog  verdere  opmerkingen  over  deze  strategie? Zeer mee oneens Zeer mee eens
  • 24. CESAR Working Document Series no. 9 Drawing vs. calculating Page 24 APPENDIX  IV:  EVALUATION  FORM  FOR  USABILITY  OF  PSS  (DUTCH)     Uw#groepsnummer Uw#Studentennummer Wat#was#uw#rol? Stedenbouwkundige Burger Milieu#adviseur Verkeerskundige N.V.T 1 2 3 4 5 6 7 Het$instrument$was$transparant De$communicatieve$waarde$van$de$output$was$hoog De$output$werd$duidelijk$weergegeven Het$instrument$was$gebruiksvriendelijk De$output$was$geloofwaardig Het$instrument$was$uitgebreid$genoeg De$focus$van$het$instrument$was$voldoende Het$detailniveau$van$de$kaarten$was$voldoende Het$instrument$was$makkelijk$te$begrijpen Het$instrument$sloot$goed$aan$bij$de$rol$die$ik$vervulde Het$instrument$ondersteunde$het$evalueren$van$alternatieven$ goed Het$instrument$ondersteunde$het$creëren$van$ideeën$goed Het$instrument$ondersteunde$het$schetsen$van$ideeën$goed Door$het$gebruik$van$het$instrument$werden$zin$en$onzin$van$ elkaar$gescheiden$ Door$het$gebruik$van$het$instrument$werd$onze$creativiteit$ beperkt Ik$begrijp$wat$er$(niet)$werd$meegenomen$in$de$indicatoren Door$het$instrument$waren$we$in$staat$om$meer$te$doen$in$ minder$tijd Zeer#mee oneens Zeer#mee eens Heeft$U$nog$andere$opmerkingen$over$het$instrument?

×