SlideShare a Scribd company logo
1 
 
COLLABORATING, LEARNING AND ADAPTING: LESSONS FOR IMPROVING 
ACTIVE PROJECTS  
 
Benjamin Aisya1
 
 
1
 Monitoring, Evaluation & Learning Manager, Community Connector 
Project, Kampala, Uganda  
 
 
 
Abstract  
So  often  beneficiaries  in  a  project  participate  in  evaluations  and  yet  fail  to  benefit  from  such 
assessments. Based on an ongoing project in Uganda, this paper presents field experiences on how a 
project  has  made  “evaluation”  results  [learning]  useful  to  the  beneficiaries  in  the  lifetime  of  the 
project.  
 
Keywords  
Collaborating, Learning, Adapting, beneficiaries, stakeholders 
 
 
 
   
2 
 
Introduction 
So  often  beneficiaries  of  a  project  participate  in  evaluations  but  rarely  get  to  benefit  from  such 
assessments. In improving the implementation of the project, their views [given during the formal 
evaluative periods] count for less, and/or rarely benefit them [the way they would have intended it 
to] at the midpoint or end of the project. The experience of the Community Connector project in 
Uganda has design and implementation lessons that are relevant for other development projects. 
These  design  and  implementation  lessons  equate  to  the  learning  organisation  concept  in 
management studies.  
Peter Senge popularised this the learning organisation concept in the ‘90s albeit with considerable 
absorption  in the for‐profit sector. In one of his books, The Fifth Discipline,  he defines a  learning 
organization as an organisation where people “continually expand their capacity to create the results 
they  truly  desire,  where  new  and  expansive  patterns  of  thinking  are  nurtured,  where  collective 
aspiration is set free, and where people are continually learning how to learn together…” (Senge, 
2006, Pg. 3)  
Three key themes emerge that shape the basic concept when applied in a project setting: 
1) Collectiveness or collaboration: Just as the for‐profit sector has learnt that, it is no longer 
sufficient to have one person, learning for the company, increasingly projects ought to learn 
collective for one stakeholder to learn for the organisation.    
2)  Continuous  learning:  where  organisations  generate  learning  throughout  the  project 
lifetime. Stiglitz (1987) has argued that one learns to learn at least partly in the process of 
learning itself. 
3) Reworking or adaptation: Watkins & Marsick (1993) described a learning organisation as 
one that learns continuously and transforms itself.  
Over the years, development partners have mainly adopted [used] these themes in silos. Increasingly 
the desire for a better way of utilising out evaluations implores the donor community to embrace a 
multi‐themed ‘learning project’ approach to realise greater impact of development efforts.  
This paper reflects a model of the practice of evaluation, which ultimately adds value to the project 
stakeholder opinions [and choices] in the project lifetime. 
Why learning projects? 
 Stakeholder hunger: Stakeholders long to be heard in a project. Over time it has been shown 
that there is imminent danger of evaluators representing more the thoughts and wishes of 
the  donor  [key  stakeholder  in  most  evaluations]  and  less  of  the  other  stakeholders.  Each 
project  will  often  have  more  than  one  stakeholders  such  as  government,  beneficiairies, 
implementing mechanism and donors.  
 
In almost all projects, the Evaluators cannot choose who to share the evaluation results with, 
donors/implementing  mechanism  does.  Evaluators  may  never  understand  the  width  and 
height of the stakeholder agenda…donors/implementing mechanism does!  
 
It has been whispered that Evaluators do not design projects, they nicely mess up those that 
have been designed and/or are being implemented. When donors stick to the approach in 
the design, however much the evaluator writes ten thousand lessons, there’s no guarantee 
beneficiaries get to benefit from those lessons regardless of the feedback mechanisms.  
 
3 
 
 The  project  environments  are  dynamic:  Each  project  designer  faces  a  choice  of  either  a 
dynamic  or  a  static  design.  The  dynamic  project  follows  in  the  footsteps  of  a  learning 
organisation;  action  orientation,  geared  towards  using  specific  diagnostic  and  evaluative 
methodological tools, which identify, promote, and evaluate the quality of learning inside the 
project.  The static design focuses on applying the predetermined steps [often] oblivious of 
the changes in the social environment.  
 
In  order  to  implement  dynamic  projects,  there  ought  to  be  a  consistent  application  of 
evaluation methods and practices.  The choice of project design itself confounds the practice 
of evaluation in the project.  
 
 Attaining project impact: Formative evaluations are meant to refocus the projects towards 
the attainment of its ultimate results. Without a proven design that allows for this formative 
process to happen earlier rather than later in the project timeline, there is a possibility that 
the alterations/reworking done at midpoint may not have enough time for implementation 
in an ongoing project. These most often form the basis for donors to desgin add‐on projects! 
The Community Connector Project Context: 
Managed by FHI360 as a prime partner, this five‐year project is implemented under an evolutionary 
acquisition mechanism referred to as the Collaborating, Learning and Adapting (CLA) approach of the 
United States Agency for International Development (USAID) in Uganda. Collaborating, Learning and 
Adapting is a framework to help implementers become more knowledge‐driven and responsive to 
the evolving root challenges that projects face in achieving development objectives. (USAID, 2014)  
This development approach emphasizes evidence‐based iterative adaptation of projects.  
Community Connector, which is operational in 15 districts of Uganda, is an integrated nutrition and 
agriculture  project.  Throughout  its  documentation,  Community  Connector  is  a  learning  project 
[learns and adapts in response to changes in the implementation and dynamic contexts in which it 
operates].  
It is safe to say that at the end, this five‐year project will most likely look much different/changed 
from what it was at start of the project [from the design]  
According to USAID the intent of the Collaborating, Learning and Adapting is to continuously assess 
the causal pathway to desired outcomes and adjust activities [both operational and programmatic] 
as necessary to yield the most effective course of action.   
In its design, Community Connector is a three‐phase project, with an implementation and learning 
module in each phase. Therefore, beyond the routine program reviews, the project design allowed 
Community  Connector  to  establish  and  maintain  innovative,  outside‐the‐box  systems  [a  pseudo 
evaluative practice] to affect the project success. In Box 1 is a case of how the project evolved a 
mechanism that contributes  majorly to one of the  project’s key result areas, the village  loan  and 
savings.  
   
4 
 
 
 
Box 1: How Community Connector improved the group savings and loan mechanism 
CLA was key to Community Connector’s testing and eventual redesign of the village saving and 
loan  association  (VSLA)  approach  for  ultimately  increasing  community  and  household  assets 
[one of the project’s key livelihood indicators].  
During the project’s first year, Community Connector registered 1,269 community groups, of 
which approximately 40% were already participating in village saving associations. Through the 
savings and loan approach, group members were saving funds throughout the year and then 
receiving those funds back as a lump sum at end of the year [around December].  
Despite the goal of increasing the members’ ability to acquire productive assets and/or other 
inputs for business or entrepreneurial ventures, the monitoring efforts by sub‐district project 
staff indicated that households were spending the funds primarily to celebrate the December 
holidays, that is, the funds were not benefitting the household for the long‐term.  
Community Connector holds monthly review and planning meetings at the sub‐offices. These 
meetings are provide an opportunity for those working directly with communities to have frank 
discussions  regarding  what  is  working  and  what  is  not  and  channel  feedback  up  to  program 
decision  makers.  The  project’s  sub‐district  staff  in  one  of  their  monthly  regional  planning 
meeting discussed the challenge seen in this village saving association mechanism.  
As  a  result,  the  project  designed  a  targeted  assessment/a  mapping  exercise  to  examine  the 
saving  and  spending  patterns  of  association  members.  This  assessment  mainly  focused  on 
household  interviews  and  focus  group  discussions  with  savings  association  members  to 
document  their  views.  The  targeted  assessment  further  involved  a  desk  review  of  external 
literature evaluating village loan and saving mechanisms. 
Halfway through year two, the project presented a comprehensive report of the assessment at 
a  meeting  with  local  government  staff  to  share  the  findings,  learn  and  develop  an  adaptive 
solution together. A new  approach, termed “Saving with  a Purpose” (SWAP), was developed 
and rolled‐out to all Community Connector districts.  
The SWAP, which replaced the previous loan and savings approach, features the following:  
1) For most groups, group member disbursements of funds [or share out] now coincides 
with planting seasons and/or the commencement of the school year [for purchase of 
agriculture inputs and/or school fees respectively] 
2) Group members are required to come up with saving goals for which they must sign 
commitment card. Their commitment or the saving with a purpose plan will encourage 
group members to hold one another accountable for how funds are spent. This spreads 
the responsibility.  Saving goals can be broad depending on the community. However, 
the project encourages groups to adopt goals such as saving toward the purchase of a 
household productive asset, or for a business investment.  
After  one  year  of  implementation  of  the  SWAP,  the  monitoring  information  indicates  the 
effective adoption of the improvements to the approach in most of the groups. Having seen the 
danger  in  the  December  share  out,  many  groups  are  taking  initiatives  to  make  further 
adjustments to their saving and disbursement practices to address their needs better. 
5 
 
Learning and Adapting ought to be integral 
Whereas a learning project is one that possesses transformative abilities, continually learning how to 
learn  while  implementing,  the  challenge  with  most  development  projects  is  that  they  are  not 
designed as learning projects but rather projects in which learning is expected. As a result adapting is 
planned and less haphazard in the former because it is integral than in the latter because it is an add‐
on element. 
Internally, a learning project ought to have a project design that supports a mix between learning 
and adapting, systems to help generate the learning and an organisational culture that is keen on 
learning  and/or  supports  iteration.  Externally,  a  learning  project  is  most  successful  when  it 
synchronizes with its funders and with the stakeholders including partner NGOs, communities and 
local government.  
The Community Connector project aligned the M&E system and all major components to support the 
collaborating, learning and adapting agenda in a unique design shown in Figure 1. Feedback loops 
were set up to encourage data use at all levels and continuous project improvement.  
Figure 1: Comparison of the project lifetime between Community Connector and most projects 
6 
 
Learning And Adapting pathways 
Avenues  The learning process  How the learning is 
captured 
How it informs 
change/action 
Programmatic  
Learning 
 
‐ Quarterly and 
annual analysis of 
project data 
‐ Ad hoc analysis of 
routine data 
‐ Packaged into reports, 
‐ Discussed by CC 
managers, staff at all 
levels, partners, and 
other stakeholders in 
monthly quarterly, 
annual, and ad hoc 
meetings where 
decisions and plans are 
made 
‐ Adjustments to 
Community Connector 
activities in quarterly 
planning meetings  
‐ Changes to strategies and 
activities during annual 
planning, and  
‐ Changes to the basic 
design and strategic 
approach at the 
beginning of the 
implementation modules 
Developing and  
testing project 
hypotheses 
‐ District situation 
analyses  
‐ Operations research 
studies  
‐ Periodic 
expert/participatory 
reviews  
‐ Project evaluations  
‐ Situation Analysis 
reports were written up 
as district profiles 
detailing needs and 
drivers of malnutrition, 
poverty and food 
security  
‐ Evaluations and 
research studies 
presented in reports, 
shared through 
publications, events, 
and other research 
dissemination channels. 
‐ Situation Analysis were 
used by consortium 
partners to design 
Community Connector 
strategies and 
interventions for each 
district. 
‐ Findings of the 
evaluations and 
operations research 
primarily inform future 
programs but also used 
to make iterations to 
current aspects of the 
projects when necessary 
Ad hoc  
Troubleshooting 
‐ Monitoring 
operations and 
trouble‐shooting 
challenges 
‐ Discussed among staff 
and partners in weekly 
and quarterly meetings 
and field visits,  
‐ Codified in operations 
notes and revised 
Standard Operating 
procedures (SOPs), and 
noted as lessons learned 
in quarterly and annual 
reports 
‐ Inform changes in day‐to‐
day management, 
operations processes, 
quarterly plans, partner 
roles, staff skills, and 
standard operation 
procedures and job‐aids 
for staff 
Distilling  
Promising  
Practices 
‐ Pilot testing 
interventions 
‐ Capturing 
experiences from 
field staff through 
case stories 
‐ These are analyzed and 
written‐up as technical 
notes or briefs, 
disseminated among 
staff and partners 
(briefs and training 
materials), and 
discussed in planning 
‐ These inform decisions 
about which 
interventions and 
methods to continue and 
to scale‐up.   
‐ Promising practices have 
been adopted by staff 
and beneficiaries, while 
7 
 
Avenues  The learning process  How the learning is 
captured 
How it informs 
change/action 
and design meetings, 
and highlighted in 
quarterly and annual 
reports. 
scale‐up of tested 
interventions is planned 
annually and at the 
beginning of 
implementation modules 
Source: Community Connector Annual Report, 2013 
 
Lessons learned in Collaborating, Learning and Adapting approach   
The collaborating, learning and adapting approach realised in Community Connector points to four 
key lessons for the evaluation community.  
1. Generating good quality, timely and well‐analyzed data is central to the success of a learning 
project. Community Connector has been able to employ participatory techniques to ensure 
comprehensive  data  is  collected  as  and  when  needed.  This  project  collaborated  with  two 
universities and community level stakeholders [lead farmers and government personnel] in 
data collection, analysis, and interpretation, making recommendations and highlighting areas 
for further investigation during the learning segments of the project.  
 
Generating  quality  data  necessitated  employing  an  electronic  performance  monitoring 
system that eliminated delays in data collection and cleaning, and eased data analysis.   
 
2. Creating an organisaitonal culture that emphasizes learning and easing the process to the 
expected  outcomes  for  instance  by  involving  all  stakeholders  is  pivotal  to  the  learning 
organisation practice. For when placed in the same system, individuals, however different 
tend  to  produce  the  same  results.  (Senge,  2006)  At  Community  Connector,  the  field 
personnel,  that  were  trained  in  data  quality  assessment  and  evaluative  practices,  support 
sub‐district governments to deploy simple but quality assessments on a quarterly basis to 
track outcomes at the sub‐district level.  Often, this has been the origin of the key learning / 
lessons.  
 
3. In addition to the narrative sections [progress against targets] in project reports,  including a 
synthesis of emerging lessons and implementation adaptations during the reporting period 
improves  the  project  reports  to  the  donor,  other  partners,  and  the  district  local 
governments.  
 
4. Linking with the stakeholders at appropriate intervals enhances the image of the project and 
is amiability to collaboration. In this project, collaboration is viewed as an ongoing activity 
rather than a one off event.   
 
 
   
8 
 
Acknowledgements 
I  acknowledge the  input  of  Robert Mwadime, Ph.D. and the Community Connector staff  for their 
vigilant contributions and input into this paper.  
 
References 
 
Senge, P. M. (2006). The Fifth Discipline. The Art & Practice of the Learning Organization. (2nd ed.). 
London: Random House Business Books. 
Stiglitz, J. E. (1987). Learning to learn, localized learning and technological progress. In P. Dasgupta, & 
Stoneman, Economic Policy and Technological Performance (pp. 126‐130). Cambridge: 
Cambride University Press. 
USAID. (2014, March 18). Sites. Retrieved from United States Agency for International Development 
Website: http://www.usaid.gov/sites/default/files/documents/1870/203.pdf 
USAID. (2014, August 28). USAID Learning Lab. Retrieved from USAID Learning Lab website: 
http://usaidlearninglab.org/sites/default/files/media/StorylinePublished/story.html 
Watkins, K. E., & Marsick, V. J. (1993). Sculpting the learning organization: Lessons in the art and 
science of systemic change. San Francisco: Jossey‐Bass. 
 
 

More Related Content

What's hot

Pm certifications & accreditations
Pm certifications & accreditationsPm certifications & accreditations
Pm certifications & accreditations
masilamani ramasamy
 
Coalition Assessment: Approaches for Measuring Capacity and Impact
Coalition Assessment: Approaches for Measuring Capacity and ImpactCoalition Assessment: Approaches for Measuring Capacity and Impact
Coalition Assessment: Approaches for Measuring Capacity and Impact
Innovation Network
 
Project work introduction for NIE QKS520
Project work introduction for NIE QKS520Project work introduction for NIE QKS520
Project work introduction for NIE QKS520
Allen Shi
 

What's hot (20)

Project Management 02
Project Management 02Project Management 02
Project Management 02
 
AVO – A voyage to the open seas to study openness and a networking mode of op...
AVO – A voyage to the open seas to study openness and a networking mode of op...AVO – A voyage to the open seas to study openness and a networking mode of op...
AVO – A voyage to the open seas to study openness and a networking mode of op...
 
Strategies for successful_engineering_management
Strategies for successful_engineering_managementStrategies for successful_engineering_management
Strategies for successful_engineering_management
 
Chap001
Chap001Chap001
Chap001
 
Logic Model Workbook
Logic Model WorkbookLogic Model Workbook
Logic Model Workbook
 
Pm certifications & accreditations
Pm certifications & accreditationsPm certifications & accreditations
Pm certifications & accreditations
 
Coalition Assessment: Approaches for Measuring Capacity and Impact
Coalition Assessment: Approaches for Measuring Capacity and ImpactCoalition Assessment: Approaches for Measuring Capacity and Impact
Coalition Assessment: Approaches for Measuring Capacity and Impact
 
Pinto pm2 ch02
Pinto pm2 ch02Pinto pm2 ch02
Pinto pm2 ch02
 
Consolidating Experiences of ICCO's Programmatic Approach
Consolidating Experiences of ICCO's Programmatic ApproachConsolidating Experiences of ICCO's Programmatic Approach
Consolidating Experiences of ICCO's Programmatic Approach
 
Project work introduction for NIE QKS520
Project work introduction for NIE QKS520Project work introduction for NIE QKS520
Project work introduction for NIE QKS520
 
JISC BCE: Evaluation Phase 1
JISC BCE: Evaluation Phase 1JISC BCE: Evaluation Phase 1
JISC BCE: Evaluation Phase 1
 
Excellence In School Projects Award Model & Criteria
Excellence In School Projects Award Model & Criteria Excellence In School Projects Award Model & Criteria
Excellence In School Projects Award Model & Criteria
 
Cody technology use_plan_presentation
Cody technology use_plan_presentationCody technology use_plan_presentation
Cody technology use_plan_presentation
 
Chap011
Chap011Chap011
Chap011
 
UCISA Toolkit - Establishing Process Improvement Capability in an HE Environment
UCISA Toolkit - Establishing Process Improvement Capability in an HE EnvironmentUCISA Toolkit - Establishing Process Improvement Capability in an HE Environment
UCISA Toolkit - Establishing Process Improvement Capability in an HE Environment
 
Build planning for adaptation final 2
Build planning for adaptation final 2Build planning for adaptation final 2
Build planning for adaptation final 2
 
041006-Program Management PMI NB - PMI Logo
041006-Program Management PMI NB - PMI Logo041006-Program Management PMI NB - PMI Logo
041006-Program Management PMI NB - PMI Logo
 
Stress free eu schools - interim evaluation report
Stress free eu schools - interim evaluation reportStress free eu schools - interim evaluation report
Stress free eu schools - interim evaluation report
 
Chap010
Chap010Chap010
Chap010
 
Prosci Webinar: Top Contributors to Change Sucess April 2016
Prosci Webinar: Top Contributors to Change Sucess April 2016Prosci Webinar: Top Contributors to Change Sucess April 2016
Prosci Webinar: Top Contributors to Change Sucess April 2016
 

Similar to EES2014_full paper_Benjamin Aisya Aug 30 2014

Using Theories of Change to evaluate Information Literacy initiatives ECIL 20...
Using Theories of Change to evaluate Information Literacy initiatives ECIL 20...Using Theories of Change to evaluate Information Literacy initiatives ECIL 20...
Using Theories of Change to evaluate Information Literacy initiatives ECIL 20...
Pamela McKinney
 
evaluation of deped proj,prog and activi
evaluation of deped proj,prog and activievaluation of deped proj,prog and activi
evaluation of deped proj,prog and activi
Mei Miraflor
 
Change Agent Network - Viewpoints cards - evaluation impact and sustainability
Change Agent Network - Viewpoints cards - evaluation impact and sustainabilityChange Agent Network - Viewpoints cards - evaluation impact and sustainability
Change Agent Network - Viewpoints cards - evaluation impact and sustainability
balham
 
Using theories of change to evaluate information literacy initiatives: LILAC ...
Using theories of change to evaluate information literacy initiatives: LILAC ...Using theories of change to evaluate information literacy initiatives: LILAC ...
Using theories of change to evaluate information literacy initiatives: LILAC ...
Pamela McKinney
 
Using theory of change to evaluate information literacy initiatives
Using theory of change to evaluate information literacy initiativesUsing theory of change to evaluate information literacy initiatives
Using theory of change to evaluate information literacy initiatives
Sheila Webber
 
PMP Training - 01 introduction to framework
PMP Training - 01 introduction to frameworkPMP Training - 01 introduction to framework
PMP Training - 01 introduction to framework
ejlp12
 
1. into. to project and project management (1)
1. into. to project and project management (1)1. into. to project and project management (1)
1. into. to project and project management (1)
tehreem fatima
 

Similar to EES2014_full paper_Benjamin Aisya Aug 30 2014 (20)

Ngo’s project management
Ngo’s project managementNgo’s project management
Ngo’s project management
 
Writing evaluation report of a project
Writing evaluation report of a projectWriting evaluation report of a project
Writing evaluation report of a project
 
Using Theories of Change to evaluate Information Literacy initiatives ECIL 20...
Using Theories of Change to evaluate Information Literacy initiatives ECIL 20...Using Theories of Change to evaluate Information Literacy initiatives ECIL 20...
Using Theories of Change to evaluate Information Literacy initiatives ECIL 20...
 
evaluation of deped proj,prog and activi
evaluation of deped proj,prog and activievaluation of deped proj,prog and activi
evaluation of deped proj,prog and activi
 
Using theories of change to evaluate information literacy initiatives
Using theories of change to evaluate information literacy initiatives Using theories of change to evaluate information literacy initiatives
Using theories of change to evaluate information literacy initiatives
 
Developing a Logical Framework Guide, Developmental Public Administration, De...
Developing a Logical Framework Guide, Developmental Public Administration, De...Developing a Logical Framework Guide, Developmental Public Administration, De...
Developing a Logical Framework Guide, Developmental Public Administration, De...
 
Objectives of Project evaluation
Objectives of Project evaluationObjectives of Project evaluation
Objectives of Project evaluation
 
Sharif's 9-BOX Monitoring Model for Adaptive Programme Management
Sharif's 9-BOX Monitoring Model for Adaptive Programme ManagementSharif's 9-BOX Monitoring Model for Adaptive Programme Management
Sharif's 9-BOX Monitoring Model for Adaptive Programme Management
 
Change Agent Network - Viewpoints cards - evaluation impact and sustainability
Change Agent Network - Viewpoints cards - evaluation impact and sustainabilityChange Agent Network - Viewpoints cards - evaluation impact and sustainability
Change Agent Network - Viewpoints cards - evaluation impact and sustainability
 
Using theories of change to evaluate information literacy initiatives: LILAC ...
Using theories of change to evaluate information literacy initiatives: LILAC ...Using theories of change to evaluate information literacy initiatives: LILAC ...
Using theories of change to evaluate information literacy initiatives: LILAC ...
 
PMBOK7-101-200.pdf
PMBOK7-101-200.pdfPMBOK7-101-200.pdf
PMBOK7-101-200.pdf
 
NSTP-2-Unit-4 Second Semester Goar. pptx
NSTP-2-Unit-4 Second Semester Goar. pptxNSTP-2-Unit-4 Second Semester Goar. pptx
NSTP-2-Unit-4 Second Semester Goar. pptx
 
Using theory of change to evaluate information literacy initiatives
Using theory of change to evaluate information literacy initiativesUsing theory of change to evaluate information literacy initiatives
Using theory of change to evaluate information literacy initiatives
 
Project report submitted in IIM Calcutta
Project report submitted in IIM CalcuttaProject report submitted in IIM Calcutta
Project report submitted in IIM Calcutta
 
Designing education projects
Designing education projectsDesigning education projects
Designing education projects
 
PMP Training - 01 introduction to framework
PMP Training - 01 introduction to frameworkPMP Training - 01 introduction to framework
PMP Training - 01 introduction to framework
 
project appraisal.pptx
project appraisal.pptxproject appraisal.pptx
project appraisal.pptx
 
PROJECT PLANNING AND MANAGEMENT
PROJECT PLANNING AND MANAGEMENTPROJECT PLANNING AND MANAGEMENT
PROJECT PLANNING AND MANAGEMENT
 
1. into. to project and project management (1)
1. into. to project and project management (1)1. into. to project and project management (1)
1. into. to project and project management (1)
 
Chapter 1 Modern Project Management
Chapter 1 Modern Project ManagementChapter 1 Modern Project Management
Chapter 1 Modern Project Management
 

EES2014_full paper_Benjamin Aisya Aug 30 2014

  • 1. 1    COLLABORATING, LEARNING AND ADAPTING: LESSONS FOR IMPROVING  ACTIVE PROJECTS     Benjamin Aisya1     1  Monitoring, Evaluation & Learning Manager, Community Connector  Project, Kampala, Uganda         Abstract   So  often  beneficiaries  in  a  project  participate  in  evaluations  and  yet  fail  to  benefit  from  such  assessments. Based on an ongoing project in Uganda, this paper presents field experiences on how a  project  has  made  “evaluation”  results  [learning]  useful  to  the  beneficiaries  in  the  lifetime  of  the  project.     Keywords   Collaborating, Learning, Adapting, beneficiaries, stakeholders           
  • 2. 2    Introduction  So  often  beneficiaries  of  a  project  participate  in  evaluations  but  rarely  get  to  benefit  from  such  assessments. In improving the implementation of the project, their views [given during the formal  evaluative periods] count for less, and/or rarely benefit them [the way they would have intended it  to] at the midpoint or end of the project. The experience of the Community Connector project in  Uganda has design and implementation lessons that are relevant for other development projects.  These  design  and  implementation  lessons  equate  to  the  learning  organisation  concept  in  management studies.   Peter Senge popularised this the learning organisation concept in the ‘90s albeit with considerable  absorption  in the for‐profit sector. In one of his books, The Fifth Discipline,  he defines a  learning  organization as an organisation where people “continually expand their capacity to create the results  they  truly  desire,  where  new  and  expansive  patterns  of  thinking  are  nurtured,  where  collective  aspiration is set free, and where people are continually learning how to learn together…” (Senge,  2006, Pg. 3)   Three key themes emerge that shape the basic concept when applied in a project setting:  1) Collectiveness or collaboration: Just as the for‐profit sector has learnt that, it is no longer  sufficient to have one person, learning for the company, increasingly projects ought to learn  collective for one stakeholder to learn for the organisation.     2)  Continuous  learning:  where  organisations  generate  learning  throughout  the  project  lifetime. Stiglitz (1987) has argued that one learns to learn at least partly in the process of  learning itself.  3) Reworking or adaptation: Watkins & Marsick (1993) described a learning organisation as  one that learns continuously and transforms itself.   Over the years, development partners have mainly adopted [used] these themes in silos. Increasingly  the desire for a better way of utilising out evaluations implores the donor community to embrace a  multi‐themed ‘learning project’ approach to realise greater impact of development efforts.   This paper reflects a model of the practice of evaluation, which ultimately adds value to the project  stakeholder opinions [and choices] in the project lifetime.  Why learning projects?   Stakeholder hunger: Stakeholders long to be heard in a project. Over time it has been shown  that there is imminent danger of evaluators representing more the thoughts and wishes of  the  donor  [key  stakeholder  in  most  evaluations]  and  less  of  the  other  stakeholders.  Each  project  will  often  have  more  than  one  stakeholders  such  as  government,  beneficiairies,  implementing mechanism and donors.     In almost all projects, the Evaluators cannot choose who to share the evaluation results with,  donors/implementing  mechanism  does.  Evaluators  may  never  understand  the  width  and  height of the stakeholder agenda…donors/implementing mechanism does!     It has been whispered that Evaluators do not design projects, they nicely mess up those that  have been designed and/or are being implemented. When donors stick to the approach in  the design, however much the evaluator writes ten thousand lessons, there’s no guarantee  beneficiaries get to benefit from those lessons regardless of the feedback mechanisms.    
  • 3. 3     The  project  environments  are  dynamic:  Each  project  designer  faces  a  choice  of  either  a  dynamic  or  a  static  design.  The  dynamic  project  follows  in  the  footsteps  of  a  learning  organisation;  action  orientation,  geared  towards  using  specific  diagnostic  and  evaluative  methodological tools, which identify, promote, and evaluate the quality of learning inside the  project.  The static design focuses on applying the predetermined steps [often] oblivious of  the changes in the social environment.     In  order  to  implement  dynamic  projects,  there  ought  to  be  a  consistent  application  of  evaluation methods and practices.  The choice of project design itself confounds the practice  of evaluation in the project.      Attaining project impact: Formative evaluations are meant to refocus the projects towards  the attainment of its ultimate results. Without a proven design that allows for this formative  process to happen earlier rather than later in the project timeline, there is a possibility that  the alterations/reworking done at midpoint may not have enough time for implementation  in an ongoing project. These most often form the basis for donors to desgin add‐on projects!  The Community Connector Project Context:  Managed by FHI360 as a prime partner, this five‐year project is implemented under an evolutionary  acquisition mechanism referred to as the Collaborating, Learning and Adapting (CLA) approach of the  United States Agency for International Development (USAID) in Uganda. Collaborating, Learning and  Adapting is a framework to help implementers become more knowledge‐driven and responsive to  the evolving root challenges that projects face in achieving development objectives. (USAID, 2014)   This development approach emphasizes evidence‐based iterative adaptation of projects.   Community Connector, which is operational in 15 districts of Uganda, is an integrated nutrition and  agriculture  project.  Throughout  its  documentation,  Community  Connector  is  a  learning  project  [learns and adapts in response to changes in the implementation and dynamic contexts in which it  operates].   It is safe to say that at the end, this five‐year project will most likely look much different/changed  from what it was at start of the project [from the design]   According to USAID the intent of the Collaborating, Learning and Adapting is to continuously assess  the causal pathway to desired outcomes and adjust activities [both operational and programmatic]  as necessary to yield the most effective course of action.    In its design, Community Connector is a three‐phase project, with an implementation and learning  module in each phase. Therefore, beyond the routine program reviews, the project design allowed  Community  Connector  to  establish  and  maintain  innovative,  outside‐the‐box  systems  [a  pseudo  evaluative practice] to affect the project success. In Box 1 is a case of how the project evolved a  mechanism that contributes  majorly to one of the  project’s key result areas, the village  loan  and  savings.      
  • 4. 4        Box 1: How Community Connector improved the group savings and loan mechanism  CLA was key to Community Connector’s testing and eventual redesign of the village saving and  loan  association  (VSLA)  approach  for  ultimately  increasing  community  and  household  assets  [one of the project’s key livelihood indicators].   During the project’s first year, Community Connector registered 1,269 community groups, of  which approximately 40% were already participating in village saving associations. Through the  savings and loan approach, group members were saving funds throughout the year and then  receiving those funds back as a lump sum at end of the year [around December].   Despite the goal of increasing the members’ ability to acquire productive assets and/or other  inputs for business or entrepreneurial ventures, the monitoring efforts by sub‐district project  staff indicated that households were spending the funds primarily to celebrate the December  holidays, that is, the funds were not benefitting the household for the long‐term.   Community Connector holds monthly review and planning meetings at the sub‐offices. These  meetings are provide an opportunity for those working directly with communities to have frank  discussions  regarding  what  is  working  and  what  is  not  and  channel  feedback  up  to  program  decision  makers.  The  project’s  sub‐district  staff  in  one  of  their  monthly  regional  planning  meeting discussed the challenge seen in this village saving association mechanism.   As  a  result,  the  project  designed  a  targeted  assessment/a  mapping  exercise  to  examine  the  saving  and  spending  patterns  of  association  members.  This  assessment  mainly  focused  on  household  interviews  and  focus  group  discussions  with  savings  association  members  to  document  their  views.  The  targeted  assessment  further  involved  a  desk  review  of  external  literature evaluating village loan and saving mechanisms.  Halfway through year two, the project presented a comprehensive report of the assessment at  a  meeting  with  local  government  staff  to  share  the  findings,  learn  and  develop  an  adaptive  solution together. A new  approach, termed “Saving with  a Purpose” (SWAP), was developed  and rolled‐out to all Community Connector districts.   The SWAP, which replaced the previous loan and savings approach, features the following:   1) For most groups, group member disbursements of funds [or share out] now coincides  with planting seasons and/or the commencement of the school year [for purchase of  agriculture inputs and/or school fees respectively]  2) Group members are required to come up with saving goals for which they must sign  commitment card. Their commitment or the saving with a purpose plan will encourage  group members to hold one another accountable for how funds are spent. This spreads  the responsibility.  Saving goals can be broad depending on the community. However,  the project encourages groups to adopt goals such as saving toward the purchase of a  household productive asset, or for a business investment.   After  one  year  of  implementation  of  the  SWAP,  the  monitoring  information  indicates  the  effective adoption of the improvements to the approach in most of the groups. Having seen the  danger  in  the  December  share  out,  many  groups  are  taking  initiatives  to  make  further  adjustments to their saving and disbursement practices to address their needs better. 
  • 5. 5    Learning and Adapting ought to be integral  Whereas a learning project is one that possesses transformative abilities, continually learning how to  learn  while  implementing,  the  challenge  with  most  development  projects  is  that  they  are  not  designed as learning projects but rather projects in which learning is expected. As a result adapting is  planned and less haphazard in the former because it is integral than in the latter because it is an add‐ on element.  Internally, a learning project ought to have a project design that supports a mix between learning  and adapting, systems to help generate the learning and an organisational culture that is keen on  learning  and/or  supports  iteration.  Externally,  a  learning  project  is  most  successful  when  it  synchronizes with its funders and with the stakeholders including partner NGOs, communities and  local government.   The Community Connector project aligned the M&E system and all major components to support the  collaborating, learning and adapting agenda in a unique design shown in Figure 1. Feedback loops  were set up to encourage data use at all levels and continuous project improvement.   Figure 1: Comparison of the project lifetime between Community Connector and most projects 
  • 6. 6    Learning And Adapting pathways  Avenues  The learning process  How the learning is  captured  How it informs  change/action  Programmatic   Learning    ‐ Quarterly and  annual analysis of  project data  ‐ Ad hoc analysis of  routine data  ‐ Packaged into reports,  ‐ Discussed by CC  managers, staff at all  levels, partners, and  other stakeholders in  monthly quarterly,  annual, and ad hoc  meetings where  decisions and plans are  made  ‐ Adjustments to  Community Connector  activities in quarterly  planning meetings   ‐ Changes to strategies and  activities during annual  planning, and   ‐ Changes to the basic  design and strategic  approach at the  beginning of the  implementation modules  Developing and   testing project  hypotheses  ‐ District situation  analyses   ‐ Operations research  studies   ‐ Periodic  expert/participatory  reviews   ‐ Project evaluations   ‐ Situation Analysis  reports were written up  as district profiles  detailing needs and  drivers of malnutrition,  poverty and food  security   ‐ Evaluations and  research studies  presented in reports,  shared through  publications, events,  and other research  dissemination channels.  ‐ Situation Analysis were  used by consortium  partners to design  Community Connector  strategies and  interventions for each  district.  ‐ Findings of the  evaluations and  operations research  primarily inform future  programs but also used  to make iterations to  current aspects of the  projects when necessary  Ad hoc   Troubleshooting  ‐ Monitoring  operations and  trouble‐shooting  challenges  ‐ Discussed among staff  and partners in weekly  and quarterly meetings  and field visits,   ‐ Codified in operations  notes and revised  Standard Operating  procedures (SOPs), and  noted as lessons learned  in quarterly and annual  reports  ‐ Inform changes in day‐to‐ day management,  operations processes,  quarterly plans, partner  roles, staff skills, and  standard operation  procedures and job‐aids  for staff  Distilling   Promising   Practices  ‐ Pilot testing  interventions  ‐ Capturing  experiences from  field staff through  case stories  ‐ These are analyzed and  written‐up as technical  notes or briefs,  disseminated among  staff and partners  (briefs and training  materials), and  discussed in planning  ‐ These inform decisions  about which  interventions and  methods to continue and  to scale‐up.    ‐ Promising practices have  been adopted by staff  and beneficiaries, while 
  • 7. 7    Avenues  The learning process  How the learning is  captured  How it informs  change/action  and design meetings,  and highlighted in  quarterly and annual  reports.  scale‐up of tested  interventions is planned  annually and at the  beginning of  implementation modules  Source: Community Connector Annual Report, 2013    Lessons learned in Collaborating, Learning and Adapting approach    The collaborating, learning and adapting approach realised in Community Connector points to four  key lessons for the evaluation community.   1. Generating good quality, timely and well‐analyzed data is central to the success of a learning  project. Community Connector has been able to employ participatory techniques to ensure  comprehensive  data  is  collected  as  and  when  needed.  This  project  collaborated  with  two  universities and community level stakeholders [lead farmers and government personnel] in  data collection, analysis, and interpretation, making recommendations and highlighting areas  for further investigation during the learning segments of the project.     Generating  quality  data  necessitated  employing  an  electronic  performance  monitoring  system that eliminated delays in data collection and cleaning, and eased data analysis.      2. Creating an organisaitonal culture that emphasizes learning and easing the process to the  expected  outcomes  for  instance  by  involving  all  stakeholders  is  pivotal  to  the  learning  organisation practice. For when placed in the same system, individuals, however different  tend  to  produce  the  same  results.  (Senge,  2006)  At  Community  Connector,  the  field  personnel,  that  were  trained  in  data  quality  assessment  and  evaluative  practices,  support  sub‐district governments to deploy simple but quality assessments on a quarterly basis to  track outcomes at the sub‐district level.  Often, this has been the origin of the key learning /  lessons.     3. In addition to the narrative sections [progress against targets] in project reports,  including a  synthesis of emerging lessons and implementation adaptations during the reporting period  improves  the  project  reports  to  the  donor,  other  partners,  and  the  district  local  governments.     4. Linking with the stakeholders at appropriate intervals enhances the image of the project and  is amiability to collaboration. In this project, collaboration is viewed as an ongoing activity  rather than a one off event.           
  • 8. 8    Acknowledgements  I  acknowledge the  input  of  Robert Mwadime, Ph.D. and the Community Connector staff  for their  vigilant contributions and input into this paper.     References    Senge, P. M. (2006). The Fifth Discipline. The Art & Practice of the Learning Organization. (2nd ed.).  London: Random House Business Books.  Stiglitz, J. E. (1987). Learning to learn, localized learning and technological progress. In P. Dasgupta, &  Stoneman, Economic Policy and Technological Performance (pp. 126‐130). Cambridge:  Cambride University Press.  USAID. (2014, March 18). Sites. Retrieved from United States Agency for International Development  Website: http://www.usaid.gov/sites/default/files/documents/1870/203.pdf  USAID. (2014, August 28). USAID Learning Lab. Retrieved from USAID Learning Lab website:  http://usaidlearninglab.org/sites/default/files/media/StorylinePublished/story.html  Watkins, K. E., & Marsick, V. J. (1993). Sculpting the learning organization: Lessons in the art and  science of systemic change. San Francisco: Jossey‐Bass.