• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
M&E Report SEAL 2012
 

M&E Report SEAL 2012

on

  • 4,109 views

 

Statistics

Views

Total Views
4,109
Views on SlideShare
4,109
Embed Views
0

Actions

Likes
0
Downloads
3
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

CC Attribution-NonCommercial-ShareAlike LicenseCC Attribution-NonCommercial-ShareAlike LicenseCC Attribution-NonCommercial-ShareAlike License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    M&E Report SEAL 2012 M&E Report SEAL 2012 Document Transcript

    • VVOB CambodiaSEAL ProgrammeM&E Report 2012
    • Preamble The Science, Environmental and Agricultural Life Skills (SEAL) programme has been implemented byVVOB Cambodia since mid-2008 and will be phased out by the end of 2013.This document presents an analysis of the Monitoring and Evaluation (M&E) findings based on datacollected by the SEAL programme throughout 2012. The M&E process involved observations,logbooks, interviews and focus group discussions with direct and indirect target groups as well as anational M&E workshop held on 6 November 2012 together with strategic and operational partners.This M&E report also serves as input for the peer evaluation of the SEAL programme to be conductedfrom 17-21 December 2012. The findings of the peer evaluation will in its turn help to identify lessonslearned and recommendations for the new programme of VVOB to be started as of 2014.We hope that this document provides adequate information for the above purposes. The VVOB Cambodia teamSEAL Programme: M&E report 2012 2/79
    • Table of Contents  Preamble  _________________________________________________________________________ 1 Table of Contents ___________________________________________________________________ 2 List of tables and figures  _____________________________________________________________ 5  Tables .............................................................................................................................................. 5  Figures ............................................................................................................................................. 5 List with abbreviations _______________________________________________________________ 7 1.  Introduction ___________________________________________________________________ 8 2.  Overview Indicators MYP2  ______________________________________________________ 10 3.  Overall Objective: Learning outcomes of pupils in basic education improve as a result of more relevant and effective teaching and learning  ____________________________________________ 12  3.1  Indicators  ......................................................................................................................... 12  . 3.2  Means of Verification ....................................................................................................... 12  3.3  Results .............................................................................................................................. 13  3.4  Conclusion ........................................................................................................................ 16 4.  Specific Objective 1: The percentage of graduate teachers with a sufficient level of understanding on how to integrate technological, pedagogical and content knowledge in science and life skills teaching __________________________________________________________________ 17  4.1  Indicators  ......................................................................................................................... 17  . 4.2  TPACK Concept ................................................................................................................. 17  4.3  Means of Verification ....................................................................................................... 18  4.4  Results RTTC student teachers ......................................................................................... 20  4.5  Results PTTC student teachers ......................................................................................... 23  4.6  Conclusion ........................................................................................................................ 31 5.  Intermediate Result 1  __________________________________________________________ 32  5.1  Indicators  ......................................................................................................................... 32  . 5.2  Objectives ......................................................................................................................... 32  5.3  Means of Verification ....................................................................................................... 32  5.4  Results .............................................................................................................................. 37  5.5  Discussion on effectiveness with partner ........................................................................ 56 6.  Intermediate Result 2  __________________________________________________________ 60  6.1  Indicators  ......................................................................................................................... 60  . 6.2  Objectives ......................................................................................................................... 60  6.3  Means of Verification ....................................................................................................... 60  6.4  Results .............................................................................................................................. 65  6.5  Discussion on effectiveness ............................................................................................. 69 7  Intermediate Result 3  __________________________________________________________ 73  7.1  Introduction ..................................................................................................................... 73  7.2  Means of Verification ....................................................................................................... 73  7.3  Results .............................................................................................................................. 73  7.4  Discussion on effectiveness ............................................................................................. 75 Conclusions _______________________________________________________________________ 77 Planning 2013 _____________________________________________________________________ 77 SEAL Programme: M&E report 2012 3/79
    • Annexes  _________________________________________________________________________ 79  Annex 1a: Lesson observation form – version 1 ........................................................................... 79  Annex 1b: Lesson observation form – version 2 ........................................................................... 79  Annex 2: M&E Protocol for field trips ........................................................................................... 79  Annex 3: Evaluation Rubric for Lesson Observations .................................................................... 79  Annex 4: Survey for teacher trainers on Agricultural and Environmental Life Skills Teaching ..... 79  Annex 5: Survey teacher trainers RTTCs ....................................................................................... 79  Annex 6: Logbook page outline ..................................................................................................... 79  Annex 7a: Guide Focus Group with Teacher Trainers ................................................................... 79  Annex 7b: Guide focus Group with life skills teacher trainers ...................................................... 79  Annex 8: Interview protocol for interviews with graduated teachers .......................................... 79  Annex 9: Individual lesson observation scores teacher trainers  .................................................. 79  . Annex 10: Overview Teaching Resources ..................................................................................... 79  Annex 11a: Report Monitoring Visit RTTCs (March 2012) ............................................................ 79  Annex 11b: Report Monitoring Visit RTTCs (June 2012) ............................................................... 79  Annex 11c: Report Monitoring Visit RTTCs (November 2012) ...................................................... 79 References  _______________________________________________________________________ 79    SEAL Programme: M&E report 2012 4/79
    • List of tables and figures Tables Table 1 M&E in MYP2 .............................................................................................................................. 9 Table 2 M&E toolkit in MYP2 (2012) ........................................................................................................ 9 Table 3 Planned and Achieved Indicator Values .................................................................................... 11 Table 4 Overview lesson plans collected per subject  (data 2012) ........................................................ 18 Table 5 Overview lesson plans per RTTC ............................................................................................... 18 Table 6  Summary interviews with PTTC student teachers ................................................................... 24 Table 7 Lesson Observations in 2012 per subject .................................................................................. 34 Table 8 Lesson Observations in 2012 per RTTC ..................................................................................... 34 Table 9: Overview of target population, method and timing of surveys ............................................... 35 Table 10: Composition of teacher trainer population per subject per survey ...................................... 36 Table 11: Percentage of curriculum topics teacher trainers have problems with understanding the content ................................................................................................................................................... 37 Table 12: Percentage of curriculum topics teachers from practice schools in Kandal have problems with in understanding ............................................................................................................................ 38 Table 13: Percentage of curriculum topics teacher trainers from RTTC Kandal have methodological problems with ........................................................................................................................................ 39 Table 14: Percentage of curriculum topics practice school teachers (Kandal) have methodological problems with ........................................................................................................................................ 39 Table 15 Student‐Centred Approaches included in training teacher trainers ....................................... 40 Table 16 Share of science curriculum topics with approved learning resource developed by VVOB ... 43 Table 17 Overview approved learning resources per subject and type ................................................ 43 Table 18  Average scores for lesson observations per RTTC in March and June 2012 .......................... 51 Table 19  Challenges for integrating TPACK by teacher trainers, per RTTC in 2011 (n = 75) ................. 54 Table 20  Challenges for integrating TPACK by teacher trainers, per RTTC in 2012 (n = 62) ................. 54 Table 21  Assumptions and Mitigation Strategies for IR3 (MYP2, p.59) ................................................ 76 Figures Figure 1  Student‐centred approaches applied by student teachers during their teaching practice during school year 2011 – 2012 (n = 400) ............................................................................................. 21 Figure 2  Technologies applied by student teachers during their teaching practice (n = 400).............. 21 Figure 3 Use of extra didactical materials by student teachers at RTTC Kandal during their practicum in 2008 and 2010 ................................................................................................................................... 23 Figure 4  Frequency of applying SCA by science teacher trainers at RTTCs (n = 61) ............................. 41 Figure 5 Reported frequency of use of various student‐centred approaches by science teacher trainers (n=62) ....................................................................................................................................... 41 Figure 6  Frequency of applying teaching aids for SCA by science teacher trainers at RTTCs (n = 61)  . 43  .Figure 7 Reported use of teaching aids by RTTC science teacher trainers (n = 62) ............................... 44 Figure 8 Use of school garden (left) and waste management system (right) by RTTC earth science & biology teacher trainers (n = 25) ............................................................................................................ 45 SEAL Programme: M&E report 2012 5/79
    • Figure 9: Number of users of projectors per college ............................................................................. 46 Figure 10: Average projector use per teacher trainer ........................................................................... 47 Figure 11 Support provided by teacher trainers to student teachers during practicum (data baseline study 2008) ............................................................................................................................................ 48 Figure 12  Need for help by teacher trainers in providing methodological support to student teachers during practicum (data baseline study 2008) ........................................................................................ 48 Figure 13  Need for help by teachers of practice schools in providing methodological support to student teachers during practicum (data baseline study 2008) ............................................................ 49 Figure 14 Support provided by science teacher trainers during practicum (2011 – 2012) (n = 57) ...... 49 Figure 15 Comparison lesson observation scores for RTTC teacher trainers in March and June 2012. 50 Figure 16 Reported use of SCA by science teacher trainers per RTTC  .................................................. 51  .Figure 17  Challenges reported by science teacher trainers for integrating TPACK in 2011 (n = 75) and 2012 (n=62) ............................................................................................................................................ 53    SEAL Programme: M&E report 2012 6/79
    • List with abbreviations ADB    Asian Development Bank BIO    Biology CHE    Chemistry DCD    Department of Curriculum Development (of MoEYS) DP    Development Partner EEQP    Enhancing Education Quality Project ES    Earth Science ESDP3    Third Education Sector Development Program GSED    General Secondary Education Department (of MoEYS) IBL    Inquiry‐based lessons/learning IR    Intermediate Result LF    Logical Framework LS    Life Skills JICA    Japan Overseas Cooperation Agency MoEYS    Ministry of Education, Youth and Sport PED    Primary Education Department (of MoEYS) PHY    Physics POE    Provincial Office of Education PTTC    Provincial Teacher Training Centre RTTC    Regional Teacher Training Centre SCA    Student‐Centred Approach SEAL    Science, Environmental and Agricultural Life skills (programme) SO    Specific Objective STEPSAM2  2nd Strengthening Teacher Education Project for Science and Mathematics (of JICA) TDAP    Teacher Development Action Plan TPACK    Technological, Pedagogical and Content Knowledge TIMMS   Trends in International Mathematics and Science Study ToT    Trainer of Trainers TTC    Teacher Training Centre TTD    Teacher Training Department (of MoEYS)   SEAL Programme: M&E report 2012 7/79
    • 1. Introduction As in 2011 this M&E report follows the structure of the logical framework.  Per objective (overall and specific) and result (IR1, IR2 and IR3), indicators, means of verification, results and conclusions are presented. The table below gives an overview of the various M&E instruments deployed in the MYP2 per level in the logical framework (LF) and specifies what outputs, outcomes and impact are intended.  Level capacity  LF Level  Activity  Output  Outcome  Impact  building Institutional level  MoEYS  Intermediate  Meetings Revised  Application of  Behaviour and  Result  curriculum  curriculum,  attitude  Workshops  teaching aids  change w.r.t.  Approved  and manuals  student‐ Conferences  teaching aids  centred  & manuals  RTTCs report  approaches,  Working  Updated  on  science & life  groups  templates for  management  skills education  reporting  science & life  skills  infrastructure Organisational level RTTCs & PTTCs  Intermediate  Identification  Lab, Resource  Usage Commitment  Result  and selection  Room,  to  Procurement  equipped    maintenance  library  and  Distribution  improvement  Training    Structures in  place for CPD  for teacher  trainers Individual level   Teacher trainers   Intermediate  Workshops Lesson plans More  Behaviour and  Result  knowledge and  attitude   Teachers  Lesson  skills  change  observations  Usage of   Material  teaching  development  materials and  manuals   Student teachers  Specific  / /SEAL Programme: M&E report 2012 8/79
    • Objective   Pupils  Overall  / / Experience  Higher  Objective  more relevant  motivation,  and effective  involvement  teaching and  and  learning  satisfaction.  Improved  learning  outcomes. Table 1 M&E in MYP2 The table below gives an overview of the M&E tools applied in 2012.   LF Level  Outcome Impact   Knowledge and skills  Behaviour and attitude change  Usage of materials  Higher motivation and satisfaction.  Improved learning outcomes (pupils) Institutional level    Interviews with MoEYS  Interviews with MoEYS officials  officials (MoEYS)  Plans (TDAP, ICT Master plan)   Organisational level    Logbooks Interviews with RTTC and PTTC (TTCs)  Management  Reports to MoEYS    Checklist Life Skills Activities Individual level   Teacher trainers   Intermediate  Logbooks Focus Group discussion  Result  Lesson Observations  Interviews with teacher trainers    Survey   Teachers  Intermediate  Lesson Observations In‐depth interviews young teachers Result     Student teachers  Specific  Lesson Observations during Interviews with student teachers Objective  practicum  Interviews with young teachers  Lesson plan analysis   Pupils  Overall  Lesson observations in schools  Objective   Table 2 M&E toolkit in MYP2 (2012) SEAL Programme: M&E report 2012 9/79
    • Compared with 2011 following changes were made to the toolkit:  1. The TPACK survey was replaced by smaller survey.  2. Form for lesson observations was revised  3. A rubric for scoring lesson observations was introduced.  4. A  representative  sample  of  lesson  plans  from  student  teachers,  made  during  their  practicum, was collected.    2. Overview Indicators MYP2 LF level  Indicator description Baseline Value end  Value end    2010  2012  2013     The average percentage of pupils showing    active involvement in learning science and life   skills in practice schools  NA  NA  80% Overall objective  The percentage of pupils passing tests on    science subjects including problem solving and  life skills in practice schools  NA  NA  80%   The percentage of graduating student teachers    with a sufficient level of understanding on how   to integrate technological, pedagogical and  0%  50%  70%  content knowledge in science and life skills Specific Objective  teaching.   The percentage of student teachers that    integrate technological, pedagogical and  content knowledge in science and life skills  0%  50%  70%  during their teaching practice.   Teacher trainers’ understanding on how to    integrate technological, pedagogical and   content knowledge in science and life skills  15%  70%  85%  teaching. Intermediate Result 1  Teacher trainers’ application in their lessons of    how to integrate technological, pedagogical  and content knowledge in science and life skills  15%  60%  70%  teaching.  Teacher trainers’ coaching of student teachers    in how to integrate technological, pedagogical  and content knowledge in science and life skills  10%  50%  60%  teaching during the teaching practice. SEAL Programme: M&E report 2012 10/79
    • Intermediate  The percentage of PTTC teacher trainers with a   Result 2  sufficient level of understanding on how to  integrate technological, pedagogical and  0%  65%  85%  content knowledge in life skills teaching.   The percentage of PTTC teacher trainers that    integrate technological, pedagogical and  content knowledge in their life skills teaching.  0%  65%  70%  The percentage of PTTC teacher trainers that    systematically provide guidance during  students teaching practice on how to integrate  0 %  65%  > 50%  technological, pedagogical and content  knowledge in science and life skills teaching   Educational materials (including manuals,  RTTC: 0 RTTC:6  RTTC: 6  posters, a DVD box and digital learning objects)  PTTC: 4   to support  4 science subjects and life skills  PTTC: 0  PTTC:4  teaching are approved and disseminated (in   Intermediate    print or on‐line) by TTD Result 3  80 % of developed educational material  Printed: 0 Printed:  (printed and audio‐visual) integrated into TTDs  >50%  professional development programs and the  Audio‐ national teacher training curricula  Visual: 0  Audio‐ Visual:    >50%  The integration of technological, pedagogical  Not  Partly  Integrated and content knowledge framework into the  integrated  integrated  M&E processes of TTD Table 3 Planned and Achieved Indicator Values  SEAL Programme: M&E report 2012 11/79
    • 3. Overall Objective: Learning outcomes of pupils in basic education improve as a result of more relevant and effective teaching and learning 3.1 Indicators The target group of the overall objective are pupils in basic education (grades 1 – 9).  The way we aim  to  make  classes  more  effective  is  by  making  sure  that  new  teachers  who  graduate  are  better equipped  to  teach  science,  environmental  and  agricultural  life  skills  at  primary  and  secondary schools. A success rate of 80% by 2013 is considered appropriate and feasible (MYP2, p.60). Success can be described as: ‐ The lesson is positively evaluated by the observers. ‐ Pupils indicate a positive change in teaching style. ‐ Teachers indicate satisfaction and motivation to apply SCA.   Following indicators were identified in MYP2 ‐ The average percentage of pupils showing active involvement in learning science and life skills in  practice schools ‐ The  percentage  of  pupils  passing  tests  on  science  subjects  including  problem  solving  and  life  skills in practice schools   Note that the population are the pupils from the 36 practice schools, affiliated to 6 (out of 6) RTTCs and the 24 practice schools, affiliated to 4 (out of 18) PTTCs.    3.2 Means of Verification 3.2.1. Lesson Observations & Interviews with pupils (planned in 2013) Pupils from primary schools and pupils from grades 7 – 9 will be interviewed before and after lesson observations.  Lessons will be observed at 6 schools, one per RTTC in 2013.  Schools will be selected from  the  36  practice  schools.    The  impact  on  pupils  from  non‐practice  schools  is  assumed  from observations at the practice schools.  For  RTTC:  Four  lessons  per  school  will  be  observed  and  4  pupils  per  lesson  invited  for  a  short interview, resulting in 96 interviews. For  PTTC:  Lessons  will  be  observed  at  4  schools,  1  practice  school  of  each  of  the  4  target  PTTCs. Schools will be selected from 24 practice schools. Also lessons will be observed at 2 practice schools of 2 non‐target PTTCs as there are no baseline data for the PTTC level. The objectives of the interviews are to learn: ‐ What are pupils’ descriptions of a “normal” lesson? ‐ How do pupils perceive the lesson compared with a “normal” lesson? SEAL Programme: M&E report 2012 12/79
    • ‐ What are pupils’ emotions when confronted with a student‐centred teaching approach? ‐ Did pupils feel that they learned more with this approach? ‐ What would pupils change to the teaching?   3.2.2. In‐depth interviews with recently graduated students (aka young teachers) During  interviews  with  young  teachers,  we  asked  some  questions  about  pupils’  reactions  when applying  student‐centred techniques  and  technologies, and  about  any  evolution in  pupils’  learning outcomes. (See a more detailed description of the tool under 3.2.2)  3.3 Results 3.3.1 RTTC There  is  a  time  lag  between  programme  activities  and  a  noticeable  impact  with  the  target  group.  Training activities with teacher trainers in Kandal started in earnest in 2009 and application of SCA and ICT by teacher trainers at the pilot institution (RTTC Kandal) wasn’t in full swing until 2010.  This implies  that  the  student  cohort  graduating  in  July  2011  was  the  first  cohort  that  could  have experienced  a  more  student‐centred  teaching  approach  by  teacher  trainers.    This  means  they  are the first group of graduated teachers who can reasonably be expected to teach in a more student‐centred way.   For the other RTTCs trainings started at the end of 2011 and continued throughout 2012.    For  RTTCs  outside  Kandal  students  graduating  in  2014  will  be  the  first  group  to  have experienced  student‐centred  approaches.    The  impact  in  the  RTTCs  outside  Kandal  will  therefore largely take place beyond the lifetime of the programme. Some  indications  of  the  impact  of  the  programme  can  be  obtained  from  anecdotal  evidence  and informal  dynamics.    For  example,  draft  versions  of  manuals,  posters  and  experiment  descriptions have  been  repeatedly  requested  and  copied  by  students.    POE  Kandal  has  requested  copies  of posters to distribute to schools and many student teachers have been using our YouTube videos of experiments to prepare their practice lessons (23.041 views on VVOBCambodia YouTube Channel on November 12, 2012).   Recently graduated teachers indicate that they are quickly made head of subject, often after a few months of teaching.  Lesson observations convince school directors of the stronger capacity of newly graduated teachers.  This could be because directors are aware of recent policies to promote the use of SCA in schools.  As head of subject they can lead monthly technical subject meetings and is in a position to introduce SCA to their colleagues.  “The first monthly technical meeting takes place tomorrow, in total, 8 teachers from physics  and  chemistry  teaching  G7  to  G12  attend  the  meeting.  Last  year,  our  agenda  discussion  focused on lesson  content for example  electrostatic,  the use  of chemical  periodic table etc.  The discussion on teaching methodology was also in our agenda. In the meeting I mentioned  the  number  of  techniques  of  SCA  I  learned  during  my  training  program  at  RTTC  Kandal,  I  indicated the name of techniques, but not really show them the procedure and how to apply  those techniques yet. I plan to introduce them in the next meeting because the agenda for  tomorrow  is  fully covered  on  other issues. When  I  applied  SCA in my lesson, most teachers SEAL Programme: M&E report 2012 13/79
    • showed  their  interested  and  requested  me  to  share  with  them  someday.  My  director  also  satisfied  my  lesson  when  applying  SCA,  because  he  can  compare  my  good  lesson  to  the  lesson  without  SCA  integration,  students  are  more  active  and  have  a  good  discussion  and  interaction”.  (Young Teacher A) In  a  student‐centred  classroom  also  students  need  to  come  along.    Stories  from  young  teachers show that some pupils find it difficult to be active and think for themselves. Some pupils reportedly have low literacy skills, making it difficult to apply student‐centred approaches.  “SCA is seen as challenges to apply in every lesson. Most students in my class have low ability  to read and write, they are familiar with the approach to just copy the text from the board  into  their  notebook,  and  not  able  write  independently  or  with  their  own  words.  I  can  conclude that one reason is the quality of their primary education is not high. Another reason  is that teachers are afraid to not finish the curriculum by the end of the school year, so the  lesson went fast and students find it difficult to follow. In my lesson last year, I spent more  time lecturing than involving students in the discussion, I hope in this school year, the student  prior knowledge is better and stimulate to apply SCA more frequently”. (Young Teacher  The  main  barrier  for  young  teachers  to  apply  SCA  in  their  schools  is  time.    Many  teachers  have  a second  job  to  complement  their  income.    In  school  they  teach  more  than  one  subject  or  teach  in upper  secondary  classes  as  well.    More  teaching  hours  leaves  them  little  time  to  prepare  their lessons.    “When I became a teacher at this school I am appointed to teach more than one subject, this  had leaded me to have little time preparing my lesson plan, also if I integrate and apply SCA  in every  lesson, I will not able to finish all topics in  the curriculum at the end of the school  year. Besides the teaching, I also have to support my family in  farming to make up for the  income”.  Time also relates to the pressure to finish the curriculum in time.  All young teachers found that the curriculum is too extended.  In order to cover all the topics they tend to resort to lecturing and other teacher‐centred approaches.   “Applying  SCA  more  frequently  can  slow  down  my  lesson.  Sometimes  lecturing  is  a  good  choice rather than encouraging student in the discussion”.  3.3.2 PTTC As  mentioned  above  also  for  the  life  skills  programme  for  PTTCs  there  is  a  time  lag  between programme  activities  and  a  noticeable  impact  with  the  target  group.    Teacher  trainers  from  PTTC Siem  Reap  have  been  doing  try‐out  lessons  at  PTTC  Siem  Reap  during  the  school  year  2010‐2011. The  first  group  of  students  that  could  have  benefitted  from  the  new  approaches  in  the  subjects Agriculture  and  Environment  graduated  in  June  2011.  From  this  group  8  students  have  been interviewed  then,  and  again  in  October  2012.  This  means  they  are  the  first  group  of  graduated teachers who can reasonably be expected to teach in a more student‐centred way. The interviews of SEAL Programme: M&E report 2012 14/79
    • October  2012  show  that  they  have  been  using  SCA  and  are  experimenting  and  trying  to  improve themselves.  Training activities for teacher trainers of all 18 PTTCs started in early 2011 and improvements in the environment  and  agriculture  lessons  and  application  of  SCA  by  teacher  trainers  there  only  fully started with the school year 2011‐2012. The student cohort graduating in 2012 was the first cohort that could have experienced a more student‐centred teaching approach in the life skills lessons by teacher trainers.  The impact in the PTTCs outside Siem Reap will therefore largely take place beyond the lifetime of the programme. Some  indications  of  the  impact  of  the  programme  can  be  obtained  from  anecdotal  evidence  and informal  dynamics.    Students  mention  the  change  in  their  attitude  towards  keeping  the  school grounds  at PTTC  Siem  Reap  clean and  seeing the  benefits of  segregating waste.   When they  came back  from  their  teaching  practice  they  notice  there  was  no  waste  segregation  system  in  their practice  schools  and  they  are  planning  to  implement  this  in  their  schools.  They  also  mention  that they do get support from their school directors to implement SCA in the lessons.  “My director completely supports applying SCA and helps with finding or producing teaching aids.” The main barrier for young teachers to apply SCA is lack of teaching aids they mention. The school has some budget but it is not enough. They do try and make teaching aids themselves and use easy to find real life objects in their lessons or ask pupils to bring materials from home. Pupils often are not used to different student centred techniques.  “Students have not seen some methods before, like the questioning game, they are scared to play it or afraid to answer questions.” Pupils’ reactions During the follow up visit to PTTC Banteay Meanchey and PTTC Battambang in May 2012 pupils were invited  to  answer  some  questions.    A  group  of  3  pupils  from  grade  6  at  the  practice  school  in Battambang said:    “Yes,  my  teacher  gives  a  nice  lesson.  He  leads  us  to  play  educational  games  and  teaches  about  reading.  I  know  that  environment  is  everything  around  us  such  as  school  premises,  toilets, etc. I have learned the meaning of 3 colours bins. We have learned how to collect the  waste, clean the classroom and school ground, plant and water the flowers. Sometimes we  have a lesson outside and the teacher asks us to collect the waste and put it in the bins. We  have learnt how to grow vegetables such as cabbage and morning glory, but we did not learn  how to raise both chicken and fish yet. We have practice at outside very often.” Quotes from a group of 4 pupils from grade 6 at the practice school Battambang:   “Yes, I like going to school. The teacher gives nice lessons such as sports, agriculture, telling  tales and joke stories. Environment means  everything around us such as tree, chair, swing,  teachers, students, water, rain, wind, soil and so on. We have learnt about waste disposal.  The teacher explains me about the role of each colour waste bin. We now collect the waste SEAL Programme: M&E report 2012 15/79
    • around the school ground, classroom and put them in the right waste bins.  I learn how to  grow vegetables at school. I learn how to roof the chicken cage, and we have learned about  doing vaccination and making chicken food. Also we learn the theory of digging the hole for a  fish pond. What I like best is growing chili, digging the soil, water the vegetables.”  3.4 Conclusion Measuring impact is challenging due to the time lag and the difficulty to link changes in behaviour causally  to  programme  activities.    There  is  anecdotal  evidence  that  graduated  teachers  are  using student centred approaches in their schools, but this needs to be confirmed by lesson observations and  more  interviews  with  pupils  in  2013.    The  graduated  teachers  who  were  interviewed  did  not report resistance by elder teachers and the management as an important barrier.  Conversely, some have been made head of subject already.  Instead, time often presented the main challenge as they have multiple jobs, teach various subjects and get classes in upper secondary school assigned.      SEAL Programme: M&E report 2012 16/79
    • 4. Specific Objective 1: The percentage of graduate teachers with a sufficient level of understanding on how to integrate technological, pedagogical and content knowledge in science and life skills teaching 4.1 Indicators Two indicators were defined for SO1: ‐ The  percentage  of  graduate  teachers  (graduated  student  teachers)  with  a  sufficient  level  of  understanding on how to integrate technological, pedagogical and content knowledge in science  and life skills teaching. ‐ The  percentage  of  student  teachers  that  integrate  technological,  pedagogical  and  content  knowledge in science and life skills during their teaching practice.  Target values for 2013 were determined. ‐ The target value for 2013 for both indicators is an impact on 70% of all student teachers in an  effective  way.    The  baseline  value  in  2011  is  15%  as  only  student  teachers  in  Kandal  can  be  expected to be impacted by the programme (Table 3).    4.2 TPACK Concept Technological  Pedagogical  Content  Knowledge  (TPACK)  attempts  to  capture  some  of  the  essential qualities  of  knowledge  required  by  teachers  for  technology  integration  in  their  teaching,  while addressing the complex, multifaceted and situated nature of teacher knowledge. At the heart of the TPACK  framework,  is  the  complex  interplay  of  three  primary  forms  of  knowledge:  Content  (CK), Pedagogy (PK), and Technology (TK).   Figure 1  TPACK Concept (Source:  http://tpack.org/) SEAL Programme: M&E report 2012 17/79
    • A central element in the TPACK concept is that applying a student‐centred approach or technology in itself  is  not  sufficient.    There  is  only  an  improvement  in  teaching  if  there  is  a  negotiated  balance between content knowledge, pedagogy and technology, whereby technology is not limited to digital technologies.  Indeed, in the Cambodian context, non‐digital technologies such as posters, cartoons and games arguably play a more important role than digital technologies.  4.3 Means of Verification 4.3.1 Analysis lesson plans from teaching practice Lesson plans  developed during teaching practice were collected from  a random sample of student teachers from the 6 RTTCs.  Table 2 and  Subject  Number of student teachers  Number of lesson plans Kandal  9  82 Phnom Penh  9  51 Takeo  9  32Prey Veng  9  113Kampong Cham  9  65 Battambang  9  80 Total  54  423 Table 5 provide an overview of the sample characteristics. Subject  Number of student  Number  of  lesson   teachers  plans Math‐Physics  15 60Physics‐Chemistry  18  178 Biology‐Earth Science  17  185      Table 4 Overview lesson plans collected per subject (data 2012)  Subject  Number of student teachers  Number of lesson plans Kandal  9  82 Phnom Penh  9  51 Takeo  9  32Prey Veng  9  113Kampong Cham  9  65 Battambang  9  80 Total  54  423 Table 5 Overview lesson plans per RTTC Misinterpretation of instructions caused the low number of lesson plans from RTTC Takeo.    SEAL Programme: M&E report 2012 18/79
    • Student  teachers  prepare  lesson  plans  for  the  2  subjects  of  their  specialisation  (mathematics‐physics, physics‐chemistry or biology‐earth science).  The subject listed first is the major subject and student teachers are required to prepare more lesson plans for their major subject. Chemistry and earth science can only be studied as the second subject, which explains the lower number of lesson plans for these subjects.4.3.2 Interviews with student teachers Interviews with small groups of student teachers were systematically done during follow‐up visits to the 5 RTTCs in March, June and November.  Per RTTC 3 or 4 student teachers were interviewed per visit, resulting in a total of 60 interviews.  In  March  and  May  2012  interviews  were  done  with  student  teachers  from  the  3  target  PTTCs (Banteay  Meanchey,  Battambang  and  Kandal).  In  total  12  student  teachers  took  part  in  the interviews.  4.3.3 Lesson observations (during teaching practice) 20 Lesson observations were carried out at the practice schools of RTTC Kandal during the practicum of 2nd year students in the period February– April 2012.   As  for  practice  schools  of  PTTC  Siem  Reap  the  teacher  trainer  responsible  for  collecting  lesson observation  forms  during  teaching  practice  is  at  the  moment  processing  the  collected  data.  The results will be integrated in the next version of this report. Objectives of the lesson observations are: ‐ To asses  student teachers’  awareness of  SCA  and  their capability to successfully  integrate SCA  into their lessons. ‐ To provide feedback to student teachers about the integration of SCA into their lessons. ‐ To  assess  the  suitability  of  learning  materials  developed  by  the  SEAL  programme  in  a  local  classroom context.   4.3.4 In‐depth interviews with recently graduated students (aka young teachers) We  selected  in‐depth  interviews  as  a  research  methodology  as  we  wanted  to  obtain  insights  in deeper motives of participants.  Since we would like to discuss barriers and challenges encountered during their teacher training, we considered individual interviews more appropriate in this context than focus group interviews.   In‐depth  interviewing  is  a  qualitative  research  technique  that  involves  conducting  intensive individual  interviews  with  a  small  number  of  respondents  to  explore  their  perspectives  on  a particular idea, program, or situation (Boyce and Neale, 2006).  We selected the subjects for the in‐depth  interviews  with  purposive  sampling.    This  means  that  we  deliberately  selected  participants according to preselected criteria relevant to our research question.  When the same stories, themes, issues, and topics emerge from the interviewees, a sufficient sample size has been reached (Boyce and Neale, 2006).  SEAL Programme: M&E report 2012 19/79
    • In  May  2011  we  seelected  9  RT and  8  PTTC  student for  a  sem TTC  ts  mi‐structured in‐depth  in d  nterview.  Interview were  con ws  nducted  in  J June  2011  a follow‐up  interviews in  October 2012.    In  2 and  s  r  2013  the same  paarticipants  w be  interv will  viewed  for  a last  time.    The  17  stu a  udents  were  selected  fro RTTC  om Kandal  and  PTTC  Siem  Reap,  s since  only  th hese  studen were  fam nts  miliar  at  the time  with  student‐ e centred teaching approaches.   For RTTC C they were selected acc cording to following crite eria: ‐ Bala ance  between  3  speciializations  (earth  science/  biology physics/  chemistry,  physics/  y,  matthematics); ‐ Gen nder balance; ; ‐ Bala ance between province oof origin (Kan ndal, Kampon ng Speu, Kam mpong Chnanng)  For PTTC C they were randomly seelected ensu uring gender balance. For the s start intervie ew the objecctives were to: ‐ Obtain insights i into their understanding, applicationn and appreciation of SCA A; ‐ Lear rn about their plans and expectations about their r teaching;   For the f follow‐up intterviews thee objectives a are to: ‐ Com mpare the tea achers’ expeeriences withh their plans and expecta ations the year before. ‐ Desc cribe their ch hanges in SCCA appreciatiion and unde erstanding.‐ Dete ermine lessoons learned rregarding strrategies to en nhance adop ption of SCA in school pra actice. ‐ Disc cuss  possible changes  in teacher  education  in  order  to  better  prepar and  equi future  e  n  re  ip  teac chers.    4.4 Results R RTTC stude ent teacher rs During  t their  practic cum  in  2012  about  half  of  the  student  teachers used  IBL  o group  wo   One  s  or  ork. student  in  five  applied  SCA,  introduced  by VVOB.    Ne y  early  60%  used  a  poste in  their  practicum  er (Figure 2 2).       Figure 2 P Percentage of st tudent teacher rs applying SCA A (left) and usin ng teaching aids (right) (n=53) ) Student  teachers ap pplied a varie ety of student‐centred a approaches ( Group work  (in more  (Figure 3).  Gthan  ¼  of  lesson  plans)and  inquiry‐based  learning  (in about  1/6 of  lesson  plans)  prov p n  6  ved  most SEAL Prog gramme: M&E r report 2012 20/79
    • popular, the  forme being  a  c ,  er  catch‐all  term  covering  a  wide  var riety  of  active  (and  less  active) instructi ional techniq ques and the e latter has b ted by Stepsam2 since 20 been stimulat 008.   Techniques introducced by VVOB B do show up in student ts’ lesson pla ans, albeit not in large n numbers.  Howeve trainings  for  teacher trainers  st er,  r  tarted  only  in  October  2011  with  the  bulk  o organized between or having an impact on th n February and May 2012, too late fo he practicumm.   Figure 3  S Student‐centre ed approaches applied by stud dent teachers d during their tea aching practice e during school year 2011 – 2012 (n = 400)  Technologies applied by studeFigure 4  T ent teachers du uring their teac ching practice ( (n = 400) Posters are the mosst popular technology use ed by studen nt teachers d during their practicum (FFigure 4).  More thhan 1/3 of th he lesson plaans featured the use of a a poster and d nearly 60%% of student  teachers used one.  About 1 iin 8 lesson p plans include ed a low‐cost t experimentt and 1 studeent in 4 used d at least SEAL Prog gramme: M&E r report 2012 21/79
    • one experiment during their teaching practice (Figure 2).  Posters include mainly copies of textbook pictures,  self‐made  posters  and  (in  Kandal)  posters  developed  by  VVOB,  which  are  available  for borrowing  by  the  students.    Distribution  of  posters  to  other  RTTCs  took  place  after  the  practicum (February – April), so that usage figures are expected to rise in 2013. Most SCA were applied by student teachers from RTTC Kandal, except for IBL. Nevertheless, in some RTTCs, notably Takeo, lesson plans contain SCA and experiments introduced by VVOB in 2012.  These data  are  confirmed  by  interviews  with  student  teachers.    For  example,  students  physics  and chemistry at RTTC Kampong Cham indicate to do at least one experiment per week.  Earth science and biology students report that posters are frequently used by their teacher trainers, and plan to use them in their practicum. Interviews  revealed  that  student  teachers  appreciate  that  their  teacher  trainers  apply  SCA.  Following reasons were mentioned:  ‐ Lessons are more enjoyable, increasing their motivation  “SCAs lead to a better learning environment.  I feel more motivated to come to class.  Later in  my  school  I  want  to  create  the  same  feeling  with  my  pupils.”  (Student  Teacher  RTTC  Kampong Cham, March 2011).  ‐ They get a better understanding of the content  “I  am  not  from  science  subject,  but  when  received  cascade  trainings  from  colleagues  and  have  applied  with  STs,  I  found  that  student  teachers  like  the  lessons  and  learn  better.”  (Pedagogy teacher trainer RTTC Kampong Cham)  ‐ Materials are relevant for them, saving them the cost to buy materials themselves.  “For science posters, student teachers like them. With the A3 format of periodic table, some  student  teachers  do  not  need  to  buy  personal  pocket  periodic  table  anymore.”  (Teacher  trainer chemistry, RTTC Prey Veng)  ‐ They get inspiration to apply SCA in their teaching, thus becoming better teachers.  Student  teachers  discuss  with  each  other  which  techniques  and  materials  could  be  useful  for  their  own teaching.  “I liked the lesson on the Sun and the Moon.  First we watched a video, and then the teacher  used a poster to explain about the solar eclipse.  Then we used [concept] cartoons to discuss  about  the  reason  of  solar  eclipse.  In  my  school  I  cannot  use  the  video,  but  I  can  use  the  cartoon  to  let  my  students  discuss  about  the  solar  eclipse.”    (Student  teacher  RTTC  Prey  Veng, March 2011) Data are difficult to compare with baseline values, collected in 2008 and 2010, as these were based on self‐assessment data, and not on analysis of lesson plans and were limited to RTTC Kandal.  Data in 2010 showed a strong rise of the use of didactical materials in RTTC Kandal by student teachers during their practicum (Figure 5). SEAL Programme: M&E report 2012 22/79
    •  Figure 5 Use of extra didactical materials by student teachers at RTTC Kandal during their practicum in 2008 and 2010 Up  to  now, only model  teachers  from  practice schools  from RTTC Kandal  are  acquainted with SCA and the supply of teaching aids.  Training activities for model teachers from other RTTCs are planned in early 2013.  This is  important as  lesson observations by teacher trainers are very  limited during the practicum, and usually only during the final lesson.  Data don’t give information about the quality of the applied technique.  Experiments, for example, are  often  used  to  ‘prove’  the  theory  taught  before,  rather  than  as  a  tool  to  encourage  student thinking.  4.5 Results PTTC student teachers In‐depth interviews with student teachers in 2011 In  July  2011  a  number  of  8  graduate  student  teachers  were  asked  to  participate  in  an  in‐depth interview. The student teachers were chosen randomly, 4 female and 4 male student teachers. The questions of the interview (Annex 8) are follow up questions related to the TPACK questionnaire to find out more about student teachers understanding of aspects of teaching and learning, especially the Student Centred Approach.  Below is a summary of the interviews:  M/F Scale Can explain Nr.of SCA How often did Important? TTs showed Expected SCA approaches you use it/when? SCA? difficulties in concept mentioned future school and its during usefulness interview1 M 7 ++ 8 During teaching Strongly believe Sometimes, also Lack of teaching practice, maths it’s important learn by myself aids exampleSEAL Programme: M&E report 2012 23/79
    • 2 M 8 + 8 Example of Strongly believe Yes a lot Lack of teaching maths. aids, absence of students3 M 7 ++ 12 Often, maths Yes Encouraged me Low capacity of example teachers, lack of teaching aids4 M 7 ++ 9 Maths example Yes vital Often and lots Low capacity of teachers, lack of teaching aids, bad management5 F 7.5 +++ 10 During teaching Yes, experienced Showed good Lack of teaching pract. Maths that it helps examples and aids, lack of example. encouraged participation of during teaching students but SCA practice can help with that6 F 8 + 7 In the Nat.educ. Yes, it saves time, Yes they helped Making teaching program so I have st.help each aids takes a lot of to, used in other, share ideas time, students are teaching pract. noisy and lazy in group discussion7 F 8 ++ 12 During teaching I experienced it 70% of them yes I have to do more pract., soc.study helps so yes, and self-study on SCA, example. poor research prepare good skills in students lesson plans, need to be improved8 F 8 + 11 Math.example. Vital and good Yes they give Too many students and during expl.why ideas in one class, teaching pract producing teaching aids is time consuming, Av 7.56Table 6  Summary interviews with PTTC student teachers On understanding the concept of SCA female students rated themselves a little bit higher than the male students (7.9 against 7.3 for the male students) on a scale from 1 to 10. When asked to explain what SCA is and how useful it is, 1 girl gave a very good explanation, 2 gave a sufficient explanation and  the  4th  female  student  teacher’s  explanation  was  a  bit  under  average  but  still  showed  some understanding.  Out of the 4 male students 3 were able to give a complete and thorough explanation. All 8 students were able to give a good variety of examples of teaching approaches (average nearly 10 examples per student). 2 of the 8 student teachers mention spontaneously they are familiar with the list of 36 SCA activities. All  student  teachers  mention  that  they  used  SCA  activities  during  their  teaching  practice  and  they were encouraged to do so by the teacher trainers.  When asked to give an example of using SCA in their own teaching most students (6 out of 8) gave an example related to Mathematics.  The biggest problem they expect to encounter when they start teaching in their future schools is a lack of teaching aids.  Some mention that they can  address that challenge by  making teaching  aids themselves or use real life teaching aids that do not take much time to prepare.SEAL Programme: M&E report 2012 24/79
    • In‐depth interviews 2012 with 4 primary school teachers (graduated and interviewed in 2011)  In  October  2012  an  interview  was  held  with  4  of  the  8  above  mentioned  student  teachers,  now  primary  school  teachers.  Most  questions  are  the  same  as  last  year.  Some  questions  were  added  about their experience with SCA after 1 year of teaching and some questions about their school. The  4 primary school teachers were chosen randomly from the total of the 8 above mentioned student  teachers that were interviewed in July 2011. This is a summary of their answers.   M/ Scal Explain SCA  Examples  Why do  Challenges  Would you  Characteristics of a good  F  e  concept and its  given  you use  consider using  teacher  usefulness  it?  more or other  SCA? 1  F  9  More activities for  Educational  Students  Students are  Yes I am still  Motivation is the most  students, student  games,  are able  not used to  improving and  important weather they  are confident and  experiments to figure  group  could do other  are in a rural area or in a  learn  , group  things out  discussion, they  educational  town  independently  work,  and it  hesitate to  games, painting,  and clearly  practice,  makes  show ideas, but  thinking‐ understand, they  questioning,  student  now they get  entertain‐ work together  brainstorm,  responsibl used to it  rethinking  and learn  observation e.  because the  technique.  cooperatively.  s outside  group  the  discussion can  classroom  be arranged  much faster no. Lack of teaching  aids, but use  low cost  materials. 2  F  8.5  It makes students    It serves  Is still use it and  Strongly respects the  able to find  teaching  try other  school discipline and make  solutions,  Group work,  and  Lack of  methodologies  students understand and  collaborate and  questioning,  learning.  resources,  which makes it  follow, solving problems  help each other,  experiments  If during  example giving:  easier for students  for the students  and they are  lesson  a lesson on  to they want to  active  teacher  electricity  learn  talks a lot,    students  get bored  and lose  attention,  with SCA  they stay  interested , they can  share  ideas 3  F  5  Students are  Learning  Because  Students have  I use SCA once in a  Trying to find new  more active than  games,  students  not seen some  while depends on  knowledge  the teacher, it  guided  can  methods  the lesson, I still  makes students  questions,  express  before, like the  use it and am  SEAL Programme: M&E report 2012 25/79
    • more interested  brainstormi their ideas  questioning  trying to find out  ng, analyse,  and it is  game, they are  more methods to  discuss in  quick for  scared to play it  use.  pairs  them to  or to answer  remembe questions  r and they  will  remembe r more.   4  M  7  Students are  Group  Students  Difficult to  Pupils’ ability to  Try to provide pupils with  more active,  discussion,   learn  handle the  SCA evolves. In  lessons that they can  students can  search for  collaborat variety of levels  group discussion,  understand, teach  grasp the content  information  ively and  in the class.  they sometimes  regularly, make a lesson  of the lesson  as  it easier  don’t understand  plan and prepare teaching  immediately, and  homework,  for them  Some pupils are  the content. That  aids.  students are able  pair  to grasp  not so literate  is why the lesson  to show their  discussion,  the  and then group  should also use  ideas.  small  content.  discussion is  other techniques.   groups  awkward.   solving  Through class  maths  discussions or pair  assignment,  discussion pupils  pupils  at different skill  present   levels can learn.    findings     demonstrati on with real  life objects,  let students  draw  numbers on  the board      M/F  Meetings in school  Do colleagues  Support from director  Budget to buy  Suggestions how to  apply SCA?  materials for life skills  improve the teacher  in applying SCA  and other resources?  education PTTC to be better  prepared? 1  F  Once a month, if it is  Yes, some do  I have to demonstrate a lesson 2 or 3  Yes, but it is not  To provide even more new  not too busy. Used to  times a year. POE and my director  enough, students  techniques and more ideas  show a model lesson  and visitors from Japan and VVOB.  shared by bringing  to make low costs  and the team gives  My director completely supports  brooms and collect a  materials/teaching aids.  feedback and share  applying SCA and helps with finding  bit of money to buy  If all student teachers apply  materials used.  or producing teaching aids.  small bins or bring  SCA in their schools the  some wood to make  primary schools will surely  them.  I can make  be good in the future.  copies but the budget  is not enough.  2  F  Every month,  Yes  Yes, for example when some lessons  Yes the school has a    discussions about  require additional resources the  budget to support  good methodology,  director helps to facilitate this. During  school expenses, but it  SEAL Programme: M&E report 2012 26/79
    •   M/F  Meetings in school  Do colleagues  Support from director  Budget to buy  Suggestions how to  apply SCA?  materials for life skills  improve the teacher  in applying SCA  and other resources?  education PTTC to be better  prepared?  cascading methods,  technical meetings a model lesson is  mainly supports the  sharing ideas on SCA  demonstrated and discussed  fence, but we can also  afterwards.  make copies.  I  suggested more  experimental and  teaching resources. 3  F  Every month,  Yes  Yes, for example when some lessons  No budget. Request the teachers to  discussions and  require additional resources the  teach regularly. Teacher  trying new teaching  director helps to facilitate this. School  I would like more  shows up during agriculture  methods,   director observed my lesson.  resources but the  lesson and asks students to  school cannot provide  try and understand by  During technical meetings a model  it.  themselves. Request the  lesson is demonstrated and discussed  students to bring the  afterwards.  resources by themselves for  the agriculture lesson.  4  M  Every month.  Yes, for  School director helps with materials  PB Budget, but not so  If VVOB has new good  example group  and methodology to teachers. Giving  much. I will share some  lesson, manuals or other  Discuss about  discussion,  feedback after a lesson.  money to buy things  background information  geometry,  search for  but not so much.  about agriculture and  measurement unit,  information,  Teachers from clustered schools, in‐ environment, it can help  dictation, essay  assigning tasks  school teachers have done a lesson  share with student teachers  writing. If one  and exercises to  observation.  so that they can apply when  teacher does not  test students’  they are at the future  understand the  ability.  schools. VVOB can  methods well, one  distribute some manuals to  another will provide  keep the old teachers that  knowledge of this.  have never been involved  with VVOB posted.    Compared  to  last year  3  out of 4 teachers rate their  understanding of  SCA  higher.  The  4th  teacher  rated  herself  lower  (5)  but  when  asked  to  explain  the  concept  and  its  usefulness  and  to  provide  examples she was able to do so. She does mention that she is using it once in a while and is trying to  find  out  more  methods  to  use.  All  4  teachers  can  explain  why  they  feel  SCA  is  useful.   The  4  teachers  can  name  a  total  of  13  different  SCA  techniques  that  they  use.  Challenges  they  mention  is  that  pupils  are  not  used  to  the  new  methodology  and  are  sometimes  shy  to  answer  questions or participate in a game. They also mention lack of teaching aids. There is a budget to buy  materials but it is not enough. All 4 teachers have a monthly meeting at their school with the team  where methodologies are shared and model lessons observed. They all feel that their school director  is supportive of SCA and tries to help in finding or making teaching aids. After 1 year of teaching the  teachers are still motivated to keep teaching. When asked do you plan to keep working as a teacher  all 4 primary school teachers answer in a positive way.  “I will keep working as a teacher especially it is useful for young pupils. If the pupils are well‐ educated  at  the  basic  level,  they  will  be  strong  at  higher  levels.  It  is  useful  for  myself,  my  family.  Due  to  low  salary  I  sometimes  feel  demotivated.  Anyway  I  keep  doing  it  enthusiastically. It provides me high honour in society.”  SEAL Programme: M&E report 2012 27/79
    • “Yes  I  will  keep working as  a  teacher.  Working  as  a teacher provides  me with high  honour  and helps people, especially children to escape from illiteracy. Benefits: It provides students  with knowledge, as teacher I can provide knowledge and skills. I have a range of techniques  to apply to students. And I can development myself. Disadvantages are: Low living standards  and the high workload.  In‐depth interviews with 8 student teachers graduated in 2012  In June 2012 an interview was held with a new group of 8 graduate student teachers. The student  teachers  were  chosen  randomly,  4  female  and  4  male  student  teachers.  The  questions  of  the  interview are nearly the same as the questions that were asked to the 8 graduate student teachers  last year. The interview contains questions to find out more about student teachers understanding  aspects of teaching and learning especially the Student Centred Approach and Life Skills education.  This is a summary of their answers.  M/ Scale Can explain Example How often did Important? TTs showed SCA TTs showed SCA in F SCA given you in Environment Agriculture lessons experience lesson concept and SCA at PTTC its lessons usefulness1 F 7.5 ++ Group Very often Yes, it The Environmental The use of fertilizers and discussion encourages lessons include the insecticides, soil preparation involvement relationship between techniques for crops growing. lives on earth and the natural protected area.2 F 6.5 ++ Group All lessons Yes, I stimulates Outdoor activities, Building beds for growing discussion pupils to learn by learning games, and crops, making composed themselves songs. fertilizer, and using insecticide.3 F 8 + Group Not very often Yes, pupils do lots (Outdoor activities) Outdoor activities. Producing discussion of activities Biodiversity lesson: composed fertilizer and dry Each student is has fertilizer, and building beds for to find plant’s name. crops growing.4 F 7 + Group Very often Yes, pupils can (Outdoor activities) Outdoor activities: Example: discussion check their won Example: Growing vegetable answers Biodiversity5 M 7 ++ Group Yes, Students Yes. It Group discussion Activities inside and outside discussion learn more encourages pupils was also the classroom (e.g. compost to share opinions accompanied by production) which enable a pictures presentation better (e.g. deforestation) understanding6 M 8 ++ Group Yes and I Yes. Pupils like Group work (e.g. Activities outside classroom discussion appreciate it learning this way Ecosystem) (e.g. chicken raising)7 M 6 ++ Learning Sometimes Yes, it make Individual work, Outdoor activities: Example: game pupils self- example: Recycling. Fish raising and crops growing SEAL Programme: M&E report 2012 28/79
    • confident Plastic water bottles can be used for crafting animals or growing plant.8 M 5 ++ Group Very often Yes. All pupils are Groups work, None discussion involved example: Crops growing. Av. 6.88   M/F ICT use Use of SCA in own What Life Skills activity do you Teaching Aids you plan to use and the barriers teaching plan to implement in your future school?1 F I appreciate ICT very Outdoor activities I have a plan to set up a life skills The supporting learning materials that I used include: much, I like to show cleaning the school garden and lead my students to Numbers 1-100 Square Poster, an unnumbered ruler, my ability grounds, role play practice. number cards, word cards. Using these materials helps the students understand the lessons easily. These materials are only available in some schools. For the barriers, I will prepare the materials myself (For instance, there is only one picture of water cycle in the school, some teachers use it for teaching, and I will use the materials that I have invented).2 F I appreciate ICT very Outdoor activities: Crops growing and fish raising Existing and readily available materials such as straws, much, plan to us it, observation and activities provide students with stone, self-invented materials, fraction, content, litre but availability in take notes, assign extra skills in addition to what measurement, and statistic materials that I asked my school will be difficult tasks for each group they have learned in the class. students to produce previously. Some of the above- member mentioned materials are available in school. The barriers for me include lack of teaching materials in the school but I will produce them immediately for using in my teaching.3 F I appreciate ICT very Water Cycle lesson, Growing vegetable. Existing and readily available materials include straws much; plan to us it, group discussion and stone. Some of the above-mentioned materials are pictures from internet available in school. The barriers for me include lacking and it makes of teaching materials in the school but I will produce teaching easier. them immediately for using in my teaching.4 F I appreciate ICT, plan Group work Body hygiene, helping with Existing and readily available materials include to us it, but activities housework and growing pictures. Using these materials helps students learn availability in school vegetable. lessons more easily. Some of the above-mentioned will be difficult, but materials are available in school. The barriers for me can make pupils include lacking of teaching materials in the school but I progress can have them [the pictures] photocopied. SEAL Programme: M&E report 2012 29/79
    • M/F ICT use Use of SCA in own What Life Skills activity do you Teaching Aids you plan to use and the barriers teaching plan to implement in your future school?5 M I appreciate ICT very Group work Environmental pollution and I will use the existing materials and newly made much; plan to us it, if clean environment. materials as they are important for presenting each available. It’s easy lesson. There are some barriers due to insufficient and saves time. materials, so the school committee should supply them to be available.6 M Modern techniques Research activities, Chicken raising and sanitation Word cards, pictures, movable letters, number cards attract pupils’ interest observation of palm and real objects such as pieces of stone, leaves of in learning. trees tree, etc., are used to enable the students to understand the lesson better. These materials are available in school. The barriers include the use of same materials, materials shortage and non-advanced materials makes the students feel bored. Materials should be created in a more attractive way.7 M I appreciate ICT, plan Outdoor activities, The use of plastic bags should Teaching aids are very important for achieving to us it, if it is collect things, role be reduced; lotus leaves, bowls objectives of a lesson. Teaching aids are also useful available in school, play or boxes should be used instead. for mainstreaming the lesson content and make the pupils like to learn students feel want to learn. Without teaching aids, the more, I will use students will gain only the knowledge but not the skills. videos These materials are available at school. The barriers to use these materials are that the school does not have sufficient materials but I can tell my students to bring from their house.8 M I appreciate it very Group discussion, Crops growing. I will use pictures, real objects, straws, and chopsticks. much, plan to use it, to draw shapes in Using teaching aids helps the students understand the ex.slide show of maths lesson easily. Some materials are readily available. pictures, it make students want to lean   All 8 students used SCA during their teaching practice and they were encouraged to do so by their  teacher  trainers.  All  student  teacher  claim  they  will  use  SCA  in  their  future  school.  The  female  students  rate  themselves  a  little  bit  higher  than  the  male  students  (7.25  for  the  female  students  against 6.5 for the male students). This was also the case last year, but when asked to explain the  concept and its usefulness the male students are a bit better. All 8 students can provide a sufficient  explanation, 6 out of 8 a thorough explanation. When asked to give an example of a Student Centred  Approach  (SCA)  7  student’s  answered  group  work  and  1  said  learning  game.  Also  in  lesson  observations we can find that group work is the number 1 SCA‐technique. Later on in the interview  more examples came up. Students mentioned techniques they plan to use in their future schools like  outdoor  activities,  observation  and  research.    Out  of  8  students  6  students  state  that  they  experienced  SCA  very  often  during  their  lessons  from  the  teacher  trainers  at  the  PTTC,  1  student  answered “sometimes” and 1 “not very often”. All students were able to mention examples of SCA  approach in the Environment and Agriculture lessons they have experienced in their 2 years at the  PTTC.  Activities  mentioned  are  outdoor  activities,  learning  games,  songs,  observations,  recycling  together, working in the garden, producing natural fertilizer and pesticide, practice chicken raising.   They all say they appreciate the SCA lessons. Reasons they mention is that SCA encourages pupil’s  SEAL Programme: M&E report 2012 30/79
    • involvement and it encourages pupils to learn by themselves, to be active, to share opinions so they understand the lesson better and it makes pupils self‐confident. All 8 students are very positive about ICT and the use of it in their lessons, and can give examples of how they will use it, but 4 out of 8 students have doubts whether it will be available in their future school. The  8  students  mention  a  total  of  5  different  examples  of  Life  Skills  activities  (crop  growing (mentioned 5x), fish raising, hygiene, environmental pollution and clean environment (3x), chicken raising) they plan to implement in their future school which proofs they have experienced a variety of possible life skills activities during their 2 years at the PTTC. Students  have  ideas  for  using  different  teaching  aids  in  their  future  teaching  like  real  items, materials for maths (straws, stones, numbers, fractions, measuring materials), posters, word cards, pictures,  letter  cards.  They  feel  the  barrier  will  be  availability  of  the  teaching  aids,  but  they  seem positive  about  using  whatever  is  available,  making  the  teaching  aids  themselves,  asking  pupils  to make it or bring real items from home, and discuss in the school to purchase more teaching aids.  4.6 Conclusion Data in this report were collected during the students’ practicum that took place between February and  May  2011.    Data  show  that  experiments,  group  work  and  posters  are  widely  used  by  student teachers, but that SCA and materials introduced by VVOB haven’t been used yet intensively, except for  students  at  RTTC  Kandal.    The  fact  that  workshops  and  material  distribution  took  place  during and  after  this  period  explains  the  limited  use.    Data  for  the  next  practicum  should  indicate  higher use. Interviews with teacher trainers and student teachers that took place after the practicum show that student teachers appreciate it if teacher trainers apply SCA in their lessons.  Student teachers plan to use  SCA  and  teaching  aids  during  their  practicum  and  in  their  schools.    Follow‐up  interviews  with graduated students seem to suggest that teachers succeed in applying SCA in their assigned schools.  SEAL Programme: M&E report 2012 31/79
    • 5. Intermediate Result 1 Intermediate  Result  (IR)  1  focuses  on  the  services  delivered  by  the  teacher  trainers  (and  model teachers from practice schools) to student teachers.   5.1 Indicators The  Intermediate  Results  are  formulated  as  services  or  products  that  the  operational  partner  is delivering  to  the  target  group.    For  IR  1  the  operational  partners  are  the  6  RTTCs  and  their  36 practice schools.  The RTTCs deliver services to student teachers who will become teachers in lower‐secondary  schools  upon  graduation  from  RTTCs.  By  strengthening  the  teacher  training  processes student teachers will benefit and thus ultimately become better teachers. Three indicators have been selected to assess this IR.  The first indicator measures the percentage of RTTC  teacher  trainers  with  a  sufficient  level  of  understanding  on  how  to  integrate  technological, pedagogical and content knowledge in science and life skills teaching.  A second indicator measures the  percentage  of  RTTC  teacher  trainers  that  apply  this  understanding  in  their  teaching.  The  third indicator measures improvements in teaching practice of student teachers.  We  aim  to  induce  an  impact  on  understanding  and  behaviour  of  this  target  group  of  respectively 85%, 70% and 60% by the end of 2013 (See Table 3).  5.2 Objectives ‐ To measure the evolution in teacher trainers’ understanding on how to integrate technological,  pedagogical and content knowledge in science and life skills teaching. ‐ To  track  teachers  trainers’  application  in  their  lessons  of  how  to  integrate  technological,  pedagogical and content knowledge in science and life skills teaching. ‐ To  track  teacher  trainers’  coaching  of  student  teachers  in  how  to  integrate  technological,  pedagogical  and  content  knowledge  in  science  and  life  skills  teaching  during  the  teaching  practice  5.3 Means of Verification 5.3.1 Personal Logbooks At the nation‐wide workshops on student‐centred approaches in January 2012 all science, life skills and general methodology/ pedagogy teacher trainers received a personal logbook and were trained in its use.  Teacher trainers were asked to write down their experiences in applying student‐centred approaches:  ‐ Which techniques, experiments, multimedia, posters and other teaching aids they use  ‐ How successful they assessed their lessons  ‐ Which challenges and barriers they encountered ‐ Good practices and tips. SEAL Programme: M&E report 2012 32/79
    •  Annex 7 contains an outline of a logbook page. Logbooks  were  collected  for  analysis  in  June  2012.    However,  many  logbooks  were  missing  or completed irregularly.  Following problems in completing the logbooks were encountered: ‐ Time  needed  to  complete  (every  lesson  in  which  SCA  or  teaching  aids  are  used,  need  to  be  documented). ‐ No fixed location in college ‐ Insufficient encouragement from RTTC management (RTTC Battambang, RTTC Takeo) ‐ Strained relations between RTTC Management and teacher trainers ‐ Not all management staff fully informed ‐ Reliability of completed logbooks   These  barriers  and  challenges  were  discussed  with  TTD  and  the  directors  of  the  TTCs.  Despite  the unsuccessful outcome both TTD and the management of RTTCs want to go ahead with the use of the logbooks.  VVOB will continue working together with the partners in 2013 on this issue. 5.3.2 Focus group interviews Data from surveys and lesson observations were complemented by a focus group interview with a group  of  12 teacher trainers (2 per  RTTC)  on  October 30.   Teacher trainers  were  selected  from all RTTCs,  taking  into  account  gender,  age  and  subject  specialization  balance.    The  same  teacher trainers who participated at the focus group in 2011 were invited.  It’s important that all participants belong  to  the  same  hierarchical  level,  as  strict  hierarchy  in  Cambodian  organisations  make  that lower staff member would never openly share opinions that would put a higher staff member in an embarrassing position (Berkvens et al., 2011). We refer to the 2011 M&E report for a justification for using the focus group methodology. The  focus  group  interviews  aim  at  complementing  and  clarifying  preliminary  findings.    More specifically we are looking for answers to questions such as: ‐ Why are some learning materials and techniques used and some not? ‐ What  has  been  the  contribution  from  VVOB  in  improving  teacher  trainers’  science  content  knowledge? ‐ What are challenges regarding the integration of TPACK and how can we address these? ‐ How can survey findings be interpreted?   The guide for the focus group discussion is included in Annex 7a: Guide Focus Group with Teacher Trainers. 5.3.3 Lesson observations teacher trainers Regular  lesson  observations  were  done  at  the  6  RTTCs.    In  2011,  38  lesson  observations  were organized, most of them at RTTC Kandal. In 2012 lesson observations were expanded to the other 5 RTTCs.    89  lesson  observation  visits  were  organized  in  March  and  June  and  45  are  planned  in November.    Lessons  were  observed  of  45  different  science  teacher  trainers  at  the  RTTCs.    Lesson SEAL Programme: M&E report 2012 33/79
    • observations were done in cooperation with the ToT Team, local POEs and TTD.  Visits were as much as possible aligned with the regular monitoring visits of TTD. Table 7 and Table 8 show the distribution of lesson observations, according to subject and centre.  Mar‐12 Jun‐12 Nov‐12Physics 12 13Chemistry 10 9Biology 13 9Earth Science 11 12   Table 7 Lesson Observations in 2012 per subject  Mar‐12 Jun‐12 Nov‐12PP 8 9BTB 9 8PV 9 13KC 8 3TAK 12 10KAN 0 0  Table 8 Lesson Observations in 2012 per RTTC At the start of 2012 a revised lesson observation form (Annex 1a) was introduced, as the previous format,  developed  with  STEPSAM2  and  TTD,  provided  insufficient  detail  and  insight  in  the integration of TPACK.  TTD was involved in the development of the new format and ToT members were trained in its use.   After  implementing  the  form  during  one  semester  further  modifications  were  made  to  the  lesson observation format after feedback from ToT members (Annex 1b): ‐ Simplification and reduction of number of items ‐ Improve  analytical  use  through  the  introduction  of  a  composite  evaluation  score  for  content,  technology and methodology with a supporting rubric.  Objectives of the lesson observations are: ‐ To asses teacher teachers’ capacity to successfully integrate TPACK into their lessons. ‐ To complement the quantitative information from the surveys and logbooks. ‐ To collect lessons learned and examples about successful strategies regarding the integration of  TPACK into their lessons. ‐ To assess the suitability and use of learning materials developed by the SEAL programme  Note on measuring lesson quality Obtaining a reliable definition and assessment of lesson quality is difficult.  The lesson observation form  reflects  the  characteristics  of  what  we  consider  as  a  good  lesson,  based  upon  the  TPACK framework.    For  each  lesson  observation  a  composite  score  was  calculated  using  an  observation rubric  (See  Annex  3:  Evaluation  Rubric  for  Lesson  Observations).    Nine  criteria,  divided  among content, technology and pedagogy, are used to obtain a quality score for the lesson.  Each lesson is evaluated by two staff members. If the difference in scores is higher than 4 (on a total of 18 points) SEAL Programme: M&E report 2012 34/79
    • the lesson plan is discussed by the two assessors and a score is awarded based on consensus.  If the difference is lower than 3, the average score is used.   Collecting  valid  and  reliable  data  on  lesson  quality  is  hard.    Self‐assessment  instruments  are notoriously prone to response bias, which in Cambodia is also a cultural bias according to Berkvens et al (2011). This is also the reason why scores given by ToT members were not taken into account in this report.  Moreover, we realize that lesson observations dont give a reliable everyday picture of lesson practice.  They suffer from the fact that teachers pull out special lessons when visitors appear for announced (or unannounced) visits.   Conversely, some teachers tend to tremble and panic when an evaluator walks into their classroom and the lesson becomes a shambles. Test  scores  are  unsuitable  as  exams  are  notoriously  prone  to  cheating  and  questions  focus  on recollecting factual knowledge, the opposite of what we want to achieve.  A self‐designed test could be  a  solution,  but  theres  the  risk  that  programme  activities  will  focus  more  on  the  test  than  on improving teaching skills.  Student satisfaction scores are prone to the aforementioned confirmation bias.  Drop‐out rates are hard to use as well as they are influenced by many interrelated factors such as geography, economic  growth  and government policy.   Ownership  by  the direct target group on the evaluation is likely to be part of the solution, as well as triangulating data sources.  Moreover we confirm  the  findings  from  Berkvens  et  al  (2011)  that  response  bias  has  been  lowered  by  the development of mutual trust over time with the programme team. 5.3.4 Survey with teacher trainers A short survey was organized in October 2012 with all science and life skills teacher trainers from the 6  RTTCs.  Most  questions  were  taken  from  the  baseline  surveys  in  2008  and  2010  and  from  the TPACK survey in 2011.  Questions from the baseline surveys were only presented to teacher trainers from  RTTC  Kandal,  in  order  to  ensure  comparability  (Table  9).  Surveys  in  2011  and  2012  were distributed to science teacher trainers from all RTTCs (Table 10).  Target Population Baseline Mid-term TPACK survey End Evaluation Survey Survey 2011 11/2012 10/2008 06/2010Trainers Teacher RTTC KD Current Changes in Understanding & Achieved Challenges of(Earth Science, Chemistry, Physics, conditions and conditions 2010 TPACK integration conditionsBiology) inhibitions 2013Teacher trainers RTTCs No survey No survey Understanding & Comparison Challenges of challenges TPACK integrationTable 9: Overview of target population, method and timing of surveys SEAL Programme: M&E report 2012 35/79
    • Subject specialisation teacher 2008* 2010* 2011 2012trainersBiology 4 4 15 14Earth Science 3 3 11 12Chemistry 4 2 9 8Physics 3 3 15 14Pedagogy/ General Methodology 0 0 24 12Agriculture 2 2 2 2Total 14 12 76 62Table 10: Composition of teacher trainer population per subject per survey * only RTTC Kandal teacher trainers surveyed 5.3.5 Logbooks ICT use Besides  the  personal  logbooks  for  each  teach  trainer,  the  use  of  ICT  in  the  classroom  was  also monitored separately for PTTCs since school year 2010‐2011 and for RTTCs since school year 2011‐2012.  The format of the logbook was updated in February 2011 after an internal revision by VVOB, and redistributed to the colleges at that time.   These logbooks are not personal, i.e. one per teacher trainer, but instead accompany the projectors present in the colleges.  The objective is to measure the use of digital multimedia applications in the classroom, and as this requires a projector to show the digital materials to students, the use of such a logbook is thought to be an efficient monitoring tool.   The following data were tracked for each use of the logbook: ‐ Name of user ‐ Date ‐ Job position of user (teacher trainer, …) ‐ Context of use (lesson, meeting, …) ‐ Place of use (classroom, science lab, …) ‐ Lesson topic ‐ Multimedia used ‐ Remarks  Data  for  PTTCs  were  not  systematically  collected,  although  entries  were  discussed  during  visits  to the  colleges.    For  RTTCs,  an  overview  was  made  of  the  use  for  the  school  year  2011‐2012.    All logbooks  (2  or  3  per  college)  were  scanned  during  the  monitoring  visits  of  end  June  2012,  and seemed to have been filled out systematically by the colleges.  SEAL Programme: M&E report 2012 36/79
    • 5.4 Results 5.4.1 Strengthening Content Knowledge In  the  baseline  study  teacher  trainers  were  asked  to  mark  the  topics  of  the  RTTC  curriculum  that they  found  difficult  to  understand.  Teacher  trainers  rated  the  topics  of  their  main  subject(s): Chemistry,  Physics,  Earth  Science  or  Biology.    In  2008  more  than  50%  of  curriculum  topics  posed problems with understanding the content and for physics and chemistry even more than 75% (Table 11).    In  order  to  compare  with  earlier  surveys  in  2008  and  2010  we  used  the  total  percentage  of problem  topics  (code  less  or  equal  3)  in  understanding  their  subject  as  indicator.    Although  the teacher training curriculum was revised in 2011, we still used the old curriculum in 2012 to allow for comparison. The baseline study concluded that teacher trainers had good factual knowledge, but scored weak in reasoning  and  analytical  skills,  scientifically  explaining  natural  phenomena,  and  logically  drawing rational  conclusions  from  observations.    This  was  confirmed  in  the  STEPSAM2  baseline  study: “Cambodian  science  education  gave  much  emphasis  on  recalling  scientific  knowledge  and  solving simple  problems  within  familiar  settings,  rather  than  analysing  an  unfamiliar  problem  or phenomenon, and using one’s knowledge to provide a scientific explanation for it” (JICA et al, 2012, 3‐1).  Many teacher trainers are uncertain to teach a significant part of the curriculum, in particular topics  from grades  10‐12  and  for  physics  and chemistry.   A  lack  of content knowledge  has  been  a strong barrier for adopting a more‐student centred approach.  With insufficient content knowledge teacher  trainers  feel  insecure  and  tend  to  adhere  strictly  to  the  book,  avoiding  practical  activities and discouraging critical questions from students.  Teacher trainers from all subjects experienced fewer problems in understanding the content of the topics  of  the  curriculum  in  2010  (Table  11).  The  evolution  is  similar  for  teachers  of  the  practice schools in Kandal (Table 12).   Subject Topics Baseline 2008 Survey 2010 Survey 2012 # % # % ES Problem topics 59 34 44 17 Non Problem topics 115 66 217 83 Total scored topics1 174 100 261 100 BIO Problem topics 183 73 72 29 Non Problem topics 69 27 176 71 Total scored topics 252 100 248 100 CHE Problem topics 170 85 20 16 Non Problem topics 30 15 107 84 Total scored topics 200 100 127 100 PHY Problem topics 161 78 2 1 Non Problem topics 46 22 306 99 Total scored topics 207 100 308 100 Table 11: Percentage of curriculum topics teacher trainers having problems with understanding the content 1 Total scored topics: Topics of the curriculum which received a score by each TTSEAL Programme: M&E report 2012 37/79
    • Subject Topics Baseline 2008 Survey 2010 Survey 2012 # % # % ES Problem topics 59 23 45 30 Non Problem topics 198 77 106 70 Total scored topics 257 100 151 100 BIO Problem topics 250 41 196 30 Non Problem topics 364 59 465 70 Total scored topics 614 100 661 100 CHE Problem topics 179 50 93 35 Non Problem topics 179 50 175 65 Total scored topics 359 100 268 100 PHY Problem topics 326 46 171 24 Non Problem topics 384 54 538 76 Total scored topics 710 100 709 100Table 12: Percentage of curriculum topics teachers from practice schools in Kandal having problems with understanding This sharp decrease is confirmed by the results of a comparative science test based on the Trends in International Mathematics and Science Study (TIMMS) test, reported on in the Stepsam2 end report (JICA et al, 2012).  It’s difficult to determine the impact of the VVOB programme in this, as recently graduated teachers and  teacher  trainers  tend  to  have  stronger  content  knowledge.    The  focus  group  discussion confirmed that the various workshops and instructor’s manuals have contributed greatly to a better understanding  of  the  science  curriculum.    They  appreciated  that  resources  have  been  developed starting from a demand‐led process of selecting priority topics, which ensured that materials were developed for ‘difficult’ topics.  They expect the number of problem topics to decrease further, due to workshops and resources such as multimedia. 5.4.2 Using Student Centred Approaches The  baseline  study  found  that  teachers  and  teacher  trainers  were  familiar  with  the  term  ‘student centred approaches’, but tended to define it narrowly in terms of ‘students being active’.  Most were convinced of their benefit, but felt unsure how to implement them in their teaching.  They identified methodological  problems  with  around  one  third  of  the  curriculum  topics,  with  figures  highest  for physics  and  chemistry  (Table  13  and  Table  14).    In  2010  percentages  for  all  subjects  except  earth science dropped compared to 2008, except for the biology teachers who reported a slight increase.  This was due to the fact that there were a few new teachers who hadn’t received any training yet.  Percentages for chemistry and physics by teacher trainers dropped to (almost) zero. In 2012 all science, life skills and pedagogy teacher trainers and student teachers are familiar with SCA.  92 % of teacher trainers could give an acceptable definition.  They associate student‐centred approaches mostly with more student activities, group work and increased learner interaction.  and. Elements that are less present in their definitions are relating lesson content to students’ daily lives, letting  students  determine  lesson  content,  adaptability  of  lesson  structure  according  to  students’ progress,  class differentiation, use of external learning resources and project‐based learning.  They SEAL Programme: M&E report 2012 38/79
    • interpret  student‐centred  learning  firmly  within  the  contours  placed  by  a  centrally  organized education system (curriculum, textbooks and assessment).  TT Baseline 2008 Survey 2010 Survey 2012 Subject Topics # % # % # % ES Problem topics 16 31 8 10 BIO Problem topics 26 33 22 28 CHE Problem topics 45 79 0 0 PHY Problem topics 17 35 1 1 Table 13: Percentage of curriculum topics teacher trainers from RTTC Kandal have methodological problems with   Baseline 2008 Survey 2010 Survey 2012 Subject Topics # % # % # % ES Problem topics 14 19 12 23 BIO Problem topics 68 23 91 26 CHE Problem topics 45 46 26 34 PHY Problem topics 101 50 41 22 Table 14: Percentage of curriculum topics practice school teachers (Kandal) have methodological problems with Teacher  trainers  have  been  trained  in  30  techniques  of  student‐centred  approaches  that  are  not topic‐bound  and  instructor manuals have been distributed (Table 15).  In the methodology part of the  teacher  training  curriculum  12  hours  of  instruction  have  been  assigned  to  student‐centred approaches and references to the instructor manuals have been included.   In the content part of the curriculum  references  to  student‐centred  learning  materials  are  included  and  the  MoEYS  actively encourages teacher trainers to apply them.  Components Group Work  Questioning  Assessment  Reasoning   Formative  Creativity  Thinking SCA  Critical 3‐2‐1 sheets             Brainstorming             Card sorts     Cornell note taking     Creative writing             SEAL Programme: M&E report 2012 39/79
    • Discrepant events             Flash cards             Jigsaw technique     Making observations and inferences             Open inquiry             Read‐write‐read‐write     Thought showers             Traffic light cards             Odd‐One‐Out             2 minute papers     FAR guide to analogies             Concept Cartoons             Concept Tests (w/ peer discussion)     Moral Continuum             Fishbowl             Experiments             Games  (Taboo,  Bingo,  Goose  Board,  Loop     Game) Student‐generated analogies     Role plays             Last man standing             Donuts     Clozed worksheets             Agreement Circles             Low‐cost models             10‐2     Table 15 Student‐Centred Approaches included in training teacher trainers Many teacher trainers use various techniques in one lesson.  Survey data show that teacher trainers regularly apply a wide variety of SCA.  79% of the teacher trainers use at least one type of SCA per week.  96% uses at least one SCA per month (Figure 6). More than half of the science teacher trainers use some form of group work per week and 45% does at  least  one  low‐cost  experiment  per  week  (Figure  7).    Low‐cost  experiments,  active  reading  and writing techniques, demonstrations, group work and inquiry‐based learning are applied at least once a month by more than 75% of the teacher trainers (Figure 7).    “They  [learning  resources]  are  very  useful,  for  example  the  concept  cartoons.  I  have  used  around 30 concept cartoons. I also encouraged STs to use them, but I have not received any  feedback yet.” (Physics teacher trainer, RTTC Battambang)  SEAL Programme: M&E report 2012 40/79
    •  Figure 6  F Frequency of applying SCA by y science teache er trainers at R RTTCs (n = 61) Educatio onal  games  are  the  only group  of  techniques  that  are  applied  significa y  antly  less  fre equently.  Teacherr trainers ind dicate that ga ames are int tended for sppecific topics s, and are m more difficult  to apply in many lessons. Simple ttechniques t that require  little or no ppreparation  and few ma most popular.  These  aterials are minclude ‘traffic light cards’, ‘3‐‘2‐ ‐1 sheets’, ‘Jigsaw’ techn nique and ‘do onuts’ (See TTable 15).  M Moreover, we noticce that many y teacher traainers are mmore open an nd have increeased confiddence to try‐‐out new approacches.  They also have imp proved general pedagogical skills succh as questiooning techniqques and dividing students in groups.     Figure 7 R Reported frequency of use of v various studen nt‐centred appr roaches by scie ence teacher tra ainers (n=62) SEAL Prog gramme: M&E r report 2012 41/79
    • Traditional barriers or prejudices to apply student‐centred approaches (not enough lesson time, no suitable  materials,  large  classes,  too  much  work  to  prepare)  have  been  mentioned  notably  less frequently  during  interviews  with  teacher  trainers.    Teacher  trainers  consider  many  of  the techniques as a way to ‘make students think’ and ‘to make them more motivated to learn.’ The Concrete‐Schematic‐Abstract (CSA) principle is often a useful structure to make a lesson more student‐centred.  The teacher trainer starts with concrete examples (objects, video, pictures), then move to schematic representations (poster, multimedia, cartoon) and finally introduces the abstract level  (formula,  definitions).    In  some  observed  lessons  teacher  trainers  started  from  the  abstract level and then move to present concrete examples to back up the theory. Despite clear progress there is still room for improvement.  Some teacher trainers still struggle with linking techniques with the expected outcomes of the lesson.  Sometimes teacher trainers seem to apply  SCA  ‘because  it  is  the  right  thing  to  do’,  rather  than  because  it  helps  them  achieving  their lesson objectives.  In some lessons observed various SCA were used, but without a clear plan of how various techniques fitted into a wider lesson structure.  The curriculum and fixed lesson structure (5 steps)  make  that  the  lesson  flow  is  often  very  rigid,  with  little  room  for  improvisation  or  adapting depending  on  whether  students  understand  the  lesson  or  not.  For  example,  teachers  apply formative assessment techniques, but fail to use the feedback from students to adapt their teaching. An  area  for  further  improvement  is  the  use  of  experiments  in  the  classroom.    The  baseline  study highlighted  the  importance  science  trainers  and  teachers  assign  to  experiments.    They  indicated  a lack  of  low‐cost  experiments  that  students  can  do  during  their  practice.    Most  experiments  in  the textbooks  are  not  simple,  low‐cost  experiments.    Many  teacher  trainers  have  been  quoting experiments as examples of student‐centred activities they apply in their lessons.  While no doubt an improvement  vis‐à‐vis  the  sole  lecture‐based  approach  common  before,  lessons  with  experiments are often still a teacher‐centred activity.  Often the teacher demonstrates the experiment in front of the  class  and  even  if  students  are  allowed  to  do  the  experiment  themselves,  they  usually  have  to follow  a  strict  order  of  steps  in  order  to  obtain  the  ‘right’  result.    Usually,  students  are  not encouraged to ‘experiment’ with various approaches and to think about their results.  However, it’s probably unrealistic to expect a 180 degree switch  from teacher‐centred to student‐centred  teaching  over  the  course  of  a  few  school  years.    We  should  have  patience  and  gradually nudge teacher trainers toward more student‐centred lesson activities.  We shouldn’t forget as well that  students,  who  have  been  taught  in  a  student‐centred  way  for  year,  need  to  adapt  to  new teaching  methods,  which  require  them  to  be  actively  engaged,  to  reason  and  to  develop  higher order thinking skills.   5.4.3 Use of Teaching Aids Teacher trainers have a variety of manuals and resources at their disposal to help them applying SCA in their teaching (see Annex 10: Overview Teaching Resources).  For 87% of the topics in the teacher curriculum  a  specific  learning  resource  (multimedia,  poster,  experiment,  cartoon,  and  life  skills activity)  has  been  developed  and  approved  by  the  MoEYS  (Table  16).    Resources  have  undergone quality control by Belgian and local experts. SEAL Programme: M&E report 2012 42/79
    • # topics in teach training her # topics with ap pproved learnin ng % topics with approved learning curriculum reso ource resource Subject Physics 84 74 7 88% Chemistry y 64 49 4 77% Earth Sciience 100 87 8 87% Biology 78 72 7 92% Total 326 282 2 87%  Table 16 S Share of science curriculum to opics with appr roved learning resource developed by VVOB B   Subject # experiment ts # multimedia a # cartoo ons # posters* Physics 115 86 39 9 Chemistry y 53 40 11 20 Earth Scieence 28 36 14 35 Biology 34 57 19 42 Total 230 219 83 106 * after rev ision due to copyright issuesTable 17 O Overview appro oved learning r resources per s subject and typ pe The mul ltitude of ap pproved learning resourc ces is an imp portant achie evement of  the programmme, but also pos ses challengees.  Not all te eacher traineers are aware e of all resou urces and soome find it di ifficult to know whether a res source is ava ailable for a  specific less son.  Increas y access of resources  sing the easyfor teacher trainers  is an importtant objectivve for the finnal programm me year.  The building blocks are already  in place with the renew wed Krou online reposito ory and the d development t of a poster r with all resourcees per topic.   Figure 8  F Frequency of applying teachin ng aids for SCA by science tea acher trainers a at RTTCs (n = 61 1) 80%  of  science  teac cher  trainers reports  to  apply  SCA  at  least  one time  per  w s  e  week  and  up to  94%  p claims applying it at least one tim me per month (Figure 8) ).  More than n 50% of scieence teacherr trainers indicate that they use a large po oster or a lo ow‐cost expe eriment at le east once a wweek and more than 80% usees them at le east once a mmonth (Figur re 9).  One t third of them m use large pposters several times per  wee   Only  res ek.  spectively  2% and  6%  ha never  use a  low‐cos science  ex %  as  ed  st  xperiment  or  a  large SEAL Prog gramme: M&E r report 2012 43/79
    • science  poster from VVOB.  Mos st other resoources are ussed at least o once a mont th by more tthan 50% of  the  s science  teach trainers.    Exceptions  are  voting cards  (48% video  (44 her  g  %),  4%),  and  PowwerPoint presenta ations  (42%).  The  life  s skills  resources  (school  garden  materials,  wast bins)  hav lower  te  ve scores, bbut score higgh within thee group of biology and ea arth science teacher train ners.   Figure 9 R Reported use of f teaching aids by RTTC scienc ce teacher train ners (n = 62) About  o fourth  of  the  science teachers  h one  e  used  video  a PowerPo presentations  in  have  never  u and  oint their  les ssons.  Other resources  s r  such as  carto voting cards  haven’t reached yet  oons, traffic  cards  and vsignificant minority  of 15‐20% oof teacher trainers.  Use  doesn’t equ ual qualitativve use eitherr.  Group work can easily dege o ‘coffee table’ discussions or be dom enerate into minated by o one person.   Teacher trainers  don’t alwayys make opti imal use of sscience posters, using it  to support l lecturing rat ther than interactive teaching.  The use of experiments (6.4.2) and d multimedia scussed elsewhere in  a (6.4.6) is disthis repoort. Use of S Science Labs Science  labs have be een equippe ed at RTTC Kaandal.  This  includes seleection and p purchase of m materials that  sup pport  the  teacher  trainin curriculum developm ng  m,  ment  of  train ning  resourc for  key  p ces  pieces  of equipme ent (optical bbench, telescope) and tr raining of teaacher trainer equipment of science  rs.  For the e other RTTCs  the SEAL programme halabs in o as collaborat ted with the e EEQP (ADB B) from ADB  to equip science  labs at the RRTTCs. Based d on experie ences in RTTC Kandal, VV VOB provided a detailed list with lab equipment for 4 science subjects.  Howe ever, procure ement by AD DB takes long ger than plannned and delivery  of the mate erials is not f foreseen unttil April 2013 3.  This delayy limits oppo ortunities to o develop training materials annd train teacher trainers in the use of f them. SEAL Prog gramme: M&E r report 2012 44/79
    • About  4 40%  of  the  s science  teacher  trainers  use  science lab  equipm e  ment  every  week.    Thre out  of  ee every fo our teacher t trainers usess some kind  of science laab equipment at least oonce a month h (Figure 9).   Some ch hallenges we ere mentioned during in nterviews and the focus  group discussion.  An im mportant issue is t the managem ment of the labs.  This in ncludes acces ss to lab key on of responsibilities,  ys, distributiotime  tabbling,  develo oping  a  clea labelling  system,  org ar  ganisation  of  borrowing of  equipm o g  ment  and mainten nance issues. .  In Septembber 2012 a w workshop for r teacher traiiners and RTTC managem ment was organizeed together  with the Mo oEYS to start ting addressi ing these challenges.  Fo or each RTTC C a list of action ppoints was aggreed upon t that will be m monitored du uring subseq Action points include  quent visits. Aa  clear  distribution  of  responsibilities,  a  code  of  conduct  for  tea c acher  traine and  stud ers  dents,  an informat tion  session  for  student at  the  start  of  the  aca ts  ademic  year introductio of  a  labelling  and  r,  on borrowing system an nd initiatives s to enhance e motivation with teacher trainers to use science labs.   A second d challenge is familiarity with the equipment.  MManuals or gu uidelines are not always available  local  langua and  teacher  trainer lack  time and  confidin  the  l age  rs  e  dence  to  ge to  grips  w et  with  the equipme by  trial  and  error.    Finally,  te ent    eacher  train egularly  refe to  an  overloaded  ners  also  re er curriculuum, limiting time for inquuiry.  5.4.4 Integratin ng life skill ls in scienc ce teaching g The  bas seline  study  revealed  that  teachers  and  teacher  trainers  w were  convinced  of  the  benefit  of teaching g life skills.  M Most of them m associated d life skills with agricultur re and social l science though, and much le ess with scien nce subjects s such as bioology and earth science.   Few teache er trainers coould give specific  examples of f life skills lesssons in scie ence subjects s, even when n prompted.  Most oppo ortunities for  integgrating  envir ronmental  a agricultu life  skills were  ident and  ural  s  tified  in  the  biology  (agr riculture) and eart th science (e environment) curricula.    Figure  10  Use  of  school garden  (left)  and  waste  ma l  anagement  sys stem  (right)  by RTTC  earth  sc y  cience  &  biolog teacher  gy  n = 25) trainers (n52% of t the biology a and earth sc cience teache er trainers u use the schoool garden at least once a a month.  The  was managem ste  ment  system is  used  at least  mont m  t  thly  by  70%  of  this  grou (Figure  1   The  up  10). SEAL Prog gramme: M&E r report 2012 45/79
    • impact  o the  focus on  environmental  and  agricultural  life  skills  is  likely  to  be higher  as  m of  s  e  many  life skills  activities  don’t  require  de edicated  materials.    For example,  r r  reasoning  techniques,  w which  are used  at  least  monthly  by  70%  of  science  tteacher  trainers  (Figure 7),  are  exc e  cellent  ways  to  raise awarene ess on enviroonmental top pics.   During t the focus grooup discussion teacher t trainers asso ociated life s skills with including links s to daily life in th heir lessons a and with a fo ocus on raisin ng awareness and behaviour change. .   5.4.5 Integratin ng ICT in sc cience teac ching Lesson  o observations demonstra s  ated  that  mo teacher  trainers  hav improved their  skills  in  using  ost  ve  d interactive multimed dia with stud dents. The reviision of the ICT equipme ent logbook ffor projector rs demonstra ated that pro ojectors wer re mostly used by  teacher traiiners for less sons, althoug gh there wass also some  use by mana agement in m meetings and  woorkshops.  Coomputers  were  mostly  used  in  a  standard  classroom,  bu its  use  w also  ut  was widespread  in  scien labs  and  computer  labs.    The  nu nce  umber  of  distinct  teache trainers  u er  using  the projecto in  their  c ors  classroom  w different in  the  colle was  t  eges,  and  is  relative  to  the  total  nu umber  of teacher trainers.    Figure 11: : Number of us sers of projecto ors per collegeIn  the  5 RTTCs  monitored,  68  of  an  estim 5  mated  155  teacher  train ners  used  th projector in  their  he  r classrooom during the past schoool year.  Thiss translates into roughly  half the teacher trainers s of each college.    quency  of  us varied  considerably  as  well.    The graph  below  shows  ho often  eac of  the The  freq se  a e  ow  ch  hose with at least 1 use ousers (th of the projec ctor in the cla assroom) ma ade use of th he equipmen nt.   In  Kamp pong  Cham,  the  average  use  per  users  was  18 times  dur u 8  ring  the  scho year  due  to  the  ool presence  of  a  few  enthusiastic  champions, while  in  ot ,  ther  colleges  the  averag was  just  below  4  ge  er year.  Within each college, there wtimes pe was always a a distributionn of regular  users (twice or more per monnth) and of teeacher traineers that used r 2 times during the school year.  d it only 1 or SEAL Prog gramme: M&E r report 2012 46/79
    • Figure 12: : Average proje ector use per te eacher trainerThe  inte erviews  and  focus  group provided  more  backg ps  ground  in  the  use  of  mu ultimedia  by teacher  y trainers  in their science lessons: ‐ Teaccher trainers s indicate that multimed dia help themm explaining difficult toppics.  However, some  multtimedia are t too advance ed for them, as they relat te to complex topics in thhe curriculum m.   ‐ Senssible use of m multimedia  is still a challlenge for many teacher  trainers.  MMany use it m mainly for  lectu uring and stu udents are nnot always as sked to make e predictions s or prepare questions in n groups.   Integration of IC CT with other r student‐cen ntred approa aches can be e improved sstill.  This is e especially  the case for simulation softw ware.   ‐ Muc progress  has  been  m ch  made  in  tea acher  trainer capacity  to  use  ICT  equipment  and  the  rs’  acceessibility of resources.  ‐ Maintenance an nd managem ment of equipment by th he TTCs has  been an  important conc cern. ICT  equipment is of ften concentrated in com mputer classe es and sciennce teacher ttrainers indic cate that  laptops and proj jectors are so ometimes ha ard to come by.   ‐ Internet connectivity is a con nstant challeenge, althoug gh there hass been strongg improveme ent since  last year (Figure e 19 in 5.4.9).  Half of the e colleges alrready had so ome working g internet connection  acceessible by teacher trainers, and inter rnet connect tivity has rec cently been eexpanded with a fast  internet connect tion to the st tudent comp puter labs.    5.4.6 Coaching S Student Te eachers du uring pract ticum The proggramme inte ends to impr rove the quality of feedback provided d by teacher trainers andd teacher during  t students practicum   The  base the  s’  m.  eline  study  revealed  a  perceived  la of  suppo from  ack  ort teacher  trainers by  the studentss (Figure 13) ) and a need d for more skills in proviiding method dological support by both teac cher trainers s (Figure 14) and teacher rs from practtice schools ( (Figure 15). SEAL Prog gramme: M&E r report 2012 47/79
    •  Figure 13 Support provid ded by teacher r trainers to stu udent teachers during practicu um (data baseline study 2008 8) They alsso request mmethodologic cal support oon how they  can improve e the lesson  plans of thee student teacherss and to enccourage stud dents  to use  different  m methodologie es to the stu udents.  Over r 70  % of  cher  trainers  apply  for  support  in  the  use  of  the  MoEYS  guidelines  for  guiding  teaching the  teac fpractice.   Figure 14   Need for help p by teacher tr rainers in providing methodo ological suppor rt to student te eachers during  practicum  eline study 200(data base 08) SEAL Prog gramme: M&E r report 2012 48/79
    •  Figure 15   Need for help p by teachers o of practice scho ools in providin ng methodolog gical support to o student teach hers during  m (data baselinepracticum e study 2008) Data  fro 2012  suggest  that  t om  teacher  trainners  have  in ncreased  the support  to  student  teachers  eir during the practicumm (Figure 166).  91% repo ortedly activeely encouragges studentss to apply SC CA.  Even more  (9 93%)  promot the  use  of  experimen and  also  the  use  of  other  resources  such  as posters  te  nts,  s (89%), cconcept carto oons (70%) a s resources  (71%) is stim and life skills mulated.  71%% of science e teacher  er credits to students who apply SCAtrainers  award highe A. Resourcess such as maanuals are frequently shared, although thee sharing of r resources on n YouTube or the krou website is not t yet common.   Figure 16 Support provid ded by science teacher trainers during pract ticum (2011 – 2 2012) (n = 57) SEAL Prog gramme: M&E r report 2012 49/79
    • There  are  few  diffe erences  amo RTTCs  in teacher  tra ong  n  ainers’  encouragement  to  apply  SCA or  use  A teaching resources.    Concept  ca g  artoons  are  somewhat  less  introduc to  stude ced  ents  in  RTTCs Phnom  s Penh  an Takeo,  in  the  form due  to  accessibility problems.    Sharing  offline  reso nd  mer  y  ources  is widespread,  wherea sharing  o as  online  resou urces  seems most  comm s  mon  in  RTT Battamb TCs  bang  and Phnom P Penh. These daata are confirmed by the e analysis of student teac chers’ lesson n plans (See44.3.1 and 4.4 4), lesson observattions  during the  practic g  cum  (See  4.3 and  4.4)  and  interviews  with  st 3.3  tudent  teach hers  (See 4.3.2 and 4.4).   Most stu udent teache ers are encouraged to us se SCA as weell IBL into th heir lesson d during the pr racticum. The  accessibility  to  materials  is general  go s  ood,  except  for  RTTC  Ba attambang  d to  main due  ntenance issues.  5.4.7 Individual l evolution n teacher tr rainers Regular  lesson  obs servations  a allow  tracking  teacher  trainers’  evolution  in  their  capa ability  to successffully integrat te SCA and eexperiments  in their lessons.  77% of f the teacher trainers ob btained a higher e evaluation sc core during t the second v visit, whereas 23% obtain ned a lower  score (Figur re 17).  A score ab bove the line e indicates a higher score during thee second obs servation in JJune 2012.   Progress was  mo outspoke with  phys teacher  trainers  wh ost  en  sics  here  8  out  of  9  teacher trainers  ob o r  btained  a higher s score.  The average incre ease in scoree was 2.3 onn a scale of 118.  Teacher  trainers at aall RTTCs have on average ma ade progresss in integrating SCA in th heir lessons.  Teacher trai iners at RTTCC Phnom Penh  ha made  th most  progress  betwe March  a June  2012,  whereas teacher  tra ave  he  een  and  s  ainers  at RTTC  Ta akeo  lag  som mewhat  behi (Table  18   The  high average  age  of  teac ind  8).  her  cher  trainers at  RTTC  s Takeo is s thought to  be an explaining factor  for this loweer score.  Noo significant  differences  in scores accordin ng to gender or subject specification were found. .   Figure 17 Comparison le esson observati ion scores for R RTTC teacher tr rainers in Marc ch and June 201 12 SEAL Prog gramme: M&E r report 2012 50/79
    • average sc core round 1 average s score round 2 2 Difference BTB 9.9 12.0 2.1 2 KC 10.7 12.5 1.8 1 PP 9.3 12.4 3.1 3 PV 11.1 11.6 0.5 0 TAK 9.2 10.2 0.9 0  Table 18  Average scores s for lesson obs servations per RTTC in March h and June 2012 2  5.4.8 Findings p per RTTC Average e scores in th he frequency ( Figure  18Error! Refeerence sourc ce not found d.) and quality (Table 18 8) of teacherr trainers’ us se of SCA vary con nsiderably ammong RTTCs.  Teacher tr rainers at RT TTC Prey Ven ng report slightly lower  frequent use  of  S in  their  lessons.    Te SCA  eacher  traine at  RTTCs  Kandal  and Battambang  report  the highest  ers  d  e use.  A mminority of ‘n non‐users’ iss located at t the RTTCs off Phnom Pen nh and Kamp pong Cham.  They are mainly e elder teacherr trainers.   Figure 18 Reported use o of SCA by scien nce teacher trai iners per RTTCBelow  a the  main findings  fro the  first  two  monito are  n  om  oring  visits  to 5  RTTCs.    Detailed  rep o  ports  are available ort of the third monitorin e.  The repo ng visit (Nov vember 2012 2) will be proovided as a  separate docume ent during the peer evaluuation visit.RTTC Ka ampong Cham m ‐ Mot tivated  teac cher  trainer  team  with  several  teacher  traine observin each  les ers  ng  sson  and  partticipating  in  the  discussi ion,  includin pedagogy and  psycho ng  y  ology  teache trainers.    Teacher  er  train ners indicate e they get loot of support t from collea mal support and discuss agues (inform sion) and  stud dents (like SC CA and apply y during prac cticum). ‐ Stroong physics te eam, suppor rted by vice‐ddirector (former physics teacher). SEAL Prog gramme: M&E r report 2012 51/79
    • ‐ Teacher trainers feel not sufficiently encouraged by management to apply SCA.  There is a lack of  lesson observations or lesson plan reviews. ‐ Vice‐director  plans  to  ask  science  teacher  trainers  to  introduce  SCA  to  other  teacher  trainers  during weekly technical/ pedagogical meetings.  ‐ Science  materials  are  well  managed  and  maintained.    However,  the  storage  room  for  the  projector is far from science labs, discouraging its use in science lessons.  RTTC Battambang ‐ Management  of  materials  is  working  point.    Some  materials  are  stored  in  the  director’s  office  and student teachers have no access to some materials, such as posters. ‐ Earth science teacher trainer is particularly passionate.   RTTC Takeo ‐ Teacher  trainers  highly  value  the  SCA,  multimedia  and  materials  we  provided.    However,  the  team of teacher trainers seems a bit less motivated than in other RTTCs. ‐ Laptop computers are more difficult to access for science teacher trainers, as they are frequently  in use (by management or teacher trainers from other subjects).    RTTC Prey Veng ‐ Motivated  teacher  trainer  team.    All  science  teacher  trainers,  psychology‐pedagogy  teacher  trainers and the director join the lesson observations and subsequent discussions.  ‐ Technical  meetings  are  used  to  inform  teacher  trainers  from  other  subjects  about  SCA.    The  college  has  provided  copies  of  manuals  to  teacher  trainers  from  non‐science  subjects  such  as  social studies. ‐ Various  teacher  trainers  seem  quite  adept  with  multimedia  (see  story  of  change  year  report  2012).  They recognize it can play an important role to teach abstract concepts.  ‐ Student teachers have the opportunity to borrow materials to use in their practicum. ‐ Improving access to laptops and LCD projectors is a challenge, as they are not kept in the science  labs.   RTTC Phnom Penh ‐ The integration of ICT is usually applied for 2nd year students because the science lab is not used  for 1st year students.  ‐ Teacher trainers like the fixed installation of the laptop and LCD projector in the science labs. ‐ The system of organizing posters could be improved, as teacher trainers struggle to find posters.   There is a lack of cupboard and storage space in the RTTC. 5.4.9 Challenges The  programme  has  achieved  important  results.  Content  knowledge  has  improved  and  teacher trainers  assert  that  the  workshops  and  manuals,  developed  by  the  SEAL  programme  have contributed  to  this.    SCA  are  regularly  applied  by  a  majority  of  teacher  trainers  and  the  quality  of their lessons has steadily improved in the course of 2012. The most common challenges for teacher trainers to use SCA and related teaching materials are: SEAL Programme: M&E report 2012 52/79
    • ‐ Not enough prep paration timme.  Many teaacher trainerrs have a sec cond job and have limited d time to  prep pare for theiir lessons.  A Applying neww methodolo ogies or experiments req quires an ini itial time  inve estment not aall teacher tr rainers are w willing or able e to make fre equently.  acher  teache more  than  30  hours  per  week  at  my  RTTC,  so  it  is  difficult  to  find  time  for  “Tea es  prep Teacher trainer physics, R paration.” (T RTTC Battambang). ‐ A rig gid and bloat ted curriculu um. The curricula for scie ended and need to be co ence are exte overed in  a sh hort period b between Oct tober/ Novemmber and Ju uly (including g public holid days and praacticum),  leav ving little tim me for inquiry and creativity.  Adhering to and completing th he curriculum m seems  to be a major criterion durin ng inspection n visits.      Figur re 19  Challenge es reported by science teache er trainers for integrating TPA ACK in 2011 (n = = 75) and 2012 (n=62) Challengges for apply ying SCA hav ve decreased since 2011, except for p pedagogical skills. Interviews and the focu us group disc cussion reveaaled that teaacher trainers now have a a better und derstanding o of what a student‐‐centred  les sson  is  and  feel  the  need  for  mo training  and  practic to  increa their  ore  ce  ase familiari ity with it.  T Teacher trainners point ou ut that the tr ransition from the old to o the new cu urriculum posed pedagogical c challenges. Other  challenges  ar significan lower.  Internet  acce the  ava re  ntly  ess,  ailability  of  educational  and  ICT materials and language skills ha ave improved d strongly, a although the e value for IC CT materials  remains high. Th here is still a  gap betwee en availabilit ty and accessibility of materials, und derlining the e need to continuee working on n improving tthe managem ment of resoources at thee TTCs.  SEAL Prog gramme: M&E r report 2012 53/79
    • PP KA PV TA BB KC stdevpreparation time 2.68 2.40 2.83 2.14 2.93 2.52 0.26lesson time 2.47 2.55 2.94 2.95 2.85 2.79 0.19pedagogical skills 2.21 2.35 2.65 2.62 2.48 2.42 0.15technological skills 2.63 3.40 3.47 3.09 2.81 3.33 0.31language skills 2.58 3.05 2.82 2.26 2.50 3.23 0.33lack materials 3.11 3.60 3.41 3.35 3.33 3.23 0.15lack ICT 3.26 3.65 3.65 3.43 3.00 3.27 0.23internet 3.05 3.70 3.18 3.00 2.85 3.27 0.27power cuts 2.00 2.05 2.82 2.41 2.15 2.09 0.29infrastructure 2.11 1.90 2.82 2.27 2.41 2.15 0.29technical support 2.74 3.10 3.06 3.09 2.88 2.67 0.17average 2.6 2.9 3.1 2.8 2.7 2.8  Table 19  Challenges for integrating TPACK by teacher trainers, per RTTC in 2011 (n = 75)  PP KA PV TA BB KC stdevpreparation time 2.75 2.14 2.88 2.67 2.33 2.5 0.25lesson time 2.42 2.14 2.50 2.47 2.22 2.1 0.16pedagogical skills 2.92 1.86 2.75 2.87 2.00 2.1 0.44technological skills 2.33 2.86 2.75 3.40 2.70 2.4 0.35language skills 2.83 2.43 2.88 2.53 2.40 1.8 0.35lack materials 2.58 2.57 2.50 2.47 2.20 1.8 0.28lack ICT materials 2.58 2.57 3.71 3.27 2.20 2.7 0.50internet 2.08 2.29 2.13 1.80 1.75 1.8 0.20power cuts 2.00 2.14 2.38 2.27 1.90 1.5 0.28infrastructure 1.92 2.43 2.75 2.20 2.22 1.3 0.45technical support 2.33 2.57 3.13 3.00 2.78 2.2 0.33average 2.43 2.36 2.76 2.63 2.25 2.02  Table 20  Challenges for integrating TPACK by teacher trainers, per RTTC in 2012 (n = 62) There are considerable differences between RTTCs.  Table 19 and Table 20 show the scores per RTTC for each challenge in respectively 2011 and 2012.  Variation among RTTCs is particularly strong for pedagogical skills (stdev = 0.44), lack of ICT materials (stdev = 0.50) and infrastructure (stdev = 0.45).  Interestingly, values are generally lower in the RTTCs of Battambang, Kampong Cham and, to a lesser extent, Kandal.     Values have decreased for all RTTCs, most of all in RTTC Kampong Cham (‐0.78) and RTTC Kandal (‐0.54).    In  Kandal,  language  skills,  power  cuts,  pedagogical  skills  and  room  infrastructure  that  were perceived  as  strong  challenges  in  2011  have  fallen.    In  Kampong  Cham,  values  for  language, pedagogical  and  ICT  skills  have  come  down,  as  well  as  values  for  the  availability  of  materials  and internet.    Preparation  time  remains  an  important  challenge,  although  lesson  time  seems  to  be perceived  less  as  a  barrier  than  a  year  before.    This  might  be  due  to  the  successfully  dispelling  of prejudices that SCA always need to take more time than conventional approaches. SEAL Programme: M&E report 2012 54/79
    • Teacher  trainers  encountered  challenges  to  integrate  environmental  and  agricultural  life  skills  in their colleges.  Most challenges seem to relate to the infrastructure, and less to the integration of life skills techniques and materials in their teaching.  “I  do  not  see  any  progress  at  my  RTTC;  I  think  this  is  because  the  management  only  takes  action when there is initiative from VVOB. For example, they build chicken house, but there is  no chicken.” (Chemistry teacher trainer, RTTC Takeo)   “Our  facility  (chicken  &  fish)  are  flooded.  We  see  good  classification  of  rubbish,  but  when  truck comes to collect, they are mixed again.” (Chemistry teacher trainer, RTTC Prey Veng)  “We  see  environmental  and  agricultural  life  skill  during  school  season,  but  usually  we  lost  chicken during school holiday.” (Chemistry teacher trainer, RTTC Kandal) However, active involvement of the RTTC management helps:  “Rubbish collection at my RTTC is going well, the campus is always clean.” (Physics teacher  trainer, RTTC Battambang) The textbooks haven’t kept up with new insights on environment.  Teacher trainers feel hesitant to use  materials  that  are  different  in  content  from  the  MoEYS  textbooks  (also  encountered  in  earth science):  “From  the  environmental  life  skills,  I  see  some  differences  between  those  contents  and  the  contents  from  old  MoEYS  text  books.  For  this  reason,  the  teacher  trainers  are  hesitant  to  accept  the  new  contents  and  feel  safer  to  follow  the  MoEYS  text  books.”  (Earth  &  Environmental Science teacher trainer, RTTC Phnom Penh) 5.4.10 Conclusions The programme has achieved important progress in this result area. Teacher trainers have improved science  content  knowledge  and  assert  that  the  workshops  and  manuals,  developed  by  the  SEAL programme  have  contributed  to  this.    For  87%  of  the  topics  in  the  teacher  curriculum  for  the  4 science subjects a specific learning resource (multimedia, poster, experiment, cartoon, and life skills activity)  has  been  developed  and  approved  by  the  MoEYS.  The  multitude  of  approved  learning resources is an important achievement of the programme, but also poses challenges.  Not all teacher trainers are aware of all resources and some find it difficult to know whether a resource is available for a specific lesson. Teacher  trainers  have  been  trained  in  30  techniques  of  student‐centred  approaches  that  are  not topic‐bound  and  instructor  manuals  have  been  distributed.    Almost  all  science,  life  skills  and pedagogy  teacher  trainers  and  student  teachers  are  familiar  with  SCA.    92  %  of  teacher  trainers could give an acceptable definition.  SCA are regularly applied by a large majority of teacher trainers.  79% of the teacher trainers use at least one type of SCA per week.  96% uses at least one SCA per month.  Lesson observations showed that the quality of their  lessons has steadily  improved in the course of 2012 at every RTTC. SEAL Programme: M&E report 2012 55/79
    • Teacher trainers  ha increase their  sup r  ave  ed  pport  to  student  teache during  the  practicum   91%  ers  m. reported to  actively encourage students  to  apply  SCA.    Even  m d  y  e  t more  (93%)  p promote  the use  of  e experim ments, and als so the use of other resources such aas posters (89 9%), conceptt cartoons (7 70%) and  s resources (71%) is stimulated. life skills 5.5 Discussio on on effectiveness w with partne er 5.5.1 Extent to w which the I IR is delive ered • Weere the expec cted IR’s form mulated in a realistic wayy? • Did d the activitie es contributee to the realisation of the e results as w was stipulate ed? • Waas the intended/applied s strategy appropriate?    al and ScorinAppraisa ng by partne ers:   3x   +  + 1x ‐ The  managemen nt of RTTC supports the  operation o of the SEAL p programme.  They have a a positive  attit tude  toward the  trainings  organize by  VVOB and  therefore  send  all  TTs  to  wo ds  ed  B  orkshops  orgaanized by VVVOB.  ‐ Theyy made a pla an on how too apply SCA in their lesso ons after havving participa ated at the t trainings.  The  managemen nt ensures the accessibility for teach her trainers  to use mate erials and eq quipment  provvided by VVO OB. Financial support is  also available when the ere is the nee ed to purcha ase basic  item ms.  ‐ The  materials  ddeveloped  b VVOB  are very  usefu for  teache trainers,  it  strengthe their  by  e  ul  er  ens  teacching  methoodology.  Howwever,  teach trainers  haven’t  made  full  use  of  all  the  m her  materials.   Mor re encourage ement is neeeded from th he management of the RT TTCs. ‐ Studdent teacher r are more em mpowered o on SCA ‐ VVO has  provided  useful  teaching  an learning  materials  to the  RTTCs   This  had  enabled  OB  nd  o  s.  teaccher trainers to make lessons more in nteresting.  H However, some items are e still missing g.  ‐ VVO provides  the  training  on  capac OB  city  building.  After  the  training  it  distributes  teaching  materials  to  RTT in  order  to  help  teac TC  cher  trainers integrating SCA  and  experiment  in their  s  g  nto  lesso VVOB  ha a  good  m on.  as  monitoring  system;  it  sti imulates  RTT managem TC  ment  to  mon nitor  the  application of SCCA.  Conclusion The IR h has been alm most fully dellivered.  The e first two MYP indicator rs have been achieved.  T The third one, bettter coaching g during the student praacticum, has  been achievved, based o on data from m teacher  , but will be evaluated dutrainers, uring the nexxt practicum m (February – – May 2013).   Activitie and  development  of  resources  h es  have  focused  so  far  on teacher  tra n  ainers.    Training  for practice school teacchers of the  36 practice  schools, fac cilitated by e each RTTC, is s planned in n January 2013, beefore the sta art of the nex xt student pr racticum.   SEAL Prog gramme: M&E r report 2012 56/79
    • Further  activities are planned to o increase faamiliarity with and use o of the resou urces, includi ing more lesson o observation a and coachingg sessions. 5.5.2 Extent to w which part tners make e use of delivered res sults • Howw did you meeasure the uuse by the be eneficiaries?• We the  resul sufficient defined  in  relation  to the  needs and  expect ere  lts  tly  o  s  tations  of  th target  he  gro oup?  • Did d the intermeediate results enhance awareness, a swift in men ntality, a switch in attitud de in the  targ get group?  The use of the delive ered results by the bene eficiaries is de escribed in 6 6.4.  Results have been d described in termss of availability and use o of resources and didactic cal methods s.  In the M& &E framewor rk finding reliable  ways  to  operationalize  qualitati o ive  use  of  student‐centred  appro oaches  has  proven   challengging.  One rea difficulty and time intensiveness to m ason is the d measure quality in educat tion.   Results  have  been  d defined  and  altered  bas on  input from  the  target  group   Examples are  the  sed  t  t p.  s selection of  priority topics  from the  various  curricula  (see  6.4.1),  the  organisation  of  additional  n  y  m worksho ops and the ddevelopmen nt of science poster sets in response of a need de efined by the e partner group. Changing attitudes, and measuri ing it, takes t time and is h hard to assign to program mme activitie es.  Appraisa al and Scorin ng by partne ers:   3x   + 1x   ‐ Teaacher  mobility  is  seen  a an  issue.  When  teach trainers  transfer  to  another  sch as  her  hool,  the  imppact of usingg SCA is disappeared. So ome teacher  trainers  pre efer to workk at high schhool than  thee teacher trai ining centre, ,   ‐ It w would be use eful to share SCA with no on‐science te eacher trainers. Possibly y, the trainin ng can be  orgganized by VVVOB or the R RTTC itself.  ‐ SCAA has only reecently been n included in n the new RTTTC curriculu um.  Teacher r trainers neeed more  time to integratte and adapt t SCA into their lessons.  Conclusion The mon nitoring resu ults show tha at a large maajority of science teache er trainers fre equently app plies SCA in  their  teaching.    For  this,  the use  the  r F ey  resources  de eveloped  wit thin  the  SEA programm   The  AL  me. partners s highlight thhat staff turn nover may reeduce the impact of the p programme a and that non n‐science teacher trainers could benefit fro om some of the materials as well. 5.5.3 Extent of c contributio on of IR to realisation n of Specifi fic Objectiv ve What arre the reasonns why the IR contribute ed successful lly, not succe essfully to th he specific ob bjective? Please reflect on the e good practices (what w would you doo in the samee way?), bad d practices (w what not,  would  you  change?)  and the  lesso learnt  (wwhat  w d  ons  what  would you  recom d  mmend  to  a similar  a program mme in the fu uture). SEAL Prog gramme: M&E r report 2012 57/79
    •  Graduat ting  student are  familiar  with  stu ts  udent‐centre approach ed  hes,  they  fre equently  ap pply  SCA, including experimen nts, in their teaching prac ctice and the ey regularly a apply SCA inn their schools (see 5. Specific Objective 1) ).   Some SC CA and low‐c cost materials that were introduced a are not only suitable for teacher training, but are also  useful in thee schools.  T They require no or few m n be applied with large g materials, can groups of pupils and don’t tak ke too much time to pre epare and immplement.  Inn order to sttrengthen thhe use of resourcees at school  level a dediccated manua al and accom mpanying res source box wwill be compi iled from the teac cher training manuals for r use in schoo ols.   The  introduction  o multimed of  dia,  gardens and  science  labs  is  expected  to lead  to  a  better  s  o understa anding  of  th curriculum content  w teacher  trainers  and students,  w he  m  with  d  which  should in  turn  d lead to aa higher qua ality of teach hing.  Indirec ct evidence c confirms this , as student  teachers  s is the case,refer  in  interviews  to  multimed and  scie dia  ments  as  helpful  for  the understanding  of  ence  experim eir scientific c knowledge e.  A survey  with teacher trainers in  Kandal show ws that the  number of topics for which th hey have diffficulties with h the content alling since 2008 (see 6.4 t has been fa 4).     Appraisa al and Scorinng by partne ers:   4x  Student teachers have better un nderstanding g on SCA  and d apply it dur ring practicu um ‐ Reguular monthly y technical m meetings to d discuss about t SCA are tak king place ‐ The managemen nt do follow up regularly ‐ Expeeriments and d multimedia a stimulate sstudents to u understand le esson betterr. ‐ Stud dent teacherrs better enjo oy their lesso ons.   Conclusions The resuults of the m ee 6.4.6.) show that stud monitoring (se dents get a m more student‐centred ins struction and receeive better ccoaching dur ring their pra acticum.  This result hasn y achieved yet as not  n’t been fullyall pract tice school sc cience teachers have bee en trained in SCA. 5.5.4 Effect of ch hanges in p programm me on effec ctiveness • Wh hat are the ch hanges that o occurred in t the program mme?  • We ere they inten nded or not? ? • We ere these chaanges caused d by externall factors or b by factors tha at are intrins sic to the pro ogramme  itse elf?  Appraisa al and scorin ng by partne ers ‐ Teaccher  trainers and  direct s  tors  acknowledge  imporrtant  change due  to  th SEAL  prog es  he  gramme.   Theyy assert changes in teaching style, teachers’ connfidence andd motivation, availability y and use  of m materials, enjjoyment of their lessons by student t teachers. SEAL Prog gramme: M&E r report 2012 58/79
    • ‐ They find that VVOB cooperates well with other DPs. ‐ Teacher  trainers  pay  more  attention  to  their  lesson,  they  are  more  confident  to  teach  their  subject  5.5.5 Effect of original hypotheses on effectiveness • Were  the  hypothesis  and  the  risks  that  could  have  disturbed  the  course  of  the  programme  correctly identified? • Were the necessary measures in place to monitor and eventually reduce such risks? • Were the basic requirements accomplished to perform the programme?  For IR1 the following assumptions were made in MYP2 (p.59):  ‐ Leadership of RTTC and practice schools support the implementation processes  ‐ Leadership  of  RTTC  and  practice  schools  support  the  programme  by  making  available  resources accessible (e.g. land for gardens)  ‐ Other donors carry out their plans to construct science labs and TTC resource rooms This question was not discussed by the partner. The  management  of  RTTCs  has  been  involved  in  all  stages  of  implementation,  such  as  input  and refresher trainings and in monitoring activities.  All RTTCs have been supportive to the programme implementation  by  sending  staff  to  workshops,  participating  at  monitoring  activities  and  in encouraging  uptake  of  student‐centred  approaches.  However,  variation  in  support  and encouragement provided by the management to use resources and SCA and leadership capabilities are frequently mentioned as explanatory factors of differences between RTTCs. Science labs were built in 2009 at all RTTCs with funds from the Japanese Embassy.  Installation of science labs is included in the EEQP programme of ADB, but has been repeatedly delayed. This has reduced  opportunities  to  provide  meaningful  training  on  the  use  of  the  equipment  within  the lifetime of the programme (see 6.4.4).  SEAL Programme: M&E report 2012 59/79
    • 6. Intermediate Result 2 6.1 Indicators For IR 2 the operational partners are 4 out of 18 PTTCs. Students of the PTTCs after graduation will become primary school teachers. In 2013 24 affiliated practice schools will be reached through life skills  trainings.  As  for  IR1,  three  indicators  have  been  selected  to  assess  IR2.    The  first  indicator measures the percentage of PTTC teacher trainers with a sufficient level of understanding on how to integrate  technological,  pedagogical  and  content  knowledge  in  environmental  and  agricultural  life skills teaching.  A second indicator measures the percentage of PTTC teacher trainers that apply this understanding in their teaching. The third indicator measures improvements in teaching practice of student teachers.  We aim to induce an impact on understanding and behaviour of this target group of respectively 85%, 70% and >50% for PTTC by the end of 2013 (See Table 3).  6.2 Objectives The objectives are similar to the objectives for IR1 with the difference that at PTTC level IR 2 does not focus on science but only agricultural and environmental life skills teaching.  ‐ To measure the evolution in teacher trainers’ understanding on how to integrate technological,  pedagogical and content knowledge in life skills teaching.  ‐ To  track  teachers  trainers’  application  in  their  lessons  of  how  to  integrate  technological,  pedagogical and content knowledge in life skills teaching.  ‐ To  track  teacher  trainers’  coaching  of  student  teachers  in  how  to  integrate  technological,  pedagogical and content knowledge in life skills teaching during the teaching practice.    6.3 Means of Verification 6.3.1 Personal Logbooks (See paragraph 5.3.1) Barriers  and  challenges  of  the  use  of  this  personal  logbook  by  life  skills  teacher  trainers  were discussed  with  TTD  and  the  directors  of  the  TTCs.  Despite  the  difficulties  both  TTD  and  the management of RTTCs/PTTCs want to go ahead with the use of the logbooks.   6.3.2 Focus group interviews The  focus  group  interviews  aim  at  complementing  and  clarifying  preliminary  findings.    More specifically we are looking for answers to questions such as:  ‐ What has been the contribution from VVOB in improving teacher trainers’ environmental and  agriculture life skills content knowledge?  ‐ What are challenges regarding the integration of TPACK and how can we address these?  ‐ How can findings from surveys be interpreted?   The guide for the focus group discussion is included in Annex 7b: Guide focus Group with life skills teacher  trainers.  Focus  Group  discussions  were  organized  with  all  Life  Skills  teacher  trainers  of  4 SEAL Programme: M&E report 2012 60/79
    • target  PTTCs.  Interviews  with  the  school  director  and  student  teachers  were  done  to  cross  check information.  This is a summary of the main findings.  PTTC Banteay Meanchey (May 2012)  ‐ Training provided by VVOB built more content knowledge and ideas for SCA activities according  to  TTs.  No  challenges  in  teaching  the  theory  lessons  in  class  were  mentioned.  The  VVOB  manuals provide clear information and are easier to follow than the previous MoEYS one, but  the practice is a bit difficult because there is not a lot of space at the PTTC.  ‐ Student centred approach is known by school director, TTs and student teachers and is thought  to be of importance, because it helps students to think and learn by themselves and remember  more. Most TTs apply SCA according to the school director.   ‐ Student teachers have experienced a variety of SCA activities in their lessons at the PTTC. Some  TTs do not allow enough time for group discussion and some too much.   ‐ The agriculture TTs have practiced how to build a chicken cage with student teachers, how to  make  compost  fertilizer  (theory  and  practice)  and  how  to  install  the  fish  hole  (dig  and  install  plastic).  Student  teachers  brought  chicken  from  home,  but  they  were  stolen  unfortunately.    Theory  lessons  have  improved,  practice  is  a  bit  difficult  due  to  lack  of  space,  but  organic  gardening and fish raising are taking place at a small scale.   ‐ For environment lessons TTs take the students outside of the class more often now than before.  Students’  involvement  in  the  environmental  awareness  changed  a  lot:  they  now  take  care  of  cleaning  the  school  premises  and  classrooms  and  help  in  waste  segregation,  this  is  new.  The  Environment  TTs  appreciated  the  small  study  trip  on  water/waste  during  the  nationwide  training and requests a study trip on the new topics biodiversity and natural resources to create  an even better attitude towards the environment for them and to transfer this to the students.    PTTC Battambang (May 2012)  ‐ After training from VVOB the Environment TTs say they have more up to date information on  topics like ecosystems and biodiversity and they have more ideas how to use group discussion,  pair work, and educational games and how to do real practice activities.   ‐ The  Agriculture  TTs  claim  they  have  more  content  knowledge  now  and  ideas  for  teaching  methods.   ‐ Manuals will be used in a sustainable way according to agriculture TTs because the content is  useful.  Students  are  asked  to  combine  their  own  experience  with  the  new  content  and  skills.  After training information is been shared during technical meetings not just the waste system  but also sharing ideas on applying SCA.   ‐ Student  teachers  know  SCA  activities  and  can  name  examples  of  how  to  apply  it.  Student  teachers are also interested in the manuals, and it would be even better if VVOB can adapt the  manuals to Primary school level. 2nd years have not had a chance to practice chicken raising,  request to VVOB to provide small booklets with the content of chicken raising so that TT can do  a short 3‐days training course just before the holiday starts. (VVOB: done in June 2012)  ‐ Student teachers are now more interested in growing vegetables and practice this in different  ways  and  they  say  they  have  done  a  lot  a  practice  in  the  last  few  months.  Raising  chicken  is  completely new for most of them and they learned about raising fish in a raised pond. Theory is  given and practicing just started. SEAL Programme: M&E report 2012 61/79
    • ‐ Students are now involved in the waste management system and lessons sometimes take place  outside the classroom (waste segregation, biodiversity)  ‐ Challenges:  Having  no  manuals  for  student  teachers  is  difficult.  Students  need  to  copy  information. Lack of materials is the main challenge, but TTs try to use teaching aids, and bring  it from home or outside. (VVOB: Cheap copies for student teachers have been provided and Life  skills box distributed in September 2012)   PTTC Kandal (March 2012)  ‐ All  teacher  trainers  are  implementing  SCA,  1  environment  TT  rates  his  understanding  as  an  8  because he has more teaching experience, and the 2 agricultural TTs choose 7 because they feel  they  still  need  more  training  on  teaching  methods  to  improve  their  SCA.  At  first  only  a  few  examples  of learning  activities were given,  but when  asked  to describe a  lesson they recently  taught more ideas were given. TTs say they never do any demonstration and experiment due to  the fact that most students are farmers’ children so they understand much more for agriculture  so experiments are not necessary for them at this time. Later they say experiments will be not  difficult if we understand it clearly and have sufficient materials and time.   ‐ All teacher trainers agree that just group work and indoor activities are not enough. When the  teacher  trainer  uses  different  techniques  he/she  would  motivate  student’s  learning  and  to  improve  the  quality  of  teacher  training.  Challenges  for  SCA:    time‐consuming  and  lack  of  materials.  ‐ For environmental education the teacher trainer said that the previous curriculum only allowed  a few hours to focus on these topics. When we provided a good quality of teacher training by  using  effective  teaching  and  learning  our  student  teachers  will  get  high  standard.  Teacher  trainers  have  to  prepare  well  and  being  a  good  facilitator  during  teaching  and  learning.  We  don’t only teach student teachers but we help them to learn by doing, thinking, and practice by  themselves, he says.  ‐ Agriculture  TTs  learned  new  techniques  from  the  organic  gardening  workshop  and  they  are  trying this out. They stop use of chemical fertilizer. They feel that they need more training on  chicken and fish raising. (This took place in June and September 2012)  ‐ Agriculture  TTs  mention  that  student  teachers  are  not  so  motivated  to  work  on  life  skills  activities and they mention lack of support from management.  ‐ ICT use in life skills lessons not possible yet, the TTs are waiting for more support.  ‐ The college is close to slum area so sometimes things were stolen from the vegetable garden. It  is difficult to collaborate with the local authority for the security.   More  training  took  place  in  June  and  September  for  agriculture  TTs  and  October  2012  for Environment TTs. Although there are indeed difficulties in lack of space and security we have doubts if the school director is really committed and if there is enough support and motivation for the TTs.  When asked to organise the  World Environment Day on 5 June 2012  at PTTC  Kandal  with support with ideas from TTs in Siem Reap and some financial support from VVOB no real answer was given and nothing was organised in the end whereas PTTC Siem Reap, Battambang and Banteay Meanchey organised  world  environment  day  with  activities  for  student  teachers  and  community. PTTC  Battambang  and  Banteay  Meanchey  also  don’t  have  a  lot  of  space  but  they  have  creative solutions  and  they  take  care  of  security  problems.  In  the  meantime  the  school  director  of  PTTC SEAL Programme: M&E report 2012 62/79
    • Kandal changed and this may hopefully have a positive effect. This will be observed during a follow up visit in November 2012.  PTTC Siem Reap (based on working group sessions during 2012) PTTC Siem Reap is the pilot PTTC. During 2012 Agriculture and Environment working group members (TTs) meet once a month and discuss Life Skills activities with each other and VVOB. Reports of all working group sessions are available.  Some overall points are summarized here:  ‐ School director is very committed and supports the Life Skill activities.  ‐ Both  the  Environment  and  the  Agriculture  working  group  have  6  members  who  have  shown  great involvement and commitment in trying out Life Skills activities in the PTTC and in manual  development. Their lesson observations also show a good ability in the use of student centred  approaches.  TTs  have  been  involved  in  the  previous  programme  on  Leaner  Centred  Methodology.  ‐ They  have  ability  to  facilitate  nationwide  trainings  and  have  been  helpful  installing  life  skills  activities in other target PTTCs.  ‐ Clear  task  assignment  for  teacher  trainers  and  students  who  is  responsible  for  the  waste  segregation system and agriculture activities has been helpful.   ‐ The  only  problem  in  keeping  the  school  grounds  clean  and  segregating  waste  is  when  people  from outside are at the PTTC for workshops.  ‐ Some  difficulties  in  raising  chicken  were  overcome  during  this  school  year  by  gaining  more  experience in keeping the  chicken healthy by taking  better care of the  hygiene in the chicken  house and improving the quality of food.  ‐ Students  were  able  to  link  theory  of  fish  raising  to  the  real  practice  and  the  result  was  successful.    6.3.3 Lesson observations (outside teaching practice) Lesson observations were done in cooperation with the ToT Team and TTD.  Visits were as much as possible  aligned  with  the  regular  monitoring  visits  of  TTD.    For  IR  1  and  IR  2  the  same  lesson observation form was used. (Annex 1a and 1b)   Objectives of the lesson observations are:  ‐ To asses teacher teachers’ capacity to successfully integrate TPACK into their lessons.  ‐ To complement the quantitative information from the surveys and logbooks.  ‐ To collect lessons learned and examples about successful strategies regarding the integration of  TPACK into their lessons.  ‐ To assess the suitability and use of learning materials developed by the SEAL programme   In March and May 2012 follow up visits with TTD took place. In November TTD and VVOB will jointly do  one  more  round  of  lesson  observations  at  5  PTTCs  again.  By  the  end  of  the  year  all  life  skills teacher trainers of the 4 original target PTTCs have been observed at least once and some teacher trainers from the new target PTTCs have been observed as well. SEAL Programme: M&E report 2012 63/79
    • 2012  Total nr of   Nr of lesson  Nr of planned  Total nr of   Agr and Env  observations  lesson observ.  lesson  TTs  March/May 2012  Nov 2012  observations 4 PTTCs (BTB/BMC/KD/SR)  24  20 12 32 4 new target PTTCs   16  Life Skills activities  6 6 (K.Thom/K.Cham/St.Treng/Kratie  recently started since 2012) 1 Practice school BTB  6 teachers  3 3 6 1 Practice school BMC  involved in 1 practice school KD  VVOB training 3 Pract.schools SR  6 teachers  6 6  involved in  VVOB training Total    50  Obtaining a reliable definition and assessment of lesson quality is difficult.  The lesson observation form  reflects  the  characteristics  of  what  we  consider  as  a  good  lesson,  based  upon  the  TPACK framework.    For  each  lesson  observation  a  composite  score  was  calculated  using  an  observation rubric (See Annex 3: Evaluation Rubric for Lesson Observations).   Out of the 20 lesson observations done so far, 2 were thought not to be sufficient by the observers, but the other 18 showed appropriate use of SCA and containing sufficient and appropriate content knowledge and practicing skills.  The first round of lesson observations this year show that the teaching methodologies most used are direct instruction and group work.  On average each lessons show the use of 2.4 different methods in 1 lesson. In total 11 different methods were demonstrated during the 20 observed lessons. Methodology and teaching aids Worksheets  and  matching  cards  are  the  teaching  aids  that  were  observed  most.  In  average  each lesson show the use of 1 or 2 teaching aids.  Methodology  # of times applied  Teaching aids  # of times applied Direct Instruction   14  Work sheet 7 Group Work   12  (Matching) cards 5 Demonstration  6  Flipchart 4 Educational Games  5  Poster 4 Problem solving  3  Waste bins 2 Video   2  Picture 2 Working in the garden  2  Video 2 Matching   1  Garden material 2 Exercises  1  Computer 1 Pair work  1  Projector 1 Brainstorming  1  Example of waste 1     Paper ball 1     Seeds 1 (20)  2.4 per lesson (20) 1.65 per lesson SEAL Programme: M&E report 2012 64/79
    •  Strong points and points for improvement Strong Points    Points for improvement   Good preparation/lesson plan  5 Should  ask/encourage  students  6  more to discuss/explain Sufficient materials  5 Time management 4 Students are actively involved  4 Explanation of educational game  3 Clear conclusion/wrap up of lesson  4 Speak louder / not too fast  3 (2 / 1)Friendly/Positive attitude towards students 4 Use of black board 2 TTs facilitates group discussion well  3 Summarize/conclude 2 Encouragement  of  students  to  be  actively  3 Preparation 1 involved Variety of activities  3  Use of teaching aids/multimedia  3  Survey with teacher trainers A short survey was organized in October 2012 among all life skills teacher trainers from the 8 target PTTCs.  (Annex 4). Surveys were distributed to 40 TTs in total, 37 surveys were given back in time to be included in this report.   6.4 Results 6.4.1 Strengthening Content Knowledge The  first  question  asked  TTs  what  SCA  is  according  to  their  understanding.  Out  of  37  TTs  29  TTs (78%) were able to give an average or good explanation on what is SCA.     What is SCA according to your understanding?  Nr of TTs  %  %  Accumulated 1  Provided a definition and gave 1 or more examples 14 37.8 37.8 2  Provided a good explanation and no example 8 21.6 59.4 3  Provided an average explanation and no example 7 18.9 78.3 4  Provided examples only, no explanation 6 16.2 94.5 5  Blank  2 5.5 100   Total  37 100%  The  question  did  not  ask  to  give  an  example  so  the  fact  that  13  TTs  did  not  provide  an  example cannot  be  held  against  them  and  there  for  we  can  say  that  78.3  %  of  the  TTs  has  a  clear understanding of SCA.  5 % did not answer the question and 16  % provided examples only but no definition. This 16% showed through their answers that they do know what SCA is but they did not describe it.   Q  2  What  challenges  do  you  encounter  in  your  teaching  to  integrate  technology,  content and pedagogy? 2.8  Lack of language skills 2.4  Lack of technological skills SEAL Programme: M&E report 2012 65/79
    • 2.4  Internet connection  2.3  Insufficient preparation time 2.3  Lack of ICT materials (computers, software, projector…) 2.2  Lack of learning materials (experiment materials, posters etc.) 2.2  Lack of technical support  2.1  Insufficient time during lesson (curriculum) 2  Accessibility (opening hours, access to materials limited) 1.7  Frequent power cuts  1.6  Lack of pedagogical skills  1.6  Infrastructure problems (small classrooms, opening hours …)   1 = relevant  2 = bit relevant  3 = rather relevant  4 = very relevant   The main challenges TTs face to integrate TPACK are lack of language skills to be able to use ICT in a  better way, lack of technological skills and internet connections.    6.4.2 Using Student Centred Approaches When asked how often TTs on average use the given types of student‐centred approaches in your  teaching group discussion and direct instruction are the 2 methods most mentioned. This result was  s also provided through lesson observations.    Group  Direct  Brainst.  Group  Educ.  Researc Low  Card  Demons Role discuss.  Instr  work  Games  h/  cost  sort  tration  play  survey  exp. 1.32  1.58  1.64  1.68  2.49  2.57  2.89  2.97  3.03  3.41 On a scale from 1 to 7  1= several times per week, 2= once a week, 3 = few times per month, 4 = once per month,  5 = less than once per month, 6 = once a year, 7 = never  Teaching  methods used  once  to  a  few time per  week  are:  group discussion, direct  instruction  and  brainstorm  and  group  work.  Educational  games,  research/survey  activities,  low  cost  experiments,  matching activities and demonstration are used a few times per month. Role play is used least but  still  is  used  at  least  once  a  month.  No  activities  scored  lower  than  this  which  shows  that  TTs  demonstrate a variety of SCA techniques on a regular base.  6.4.3 Use of Teaching Aids and Life Skills Materials All environment and agriculture TTs were asked how often on average they you use following types  of teaching aids in your teaching.  Waste bins  School  Large   PowerPoint  Video  Chicken  Fish   garden  poster   raising  raising  materials  materials  materials  1.8  2.1  2.1  3.8  4.3  4.4  4.6  On a scale from 1 to 7  1= several times per week, 2= once a week, 3 = few times per month, 4 = once per month,   5 = less than once per month, 6 = once a year, 7 = never  SEAL Programme: M&E report 2012 66/79
    • The waste bins as a teaching aid are used at least once or several times per week. Organic gardening materials and chicken and fish raising material were only scored among the 19 agriculture TTs. The materials for the garden are used more often (once a week) than the materials for chicken and fish raising (around once per month). Large posters are also used once a week, followed by PowerPoint presentations and videos (around once per month). 6.4.4 Providing guidance during teaching practice   next year.  certainly  Not yet, Question6 During the student practicum have you:    Unsure   Yes  but  No Actively encouraged students to apply SCA? 34  Actively encouraged students to use posters? 32 1 1 Actively encouraged students to use low‐cost experiments? 33 1 Awarded higher credit to students who apply SCA? 33 1  Shared resources with students such as manuals? 29 2 3 Shown students online resources such as the videos on YouTube? 7 20 7 Have you seen students raising awareness on environmental problems  27 3   4 (all in their practice school?  Agr.TTs ) Have you seen students actively involving pupils in Life Skills activities  26 6   3(such as organic gardening, chicken raising, fish raising)?  Out of 37 surveys 3 teacher trainers did not send us back the page with these questions therefore the total number of questionnaires for this question is 34. All teacher trainers say they do encourage students  to  apply  SCA,  they  encourage  the  use  of  posters,  low  cost  experiments  and  they  credit students who apply SCA higher. The vast majority (29 out of 34) also share resources with student teachers.  Showing  online  resources  scores  lowest.  Only  7  out  of  34  TTs  say  they  do  so,  another  7 claim they will do so next year, whereas 20 TTs say they don’t. Out of 34 TTs there are 27 TTs (79 %) that saw student teachers were raising environmental awareness during the teaching practice, 3 say no,  and  4  are  unsure  but  these  4  are  agriculture  teachers  so  they  pay  less  attention  to  this.  Finally  26  TTs  (76  %)  say  that  they  have  you  seen  students  actively  involving  pupils  in  Life  Skills activities (such as organic gardening, chicken raising, fish raising), 6 TTs haven’t and 3 are unsure.  6.4.5 Integrating ICT in life skills teaching During  lesson  observations  we  have  seen  evidence  that  some  teacher  trainers  use  PowerPoint presentations  and  resources  from  the  internet.  The  set  of  7  DVDs  for  Agriculture  and  a  set  of  7 Environment  DVDs  have  been  developed  during  2011  and  2012,  but  were  not  ready  to  be distributed  yet.  The  sets  of  DVDs  contain  documentary  video  clips,  flash  animations,  pictures  and PowerPoint  presentations,  and  will  be  delivered  to  all  PTTCs  in  December  2012.  The  use  of  these materials can be assessed in 2013. SEAL Programme: M&E report 2012 67/79
    • 6.4.6 Findings per PTTC For each follow up visit more extensive reports are written and are available for more details.  Below is a summary of the most noticeable observations per PTTC. PTTC Banteay Meanchey ‐ Lesson  observation  at  PTTC  and  practice  school  showed  sufficient  lessons  with  use  of  SCA.  Student centred approach is known by school director, TTs and student teachers. - Students’  involvement  in  Life  Skills  activities  has  grown.  They  are  involved  in  the  waste  segregating system and practice agriculture activities at a small scale.  - Organic gardening is taking place.  - Chicken  raising  started  during  last  school  year  but  the  chickens  were  stolen  and  this  security  issue is difficult to solve. Theory of chicken raising can be taught and video clips of the practice  will be available in December 2012. - Fish raising recently started.    PTTC Battambang ‐ A motivated school director and a team of motivated life skills teacher trainers. ‐ Lesson  observation  at  PTTC  and  practice  school  showed  sufficient  lessons  with  use  of  SCA.  Student centred approach is known by school director, TTs and student teachers. ‐ Although  there  is  limited  space  the  agriculture  teacher  trainers  have  found  creative  ideas  to  implement life skills activities such as growing vegetables in sand bags, cultivating fish in a raised  pond to prevent it from flooding. ‐ Students are involved in keeping the environment clean and segregating the waste  PTTC Kandal  ‐ The  environment  lesson  at  the  PTTC  and  at  the  practice  school  showed  good  use  of  SCA  and  were very good. The agriculture lessons observed were not well prepared and lacked quality. ‐ Doubts whether management is motivated to support life skills activities. ‐ The waste segregation system is in place and students are involved. ‐ Organic gardening is practiced at a small scale. ‐ Fish raising is done at the practice school and was said to be shared with the PTTC but this needs  to be checked in November 2012. ‐ Practice chicken raising is difficult for security reasons.  PTTC Siem Reap ‐ The school director is very supportive of the life skills activities and assigns clear tasks to teacher  trainers and student teachers. ‐ All teacher trainers show sufficient lessons with a variety of SCA methods.  ‐ Student’s attitude towards keeping the environment clean is good. They help in segregating the  waste but also show they care about the environment in a broader way when asked to join in  activities like world environment day and drawing competition. ‐ After  some  practice  now  fish  and  chicken  raising  is  successful.  Organic  gardening  has  been  successful before 2012 already.  ‐ Students practice all life skills subjects in and outside the classroom.   SEAL Programme: M&E report 2012 68/79
    • 6.4.7 Challenges Each  TT was  asked  in  the  surv to  list  3 main  challenges  that  they  encou T  vey  3  unter  when  applying student‐‐centred app proaches in LLife Skills teaching. The toop four of ch hallenges the ey mention a are: ‐ Lack k of teaching g materials (m mentioned b by 10 TTs) ‐ Lack k of experime ent materials (9 TTs) ‐ Diffi icult to use IC CT/LCD proje ector/video/ /internet (9 T TTs) ‐ Stud dents involve ement / mot tivation is lim mited   (8 TTs s)    6.5 Discussio on on effectiveness In paraggraph 7.4 we e have given n an overview w of what w we have colleected as resu ults to show w to what extent IRR 2 is deliver red. During tthe annual M M&E meeting g on the 6th o of November 2012 partn ners gave input  on the  questi n  ions  as  requ uired  in  the  guidelines  f self‐asses for  ssment  of  th effectiven he  ness  and impact  o our  curre programme.  School  directors  of all  PTTCs  a 8  TTs  of the  4  targe PTTCs  of  ent  f  and  f  et discusseed in groups. These are comments co ollected durinng that meet ting. 6.5.1 Extent to w which the I IR is delive ered • Weere the expec cted IR’s form mulated in a realistic wayy? • Did d the activitie es contributee to the realisation of the e results as w was stipulate ed? • Waas the intended/applied s strategy appropriate?  The  inte ermediate  re esult  1.2  has  been  satis sfactorily  delivered.  It  is delivered  t s  through  provision  of manuals s and materials which he elps to integrate SCA in t teaching and d learning. However, to g get more result, m more materia als should bee given adequately and e equally to all PTTCs (not o only first four PTTCs). Also trai ining of TTs (through wo orkshop) should be direct ted to right person (in so ome case un ntargeted TTs were  sent to attend worksh hops).   VVOOB materials  and manuals really help p teacher tra ainers to teach in student‐cen ntred way. H However, tea acher trainerrs should be flexible to use integrate  SCA and materials  in  effectiv way.  Con ve  ntextualisatio should  be highly  con on  e  nsidered.  Some  activities  can  be considerred to give mmore inputs;  ‐ Mon nitoring and  Evaluation s should be do one by VVOB B in cooperat tion with Mo oEYS (TTCs, P POE, and  relevant departm ments) at lea ast twice a yeear. ‐ TTCs s regularly organize technical meetin ng to give feeedback on te eaching using g SCA or mat terials ‐ Deliver more ma aterials for T TTCs     Appraisaal and Scorin ng by partne ers:   2x   +  + 2x 6.5.2 Extent to w which part tners make e use of delivered res sults • How did you mea asure the usee by the beneficiaries? • Were the  results sufficiently defined  in relation  to the  needs  and  expect e  s  y  n  o  tations  of  th target  he  group?  • Did t the intermed diate results  enhance aw wareness, a sswift in mentality, a swit tch in attitud de in the  targe et group? SEAL Prog gramme: M&E r report 2012 69/79
    •  The  use of  the  delivered  result by  the  be e  ts  eneficiaries  is  also  descr ribed  in  7.4.    Results  ha been  ave describe in  terms  of  availabilit and  use  of  resources and  didact ed  ty  s  tical  method   During  t M&E  ds.  the meeting partners  fr g  rom  PTTCs  say  they  make  use  of  manuals  an materials Positively,  student  nd  s. centred approach is widely used d and applied d in lesson byy TTs and STs. SCA is not t only widely   used for targeted d subjects (ag nd environmental life skills), but also for other subjects.   griculture an Howeve er, there are still some ch hallenges; ‐ TTs and STs still need some e experience in applying and using SCAA or material ls  ‐ TTs lack of teach hing materials/computer rs/LCD/mate erials ‐ TTs need exchan nge programm through stu udy tours. ‐ There is a need o of monthly rreport from TTTs ‐ There should be e regular M&&E from VVOB, MoEYS (TT TD), POE, PTTTC ‐ Inap ppropriate class condition (class size...) ‐ Time e   Solution ns ‐ Consultation bet tween VVOB B and MoEYS S  ‐ Teac ching locatio on can be sommewhere els se rather tha an in classroo om (for somee activities) ‐ TTs  should have e more unde erstanding onn the use of  materials annd SCA so as s they can wwell apply  eaching depe in te ending on coontent of lessson.  ‐ Therefore, more e workshops s should be oorganized to o strengthen n SCA knowleedge and a f forum to  give feedback o share expe e  or  erience or le esson  learnt  they  encountered  when they apply in  their  y  teacching.   Appraisa al and Scorinng by partneers:   2x   + 2x   6.5.3 Extent of c contributio on of IR to realisation n of Specifi fic Objectiv ve What arre the reasonns why the IR contribute ed successful lly, not succe essfully to th he specific ob bjective? Please reflect on the e good practices (what w would you doo in the samee way?), bad d practices (w what not,  would  you  change?)  and the  lesso learnt  (wwhat  w d  ons  what  would you  recom d  mmend  to  a similar  a program mme in the fu uture).  Commen nts from par rtners during g the M&E m meeting: Success  ‐ TTs and STs get more unders standing in S SCA,  ‐ TT g got the training on life skills (environmment and agriculture) ‐ Delivery of mate erials are eno ough to help p them teach h ‐ Stud dent teacher rs are motiva ated, happy, and interestted in studying ‐ ICT materials are e used by TT Ts and somet times by stud dent teacherrs    ges Challeng‐ Mat terials are sti ill limited  ‐ Inte ernet service is slow SEAL Prog gramme: M&E r report 2012 70/79
    • ‐ Somme PTTCs stilll don’t have a teacher ro oom ‐ Use of ICT remains low. ‐ Somme TTs aren’t t interested iin applying SSCA in enviro onment and a agriculture subjects ‐ Studdy achievement of student teachers o s still limited   on life skill is‐ Studdent teacher rs feel very difficult to de evelop their o own teaching g materials   Solution n ‐ VVO should  o OB  organize  more  training  on  use  of  S SCA,  teachin materials (including  ways  to  ng  s  deveelop), and IC CT ‐ VVO OB should try y to widespre ead existing materials as much as possible (equally to all PTTC Cs) ‐ Train student te eachers how to develop l local low‐cos st materials so that they y can do it when they  gradduate and goo to teacher in schools   Effect of als and multimedia  f lab materia‐ Easy y to integrate e SCA ‐ STs  can apply SC CA  during tteaching practise and ge et more understanding o SCA throu on  ugh peer  learning ‐ Multimedia help p student tea achers easy t to understan nd content o of lesson, savve time, and get high  resuult. Howeverr, the only baarrier in usingg ICT materia als is languag ge.   Appraisa al and Scorin ng by partne ers:   2x   +  + 2x   6.5.4 Effect of ch hanges in p programm me on effec ctiveness • What t are the cha anges that oc ccurred in th he programm me?  • Were e they intendded or not? • Were e these chan nges caused  by external  factors or by y factors tha at are intrinsic to the pro ogramme  itself f?   Accordin to  the  PT school  d ng  TTC  directors  and  Teacher  trainers  during  the  M&E meeting  th VVOB  E  he program has  made  some  chang (average  level)  accor m  ges  e discussion  group, which  mostly  rding  to  oneintendedd. Lessons are taught in  more student‐centred w way. On othe er group sayys the VVOB  program has madde remarkab ble changes,  particularly  on SCA activvities as seenn in teachingg by TTs and d student teachers Providing  manuals,  po s.  osters,  multi imedia,  and  some  other materials  e r  encourages  both  TTs and studdent teachers to use SC in the clas CA  ss.  The change comes f from internaal factors (w within the VVOB  pprogram)  and  happens  intentionally Some  cha y.  ems  from  other  NGOs  such  as  anges,  it  ste oSTEPSAMM2 program. SCA will su urely even be used after r the VVOB p program end ds because m materials and  manual  are  theere.  SCA  are understoo by  TTs  an STs,  they will  continue  to  apply since  it  e  od  nd  y  y capturess students’ in nterest in stu udying, and eespecially study results aare high, as s said by partic cipants.  6.5.5 Effect of or riginal hyp potheses on effective eness • Were the  hypothesis  and  the  risks  tha could  hav disturbed the  course of  the  pro e  at  ve  d  e  ogramme  corre ectly identifie ed? SEAL Prog gramme: M&E r report 2012 71/79
    • • Were the necessary measures in place to monitor and eventually reduce such risks? • Were the basic requirements accomplished to perform the programme?  For IR2 the following assumptions were made in MYP2 (p.59): ‐ Leadership of PTTC and practice schools support the implementation processes ‐ Leadership of PTTC and practice schools support the programme by making available resources  accessible (e.g. land for gardens, electricity for computers) ‐ MoEYS disburses planned funds to schools for extra LLSP hours (local Life Skills Programme)   The  management  of  PTTCs  has  been  involved  in  all  stages  of  implementation,  such  as  input  and refresher trainings and in monitoring activities.  All PTTCs have been supportive to the programme implementation  by  sending  staff  to  workshops,  participating  at  monitoring  activities  and  in encouraging  uptake  of  student‐centred  approaches.    However,  variation  in  support  and encouragement provided by the management to use resources and SCA is frequently mentioned as an important explanatory factor of differences between PTTCs. MoEYS is working together with other partners (World Education/Kape) to integrate the LLSP in the curriculum of lower secondary and primary schools. Materials and trainings have been delivered to school in target provinces of World Education/Kape. VVOB and World Education/Kape have regular meetings to share information and resources. 6.5.6 Conclusion The IR has been fully delivered.  The first two MYP indicators (teacher trainers show understanding of  SCA  and  apply  it  in  their  life  skills  teaching  have  been  achieved.  The  third  one,  better coaching during  the  student  practicum,  was  assessed  through  the  survey  among  TTs  already  but  will  be further evaluated during the next practicum (February – May 2013).   Still planned Activities  and  development  of  resources  have  focused  so  far  on  teacher  trainers.    Training  for practice  school  teachers  of  the  24  practice  schools  from  4  target  PTTCs  (6  schools  x  4  PTTCs), facilitated by PTTC teacher trainers, is planned in the beginning of 2013. They will receive life skills training and adjusted teaching materials. If planning allows we can add 24 more practice schools of the 4 new target PTTCs (Kampong Cham, Kampong Thom, Kratie and Stung Treng) as well.  Further activities are planned to increase familiarity with and use of the resources, including communication activities (e.g. lesson competition) and frequent lesson observation and coaching sessions.  SEAL Programme: M&E report 2012 72/79
    • 7 Intermediate Result 3 7.1 Introduction In  IR  3  the  Teacher  Training  Department  (TTD)  of  MoEYS  is  the  operational  partner.    This  IR comprises the printing and distribution of instructor’s manuals and teaching aids approved by TTD in print  and  through  a  web‐portal  (See  Annex  10:  Overview  Teaching  Resources).    Furthermore,  the integration  of  TPACK  concepts,  materials  and  training  programmes  in  the  M&E  and  professional development processes are assessed in indicators 2 and 3 of this result (see Table 3).  7.2 Means of Verification 7.2.1 Regular progress meetings During the year 2012 regular meetings with the vice‐director and technical staff of TTD have taken place. Minutes of these meetings are available. Topics during meetings have been to assess the M&E tools and to jointly plan follow up visits and trainings as well as quality assurance of the produced teaching and learning materials. 7.2.2 Group interview A  group  discussion  was  organized  during  the  annual  M&E  meeting  on  November  6,  2012.    The guiding questions for the end evaluation were used as starting point.  7.3 Results 7.3.1 Educational materials Annex  10:  Overview  Teaching  Resources  contains  an  overview  of  the  learning  materials  that  were approved by MoEYS.  These include instructor’s manuals, posters, DVDs with multimedia and videos of low‐cost experiments to support science and life skills teaching. Together these resources cover a major  part  of  the  science  curriculum  for  teacher  training  (See  Table  16  and Subject # experiments # multimedia # cartoons # posters*Physics 115 86 39 9Chemistry 53 40 11 20Earth Science 28 36 14 35Biology 34 57 19 42Total 230 219 83 106* after revision due to copyright issuesTable 17).   Therefore we consider the indicator as achieved.  Materials have been distributed to the TTCs.  TTD has  expressed satisfaction with the  materials and considers  distributing them on  a  larger scale  (to upper secondary schools).  However, following remarks can be made with the development process of the resources: SEAL Programme: M&E report 2012 73/79
    • ‐ The  VVOB  team  took  up  a  stronger  coordinating  role  during  the  development  process  than  foreseen.  The  role  of  the  MoEYS  has  been  to  ensure  compliance  with  curriculum  and  quality  control, rather than assuming a coordinating role. ‐ The development cycle has taken very long, going through various stages of quality control, and  feedback.    While  undoubtedly  contributing  to  its  acceptance  by  the  MoEYS,  such  a  long  development  cycle  has  drawbacks  as  well.  There’s  little  time  left  for  a  second  edition,  and  teacher  trainers  have  had  to  wait  long  for  the  resources  to  be  published,  reducing  short  term  impact.   7.3.2 Integration into TTDs professional development programs and the national teacher training curricula At the moment TTD doesn’t have a systematic programme of continuous professional development for teacher trainers.  Monthly technical and pedagogical meetings  at the RTTCs and PTTCs are the main source of professional development for teacher trainers.   For these meetings VVOB has closely worked together with JICA (Stepsam2) to introduce a regular system of lesson study, a methodology based on an iterative cycle of detailed lesson plan and lesson observation and discussion per subject, focusing both on content, pedagogy and technology.   Lesson study is being adopted as a tool for systematic in‐service training for school teachers. “TTD also started a nationwide INSET programme on LS for upper secondary school teachers. LS and IBL are now widely spreading beyond the coverage of the project owing to the efforts of the Cambodian people”  (JICA  et  al,  2012,  p.50).    A  widespread  adoption  of  lesson  study  in  secondary  schools expands the potential impact of the programme to secondary schools, outside the practice schools.  The programme will cooperate with Stepsam3, the planned successor of Stepsam 2 to achieve this unexpected result. VVOB  has  been  an  active  partner  during  the  revision  of  the  teacher  training  curriculum  for  lower secondary education in 2011.  This revision can be considered an alignment of the curriculum with intentions,  laid  down  in  various  policy  documents,  to  move  towards  a  more  student‐centred pedagogy.    In  the  revised  curriculum,  12  hours  in  the  methodology  part  (for  science)  of  the curriculum  have  been  reserved  for  student  centred  approaches,  including  explicit  references  to active reading & writing, reasoning  skills, concept cartoons & tests and educational games.  In the subject  parts  of  the  science  curricula  references  to  several  experiments  from  the  experiment manuals have been included.   7.3.3 The integration of technological, pedagogical and content knowledge framework into the M&E processes of TTD The M&E framework has been developed in cooperation with TTD and tools such as surveys, lesson observation forms and logbooks have been subject to their quality control.  Staff members from TTD and other departments of MoEYS (GSED, PED, and DCD) participate at observations missions to the RTTCs and PTTCs. Lesson observations and the management of resources are jointly discussed. However,  current  monitoring  within  TTD  focuses  heavily  on  compliance  with  administrative procedures  and completing the curriculum in time.   VVOB has been working with TTD to alter the SEAL Programme: M&E report 2012 74/79
    • reportin ng requireme ents for RTTC Cs and PTTCs to TTD. In  their six mo onthly reportts RTTCs will l need to report o on the manag he science labs, resource gement of th e rooms and organic gard dens. We’re c currently  ng with TTD  how lesson  observationdiscussin n forms, surv veys and perrsonal logbooks could play a role in a cost t‐efficient m monitoring sy ystem that in ematic data  collection o ncludes syste on TPACK inttegration by teach her trainers.   7. Discussion on eff .4 ffectivenes ss 7.4.1 E Extent to w which the I IR is delive ered The IR h has been dellivered fully  (See 7.3 for description  of results p per sub‐result).  The part tner fully agreed w with this ana alysis. 7.4.2 E Extent to w which part tners make e use of del livered res sults All  mate erials  have  been  developed  in  align b nment  with  t current  curriculum  for  teacher  training.   the The insttructor’s man nuals on SCA A will be useed in the me part of teacher training (See 7.3).   ethodology pTherefore, we consid der this IR as s fully delivered. 7.4.3 E Extent of c contributio on of IR to r realisation n of Specifi fic Objectiv ve What arre the reasonns why the IR contributeed successfullly, not succe essfully to th he specific ob bjective? Please re eflect on the e good practices, bad pra actices and th he lessons leearnt.  The part tner found that the IR partially contributed to th he realisation of the speecific objectiv ve.  They listed following results in the IR tthat contribuuted to the S SO: ‐ TTD has establis shed clear cuurriculum in ccooperation with VVOB‐ There’s a good c cooperation between VV VOB and MoE EYS ‐ Goo od planning f for training m manuals to immprove quality of learnin ng and teaching activities s ‐ Prov vision of teacching materi ial to suppor rt learning an nd teaching a activities ‐ Stud dent teacher rs have chanc ce to apply n new teaching g methodolo ogies and usee new material ‐ Stud dent teacher rs learn how to use exper riment mate erial and multimedia ‐ Build teacher tra ainers’ capaccity through training in diverse teaching methodo ologies ‐ Stud dent teacher rs understand SCA very w well ‐ Suff ficient experi iment mater rial and expeeriment guide es ‐ Availability of sh hort video cliips and posteers to support learning aand teaching activities, ennhancing  stud dents’ understanding  Areas foor further improvement t that were de etected include: ‐ Limi ited applicattion of SCA by student teacher graduates when th hey are at th heir assigned schools ‐ Limi ited teachingg material annd experiment material ( (at schools)  Appraisa al and Scorinng by partne ers:   2x   SEAL Prog gramme: M&E r report 2012 75/79
    • 7.4.4 Effect of changes in programme on effectiveness • What are the changes that occurred in the programme? Were they intended or not? • Were  these  changes  caused  by  external  factors  or  by  factors  that  are  intrinsic  to  the  programme itself?  The partner provided following comments on this question: ‐ The programme managed to integrated content into new TTC curriculums ‐ These changes are caused by good cooperation between MoEYS and VVOB ‐ Application of SCA and use of material in learning and teaching will continue on regular basis ‐ VVOB and Stepsam2 share the same goal to improve learning and teaching of science ‐ Most changes are expected ‐ An unexpected change is the improvement of English language proficiency amongst TTs ‐ Application of SCA will continue, with direction from MoEYS   7.4.5 Effect of original hypotheses on effectiveness • Were  the  hypothesis  and  the  risks  that  could  have  disturbed  the  course  of  the  programme  correctly identified? • Were the necessary measures in place to monitor and eventually reduce such risks? • Were the basic requirements accomplished to perform the programme?  For IR3 the assumptions and mitigation strategies are listed in Table 21. • MoEYS  central  level  staff  is  assigned  to  support  • Include  the  QA  working  group  in  MoEYS  the quality assurance of new learning materials   master and action plans • MoEYS  central  level  staff  supports  the  • Involve  central  level  staff  during  all  stages  of  innovations in methodology and technical know‐ implementation  how introduced by the programme  • Follow up on TTD Master Pan • MoEYS  proceeds  with  the  planned  revision  of  • Coordination  between  interventions  of  TTD curricula  different  donors  to  align  strategies  at  central  level Table 21  Assumptions and Mitigation Strategies for IR3 (MYP2, p.59) The  assumptions  were  correctly  identified  and  the  mitigation  strategies  have  contributed  to reducing risks. 7.4.6 Conclusion The  active  participation  of  central  level  MoEYS  officials  in  the  SEAL  program  has  increased significantly this year, due to the finalisation of most teaching resources.  The involvement of MoEYS departments in the pre‐mainstreaming and the follow‐up visits has made quality control easier and more efficient.  SEAL Programme: M&E report 2012 76/79
    • The  involvement  of  MoEYS  throughout  the  development  has  ensured  compliance  with  MoEYS guidelines, such as manual and lesson plan structure and the curriculum.  Explicit endorsement by the MoEYS is likely to have a positive impact on the use of the resources by the target group. An  unexpected result has  been  the  realisation  of  improved communication  lines between  the TTD and the TTCs.  Routine involvement of both levels in nation‐wide workshops has resulted in frequent encounters and exchange of ideas.  The TTD and other central level departments (DCD, PED, GSED) are interested in continuing this exchange and develop it into a regular forum. Quality  assurance,  monitoring  and  evaluation  and  coordination  of  in‐service  training  for  teacher trainers  are  the  responsibility  of  TTD.  The  capacity  of  the  coordinating  TTD  is  limited  and simultaneous  implementation  timelines  from  programme  components  has  resulted  in  occasional bottlenecks and delays. Conclusions 2012  has  been  a  key  year  in  the  SEAL  programme.    It  has  been  the  year  during  which  the  long development  cycles  of  learning  resources  and  instructor’s  manuals  were  finalized.    Numerous nation‐wide  workshops  on  science  and  life  skills  education  were  organized  for  teacher  trainers, management staff of TTCs and government staff.  Learning resources were printed and distributed.  Follow‐up visits helped teacher trainers to internalize the content.  All workshops and resources laid out  in  the  year  planning  have  been  realized.    Moreover,  based  on  user  feedback,  additional ‘strengthening workshops’ on SCA are planned in December. Our monitoring data show teacher trainers general have a good understanding of SCA, apply them frequently  in  their  teaching  and  actively  encourage  students  to  use  it  in  their  practicum,  among others by sharing resources and awarding higher credit to students who try integrating SCA in their lessons.    However,  occasionally  techniques  and  multimedia  are  mainly  used  to  keep  pursuing  a predominantly  teacher‐centred  approach.    In  this  way,  change  has  been  incremental  rather  than fundamental.   In  2012  collaboration  with  MoEYS  has  been  strengthened.    The  revised  curriculum  for  teacher training was implemented in the TTCs and the TTD has been an active partner in the development of the M&E framework.  Despite this progress, important challenges remain for 2013. Planning 2013 Efforts  so  far  have  been  focused  on  teacher  trainers  and  much  less  on  science  teachers  from  the practice  schools  of  the  TTCs  and  only  on  a  small  scale  on  primary  school  teachers  of  7  primary practice schools.  These teachers play an important role as model teachers for students during their practicum.  Workshops at each RTTC will be organized to introduce SCA to the teachers in time for the  next  practicum  that  starts  in  February  2013.    In  the  course  of  2013  a  selection  of  learning materials will be adapted to school level. As for practice schools of primary education 24 schools will SEAL Programme: M&E report 2012 77/79
    • receive life skills training in the beginning of 2013 and teaching materials will be slightly adjusted and provided to these primary schools. Secondly,  more  follow‐up  visits  and  coaching  sessions  are  needed  for  teacher  trainers  as  well  to absorb the content introduced in 2012.   The 70‐20‐10 framework states that only 10% of the time should  be  spent  on  formal  instruction,  whereas  double  this  amount  of  time  should  be  spent  on feedback  and  discussion  with  others  (Lombardo  and  Eichinger,  1996).    These  coaching  sessions contribute to the organisational capacity of the TTCs to evolve to learning organisations. Finally,  the  programme  will  continue  working  with  the  MoEYS  and  in  particular  TTD  to  ensure  the sustainability of  the  programme.   Thereby we will  focus on strengthening the M&E  system  of TTD and take initiatives to support the professional development of teacher trainers.     SEAL Programme: M&E report 2012 78/79
    • Annexes Annex 1a: Lesson observation form – version 1 Annex 1b: Lesson observation form – version 2 Annex 2: M&E Protocol for field trips Annex 3: Evaluation Rubric for Lesson Observations Annex 4: Survey for teacher trainers on Agricultural and Environmental Life Skills Teaching Annex 5: Survey teacher trainers RTTCs  Annex 6: Logbook page outline   Annex 7a: Guide Focus Group with Teacher Trainers Annex 7b: Guide focus Group with life skills teacher trainers Annex 8: Interview protocol for interviews with graduated teachers Annex 9: Individual lesson observation scores teacher trainers Annex 10: Overview Teaching Resources Annex 11a: Report Monitoring Visit RTTCs (March 2012) Annex 11b: Report Monitoring Visit RTTCs (June 2012) Annex 11c: Report Monitoring Visit RTTCs (November 2012) References Benveniste, L., Marshall, J. & Araujo, C., 2008, Teaching in Cambodia, World Bank. Berkvens, J.B.Y., Kalyanpur, M., Kuiper, W. and Van den Akker, J., 2011, ‘Improving adult learning and professional development in a post‐conflict area: The case of Cambodia’, International Journal of Educational Development. Boyce, C. and Neale, P., 2006, Conducting In‐Depth Interviews: A Guide for Designing and Conducting In‐Depth Interviews for Evaluation Input, Pathfinder International Tool Series. International Institute for Educational Planning (IIEP ‐ UNESCO), 2011, Education and Fragility in Cambodia, Paris, UNESCO, [online] Available from: http://unesdoc.unesco.org/images/0021/002110/211049e.pdf     Japan International Cooperation Agency (JICA), Padeco Co. Ltd and Hiroshima University, 2012, Cambodia Science Teacher Education Project (STEPSAM2), Project Completion Report, Unpublished Report. Lombardo, M.M. and Eichinger, R.W. , 1996, The Career Architect Development Planner, 1st edition, Minneapolis, Lominger Mack, N., Woodsong, C., MacQueen, K.M., Guest, G. and Namey, E., 2005, Qualitative Research Methods: A Data Collectors Field Guide, Family Health International, available online at: http://www.fhi.org/en/rh/pubs/booksreports/qrm_datacoll.htm. Seymour, A,, 2004, Focus Groups: An Important Tool for Strategic Planning, Strategic Planning Toolkit Project, available online at www.justicesolutions.org/art_pub_focus_groups.pdf UNESCO, 2009, Teacher Training Review Project: Strengthening Teacher Training in Cambodia to Achieve EFA, 139p. World Bank, 2004, Monitoring and Evaluation: Some Tools, Methods  and Approaches, available online at http://www.worldbank.org/ieg/ecd/me_tools_and_approaches.html SEAL Programme: M&E report 2012 79/79