Utilizando a wiki para avaliar a contribuição individual num projecto de                                aprendizagem colab...
Esta última facilidade é significativa, como professores, muitas vezes temos a dificuldade naavaliação ao propor atividade...
colaboração utilizando tecnologias de rede (Lowry et al. 2004b). No entanto, enquanto a co-escrita oferece vantagens clara...
• o perigo de que cada membro do grupo concentra-se apenas em um ramo do       conhecimento cobertas no final do trabalho ...
do progresso, estimula os estudantes para encontrar outros links de hipertexto e ideias para odesenvolvimento de sua própr...
Fig. 1 - Elaboração de grupos de páginas associados com cada seção do texto.1. Um estudo individual de materiais recomenda...
resumo; marcar as palavras que servirão de links para às páginas com conteúdos   detalhados, e formatar a página.4. Links ...
Fig. 2 – Criação de links e eliminação de duplicações de texto.                          A avaliação da aprendizagem colab...
obrigados a dar uma avaliação qualitativa sobre as partes desenvolvidas por todos os outrosmembros do grupo (avaliação do ...
Fig.3 - Tabela utilizada para classificar as mensagens trocadas no fórum.                        Avaliação individual da c...
vantagem de proporcionar um meio fácil para fazer uma avaliação rápida e global dacontribuição de cada estudante para a in...
Fig.4 - Comparação entre pontuação e avaliação calculada pelos pares, relacionadas com o fórum de                         ...
3. Contribuição para as ligações do hipertexto final - Isso se refere ao número de links que o   estudante fez individualm...
Fig. 5 – Comparação dos resultados de dois contribuintes diferentesContinuando com o exemplo, supondo que há 15.400 palavr...
Cálculo do nível de contribuição individualNo final, para obter o valor correspondente a avaliação global do nível de cont...
Fig.6 – Projeção da tabela de incidência relacionados com a interação do fórum.1. Distribuição de contribuições durante o ...
curso NT&HRD usado aqui como um estudo de caso. O eixo X indica os participantes como   remetentes, este eixo mostra as me...
Fig.7 – Projeção relativa aos comentários de avaliação.3. Contribuição para as ligações finais do hipertexto – Excepto em ...
Fig. 8 – Rede de conexões entre os grupos de páginas diferentes do hipertexto.Na Fig.8,        •os pontos numerados corres...
baseada em co-escrita, há pelo menos três elementos a serem avaliados: o produto de co-escrita, o processo implementado pe...
destacar a intensidade das inter-relações (tanto na interação entre os participantes e       entre as ligações entre as pá...
Upcoming SlideShare
Loading in …5
×

Using a wiki to evaluate individual contribution to a collaborative learning project

681 views
604 views

Published on

Tradução do texto de G. Trentin (Instituto Tecnologie Didattiche, Consiglio delle Ricerche, Genova, Italy)

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
681
On SlideShare
0
From Embeds
0
Number of Embeds
80
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Using a wiki to evaluate individual contribution to a collaborative learning project

  1. 1. Utilizando a wiki para avaliar a contribuição individual num projecto de aprendizagem colaborativo G. Trentin IntroduçãoAmbientes educacionais tradicionais são frequentemente caracterizados por um processo peloqual o professor atribui uma atividade de aprendizagem que geralmente é realizada de formaautónoma pelo aluno. No entanto, isso retira do processo de aprendizagem uma quantidadejusta de sua dimensão social (Bornstein & Bruner, 1989; Sullivan 1994). Assim, a ideia depromover estratégias de aprendizagem colaborativa apresenta-se como um dos meios dereforçar essa dimensão através da criação de as condições para o desenvolvimento cognitivodo indivíduo como resultado da interação do grupo (Treleaven & Cecez- Kecmanovic 2001;Garrison 2003).Na área específica da aprendizagem colaborativa em rede (Haughey & Anderson, 1998;Trentin 2006), estas estratégias são freqüentemente implementadas através da atribuição deum grupo de alunos com a tarefa de descobrir de forma colaborativa a solução para umdeterminado problema (resolução de problemas de forma colaborativa) ou o desenvolvimentode um texto escrito (co-escrita), com base em um argumento dado (Trentin, 2004). Agora asatividades on-line podem se beneficiar muito de enormes possibilidades oferecidas pelosoftware social (Malloch 2005; Alexander 2006). Estes incluem wikis, que são caracterizadaspor uma variedade única e poderosa de partilha de informações e recursos de colaboração queoferecem vantagens importantes, como permitir que os alunos estejam ativamente envolvidosna construção do seu próprio conhecimento (Boulos et al. 2006), bem como melhorar osprocessos de co-escrita (Parker & Chao 2007) facilitando seu acompanhamento. Por exemplo,algumas dessas facilidades incluem a possibilidade de:• implementar escrita colaborativa distribuída (Lowry et al, 2004a.); e• explorar algumas funções incorporados na wiki (nº de versões, tags, comentários, links) paraapoiar o acompanhamento das atividades dos alunos e seu nível de contribuição para otrabalho colaborativo. Tradução: Débora Cunha (Nov-2011)
  2. 2. Esta última facilidade é significativa, como professores, muitas vezes temos a dificuldade naavaliação ao propor atividades de co-escrita para seus alunos (Shen et al 2004.; Swan et al.2006). O problema não reside apenas na avaliação ao nível de aprendizagem produzidos pelopróprio processo, mas também na aferição do grau real ao qual o indivíduo tem participadoativamente e contribuiu para a construção do trabalho escrito (Macdonald 2003; Collazos etal., 2004).Este trabalho tem como objetivo fornecer uma solução para este problema apresentando eanalisando uma abordagem metodológica para a organização da co-escrita com base no usoda wiki como um meio para a gestão da avaliação da colaboração nos processos deaprendizagem. Co-escrita e aprendizagem colaborativaO desenvolvimento colaborativo de um texto escrito transforma o aluno comum, o trabalhosolitário escrito em um processo coletivo, gerando fortes benefícios ao nível social e nívelcognitivo (Clifford, 1992; Sullivan, 1994). Na verdade, os processos da co-escrita (Hale &Wyche-Smith, 1988; Guerrero et al. 2003) não oferecem uma excelente oportunidade apenaspara a prática de leitura e escrita, mas também para estimular a reflexão, partilha deconhecimento e pensamento crítico (Brown & Palincsar 1989; Scardamalia & Bereiter 2003).Em suma, eles oferecem uma oportunidade para aprimorar conhecimentos e habilidadesatravés de um processo de forte conotação social (Cooper et al. 1994;.Picciano 2002; Stahl2006). Além disso, a co-escrita que é feita on-line é quase sempre feita de forma assíncrona, eé mediada e indireta (Weng & Gennari 2004). Portanto, os alunos tem maiores oportunidadesde refletir profundamente sobre o que ler e escrever ao responder aos interlocutores, além depraticar as suas competências linguísticas (Flower, 1996).Isto pode ampliar o senso dos alunos que podem adquirir múltiplas interpretações do mesmotema de estudo ou ponto de discussão (Cunningham, 1991). Isso também sublinha o fato deque as interpretações podem convergir ou divergir, destacando a complexidade das inter-relações naturais dentro dos domínios do conhecimento.Além dos aspectos cognitivos, também vale a pena considerar a importância de dominar astécnicas de co-escrita, que são cada vez mais necessária no mundo do trabalho. Em muitasprofissões, documentos, relatórios, diretrizes, propostas de projetos como são escritos em Tradução: Débora Cunha (Nov-2011)
  3. 3. colaboração utilizando tecnologias de rede (Lowry et al. 2004b). No entanto, enquanto a co-escrita oferece vantagens claras para o processo de aprendizagem, ela tambémapresenta obstáculos na avaliação de cada aluno: •contribuição para o desenvolvimento do artefato produzido pelo grupo, e •nível de progresso em alcançar os objetivos educacionais do curso.Estas questões representam as questões-chave de pesquisa que têm estimulado o estudo e aexperimentação relatado neste trabalho. Wikis, co-escrita e avaliaçãoA literatura relata muitas experiências no uso de wikis na educação (Byron 2005; Notari 2006;Parker & Chao 2007). Vários destes têm abordado o problema de avaliar o conteúdo que osalunos tenham desenvolvido e o nível de aprendizagem/competências alcançado no seudesenvolvimento (Bruns & Humphreys 2005; Hamer 2006). Por outro lado, parece que aavaliação da área a respeito do processo de colaboração realizado por alunos ainda não foitotalmente resolvido.O objetivo desta pesquisa foi, portanto, definir e testar uma nova abordagem metodológicapara a organização da co-escrita via wiki, que permite a avaliação e monitoramento daaprendizagem colaborativa. A pesquisa tem centrado em duas sucessivas edições (2005-2006 e2006-2007) de um curso online sobre Network Technology E Desenvolvimento de RecursosHumanos (NT&HRD) na Faculdade de Ciências Políticas da Universidade de Turim, e envolveucerca de 30 estudantes. Por que escolher wikis para co-escrever?Um dos módulos NT&HRD prevê a colaboração no desenvolvimento de uma tese de curtaduração. Em anos anteriores, esta atividade era realizada utilizando o método tradicional deinteragir por meio de conferência por computador e partilha das contribuições individuaiscomo arquivos anexados. Este processo exige um editor "central" disposto a assumir a tarefade recolher as contribuições e moldar o documento final de acordo com indicações do grupo.No entanto, este apresentou três desvantagens principais: •sobrecarga excessiva para um membro do grupo, ou seja, o editor; Tradução: Débora Cunha (Nov-2011)
  4. 4. • o perigo de que cada membro do grupo concentra-se apenas em um ramo do conhecimento cobertas no final do trabalho colaborativo, e • dificuldade em avaliar a medida em que cada membro do grupo tinha examinado criticamente o trabalho em geral, além de realizar o seu contributo na tarefa individualmente.Posteriormente, foi decidido em edições posteriores para usar uma wiki como um ambientede co-escrita, explorando o potencial que se ofereceu para: • Redistribuir a responsabilidade para a edição global do documento a todos os membros do grupo; • estimular cada participante, através da organização específica do trabalho de grupo, para colaborar nas várias fases em produção da obra geral, e • estabelecer um mecanismo de avaliação com base na análise das interações entre os participantes, na avaliação em produções de cada indivíduo e sobre a estruturação do trabalho final - tarefas realizadas usando dados a partir de opções da wiki padrão (comentários, links, etiquetas, versões).PBWiki (http://www.pbwiki.com) foi adotado para a experimentação, uma escolha feitaexclusivamente com base que esta aplicação é gratuita, que permite password deacesso e além de ser um clássico e editor WYSIWYG. Da centralização à edição distribuídaUsando abordagens de hipertexto para escrita colaborativa pode quase inteiramente evitar anecessidade existir um editor com o fardo único de gerir as diferentes versões dodesenvolvimento do texto escrito. Em comparação com outras aplicações de hipertexto, comoToolBook, HTML editores, PowerPoint, etc, as wikis oferecem vantagens especiais, acima detudo a possibilidade de “escrita distribuída”(Hart-Davidson et al. 2006). Assim como suaescrita, os estudantes podem ir vendo suas próprias páginas em tempo real, além de poder veras páginas que os outros têm publicado e vinculado hipertextualmente, sem ter que esperarpor um editor para montar as diversas peças desenvolvidas individualmente em diferentescomputadores pessoais. Além disso, ser capaz constantemente de verificar o estado da obra, Tradução: Débora Cunha (Nov-2011)
  5. 5. do progresso, estimula os estudantes para encontrar outros links de hipertexto e ideias para odesenvolvimento de sua própria parte do trabalho. Regras gerais para a edição distribuídaA co-escrita exige regras gerais a serem definidas para a elaboração o documento partilhado(Lowry et al., 2004b). O objetivo não é só garantir a homogeneidade estilística do documentofinal, mas também para definir estratégias eficazes para atingir os objetivos de aprendizagemque se pretende atingir.Em termos de estilo, os alunos são convidados a concordar com regras tipográficas, tais comoos formatos a serem utilizados para os caracteres e parágrafos, os nomes dos links (retorna aoíndice geral, ao início da seção gerida por cada aluno e assim por diante) e sua posição notexto.Quanto à estratégias de co-escrita, estas são geralmente definidas pelo professor porque nãohá um objetivo envolvido na educação (Cohen 1994; Felder & Brent, 2001).No NT&HRD, por exemplo, o objetivo é desenvolver a capacidade dos alunos em resumir osassuntos que estão sendo estudados e identificar os muitos vínculos conceituais entre ospossíveis. Portanto, os alunos são aconselhados a usar uma espécie de estratégia top-down eescrever o resumo de cada disciplina em não mais de 20 linhas por página. Se quisessemescrever uma descrição exaustiva e não existir espaço suficiente, devem destacar links notexto que direcionem às páginas adicionais com um exame detalhado dos conceitoscorrespondentes. Este processo pode ser repetido para não mais do que três níveis deprofundidade a partir da home page.Para se beneficiar plenamente das possibilidades oferecidas pela wiki para co-escrita eavaliação de aprendizagem colaborativa, os trabalhos dos alunos devem ser organizados demodo que todos estejam motivados a desempenhar um papel em cada fase dedesenvolvimento da escrita partilhada. A metodologia adotada no curso NT&HRD é ilustradaaqui, ponto por ponto: Tradução: Débora Cunha (Nov-2011)
  6. 6. Fig. 1 - Elaboração de grupos de páginas associados com cada seção do texto.1. Um estudo individual de materiais recomendados – Tendo sido dado o tema para uma tese curta, são fornecido aos alunos uma lista de materiais recomendados para estudo. Alguns destes podem ser encontrados em repositório on-line do curso (artigos, capítulos de livros, etc), enquanto outros pode ser obtido diretamente na Web usando um conjunto de palavras-chave fornecidas pelo professor.2. Co-planejamento da estrutura geral do hipertexto e divisão do trabalho – Depois do estudo dos materiais, é que o grupo elabore de forma colaborativa (em um fórum) a estrutura geral do hipertexto (seções e subseções de primeiro nível) e definir o layout da home page da wiki. Então o trabalho é dividido entre os membros do grupo.3. Desenvolvimento das várias partes da wiki - Trabalhando individualmente, os membros do grupo desenvolvem a seção do texto que lhes é atribuído e, desta maneira criam as ramificações seguintes dos documentos de hipertexto acima mencionados como abordagem top-down. Para escrever cada página, eles são aconselhados a realizar etapa por etapa (de "substância" a "forma"): escrever o Tradução: Débora Cunha (Nov-2011)
  7. 7. resumo; marcar as palavras que servirão de links para às páginas com conteúdos detalhados, e formatar a página.4. Links para páginas criadas por outros - Para evitar que os alunos concentrem-se exclusivamente em sua parte do texto, eles são obrigados a procurar em todo o hipertexto para encontrar as páginas compiladas por outros que podem ser conceitualmente ligados a uma ou mais páginas em seu próprio grupo de páginas (Fig. 1). Obviamente, esta atividade faz com que os alunos analisem as ligações conceituais ao longo o trabalho e promove uma visão geral mais completa do assunto. Os alunos são encorajados a executar a tarefa, enquanto estão desenvolvendo suas páginas, não deixando esta tarefa para ser realizada em último lugar. A leitura das páginas de co- autores, faz com que os alunos não só tenham novas ideias e sugira melhorias para o seu próprio texto, mas também ajuda a evitar duplicações, especialmente quando dois ou mais alunos trabalham sobre o assunto conceitualmente próximo. Isso também leva a uma transformação gradual na estrutura hierárquica do hipertexto (Fig.1) para reticular (Fig.2).5. Peer review - Uma vez que as diferentes seções do documento partilhado foram sido escritas, os alunos são solicitados a realizarem a revisão por pares para todas as páginas e sugerir aos colegas melhorias para os textos. Neste caso, o objectivo – além da mencionada no ponto 4 é o de incentivar a interação entre o autor (o aluno que gerou a página) e os utilizadores (todos os outros alunos que o acedem) sobre o tema escolhido (Thompson, 1988). Esta interação é facilitada pela função comentários associados a cada página da wiki, através do qual diálogos curtos podem ocorrer entre os diferentes contribuintes/utilizadores do hipertexto. Tradução: Débora Cunha (Nov-2011)
  8. 8. Fig. 2 – Criação de links e eliminação de duplicações de texto. A avaliação da aprendizagem colaborativaNo curso NT&HRD, a avaliação da aprendizagem colaborativa é baseada em três elementosfundamentais:• O nível de aprendizagem (consecução dos objectivos definidos) - este é centrado na avaliaçãoqualitativa das páginas da wiki produzidas por cada estudante (precisão, pertinência,completude, o uso da terminologia, etc.), a importância dos links conceituais entre as suaspróprias páginas e aquelas desenvolvidas por outros estudantes, a capacidade de discutir eargumentar durante as interações on-line em fóruns (no planeamento colaborativo daestrutura do hipertexto) e pelos comentários postados nas páginas da wiki durante a revisãopor pares.• Os produtos desenvolvidos individualmente ou em colaboração pelos estudantes - estaavaliação é realizada pelos professores, bem como pelos próprios alunos. O professor avalia oproduto global em termos de coerência com a tarefa atribuída, estruturas conceituais,precisão, completude, homogeneidade estilística, fontes de referências, etc. Os estudantes são Tradução: Débora Cunha (Nov-2011)
  9. 9. obrigados a dar uma avaliação qualitativa sobre as partes desenvolvidas por todos os outrosmembros do grupo (avaliação do produto por pares).• O processo colaborativo seguido pelos estudantes na realização das atividades on-line - ofoco aqui centraliza-se em níveis individuais de contribuição e na interação com o grupo nodesempenho colaborativo da tarefa. Uma vez que este diz respeito diretamente ao temacentral da experimentação, será tratado em pormenor na segunda parte do artigo. Avaliação do processo de colaboração e níveis de contribuiçãoA abordagem de avaliação da contribuição do indivíduo no processo de colaboração baseia-sena complementaridade entre a análise das interações online, análise dos dados a partir deinformações na wiki e a avaliação dos pares de estudantes. Antes de dar uma descriçãodetalhada do método adoptados e das ferramentas utilizadas para a sua aplicação, vale a penaapontar que:•as tabelas abaixo, foram utilizadas para calcular os diferentes índices de contribuição eparticipação, foram preparadas utilizando folhas de cálculo do Excel e anotadas com rotinassimples para os parâmetros de cálculo (a ser discutido mais tarde) e para as projeções gráficas;e•os dados contidos nas tabelas foram extraídos manualmente, uma abordagem que pode levara algumas críticas porque é um procedimento demorado para o professor. Tradução: Débora Cunha (Nov-2011)
  10. 10. Fig.3 - Tabela utilizada para classificar as mensagens trocadas no fórum. Avaliação individual da contribuição do alunoO nível de contribuição de cada estudante leva em consideração quatro fatores-chave queconsideram a sua participação ativa: •no fórum utilizado para a fase de planeamento; •na revisão por pares; •no desenvolvimento das ligações wiki, e •no desenvolvimento do conteúdo.1. A contribuição na discussão em um fórum durante o planejamento colaborativo da estrutura geral do documento - avaliação é realizada por cada grupo de mensagens de alunos em três categorias principais: (a) mensagens contribuindo para o conteúdo dos trabalhos do grupo (peso 3); (b) mensagens que envolvam coordenação/co-decisão (peso 1,5); e (c) todas as outras mensagens (peso 0,5). A Figura 3 mostra o layout da tabela utilizada para o levantamento de dados.A categorização das mensagens pode não ser tão refinada como muitos outros relatados naliteratura (Henri 1982; Gunawardena et al. 1997; Bocconi et al. 2000; Ho 2004), mas tem a Tradução: Débora Cunha (Nov-2011)
  11. 11. vantagem de proporcionar um meio fácil para fazer uma avaliação rápida e global dacontribuição de cada estudante para a interação colaborativa online.A avaliação da contribuição do indivíduo para o fórum de discussão é calculada como: Pforum = 3. A% +1,5.B% + 0,5⋅C% (1)Por exemplo, o estudante que enviou 12% em mensagens de contribuição, 8% em mensagensde coordenação/co-decisão e 15% de outras mensagens é dado a seguinte marca: Pforum = 3⋅0,12 +1,5⋅0,08+ 0,5⋅0,15 = 0,56 (2)Este valor é então normalizado em 100, com referência para a nota mais alta no grupo.Continuando com o exemplo, supondo que 0,87 é a nota mais alta obtida por um membro dogrupo, então: Pforum, norma = 64,4 (3)Para verificar a confiabilidade dos valores obtidos (1), os próprios estudantes foram solicitadosa avaliar a contribuição dos seus pares na colaboração no fórum, expressa em valores de 0-5.O gráfico da figura 4 compara as avaliações calculadas com a fórmula (1) (normalizada a 5)para o resultado da avaliação pelos pares.Como a comparação mostra concordância entre o cálculo objetivo e a avaliação subjetiva(avaliação pelos pares), o cálculo ponderado pode ser considerado confiável, pelo menos nesteestudo de caso. Tradução: Débora Cunha (Nov-2011)
  12. 12. Fig.4 - Comparação entre pontuação e avaliação calculada pelos pares, relacionadas com o fórum de interação.2. Contribuição para revisão por pares - Trata-se de avaliar os comentários que cada estudante fez durante a avaliação por pares das páginas dos colegas. Neste caso, a avaliação é realizada pela pessoa que recebeu os comentários sobre as suas próprias páginas: a pontuação de 0 a 5 é atribuído a cada comentário recebido de acordo com quão útil o autor encontrou como feedback. No final, o feedback de cada aluno com os pontos são calculados e a média é calculada. Para apoiar o levantamento de dados, uma matriz específica (“matriz revisão por pares”) é usada quando: •as linhas correspondem aos autores que expressam uma opinião sobre a eficácia do feedback que recebemos de revisores; •as colunas indicam os revisores, e •a linha/coluna indicam intersecções do relatório de avaliação (pontuados em uma escala de Likert de 5 pontos) pelo ith autor com base em observações feitas em relação a suas páginas pelo revisor jth, a avaliação considera tanto o número de bons comentários como a sua eficácia global. Também neste caso, a média é então normalizado para 100. Por exemplo, supondo que o aluno tem uma média de 3,6 e a maior média obtida por um membro do grupo é 5,então: P revisão por pares, norma = 72 (4) Tradução: Débora Cunha (Nov-2011)
  13. 13. 3. Contribuição para as ligações do hipertexto final - Isso se refere ao número de links que o estudante fez individualmente entre seu grupo de páginas e outros grupos de outros autores. Assim, o número total de ligações é considerado e comparados com o número total de ligações entre os diferentes grupos da wiki. No entanto, menos peso é dado a essa avaliação do que a anterior àquelas já que o número de links depende muitas vezes do grau de parentesco conceitual dos temas tratados com as páginas do autor para o resto das páginas encontrados na wiki. Como conseqüência, um grupo (cluster), até mesmo um de grande qualidade, pode não prestar-se a ligação com outras partes do hipertexto. Além do mais, nem todos os links definidos pelos estudantes, necessariamente, poderão ter qualquer real importância conceitual. O valor obtido é então normalizado para 100. Por exemplo, supondo que o estudante iniciou 11 ligações a partir de seu grupo de páginas para outros grupos de páginas e que o número total de links entre os grupos de páginas é de 62, então: Plinks, norma = 17,74 (5)4. Contribuição em termos de conteúdos desenvolvidos - Este é calculado considerando o número de páginas e o número total de caracteres produzido por cada estudante. Aqui, novamente, menos peso é dado a essa avaliação do que aos anteriores (pontos 1, 2), pois é uma avaliação quantitativa e não qualitativa das contribuições escritas de cada aluno. Novamente, o valor é então normalizado para 100. Por exemplo, supondo-se que existem 77 páginas e um estudante produziu 6 delas, então: Ppp, norma = 7,8 (6) Tradução: Débora Cunha (Nov-2011)
  14. 14. Fig. 5 – Comparação dos resultados de dois contribuintes diferentesContinuando com o exemplo, supondo que há 15.400 palavras na wiki e 1400 foramproduzidas pelo estudante em questão, a contribuição normalizada a 100 é: P words, norma = 9,1 (7)No final, a pontuação atribuída será: Pcontent, norma = Ppp, norma + Pwords, norma = 16,9 (8) Atribuição de pesoA normalização dos valores a 100 é meramente indicativa e outro valor de referência poderiater sido usado. O que é importante é que mais peso neste procedimento é atribuído àscontribuições relacionadas com os pontos (1) e (2) - interação no fórum para o co-planejamento do texto e revisão por pares - do que (3) e (4). Isso reflete a maior importânciaatribuída ao diálogo colaborativo como uma parte do processo de colaboração. Tradução: Débora Cunha (Nov-2011)
  15. 15. Cálculo do nível de contribuição individualNo final, para obter o valor correspondente a avaliação global do nível de contribuição de umdeterminado estudante quanto ao trabalho em grupo, a pontuação (normalizada) em cadaavaliação acima mencionada é totalizada, assim:Ptot = (9)Por exemplo, a Fig. 5 compara os resultados de uma média de um contribuinte (Si) com osresultados do contribuinte (SJ), que obteve a maior pontuação total. Como já mencionado, adiferença nos resultados é principalmente determinada pela soma dos dois primeiros valores(135,8 vs. 184,6) e muito menos pela soma dos dois segundos (34,6 vs.37,8). No entanto, issonão significa que a contribuição em termos de links e páginas inseridas deva serdesconsiderada, mas sim que ela deve ser avaliada como um elemento de qualidade doproduto e não como um indicador do nível de contribuição dos alunos, que é o objeto desteartigo. Avaliação do nível de colaboração dentro do grupoAvaliação do nível de colaboração dentro do grupo é baseada na combinação das avaliaçõesindividuais referida na seção anterior. Ela depende de três fatores principais: • distribuição de contribuições durante o fórum de colaboração no planejamento da estrutura do documento; • contribuição para a revisão por pares, e • contribuição para a ligação do hipertexto final. Tradução: Débora Cunha (Nov-2011)
  16. 16. Fig.6 – Projeção da tabela de incidência relacionados com a interação do fórum.1. Distribuição de contribuições durante o fórum de colaboração para planejamento da estrutura do documento – Esta tabela de avaliação utilizada tem incidência para gravar as interações entre os participantes em um grupo de discussão. Uma tabela de incidência é uma grelha com emissor/receptor (S/R) de dupla entrada (Mackenzie 1966). Havia tantas tabelas de frequência utilizadas para a avaliação, quantas categorias de mensagens indicado na Fig. 3. Supondo que existem n participantes, a tabela irá medir n por n, e cada célula representará o número de vezes que cada participante interagiu com outro membro do grupo. Os sub-totais de cada coluna representam o número de emissões de mensagem e os sub-totais de cada linha o número de recepções. Da tabela total geral representa o número de comunicações que tiveram lugar dentro do grupo. A utilização dos dados coletados na tabela, é possível construir uma série de projeções gráficas que ajudam na compreensão em que grau que a comunicação é transmitida em todo o grupo ou centrada em alguns indivíduos. Vamos considerar, por exemplo, o gráfico mostrado na Figura 6, que se refere às mensagens relativas ao conteúdo dos trabalhos em grupo dentro de uma das duas do Tradução: Débora Cunha (Nov-2011)
  17. 17. curso NT&HRD usado aqui como um estudo de caso. O eixo X indica os participantes como remetentes, este eixo mostra as mesmas pessoas como receptores, enquanto que o eixo Z informa o número de comunicações. Utilizando a tabela de incidência, o índice de centralidade (Mackenzie 1966) também pode ser estudado, que mede a comunicação em torno de um ou mais participantes. O índice, neste caso, foi 0,421, o que implica a interação bem distribuída embora centrada em torno de um sub-grupo dos participantes.2. Contribuição de revisão por pares - Essa avaliação é com base no número total de comentários feitos por alunos durante a revisão por pares e da eficácia das sua contribuição. Para avaliar a revisão global do grupo pelos pares, a "matriz de revisão por pares" foi usada para produzir uma projeção no gráfico correspondente. O gráfico da Figura 7 apresenta um exemplo considerado no curso NT&HRD. Apesar de existirem muitos comentários, neste caso particular, apenas alguns foram creditados com um valor alto. Em outras palavras, uma boa quantidade de interatividade ocorreu, mas a interação não carrega muito significado. De fato, uma análise dos comentários feitos sobre as páginas da wiki tem mostrado que muitos foram apreciações do trabalho de um colega, em vez de sugestões eficazes sobre como modificar e melhorar. Tradução: Débora Cunha (Nov-2011)
  18. 18. Fig.7 – Projeção relativa aos comentários de avaliação.3. Contribuição para as ligações finais do hipertexto – Excepto em termos de participar ativamente no planejamento do hipertexto, no desenvolvimento de páginas e envio de comentários construtivos, o nível de contribuição também leva em conta os links do hipertexto. A razão para isto é que cada link de hipertexto transmite uma contribuição cognitiva, ou seja, a conexão conceitual entre dois ou mais sub-domínios pertencentes ao mesmo domínio cognitivo. O nível das ligações da wiki é avaliado o número de links indicado pela wiki, ou seja, o número de ligações direcionados para uma determinada página. Tal como acontece com a interação no fórum, é possível criar uma tabela de incidência (ligando/páginas ligadas) como um meio para a realização de uma análise de rede de ligações do hipertexto. Tradução: Débora Cunha (Nov-2011)
  19. 19. Fig. 8 – Rede de conexões entre os grupos de páginas diferentes do hipertexto.Na Fig.8, •os pontos numerados correspondem aos grupos de páginas desenvolvido por cada estudante, e neste sentido as linhas referem-se a conexão entre qualquer página do grupo N e qualquer outra página do grupo M, e •As linhas em negrito correspondem a uma ligação recíproca (para fora para dentro).A figura mostra a distribuição bastante uniforme das ligações do hipertexto com a exceção dosgrupos 4, 9 e 11. O baixo número de ligações pode não ser necessariamente devido à falta docuidado do estudante na busca de conexões entre as suas próprias páginas e outras, quemuitas vezes depende da falta de proximidade conceitual entre os temas abordados nosrespectivos grupos. Conclusões da pesquisa e desenvolvimentosComo apontado por Rowntree (1981), o planeamento de uma atividade de avaliação implica adefinição de alguns aspectos-chave tais como os objectivos da avaliação em si, os meios eferramentas para realizá-la e a forma de analisar os resultados obtidos. Estes aspectos devemser tidos em conta durante o processo de design instrucional como garantia que, durante arealização da atividade educativa, os métodos de pesquisa e ferramentas acima mencionadospodem ser aplicados para cumprir a meta de avaliação. No caso da aprendizagem colaborativa Tradução: Débora Cunha (Nov-2011)
  20. 20. baseada em co-escrita, há pelo menos três elementos a serem avaliados: o produto de co-escrita, o processo implementado pelo grupo e a aprendizagem dos conteúdos disciplinares.A avaliação do produto e nível de conhecimento realizados pelos estudantes podem serrealizados de forma satisfatória com as abordagens tradicionais com base na análisequalitativa tanto do texto co-produzido e contribuições escritas de cada aluno. O problemasurge na avaliação do processo de co-escrita, em especial no nível da contribuição que oindivíduo fez ao grupo e à distribuição/centralização do processo de colaboração.Por esta razão, é habitual para os professores adotarem estratégias de aprendizagemcolaborativa para construir suas próprias tabelas e fórmulas simples para facilitar oacompanhamento de participação e interação de seus estudantes durante o trabalho emgrupo. A partir desta observação, a pesquisa aqui descrita teve como objetivo contribuir paracodificar uma possível metodologia para gerir a avaliação do processo da aprendizagemcolaborativa.A metodologia proposta aborda a questão por referência cruzada que pode ser rastreada porsoftware social usado para co-escrever com a avaliação realizada pelos pares dentro do grupo.Para este efeito, a atividade de co-escrita foi organizada para facilitar os levantamentosnecessários para a aplicação da metodologia de avaliação proposto. As conclusões que podemser extraídas a partir de experimentação de campo com respeito a metodologia tem duasperspectivas diferentes, o do estudante e do grupo como um todo. Especificamente, verificou-se que: • avaliar o nível de contribuição da participação de cada estudante sobre a base de ambos os dados objetivos (número de mensagens e a quantidade de material produzido) e dados subjetivos (avaliação de professores e avaliação pelos pares) revelou-se eficaz, em particular sobre o processo de diálogo colaborativo: interação no fórum para o co-planejamento do texto e a revisão por pares. Assim, as tabelas e parâmetros de cálculo usado podem ser considerados válidos não apenas para atividades de co-escrita, mas em geral, para qualquer atividade de comunicação assíncrona, e •avaliar o nível de colaboração em grupo é facilitado pelo uso combinado de projeções 3D em gráfico e técnicas de análise de rede. As projeções são mais eficazes para Tradução: Débora Cunha (Nov-2011)
  21. 21. destacar a intensidade das inter-relações (tanto na interação entre os participantes e entre as ligações entre as páginas do hipertexto), enquanto as técnicas de análise de rede são mais úteis na representação de seu nível de ligações.A aplicação do método aqui proposto também se mostrou ser um bom teste base para ajudaros professores a entender as dificuldades na maneira de organizar a co-escrita para seusalunos e como estes podem influenciar a avaliação na participação individual/contribuição dostrabalhos do grupo de acção global e do produto final desenvolvido colaborativamente.O uso da metodologia proposta, portanto, ajuda o professor a entender um plano de co-escrita, para que todos os alunos sejam motivados a participar ativa e colaborativamente.Os resultados da experimentação podem ser considerados como positivos, embora osprocedimentos e as ferramentas utilizadas ainda exijam refinamento, especialmente parareduzir as exigências de tempo e mão de obra para processamento dos inquéritos.A pesquisa realizada identificou algumas funcionalidades que poderiam ser incorporados emambientes wiki para automatizar parte da análise quantitativa das ações executadas pormembros do grupo de aprendizagem. A ideia é automatizar algumas das actividadesrelacionadas com construção de tabelas de frequência e avaliação pelos pares, e este poderiaser um tema de pesquisa de desenvolvimento futuro. Por exemplo, ao professor poderia serdada a oportunidade para marcar as mensagens do fórum e categorizá-las de modo que asrespectivas tabelas de incidência poderiam ser geradas automaticamente com cálculosponderados. Formas de análise automática da base de dados da wiki também vão sendoexploradas para permitir recuperar e mapear (tabulação e gráficos) as ligações recíprocasentre as páginas. Esta análise também poderia ser útil para a avaliação quantitativa dasinterações entre os contribuintes por possibilitar a geração automática de uma incidênciaespecífica para comentários via cruzamento do nome de um autor de página com oscomentários de decisões sobre que página.Em conclusão, o desenvolvimento futuro da pesquisa descrita neste artigo implicará equiparum motor wiki de propósito geral com funções específicas relacionadas com o processo deavaliação de interações colaborativas. Isto levará a um wiki de propósito específico para serusado como um suporte para o ensino baseado na aprendizagem colaborativa. Tradução: Débora Cunha (Nov-2011)

×