Avaliação em ambientes virtuais de aprendizagemJosué LaguardiaMargareth Crisóstomo PortelaMiguel Murat VasconcellosFundaçã...
Evaluation in virtual learning environmentsJosué LaguardiaMargareth Crisóstomo PortelaMiguel Murat VasconcellosFundação Os...
As mudanças na ordem econômica e                          bilidade, do controle e da responsabilidade dosocial, o desenvol...
o gerenciamento de redes de aprendizagem; e a           negativos e positivos, atribuídos às tecnologiasimportância dos me...
tecnologia, mas se estender à interação entre TIC                 e de recursos para a execução do estudo.e os usuários no...
como um fator determinante e os usuários                 perimentais e econômicas, alegando que a so-como entes passivos o...
ca de arte, revisão profissional e responsiva/                    as potencialidades técnicas e a análise do custoiluminad...
gador ocorre quando vários observadores ou             as análises de dados qualitativos podem tantoentrevistadores com fo...
As avaliações de ambientes virtuais de                    e à adequação dos conteúdos aos objetivosaprendizagem podem ser ...
desempenho nos exames e testes, o tempo para            às instituições convencionais, apresentam menorcompletude do curso...
curso pelos estudantes, discussão na internet                             Dois aspectos significativos da avaliaçãosobre o...
vas com respeito ao curso, condições do ambien-         quantitativa da participação dos estudantes note de aprendizagem (...
1986). Para Moehr (2002), a abordagem mais                        sos online . Os grupos focais são entrevistasadequada pa...
focais presenciais e assíncronos e à sub-repre-         (2003) realizaram um chat com alunos sobresentação da população ge...
Segers (2001) classificam os portifólios em: (i)                  dos de avaliação em ambientes complexos deexemplar – col...
EaD, metodologias de avaliação que contemplem                     quais os critérios estão sendo adotados para aas especif...
DYSON, M. C.; CAMPELLO, S. B. Evaluating virtual learning environments: what are we measuring? Electronic Journal of e-  L...
SARTORI, A. S. Educação a distância: novas práticas pedagógicas e as tecnologias da informação e comunicação. Linhas v. 3,...
Upcoming SlideShare
Loading in …5
×

Avaliacao ambientes virtuais

386 views
325 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
386
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Avaliacao ambientes virtuais

  1. 1. Avaliação em ambientes virtuais de aprendizagemJosué LaguardiaMargareth Crisóstomo PortelaMiguel Murat VasconcellosFundação Osvaldo Cruz Resumo A demanda por avaliações de projetos de aprendizagem virtual a dis- tância tem requerido o emprego de conceitos e métodos que transcen- dem o campo exclusivo da Educação, destacando-se a multiplicidade de marcos teóricos e abordagens técnicas empregados nas estratégias avaliativas de aprendizagem online. A despeito da hegemonia dos mé- todos quantitativos na avaliação das tecnologias de informação e comunicação, o emprego de métodos qualitativos nas avaliações de ambientes virtuais tem crescido ao longo das duas últimas décadas. A combinação de métodos quali-quantitativos possibilita uma melhor compreensão dos fenômenos subjacentes ao uso das tecnologias para a aprendizagem online. Dado que a educação em ambientes virtuais refere-se a experiências de aprendizagem que utilizam recursos hipermidiáticos em ambientes apoiados por uma tecnologia de comu- nicação online, optou-se neste artigo enfocar alguns tópicos relativos à avaliação de tecnologias de informação e de aprendizagem nesses ambientes, aprofundando a discussão no que tange aos métodos re- levantes à avaliação tanto dos ambientes virtuais de aprendizagem quanto da aprendizagem nesse meio. Essa opção se deve tanto ao re- conhecimento das especificidades das práticas pedagógicas da EaD que colocam em evidência a relação entre educação e comunicação, viabilizadas por meio das tecnologias de informação e comunicação, quanto aos diversos papéis, negativos e positivos, atribuídos às tecnologias de comunicação e informação na Educação. Palavras-chave Avaliação – Ambiente virtual de aprendizagem – Tipos de avaliação – Métodos quali-quantitativos.Correspondência:Josué LaguardiaRua do Russel, 404 apto. 50422210-010 – Rio de Janeiro – RJe-mail: jlaguardia@cict.fiocruz.brEducação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 513
  2. 2. Evaluation in virtual learning environmentsJosué LaguardiaMargareth Crisóstomo PortelaMiguel Murat VasconcellosFundação Osvaldo Cruz Abstract The demand for evaluations of projects of virtual distance learning has required the use of concepts and methods that go beyond the strictly educational field, with emphasis on the multiplicity of theoretical frameworks and technical approaches employed in the assessment strategies of online learning. Despite the hegemony of quantitative methods in the evaluation of the technologies of information and communication, the use of qualitative methods in the assessment of virtual environments has increased throughout the last decades. The combination of qualitative-quantitative methods allows a better understanding of the phenomena underlying the use of technologies for online learning. Given that education in virtual environments relates to learning experiences that make use of hypermediatic resources within environments supported by an online communication technology, we have opted in the present article for focusing on topics associated to the evaluation of information and learning technologies in these environments, furthering the discussion concerning the methods relevant to the assessment both of the virtual learning environments and of the learning within this medium. This choice is due to the recognition of the specificities of the practices of distance learning, which stress the relationship between education and communication, made possible through the new information and communication technologies. It also recognizes the various roles, positive and negative, attributed to the information and communication technologies in education. Keywords Evaluation – Virtual learning environment – Types of evaluation – Qualitative-quantitative methods.Contact:Josué LaguardiaRua do Russel, 404 apto. 50422210-010 – Rio de Janeiro – RJe-mail: jlaguardia@cict.fiocruz.br514 Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007
  3. 3. As mudanças na ordem econômica e bilidade, do controle e da responsabilidade dosocial, o desenvolvimento de novas tecnologias estudante sobre os seus processos de aprendi-de informação e comunicação, a relativização e zagem e da flexibilização das instituições, es-revitalização das culturas locais e a padroniza- truturas administrativas, currículos, estratégiasção e homogeneização política, cultural e e métodos de aprendizagem (Peters, 2004).tecnológica são apontadas como agentes de Mena, Rodríguez e Diez (2001) destacamtransformação dos sistemas de ensino e das que o contexto atual de reestruturação da ad-modalidades educacionais (Belloni 2002; 2003). ministração pública requer a adequação dasNo campo econômico, as demandas sobre o estruturas e dos processos de capacitação aossistema educacional se voltam para a produção requerimentos institucionais e o desenvolvimen-de um conhecimento descontextualizado, ori- to de programas de aprendizagem sob umaentado ao capital humano e com estudantes perspectiva situacional. Na visão desses autores,criativos, inovadores, flexíveis e dispostos a o papel destacado da EaD nesse novo enfoqueaprender ao longo de toda a vida (Löfsted et de capacitação profissional deriva da sua capa-al. , 2001). Além disso, a constituição de uma cidade de oferecer respostas apoiadas em umaeconomia pós-industrial baseada no conhecimen- avaliação precoce e permanente dos problemasto requer que os níveis individuais e coletivos de ou das necessidades detectados, da impossibi-conhecimento disponíveis sejam desenvolvidos e lidade de dispor de capacitadores peritos quegerenciados de modo que os processos orga- englobem todas as áreas do conhecimento enizacionais e de trabalho alcancem uma combi- regiões geográficas no marco da administraçãonação sinérgica entre os dados, o poder de pública e, principalmente, do fato de que osprocessamento da informação das tecnologias de agentes públicos devem ser formados e capa-informação e a capacidade criativa e inovadora citados em seus lugares de trabalho, aprovei-dos seres humanos. tando a possibilidade de refletir sobre suas Essas mudanças nos processos de traba- próprias experiências cotidianas, transferindolho que exigem o desenvolvimento de habilida- permanentemente os conhecimentos e constru-des metacognitivas e de competências para indo espaços de aprendizagem. No âmbito daaprender cooperativamente, apoiadas em conteú- saúde, as mudanças no modelo assistencial e nodos contextualizados e na experiência individual, desenho institucional, com alterações na clien-afinam-se com os propósitos da educação a tela-alvo, na escala de oferta e na definição dedistância e impulsionam o seu crescimento competências profissionais, demandam uma re-(Wentling et al., 2000; Carvalho; Misoczky, 2001; forma pedagógica baseada nos pressupostos daStruchiner; Giannella, 2002). Nesse cenário, a educação aberta e a distância (Torrez, 2005).educação a distância (EaD) constitui “parte de Todavia, a expansão dos cursos em EaDum processo de inovação educacional mais digital não é acompanhada por uma avaliaçãoamplo que é a integração das novas tecnologias dessas iniciativas. O relatório do Word Bankde informação e comunicação nos processos Institute (Valcke; Leeuw, 2000) destaca que oeducacionais” (Belloni, 2002; p. 123), uma número de avaliações de cursos, treinamentosmodalidade de aprendizagem mais flexível, apoi- de curta duração, seminários e oficina de espe-ada nos pressupostos de autonomia individual e cialistas na área de Educação digital a distân-liberdade intelectual. Ela também se mostra mais cia é limitado, sendo ainda mais reduzido nosadequada à realidade do aluno adulto inserido no países em desenvolvimento. Esse relatório su-mercado laboral, atendendo às diferentes necessi- blinha a ausência de estudos que avaliem adades de formação e capacitação dos profissionais articulação entre os cenários pedagógicos e ossem retirá-los do local de trabalho. Por sua vez, tais modelos de aprendizagem subjacentes; o im-características requerem a ampliação da acessi- pacto das avaliações nos tomadores de decisão;Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 515
  4. 4. o gerenciamento de redes de aprendizagem; e a negativos e positivos, atribuídos às tecnologiasimportância dos mecanismos de capital social, de comunicação e informação na Educaçãocompromisso e confiança, bem como os cursos (Barreto, 2004).de curta duração e os programas de capacitação.Dyson e Campelo (2003) argumentam que as Avaliação de tecnologia derestrições de tempo e a ausência de um conhe- informação e educacionalcimento especializado são fatores impeditivospara que a maioria dos formuladores de inicia- A avaliação pode ser definida como a apli-tivas de EaD através da internet empreenda es- cação sistemática de procedimentos metodológicostudos mais detalhados de avaliação. para determinar, a partir dos objetivos propostos e No Brasil, a exigüidade de estudos ava- com base em critérios internos e/ou externos, aliativos das experiências em EaD tem limitado a relevância, a efetividade e o impacto de determi-constituição de um conhecimento mais apro- nadas atividades com a finalidade de tomada defundado sobre a adequação das abordagens decisão. Em comum, as definições de avaliaçãopedagógicas, os custos de investimento em a vêem como um julgamento de valor a respeitotecnologia, especialmente nas modalidades vir- de uma intervenção ou sobre qualquer um detuais, assim como os fatores associados, dire- seus componentes, tomando como referênciatamente ou não, ao desempenho dos alunos. um padrão estipulado e cujo propósito é auxi-Faz-se assim premente a discussão sobre as liar os processos decisórios. Vale ressaltar quequestões teóricas envolvidas nesses estudos. A essa intervenção pode ser constituída por umintegração entre as diversas disciplinas que tra- “conjunto de meios (físicos, humanos, financei-tam da avaliação de tecnologias de informação ros, simbólicos) organizados em um contextoe a sua interface com a Educação, bem como específico, em um dado momento, para produzira necessidade de orientar os profissionais en- bens ou serviços com o objetivo de modificarvolvidos na avaliação de projetos de aprendiza- uma situação problemática” (Contandriopoulos etgem virtual a distância, definiram o objetivo al., 1997, p. 31). Para esses autores, o modelo te-desse artigo, que é apontar, a partir de uma re- órico-conceitual vigente considera a avaliaçãovisão da literatura nacional e internacional em pe- como um processo de negociação entre os ato-riódicos especializados e sítios de busca na res envolvidos na intervenção a ser avaliada.internet, os aspectos conceituais e metodológicos Na avaliação de tecnologias, suas diver-que norteiam os protocolos de estudo nesse cam- sas definições contemplam, de acordo compo. Por se tratar de experiências de aprendizagem Panerai e Mohr (1989), as repercussões dasque utilizam recursos hipermidiáticos em ambien- tecnologias nos seus distintos níveis e o grautes apoiados por uma tecnologia de comunicação de planejamento dessas repercussões, comonline, optou-se enfocar alguns tópicos relativos destaque para a natureza benéfica ou adversaà avaliação de tecnologias de informação e de das suas conseqüências. Brender (1998) vê aaprendizagem, aprofundando a discussão no que avaliação de tecnologia como uma atividadetange aos métodos relevantes à avaliação tan- prévia à tomada de decisão acerca da sua apli-to dos ambientes virtuais de aprendizagem cação e/ou difusão, sublinhando seu papelquanto da aprendizagem nesse meio. Essa op- como instrumento político que busca preencherção se deve tanto ao reconhecimento das a brecha entre o potencial tecnológico e asespecificidades das práticas pedagógicas da EaD necessidades e os desejos econômicos e soci-que colocam em evidência a relação entre edu- ais. Ammenwerth et al. (2003) ressaltam que nocação e comunicação, viabilizadas através das campo das tecnologias de informação e comu-tecnologias de informação e comunicação nicação (TIC), ademais do seu caráter político,(Sartori, 2002), quanto aos diversos papéis, a avaliação não deve ficar restrita apenas à516 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...
  5. 5. tecnologia, mas se estender à interação entre TIC e de recursos para a execução do estudo.e os usuários no processamento da informação Ammenwerth, Iller e Mansmann (2003) argumen-dentro de um dado contexto socioambiental, tam que esses estudos estão, em geral, restritos apois essa interação determina como ocorre a in- variáveis predefinidas, valorizando a significânciacorporação das tecnologias aos processos de tra- estatística e simplificando as relações mais amplasbalho. Por essa razão, a avaliação de um recurso e complexas encontradas na realidade, o que re-de informação deve ser orientada pelos problemas sultaria em uma limitação na compreensão dosapontados pelos usuários, cobrir todo o ciclo de eventos causais e intervenientes. As abordagensvida do recurso, articular a metodologia aos pro- quantitativas se apóiam em formulações derivadaspósitos e objetivos da investigação, apontar os da teoria da variância estatística e da concepçãoefeitos esperados e inesperados e gerar informa- de agência causal que requer a identificação deções que sejam úteis à tomada de decisão. alguns elementos como antecedentes, necessáriosBrender (1998) sugere uma avaliação construtiva e suficientes para a ocorrência de outros elemen-de ciclo de vida cujos usuários-alvo dessa meto- tos tidos como resultado. Em decorrência disso, adologia são aqueles sob o domínio de aplicação visão dos resultados da tecnologia nas organiza-do sistema futuro ou seus representantes e que ções está vinculada ao pressuposto de que tantosua aplicabilidade deve ser independente da abor- a tecnologia (imperativo tecnológico) quanto osdagem de desenvolvimento do sistema, proven- seres humanos (imperativo organizacional) são osdo aos usuários a informação necessária para a antecedentes ou agentes de mudanças e nãotomada de decisão quanto ao seu uso. que as mudanças emergem das interações com- Todavia, na seleção das estratégias e técni- plexas e indeterminadas entre esses agentescas mais adequadas ao estudo de avaliação, os (perspectiva emergente). As característicaspesquisadores se defrontam com questões que têm tecnológicas, organizacionais e dos usuários, bemsido debatidas há décadas no campo da avaliação como as necessidades da informação, são perce-de tecnologias de informação, tais como qualita- bidas como estáticas, independentes e objetivas,tivo versus quantitativo, pragmatismo versus pre- em vez de construtos interativos e dinâmicos,ocupações metodológicas, avaliador como árbitro como conceitos com atributos e sentidos queversus avaliador como facilitador (Oliver, 2000). A mudam ao longo do tempo e que podem serinvestigação quantitativa (objetivista ou positivista) definidos diferentemente de acordo com a visãobaseia-se nos pressupostos da existência de um e a vivência dos participantes individuais.modelo válido do mundo, explicável pelo conhe- Kaplan e Duchon (1998) destacam que acimento de alguns dos seus componentes, e da pesquisa norte-americana em sistemas de infor-existência da verdade, medida a partir dos atribu- mação caracteriza-se pela abordagem experi-tos dos componentes dos modelos (Moehr, 2002). mental, com a formulação de hipóteses testadasA investigação quantitativa requer, além da em experimentos controlados sob o pressupos-escolha do desenho de estudo (o experimento to que a ciência só progride por meio de testelaboratorial é tido como ideal), a definição da de hipóteses (ganhos incrementais) e pelo usopergunta de pesquisa e do sistema sob investi- de estratégias de controle experimental e esta-gação, a seleção de métodos, o desenvolvimento tístico. Na opinião desses autores, essas pesqui-de instrumentos de mensuração, a coleta dos sas removem os efeitos contextuais que sãodados e a análise e divulgação dos resultados. importantes para o entendimento da ação dosEntretanto, a definição das perguntas do estu- fatores intervenientes no sucesso ou fracassodo depende tanto da habilidade em respondê-las de uma intervenção com o propósito de gerarquanto da disponibilidade de instrumentos ca- resultados generalizáveis e reprodutíveis. Aspazes de medir as características que definem os análises desses estudos tratam os objetos daconstrutos, de pessoal capacitado para usá-los pesquisa de duas maneiras: tomando a tecnologiaEducação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 517
  6. 6. como um fator determinante e os usuários perimentais e econômicas, alegando que a so-como entes passivos ou assumindo que os ciedade está em constante construção pelausuários e as organizações são atores em um interação dos indivíduos.consórcio racional para alcançar determinados A propósito dos desenhos de estudo, valeresultados por meio do uso da tecnologia. Em destacar a classificação utilizada por Friedman eambos os casos, a natureza da tecnologia e dos Wyatt (1997), que agrupa os diversos tipos deusuários é considerada estática e possuidora de desenho em duas categorias, objetivistas eum caráter essencial e imutável, e o ganho de subjetivistas, cada uma contendo quatro tipos deobjetividade é obtido às expensas de uma com- abordagens. No grupo dos estudos objetivistas,preensão mais profunda do que ocorre. encontram-se as abordagens baseadas na compa- Por sua vez, a abordagem qualitativa ração e nos objetivos, a abordagem de facilitação(interpretativa ou subjetivista) busca descobrir da decisão e a abordagem livre de metas. A abor-o que as pessoas querem ou necessitam saber dagem baseada na comparação emprega estudospor meio de uma descrição do sistema, do experimentais ou quasi-experimentais, na qual oambiente e dos efeitos da interação sistema- recurso sob estudo é comparado a uma condiçãousuário-ambiente, tal como são percebidos controle ou de contraste e a relação causal é atri-pelas pessoas, tomando como base o raciocínio buída a partir da associação estatística. O ensaioindutivo e a observação cuidadosa e detalhada. randomizado é tido como o único método queAs críticas ao enfoque subjetivista baseiam-se permite estimar pequenos benefícios atribuíveis àna afirmação de que suas interpretações são intervenção e o número de participantes depen-dependentes do pesquisador (subjetividade) e de da variação interindividual das medidas utili-que os resultados são válidos, na maioria das zadas, do efeito mínimo esperado, da significânciavezes, apenas para casos individuais. estatística e do poder do estudo. Os usuários são A incorporação de pressupostos objetivistas selecionados e alocados a um dos dois grupos:e subjetivistas na avaliação resulta em quatro tipos usa ou não determinada tecnologia (Wyatt; Wyatt,de abordagens: experimental, pragmática, econô- 2003). Embora os estudos experimentais pareçammica e naturalística (Puma, 1999). A avaliação definitivos quando propostos, eles se apóiam emexperimental incorpora a idéia positivista de uma escolha intuitiva, arbitrária ou política dasaplicar a metodologia das ciências naturais à questões e o que é medido é freqüentemente oengenharia dos programas, utilizando um dese- que pode ser medido. Além disso, as variáveisnho de estudo do tipo ensaio clínico para medidas e avaliadas de maneira mais acurada nes-alocação randômica de grupos percebidos como ses estudos e utilizadas para estimar as medidassimilares e comparação dos grupos a partir da de resultado são aquelas que mais dificilmenteexposição de um deles a uma estratégia ou pro- estão relacionadas aos efeitos do recurso sobgrama. A avaliação pragmática enfoca a utilida- estudo. Na abordagem baseada em objetivos,de, a viabilidade política, a oportunidade e o busca-se determinar se o recurso atende aoscusto dos programas, é direcionada aos obje- objetivos estipulados no início do seu desenvol-tivos e práticas de trabalho dos tomadores de vimento, enquanto que, na abordagem de fa-decisão e emprega desenhos de estudo quasi- cilitação da decisão, a avaliação está orientadaexperimental ou estudo de caso. A avaliação para a solução de questões importantes pelaseconômica, freqüentemente conduzida de ma- pessoas que podem tomar decisões sobre o fu-neira separada da avaliação geral, introduz a turo do recurso. Na abordagem livre de metas,informação sobre os custos do programa como a avaliação é propositalmente cega aos efeitosum critério e suas ferramentas incluem análises esperados do recurso.de custo-benefício e custo-efetividade. Por fim, No grupo subjetivista, os estudos sãoa avaliação naturalística rejeita as avaliações ex- classificados em abordagem quase-legal, críti-518 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...
  7. 7. ca de arte, revisão profissional e responsiva/ as potencialidades técnicas e a análise do custoiluminadora. A abordagem quase-legal estabe- do projeto e da sua produção (avaliação seletiva)lece um julgamento do recurso em que propo- ou então para conhecer o comportamento danentes e oponentes do recurso oferecem teste- tecnologia em um determinado contexto demunhos que são examinados à maneira de um aprendizagem e suas possibilidades de inter-rela-tribunal. A abordagem de crítica de arte se ção com outros elementos curriculares (avaliaçãosustenta em métodos formais de crítica e no relativa ao contexto). Para Pons (1998), a abor-princípio do crítico como conhecedor experien- dagem empírico-analítica na tecnologia educacio-te e respeitado que aponta os benefícios e as nal, com descrições da realidade objetivadas e ex-limitações do recurso. A abordagem de revisão plicações funcionais que buscam estabelecer umado profissional emprega um painel de pares tipologia de relações causais, tem resultado emexperientes que avalia o recurso tecnológico uma tipificação dos fenômenos e das situaçõesno ambiente onde se encontra instalado. A estudados, uma visão instrumental da ciência apli-abordagem responsiva/iluminadora busca repre- cada à realidade educacional, um entendimentosentar os pontos de vista dos usuários do re- dos meios de aprendizagem como dispositivos uti-curso ou outras partes significativas do ambi- lizados para uma finalidade instrutiva e uma opçãoente onde opera o recurso, tem como meta eficientista da educação.compreender, em vez de julgar, e seus métodos Oliver (2000) afirma que a adoção dederivam da etnografia. As vantagens das abor- abordagens utilitárias que enfatizam a avaliaçãodagens subjetivistas residiriam no menor tempo de tecnologias educacionais como um meio egasto para a realização desses estudos, a ade- não um fim em si mesma, a descrição das van-quação para a compreensão do modo como tagens e limitações dos métodos qualitativos efunciona um recurso em um determinado ambi- quantitativos, a preocupação com a autenticida-ente, o porquê desse funcionamento e como é de da avaliação e a mudança para um modeloutilizado pelos usuários (aspectos cognitivos). situado de aprendizagem têm fomentado o uso No que diz respeito às tecnologias edu- de metodologias híbridas. Essas metodologiascacionais, Almenara (1998) destaca que a sua combinam abordagens qualitativas e quantitati-avaliação, assim como as TIC, apresenta um vas com a triangulação dos resultados, fortale-caráter processual que envolve a tomada de cendo a credibilidade dos achados dos estudosdecisões progressivas acerca da determinação avaliativos. A triangulação na avaliação significado objeto a ser avaliado, a temporalização, o emprego de múltiplas fontes de dados, obser-especificação dos motivos e das necessidades e vadores, métodos ou teorias na investigação dea determinação das técnicas e estratégias a se- um mesmo fenômeno, apoiando um achado comrem empregadas, bem como a sua execução e a ajuda de outros (validação), complementandoconcretização em um produto. A avaliação de os dados com novos resultados, encontrandouma tecnologia educacional pode contemplar novas informações e adicionando peças ao que-os critérios para a sua utilização didática, as bra-cabeça geral (completude). Ammenwerth,possibilidades cognitivas proporcionadas, os Iller e Mansmann (2003) dividem a triangulaçãoaspectos técnicos e estéticos, a adequação aos em quatro tipos que podem ser aplicados aousuários, a rentabilidade econômica e o aper- mesmo tempo: de dados, de investigador, defeiçoamento do projeto ergonômico. Essa ava- teorias e de métodos. A triangulação de dadosliação pode ser realizada a partir da análise das utiliza várias fontes de dados com respeito aocaracterísticas técnicas e didáticas intrínsecas à tempo, ao espaço ou às pessoas – por exem-tecnologia (avaliação do produto), comparan- plo, profissionais entrevistados em diferentesdo-a com outras tecnologias a partir de crité- locais ou questionários aplicados em períodosrios de viabilidade para o alcance de objetivos, distintos de tempo. A triangulação de investi-Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 519
  8. 8. gador ocorre quando vários observadores ou as análises de dados qualitativos podem tantoentrevistadores com formações metodológicas servir de base para formulação de questionári-e profissionais específicas tomam parte em um os estruturados quanto para a validação daestudo, coletando e analisando os dados jun- pesquisa quantitativa, provendo diferentes pers-tos. A triangulação de teorias é a análise dos pectivas do mesmo fenômeno social. Além dis-dados com base em várias perspectivas, hipó- so, o pesquisador deve estar atento às modifi-teses ou teorias. A triangulação de métodos uti- cações ocorridas no contexto no qual foiliza vários métodos para coleta e análise dos implementada uma tecnologia educacional edados. A triangulação pode ser classificada tam- que podem ter implicações no resultado dabém em dois subtipos – triangulação intramétodo, avaliação. Como aponta Almenara (1998), ascombinando abordagens dentro da mesma tradi- vantagens de uma dada tecnologia educacionalção de pesquisa, e intermétodo, combinando podem ser devidas àsabordagens qualitativas e quantitativas. O uso de abordagens quantitativas pode [...] modificações paralelas que haviam sidoser útil quando se baseiam em uma teoria feitas no currículo e no programa acadêmi-estabelecida e quando é importante que as co, no papel dos professores ou simples-relações individuais sejam quantificadas e vali- mente na análise e tratamento que haviamdadas. Em contrapartida, a abordagem qualita- sido feitos dos conteúdos para apresentá-tiva é mais adequada quando não há uma te- los e readaptá-los às características dooria disponível, quando novas relações devem novo meio e dos alunos que receberiam aser descobertas e sua aplicação está referida à informação. (p. 263)avaliação de estruturas organizacionais, resis-tência do usuário, definição de papéis ou pa- Tipos de avaliação dedrões de comunicação. Uma visão integradora ambientes virtuais dedos paradigmas subjetivista e objetivista na aprendizagemavaliação de uma tecnologia educacional éproposta por Jones (2004) com o uso da abor- De modo geral, a avaliação de ambien-dagem fenomenográfica na avaliação da apren- tes virtuais de aprendizagem pode tomar comodizagem em rede ( networked learning ). Essa base para sua investigação as condições emabordagem associa entrevistas individuais (da- que a aprendizagem se realiza (estrutura), osdos qualitativos) e inventários de aprendizagem modos pelos quais os estudantes são capazes(dados quantitativos), combinando na análise de interagir sendo apoiados nas suas atividadesas diferentes experiências e compreensões que (processos) e o alcance dos objetivos e dassão caracterizadas em categorias de descrição, metas propostos (resultados). Contudo, a medi-logicamente relacionadas entre si e formando ação da tecnologia na aprendizagem propiciauma hierarquia em relação a um dado critério. formas inovadoras de conhecimento e possibi-Esse conjunto ordenado de categorias de des- lidades de documentação e análise para a ava-crição é denominado o espaço de resultado liação. Esses ambientes oferecem os meios parapara as concepções do fenômeno. avaliações das habilidades metacognitivas, das A fim de dispor das vantagens dessas duas estratégias de aprendizagem e do histórico dasestratégias, recomenda-se que sejam combinadas mudanças ocorridas no desempenho dos estu-de modo que os métodos qualitativos sejam usa- dantes ao longo do curso, provendo evidênciasdos para preparar estudos quantitativos e as acerca dos processos envolvidos nas atividadesmedidas quantitativas apóiem a argumentação educativas em espaços digitais e subsídios sobrequalitativa. Pope e Mays (2000) destacam o ca- a efetividade das tecnologias educacionaisráter complementar dessas abordagens, nas quais (Gibson, 2003; University of Warwick, 2004).520 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...
  9. 9. As avaliações de ambientes virtuais de e à adequação dos conteúdos aos objetivosaprendizagem podem ser classificadas, de acor- propostos. A avaliação do ambiente de aprendi-do com Valcke e Leeuw (2000), em cinco tipos. zagem deve considerar a abordagem teórica queNa avaliação interna e análise do desempenho, orienta o seu desenho, as oportunidades ofereci-as estratégias mais utilizadas são os inquéritos das aos alunos para discussão e trabalho em gru-e a construção de indicadores relacionados à po, a organização e o acesso ao conteúdo, a fa-atuação do aluno ao longo do curso e as cilidade de navegação e o controle do aprendiz. Namodificações resultantes da aprendizagem, avaliação do desenho da interface de aprendiza-embora poucos indicadores sejam específicos gem, a sincronia/assincronia das comunicações, opara Educação digital a distância ou adequados aspecto intuitivo no uso, a disponibilidade dapara avaliar o impacto das tecnologias no de- barra de navegação e o layout da tela são algunssempenho dos alunos. Para Valcke e Leeuw dos aspectos a serem investigados.(2000), esses indicadores refletem muitas vezes A satisfação do usuário e a usabilidadea perspectiva dos países industrializados, haven- (avaliação ergonômica) têm ganhado a atençãodo a necessidade de se desenvolver indicadores nas avaliações de tecnologias devido à carga demais específicos ao contexto dos países em trabalho mental e prático a que está submeti-desenvolvimento e com metas mais coletivas. do o usuário quando opera fisicamente um Na avaliação interna e no monitora- sistema de TIC – por exemplo, o número demento das atitudes e percepções dos estudan- teclas digitadas para completar uma determina-tes juntamente com a avaliação do desempenho da ação; o montante de informação memoriza-da equipe, os estudos têm utilizado estratégi- da necessária para realizar uma operação ouas quantitativas (por exemeplo, inquérito) ou recuperar uma informação; dificuldade paraqualitativas (entrevista ou grupos focais) com realização de correções nos dados existentes. Osquestionários estruturados, semi-estruturados e aspectos cognitivos (compatibilidade de um sis-roteiros para caracterizar a satisfação do usu- tema TIC com os processos cognitivos reaisário, a participação e interação e as opiniões e envolvidos na capacidade do usuário de realizaratitudes com respeito ao uso das tecnologias. uma atividade) e de funcionalidade (adequaçãoConsiderados como um fator crítico no suces- de um sistema de TIC dentro dos processos deso da aprendizagem baseada na tecnologia, os trabalho da organização) são também elementosníveis de interação podem ser analisados sob as importantes na avaliação ergonômica.perspectivas aprendiz-aprendiz, aprendiz-tutor, Wentling et al. (2000) vê a informaçãoaprendiz-conteúdo e aprendiz-interface (Hill et sobre a satisfação do usuário como um compo-al., 2003). Um destaque especial deve ser dado nente importante da efetividade da aprendiza-à interação aprendiz-tutor, a retroalimentação do gem online e recomenda a sua coleta porquetutor às dúvidas do aprendiz e a habilidade desse essas medidas dão subsídios às equipes detutor para o desenvolvimento de um alto nível produção e organização do curso, permitemde presença social, pois essas ações contribuem uma análise discriminada segundo determina-significativamente para a efetividade instrucional dos subgrupos de alunos e as reações positivase a satisfação do usuário, com impactos na ao curso ajudam a ganhar ou a manter o apoiomotivação e aprendizagem. O desenho do cur- organizacional para futuras capacitações. Alémrículo, o ambiente de aprendizagem e a interface disso, a aquisição de conhecimento no processode aprendizagem são itens a serem considerados de aprendizagem está baseada nas expectativasnas avaliações internas. A análise do desenho dos alunos – mais/menos útil no processo decurricular deve contemplar os aspectos relativos aprendizagem, no alcance ou não dos objetivosà organização dos conteúdos, à vinculação en- do curso e os fatores associados a isso, a rele-tre atividades prescritas e os temas abordados vância e aplicação do que foi aprendido, aoEducação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 521
  10. 10. desempenho nos exames e testes, o tempo para às instituições convencionais, apresentam menorcompletude do curso. custo por estudante, porém o custo-efetividade Vale ressaltar que no tocante à adequa- em termos de custos por graduado é menor doção da tecnologia aos usuários, os profissionais que seria esperado devido à baixa taxa de con-que desenvolvem e implementam ambientes clusão e ao maior tempo médio de estudo.virtuais de aprendizagem se defrontam com Na avaliação externa com abordagemdesafios similares aos enfrentados pelos cons- dos coordenadores e promotores (stakeholders),trutores de sistemas de TIC. Esses desafios di- os objetos de estudo são a variedade de níveis,zem respeito à configuração de um ambiente os conflitos de interesses e o envolvimento dosde aprendizagem segundo um modelo pedagó- responsáveis pelos cursos dentro da propostagico associado a uma determinada concepção de EaD digital. O quinto tipo engloba outrosde educação, à construção de um sistema ten- métodos e abordagens de avaliação, tais comodo em mente um usuário-prototípico, que pode a seleção e o uso de mídias adequadas à EaDcorresponder ou não ao estilo cognitivo e de digital; avaliação da qualidade para garantia deaprendizagem, ao padrão de uso do sistema e disponibilidade de acesso, igualdade de opor-às necessidades dos usuários atuais ou para tunidades, relevância e adequação dos cursos esituações de aprendizagem que têm lugar em dos materiais; análise dos escores dos aprendi-contextos diversificados, rapidamente modificáveis zes, taxas de conclusão ou evasão. Outras es-e com resultados incertos. Mesmo em um ambiente tratégias empregadas na avaliação de EaD digi-de aprendizagem cuidadosamente elaborado, as tal são a certificação ISO; auditorias; análise depercepções dos aprendizes podem não ser compa- parceiros; revisão de especialistas; análise detíveis com as intenções dos formuladores do am- impacto e investigações psicológicas em comu-biente. Nos ambientes virtuais de aprendizagem, a nicações mediadas por computador em ambien-causa dessa incompatibilidade é associada à tes virtuais, que estão relacionadas à efetividadecontraposição, por um lado, entre o conhecimen- ou aos processos de grupo.to relacionado às teorias de aprendizagem, os Freqüentemente empregado na avaliaçãoprincípios de desenho instrucional e a pesquisa na da aprendizagem em programas de treinamen-aprendizagem dos estudantes de nível superior e, to empresarial, o modelo de quatro níveis dedo outro lado, ao corpo de conhecimento relati- Kirkpatrick (1998) tem sido utilizado na avali-vo ao uso das tecnologias de aprendizagem online. ação da aprendizagem em ambientes virtuais de O terceiro tipo de avaliação, externa com aprendizagem (Dixon, 2001), particularmenteenfoque no ambiente sociocultural, tem como nas experiências de eLearning. No nível 1 (re-objetivo a identificação da formação de uma ação), que mede a satisfação do aluno com osrede interinstitucional de recursos intelectuais e distintos aspectos do curso, o aluno deve serfísicos e a participação de agentes locais na inquirido com perguntas que possibilitem deter-constituição de comunidades de aprendizagem minar se as suas expectativas foram alcançadas,vinculadas a canais de comunicação e interação. se o que foi aprendido no curso é importanteEsse tipo de avaliação contempla análises de para o seu trabalho e se o instrutor foi umcusto-benefício e custo-efetividade em que se facilitador efetivo para a aprendizagem. A im-comparam as experiência de EaD com métodos portância dessa avaliação deve-se à reação dostradicionais, com diferentes definições e perspec- estudantes que pode influenciar a transferênciativas de custo e benefício, identificação dos do que aprenderam para o seu trabalho e ocustos ocultos e estimativa de modelos de cál- interesse dos seus colegas em participarem deculo que podem influenciar os resultados dos treinamentos futuros. Na avaliação do nível 1estudos. Valcke e Leeuw (2000) afirmam que as de um curso online , podem ser empregadosinstituições de EaD digital, quando comparadas questionários online, votação dos conteúdos do522 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...
  11. 11. curso pelos estudantes, discussão na internet Dois aspectos significativos da avaliaçãosobre os materiais e métodos do curso, comen- de cursos online – a avaliação da aprendiza-tários anônimos depositados em uma caixa de gem e a avaliação do desempenho dos partici-sugestão virtual ou remetidos por correio ele- pantes – são cotejados no modelo propostotrônico aos tutores e coordenadores ao longo por Benigno e Trentino (2000). O nível 1 (re-do curso. No nível 2 (aprendizagem), busca-se ação e ação planejada) corresponde às fases deavaliar, por meio de pré e pós-testes objetivos avaliação intermediária e final do curso e teme pareados, as competências estipuladas pelo o intuito de conhecer a satisfação dos partici-curso, se a aprendizagem teve lugar e se as pantes e como eles pretendem aplicar o que foimetas do curso foram atingidas. Nos ambientes aprendido no curso. O nível 2 (aprendizagem)virtuais de aprendizagem, essa avaliação pode mede o que o participante aprendeu por meioser realizada com o uso de testes, simulações e de testes, ensaios individuais, atividades práti-jogos que devem ser incluídos como materiais cas, simulações e desenvolvimento de projetos.requeridos do curso. A análise de cada um dos O nível 3 (aplicação no local de trabalho) é reali-itens do teste pode apontar onde houve ou não zado após o término do curso. Os benefícios gan-uma mudança de conhecimento ou atitude. A hos pela organização corresponderiam ao quartoavaliação de nível 3 (aplicação), realizada em nível e podem ser vistos de diferentes ângulos –um período posterior ao término do curso, econômicos, na satisfação do usuário de um ser-determina em que extensão os novos conheci- viço, nos custos da produção. Entretanto, essesmentos, habilidades e atitudes aprendidos no autores destacam que os níveis de satisfação de-curso foram transferidos para o trabalho e iden- tectados não garantem que o conhecimento e astifica as questões que poderiam estar impedin- habilidades ensinados tenham sido realmentedo essa transferência. Benigno e Trentin aprendidos nem tampouco os resultados positivos(2000) assinalam que esse nível da avaliação é no nível da aprendizagem asseguram que os par-crucial quando os conteúdos do curso são de ticipantes sejam capazes de aplicar corretamente onatureza metodológica, uma vez que as avali- que eles aprenderam.ações feitas em períodos anteriores apreendemapenas o nível de compreensão e não a capa- Métodos de avaliação decidade de transferir a aprendizagem para o ambientes virtuais delocal de trabalho. As razões para que o conhe- aprendizagemcimento aprendido não seja aplicado podemser devidas ao esquecimento, a falhas na apli- Na avaliação de ambientes virtuais decação, a falta de incentivo ou oportunidade aprendizagem, é necessário dispor de dadospara utilizá-lo. Nos cursos online, a avaliação de sobre as características individuais dos partici-nível 3 pode tomar a forma de observações, pantes, do ambiente de aprendizagem, da par-opiniões de futuros instrutores ou registros de ticipação, da comunicação, dos materiais e dadesempenho. O nível 4 (resultado) mede os re- tecnologia utilizados (Benigno; Trentin, 2000).sultados do treinamento, tais como retorno do O uso de questionários é provavelmente o métodoinvestimento, melhoria organizacional, redução mais amplamente utilizado nos diversos tipos dedo absenteísmo e melhoria da motivação. Nos avaliação de cursos online. Eles podem ser apli-níveis 3 e 4, Kirkpatrick (1998) recomenda o cados no momento da matrícula para obter osuso de grupos de comparação, o controle dos dados sobre as características sociodemográficasfatores ambientais, a avaliação antes e depois dos alunos, as experiências e os conhecimentosdo curso e em períodos regulares, uma vez que prévios adquiridos nos assuntos cobertos peloas mudanças podem ocorrer em períodos dis- curso, experiência prévia em cursos a distância e/tintos. ou online, razões para se matricular, expectati-Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 523
  12. 12. vas com respeito ao curso, condições do ambien- quantitativa da participação dos estudantes note de aprendizagem (logística) e conhecimento em ambiente virtual de aprendizagem pode limitar-tecnologia de informação e comunicação. Um dos se à constatação de quais exercícios foram re-achados mais importantes desse questionário de alizados e as notas obtidas ou estender-se àentrada é a informação sobre natureza do ambien- avaliação das mensagens trocadas e aos níveiste de aprendizagem onde o estudante participará de participação, que podem ser mensuradosno curso a distância, pois dá ao tutor uma imagem por meio de técnicas sociométricas – por exem-do cenário físico onde ocorre essa aprendizagem. plo: o índice de participação e o índice de O questionário aplicado no final do cur- centralidade (Benigno; Trentin, 2000). A análiseso aborda as questões relativas a conteúdos, qualitativa dessa participação deve ir além daabordagem educacional adotada, materiais usa- simples verificação (sim/não) ou do mododos, aspectos organizacionais (logística) dos como ele lidou com os principais tópicos emalunos, aspectos técnicos relativos ao uso da uma dada unidade do curso online para incluirInternet e de outras tecnologias e o desempenho a observação geral do desempenho do grupodo tutor. As respostas podem ser obtidas por na aprendizagem para alcançar uma interaçãomeio de questões abertas e fechadas, escalas de construtiva. Além das técnicas específicas depontuação (Likert ou smile sheets ), listas de análise de conteúdo, Benigno e Trentin (2000)checagem ou uma combinação de diversos es- sugerem um instrumento menos rigorosamen-tilos e as respostas detalham os principais aspec- te científico, mas prático e fácil para uso pelostos que influenciam a satisfação do usuário. tutores – o grid qualitativo. Quatro elementos Os questionários podem ser aplicados são considerados nessa ferramenta: o númeropresencialmente, enviados pelo correio, preen- de mensagens enviadas por cada estudante, aschidos online ou por telefone e apresentam as características de interatividade das mensagens,seguintes vantagens: facilidade de codificação a extensão na qual a mensagem cobre os tópi-das respostas fechadas, rapidez na coleta dos cos que os peritos do curso identificaram comodados, uso de grandes amostras, menor custo significativos, e a profundidade (granularidade)de administração e processamento, uso de em que os tópicos foram explorados. Os doisabordagens padronizadas e taxas de retorno primeiros elementos cobrem a qualidade damais altas (Dixon, 2001). As principais desvan- participação do ponto de vista da presença etagens são o atraso ou vieses de memória que interação com outros estudantes, e os doispodem distorcer os dados, má interpretação por últimos abordam os conteúdos estudados, sen-problemas de desenho das questões, dificulda- do necessária uma compilação, pelos especia-des de processamento e análise de questões listas de cada área, de uma lista de tópicosabertas, recusa na resposta ao questionário e relevantes na análise do conteúdo. A participa-extensão do questionário que pode torná-lo ção dos alunos no curso também pode sercansativo, aborrecido e comprometer a qualida- avaliada com a aplicação de um questionáriode das respostas. final que aborde questões relativas à interação Além dos fatores relacionados ao contexto do aluno com o tutor e com outros estudantes.físico e conhecimentos/experiências prévios, ou- As estratégias de avaliação qualitativa natros elementos do ambiente de aprendizagem educação caracterizam-se em geral pela coletainfluenciam a aquisição de novos conhecimen- de dados descritivos por meio do contato dire-tos e habilidades e podem servir como variáveis to e prolongado do pesquisador com o ambi-preditoras no estabelecimento da relação entre ente e a situação estudada, com uma ênfaseo ambiente em si e os resultados cognitivos e maior nos processos do que no produto e umaafetivos obtidos, tais como a interação e comu- preocupação em retratar a situação a partir danicação entre os participantes. A avaliação perspectiva dos participantes (Lüdke; André,524 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...
  13. 13. 1986). Para Moehr (2002), a abordagem mais sos online . Os grupos focais são entrevistasadequada para o contexto de avaliação de um sis- estruturadas de grupo, conduzidas por umtema de informação e comunicação é a etno- facilitador, nos quais as pessoas compartilhamgráfica, que consiste na identificação de temas e suas visões em um espectro de questões. Osperguntas baseadas em observações e investiga- grupos focais combinam elementos de entrevis-ções iniciais, desenvolvidas iterativamente, com ta e observação participante, e a idéia pormaior detalhamento e ajustes. Dois pressupostos detrás dessa técnica é a de que os processosembasam a pesquisa etnográfica: a hipótese de interação do grupo ajudam os participantesnaturalista-ecológica que destaca a influência a explorar e quantificar suas visões por vias quedo contexto no comportamento humano e a seriam pouco acessíveis em uma entrevista in-hipótese qualitativo-fenomenológica que vincu- dividual (Mahoney, 1997; Pope; Mays, 2000).la a compreensão do comportamento humano Robley et al. (2004) descrevem a avaliação deao quadro referencial dentro do qual os indiví- um curso de enfermagem online com o uso deduos interpretam seus sentimentos, pensamen- grupos focais e da fenomenologia hermenêuticatos e ações. Os critérios para utilização da abor- para análise das narrativas dos participantes. Adagem etnográfica ressaltam que o problema teoria hermenêutica vê a compreensão comoinicial da pesquisa deve ser desenvolvido pelo processo dinâmico de construção de significa-pesquisador no trabalho de campo com a co- do, um desenvolvimento por meio de um mo-leta de dados primários por meio de observa- vimento contínuo entre o todo e as partes emção direta e entrevistas com informantes, com que o significado é modificado à medida queenfoque naquilo que é observável, evitando mais relações são estabelecidas (Hill et al .,abstrações e generalizações precoces e fazen- 2003). Desse modo, no estudo de Robley et al.do do senso comum um tópico e não apenas (2004), a análise das narrativas dos alunos foium recurso tácito. A avaliação de ambientes de realizada por meio da leitura e interpretação, deaprendizagem online por meio da abordagem maneira iterativa, para a identificação de seteetnográfica, de acordo com Jones (1998), revela grandes temas que representavam a experiên-os processos dinâmicos que orientam os seus usu- cia dos estudantes.ários na construção do contexto de suas ações e A realização de grupos focais online ,comunicações e no uso dos recursos técnicos e apesar de ser uma estratégia pouco utilizada nopedagógicos desses sistemas educativos. meio acadêmico, apresenta as vantagens de O estudo de caso, segundo Lüdke e maior congruência com o ambiente sob estudo,André (1986), pode variar seu objeto, do espe- maior facilidade de comunicação entre os par-cífico ao abstrato e complexo, portando ao ticipantes, maior igualdade de participação namesmo tempo semelhanças e singularidades. As discussão, incluindo os estudantes com restri-descobertas do estudo se dão à medida que a ções de distância e tempo, anonimato dosinvestigação avança e se refina, sustentadas por participantes, economia de custos e habilidadeuma interpretação contextualizada da realidade, para recrutar populações diversas e abordarpor meio de uma variedade de fontes de infor- temas controversos (Burton; Goldsmith, 2002).mação que representam pontos de vista diver- As desvantagens dos grupos focais online esta-gentes ou conflitantes, que revelam a experiên- riam relacionadas à perda de recursos não-ver-cia e permitem generalizações naturalísticas. bais/verbais/paraverbais durante a comunica- As entrevistas de grupo focal têm sido ção, problemas de proteção da privacidade daempregadas nas avaliações de ambientes virtuais discussão, alta taxa de não-comparecimentode aprendizagem como uma técnica para cole- entre os participantes, redução no número deta de dados qualitativos sobre percepções, palavras usadas pelos participantes de gruposcrenças, atitudes e idéias dos usuários de cur- focais síncronos quando comparados aos gruposEducação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 525
  14. 14. focais presenciais e assíncronos e à sub-repre- (2003) realizaram um chat com alunos sobresentação da população geral, pois somente são um texto selecionado em que foram definidasincluídos aqueles que possuem conexão com a as questões a serem abordadas e o tempointernet. Oringderff (2004) recomenda aos pes- médio de discussão para cada questão. A suaquisadores interessados em desenvolver grupos análise, por meio do arquivo de log , serviufocais online que critérios de seleção, procedi- como fonte material para avaliação da compre-mentos e limitação do tempo a serem seguidos ensão dos conceitos expostos pelo referidopelo moderador e os participantes devem ser texto e sua aplicação na prática. Os alunosbem estabelecidos ao longo da duração do gru- também foram avaliados sobre a experiência depo focal e que os participantes devem sentir-se participar do chat a partir das respostas a umaconfortáveis em um meio eletrônico. mensagem de correio. Nessa mensagem, os alu- Na avaliação da aprendizagem em ambi- nos foram inquiridos sobre as dificuldades deentes virtuais, os métodos utilizados podem estar expressar as idéias, como se sentiam ao conver-relacionados à modalidade de avaliação (Benson, sar em um evento virtual e como eles compa-2003). A avaliação diagnóstica, cuja atividade ravam a avaliação em um chat com uma ava-antecede a formação e permite um ajuste tanto liação tradicional. Os pontos positivos apontadosdo programa aos conhecimentos e às competên- foram a possibilidade de desenvolver a habilida-cias atuais dos aprendizes quanto destes em re- de da escrita na expressão de idéias coerentes elação aos programas de formação, pode ser rea- a interação que permitiu a troca de informação elizada por meio de inquéritos eletrônicos (web a construção de uma conclusão coletiva enquantosurveys) que abordam os aspectos relacionados às que as interrupções provocadas por outros cole-expectativas dos alunos, seus estilos de aprendi- gas ou por problemas de conexão à internet sãozagem, abordagens de estudo e medidas de assinaladas como pontos negativos. A avaliaçãoauto-eficácia computacional. da discussão virtual assíncrona (lista de discussão, A avaliação formativa, que aponta a ade- fórum) é reveladora de níveis de aprendizagem dequação entre os objetivos e os processos de apren- alta-ordem porque provê a oportunidade para osdizagem, o grau assimilação dos conceitos pelos aprendizes lerem as respostas dos seus colegas,alunos, sua capacidade de avaliação crítica e apli- prepararem uma resposta mais elaborada e acação à realidade, pode ser feita por meio de ati- postarem posteriormente.vidades reflexivas, uso de ferramentas síncronas e A técnica de mapeamento de conceitosassíncronas, mapeamento conceitual e criação de permite que os alunos diagramem sua compre-portifólios. Além da análise tradicional de res- ensão estrutural de idéias e delineie a relaçãopostas selecionadas (múltipla escolha, falso-ver- entre os componentes, assinalando para o tu-dadeira e pareamento de questões) e de respos- tor as mudanças na compreensão e os pontostas construídas (preenchimento de lacunas), a que requerem uma discussão mais aprofundada.retroalimentação informal dos estudantes medi- A avaliação de portifólio, considerado comoante respostas resumidas dos principais pontos uma coleção intencional dos trabalhos realiza-da lição pode fornecer aos instrutores indica- dos pelo aprendiz ao longo de um período deções para mudanças estruturais no curso. tempo, fornece uma ferramenta que integra a O uso da ferramenta síncrona de bate- aprendizagem à avaliação e dá pistas ao alunopapo (chat) permite que se avalie o aluno tan- e ao avaliador acerca da aquisição do conhe-to na capacidade de resposta imediata a ques- cimento nas áreas cobertas pelo portifólio. Eletões levantadas pelo tutor e colegas quanto no tem um caráter dinâmico e interativo, colabo-acompanhamento do desenvolvimento de habi- rando para que o professor e o estudante atu-lidade de síntese, análise, avaliação e senso em conjuntamente na avaliação do desenvolvi-crítico do aluno. Zaina, Bressan e Ruggiero mento e das conquistas do aprendiz. Dochy e526 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...
  15. 15. Segers (2001) classificam os portifólios em: (i) dos de avaliação em ambientes complexos deexemplar – coleção dos melhores e mais represen- aprendizagem dizem respeito ao tipo de apren-tativos trabalhos ou produtos produzidos ao lon- dizagem e seus sinais observáveis; ao modo dego de um dado período de tempo; (ii) holístico ou observação; às atividades e interações apoiadasde processo – exemplos do desenvolvimento e pelo sistema e como elas contribuem para aprogresso do aluno; (iii) combinado – uma com- aprendizagem; às possíveis fontes de informa-binação dos dois anteriores; (iv) produto – consiste ção utilizadas; aos métodos de coleta de dadosapenas do produto do estudante. Otsuka e Rocha que serão empregados; e aos marcos teóricos(2002) destacam o uso de tecnologias de agente que demarcarão as interpretações do estudo.de interface e mineração de dados como recursos Em qualquer cenário de avaliação, existemempregados para avaliação formativa alternativa. muitas questões potenciais a serem abordadas A avaliação somativa tem função classifi- e o pesquisador deve ter em mente que ascatória e é realizada para saber se os alunos al- perguntas modelam, mas não determinam total-cançaram os níveis de aprendizagem previamen- mente o que é respondido. Também existemte estabelecidos. Na avaliação somativa online, diversas maneiras de se formular as perguntas,as técnicas utilizadas são a análise das respos- com suas vantagens e desvantagens, porém nãotas aos questionários de satisfação do usuário existe um consenso sobre o que constitui o(smile sheets); a comparação entre as respostas melhor conjunto de perguntas ou algo comoaos testes feitos antes e após o curso; análise um estudo perfeito. Face à diversidade de estra-de artigos, documentos ou relatórios de traba- tégias metodológicas e suas respectivas vanta-lhos de campo escritos individualmente ou em gens e limitações, o pesquisador deve estar atentogrupo; e a auto-avaliação, mais comum nas aos interesses e às expectativas dos grupos envol-avaliações em ambientes colaborativos e partici- vidos e aos aspectos priorizados para a avaliaçãopativos. A partir das opiniões dos alunos sobre de um ambiente virtual de aprendizagem.conteúdos, atividades, atuação do tutor e rele-vância dos conhecimentos para aplicação no Conclusãoambiente de trabalho, dispõe-se de material queorientará as modificações tanto no conteúdo Na definição da avaliação de um curso emquanto na estratégia pedagógica. Além disso, um ambiente virtual de aprendizagem, a escolhaos resultados obtidos na avaliação refletirão nas do tipo de abordagem depende, em grande me-atividades relacionadas ao desenho instrucional, dida, dos pressupostos subjacentes à propostapois os resultados de um informam as ativida- educacional e dos interesses dos grupos envolvi-des do outro e, desse modo, o desenho e a dos. Em face de interesses, objetivos e ambientesimplementação da educação online podem ser diversificados e complexos, são necessários estu-continuamente melhorados para atender às ne- dos que avaliem quais as propostas pedagógicascessidades de uma comunidade de aprendiza- que são adequadas às distintas necessidades dosgem em mudança contínua. Embora a avaliação provedores e usuários, tomando como foco assomativa em ambientes virtuais restrinja-se, na potencialidades e limitações dos recursos tecnoló-maioria das vezes, à análise da pontuação ob- gicos; a compatibilidade entre as competências,tida para aprovação, a disponibilidade de regis- estratégias e habilidades dos aprendizes e astros digitais das atividades dos alunos realiza- demandas de aprendizagem do curso online; adas ao longo do curso e das avaliações dos participação e interação do aluno com o ambien-tutores abre possibilidades para a aplicação de te, colegas e tutores; seu desempenho ao longométodos de análise qualitativos. do curso; e os resultados alcançados. É necessá- A despeito da abordagem de estudo, rio que sejam discutidas e implementadas, no âm-algumas questões importantes sobre os méto- bito das instituições promotoras dos cursos deEducação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 527
  16. 16. EaD, metodologias de avaliação que contemplem quais os critérios estão sendo adotados para aas especificidades das distintas modalidades de introdução de novidades tecnológicas nos pro-aprendizagem a distância e forneçam subsídios cessos de ensino.para revisão e adequação dos cursos. Mais impor- Face às várias possibilidades metodoló-tante, a avaliação das experiências tecnológicas gicas apresentadas, o pesquisador deve ter emna educação deve nos auxiliar a responder às mente que a avaliação é um processo empírico dequestões sobre a significância, do ponto de vista uma atividade vinculada ao serviço, modeladada formação do aluno, da aprendizagem medi- pelos recursos disponíveis e com dados de formasada pelas novas tecnologias de comunicação, se e tamanhos diversos. Portanto, a metodologiaos recursos aplicados na EaD estão contribuin- mais pertinente para a avaliação de um cursodo para uma melhoria real dos mecanismos de online será aquela que se adequar ao contexto eassimilação e acomodação dos conhecimentos e às condições do curso e da investigação.Referências bibliográficasALMENARA, J. C. Avaliar para melhorar: meios e materiais de ensino. In: SANCHO, J. M. (Org.). Para uma tecnologia educacional educacional. Porto Alegre: ArtMed, 1998. p. 257-284.AMMENWERTH, E. et al. Evaluation of health information systems – problems and challenges. International Journal of Medical Informatics v. 71, p.125-35, 2003a. Informatics, ormaticsAMMENWERTH, E.; ILLER, C.; MANSMANN, U. Can evaluation studies benefit from triangulation? International Journal of Medical Informatics v. 70, p. 237-48, 2003b. Informatics, ormaticsBARRETO, R. G. Tecnologia e educação: trabalho e formação docente. Educação & Sociedade, n. 89, p.1181-1201, 2004.BELLONI, M. L. Ensaio sobre a educação a distância no Brasil. Educação & Sociedade n. 78, p.117-42, 2002. Sociedade,_____. Educação a distância 3 ed. Campinas: Autores Associados, 2003. distância.BENIGNO, V.; TRENTIN, G. The evaluation of online courses. Journal of Computer Assisted Learning v.16, p. 59-70, 2000. Learning,BENSON, A. D. Assessing participant learning in online environments. New Directions for Adult and Continuing Education Education, n.100, p. 69-78, 2003.BRENDER, J. Trends in assessment of IT-based solutions in healthcare and recommendation for the future. International Journal International of Medical Informatics v. 52, p. 217-27, 1998. Informatics, ormaticsBURTON, L.; GOLDSMITH, D. The medium is the message using online focus group to study online learning. New Britain: message: Connecticut Distance Learning Consortium, 2002.CARVALHO, N. M.; MISOCZKY, M. C. A. Potencialidades da aprendizagem virtual: uma reflexão a partir da experiência do curso de planejamento estratégico em saúde. In: CARVALHO, N. M.; MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distância distância: reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001. p. 65-84.CONTANDRIOPOULOS, A. P. et al. A avaliação na área da Saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org.). Avaliação em Saúde Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora FIOCRUZ, 1997. p. 29-48.DIXON, J. Evaluation tools for flexible delivery (workshop version). Melbourne: TAFE frontiers, 2001. Evaluation for flexible deliveryDOCHY, F.; SEGERS, M. Using information and communication technology (ICT) in tomorrow’s universities and using assessment as a tool for learning by means of ICT. In: VAN DER MOLEN, H. J. (Ed.). Proceedings from a symposium held at the Wenner-Gren at enner-Gren Centre, Stockholm London: Portland Press, 2001. p. 67-83. Stockholm.528 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...
  17. 17. DYSON, M. C.; CAMPELLO, S. B. Evaluating virtual learning environments: what are we measuring? Electronic Journal of e- Learning v. 1, n. 1, p. 11-20, 2003. Learning,FRIEDMAN, C. P.; WYATT, J. C. Evaluation methods in medical informatics New York: Springer, 1997. Evaluation informatics. ormaticsGIBSON, D. Network-based assessment in education. Contemporary issues in technology and teacher education v. 3, n. 3, p. 310-323, Contemporary technology tion, education 2003.HILL, J. R. et al. Exploring research on internet-based learning: from infrastructure to interactions. In: JONASSEN, D. H. (Ed.). Handbook of research on educational communications and technology . New York: Macmillan, 2003. educational communications technologyJONES, C. Evaluating a collaborative online learning environment. Active Learning v. 9, p. 31-35, 1998. Learning,_____. Quantitative and qualitative research: conflicting paradigms or perfect partners? In: BANKS, S. et al. (Eds.). Networked learning 2004: proceedings of the fourth International Conference on Networked Learning 2004 Lancaster: Lancaster 2004. University and University of Sheffield, 2004.KAPLAN, B.; DUCHON, D. Combining qualitative and quantitative methods in information systems research: a case study. MIS Quarterly , v.12, n. 4, p. 571-586, 1998. QuarterlyKIRKPATRICK, D. L. Evaluating training programs the four levels. 2 ed. San Francisco: Berret-Koehler Publishers, 1998. Evaluating programs rams:LÖFSTED, J. J. et al. Virtualization of higher education in the era of globalization Issues and trends. Stockholm: Institute of globalization. International Education of Stockholm University, 2001.LÜDKE, M.; ANDRÉ, M. Pesquisa em educação abordagens qualitativas. São Paulo: EPU, 1986. educação:MAHONEY, C. Common qualitative methods. In: FRECHTLING, J.; SHARP, L. (Eds.). User-friendly handbook for mixed method User-friendl -friendly for evaluations Arlington: National Science Foundation, 1997. Disponível em: <http://www.nsf.gov/pubs/1997/nsf97153/start.htm> evaluations. Acesso em: 26 ago. 2004.MENA, M.; RODRIGUEZ, L. E.; DIEZ, M. L. La educacion a distancia: una propuesta para el diseño de proyectos. In: CARVALHO, N. M.; MISOCZKY, M. C. A.; OLIVO, V. (Orgs.). Educação a distância reflexões críticas e experiências em saúde. Porto Alegre: Dacasa, 2001. distância:MOEHR, J.R. Evaluation: salvation or nemesis of medical informatics? Computers in biology and medicine v. 32, p. 113-25, 2002. biology medicine,OLIVER, M. An introduction to the evaluation of learning technology. Educational Technology & Society v. 3, n. 4, 2000. Educational echnology Society, Disponível em: <http://ifets.ieee.org/periodical/vol_4_2000/v_4_2000.html> Acesso em: 15 nov. 2004.ORINGDERFF, J. “My way”: piloting an online focus group. International Journal of Qualitiative Methods v. 3, n. 3, 2004. International Qualitiative Methods, Disponível em: <http://www.ualberta.ca/%7Eiiqm/backissues/3_3/3_3toc.html> Acesso em: 23 maio 2005.OTSUKA, J. L.; ROCHA, H. V. Avaliação formativa em ambientes de EaD. In: Simpósio Brasileiro de Informática na Educação Informática (SBIE 2002) 13. Disponível em: <http://teleduc.nied.unicamp.br/pagina/publicacoes/ 17_jh_sbie2002.pdf> Acesso em: 13 2002), nov. 2004.PANERAI, R. B.; MOHR, J. P. Evaluación de tecnologias em salud metodologias para paises em desarrollo. Washington: tecnologias salud: Organización Panamericana de la Salud, 1989.PETERS, O. A educação a distância em transição São Leopoldo: Editora Unisinos, 2004. transição.PONS, J. P. Visões e conceitos sobre a tecnologia educacional. In: SANCHO, J. M. (Org.). Para uma tecnologia educacional tecnologia educacional. Porto Alegre: ArtMed, 1998.POPE, C.; MAYS, N. Qualitative research in health care London: BMJ, 2000. Qualitative care.ROBLEY, L. R. et al. This new house: building knowledge through online learning. Journal of Professional Nursing v. 20, n. 5, p. 333- Nursing, 343, 2004.Educação e Pesquisa, São Paulo, v.33, n.3, p. 513-530, set./dez. 2007 529
  18. 18. SARTORI, A. S. Educação a distância: novas práticas pedagógicas e as tecnologias da informação e comunicação. Linhas v. 3, n. 2, Linhas, p. 123-130, 2002.STRUCHINER, M.; GIANNELLA, T. R. Formação de profissionais de saúde e educação a distância: elementos fundamentais. In: CASTRO, J. L. (Org.). PROFAE: educação profissional em saúde e cidadania Brasília: Ministério da Saúde, 2002. cidadania.TORREZ, M. N. F. B. Educação a distância e a formação em saúde: nem tanto, nem tão pouco. Trabalho, Educação e Saúde rabalho, Saúde, v. 3, n. 1, p. 171-186, 2005.VALCKE, M. M., LEEUW, F. L. Evaluating digital distance learning programs and activities Washington: World Bank Evaluating digital programs activities. Institute, 2000.WENTLING, T. L. et al. e-Learning – a review of literature Knowledge and Learning Systems Group, University of Illinois at literature ture. Urbana-Champaign, 2000. Disponível em: <http://learning.ncsa.uiuc.edu/papers/elearnlit.pdf > Acesso em: 05 mar. 2005.WYATT, J. C.; WYATT, S. M. When and how to evaluate health information systems? International Journal of Medical International Informatics v. 69, p. 251-259, 2003. Informatics, ormaticsZAINA, L. A. M.; BRESSAN, G.; RUGGIERO, W. V. Interactive chat: an experience in a virtual assessment. In: International Conference on Engineering and Computer Education, 3. Proceedings São Paulo, 2003, p. 1-6. , Proceedings.UNIVERSITY OF WARWICK. CAP e-learning guides Coventry: Center for Academic Pratice, 2004. guides. Recebido em 11.12.06 Aprovado em 13.08.07Josué Laguardia é Assistente de pesquisa do Centro de Informação em Ciência e Tecnologia – CICT. Fundação OswaldoCruz.Margareth Crisóstomo Portela é pesquisadora do Departamento de Administração e Planejamento em Saúde – DAPS.Escola Nacional de Saúde Pública – ENSP/FIOCRUZ.Miguel Murat Vasconcellos é pesquisador do Departamento de Administração e Planejamento em Saúde – DAPS.Escola Nacional de Saúde Pública – ENSP/FIOCRUZ.530 Josué LAGUARDIA; Margareth PORTELA e Miguel VASCONCELLOS. Avaliação em ambientes...

×