O SAEB é um sistema de avaliação da educação básica aplicado a cada dois anos que mede o desempenho de alunos e aspectos das escolas. Ele fornece informações sobre como melhorar a qualidade do ensino no Brasil.
1. Sistema Nacional de Avaliação da Educação
Básica - SAEB
O O Sistema Nacional de Avaliação da Educação Básica - SAEB
implantado em 1990, é coordenado pelo Instituto Nacional de Estudos e
Pesquisas Educacionais - INEP e conta com a participação e o apoio das
Secretarias Estaduais e Municipais de Educação das 27 Unidades da
Federação.
Os levantamentos de dados do SAEB são realizados, a cada dois anos, em
uma amostra probabilística representativa dos 26 estados brasileiros e do
Distrito Federal. A cada aplicação de instrumentos são pesquisados
aproximadamente 700 municípios, 3.000 escolas públicas e privadas, 25.000
professores, 3.000 diretores e 220.000 alunos do Ensino Básico (da 4ª e 8ª
séries do Ensino Fundamental e da 3ª série do Ensino Médio) nas disciplinas
Língua Portuguesa, Matemática e Ciências. A partir de 1999 serão incluídas
as disciplinas História e Geografia.
A análise dos resultados dos levantamentos do SAEB permite acompanhar
a evolução do desempenho dos alunos e dos diversos fatores incidentes na
qualidade e na efetividade do ensino ministrado nas escolas, possibilitando a
definição de ações voltadas para a correção das distorções identificadas e o
aperfeiçoamento das práticas e dos resultados apresentados pelas escolas e
pelo sistema de ensino brasileiro. Essas informações são utilizadas por
gestores e administradores da educação, pesquisadores e professores.
SAEB: Breve Histórico
Criado em 1988 e tendo já realizado quatro levantamentos, o SAEB vem
sendo aperfeiçoado, sucessivamente, a cada aplicação, tanto do ponto de vista
metodológico, como nos procedimentos, operacionalização e abrangência.
O primeiro levantamento foi realizado em 1990, somente para a rede
pública do Ensino Fundamental, sendo avaliadas a 1ª, a 3ª, a 5ª e a 7ª séries e
em três áreas: Português, Matemática e Ciências. Em 1993, os levantamentos
tiveram as mesmas características e seguiram os mesmos procedimentos.
A partir de 1995, a preocupação com a comparabilidade dos dados foi
incorporada aos procedimentos. Dentre as mudanças metodológicas realizadas
destacam-se:
as avaliações passaram a se concentrar no final de cada ciclo de estudos,
ou seja, na 4ª e 8ª séries do Ensino Fundamental e na 3ª série do Ensino
Médio;
modernas técnicas de construção e análise de itens passaram a ser
utilizadas, avançando-se dos modelos e técnicas clássicos de testes e medidas
à Teoria de Resposta ao Item e ao modelo de amostragem matricial de itens;
do ponto de vista operacional, inicialmente executado de forma direta
pelo Ministério, partiu-se para a execução do SAEB por entidade externa,
contratada especificamente para essa finalidade;
a abrangência foi ampliada: expandiu-se a aplicação para todas as redes
de ensino - pública (federal, estadual e municipal) e particular - e incorporou-
2. se o Ensino Médio. Em 1995 alcançou-se a cobertura nacional, pois, pela
primeira vez, todas as unidades da Federação participaram dos levantamentos.
Para a aplicação do SAEB em 1997 foram mantidas as mesmas séries e níveis
de ensino, a mesma forma de execução (por entidade externa ao Ministério).
Ampliaram-se as áreas avaliadas com a inclusão da área de ciências para o
Ensino Fundamental e das áreas de Física, Química e Biologia para o Ensino
Médio. Sempre buscando o aperfeiçoamento do SAEB, já no levantamento de
1997 foi introduzida uma nova atividade de apoio a sua operacionalização: o
início da constituição do Banco Nacional de Itens, a partir do qual o
MEC/INEP passou a contar com um banco de itens nacionalmente calibrado e
validado, donde vêm sendo selecionadas as questões a serem utilizadas.
crição do SAEB
I - Tipo de informação coletada
i. Cobertura: As informações são coletadas por meio de amostras
aleatórias - cuja característica principal é a sua natureza probabilística -
representativas do País e de cada uma das 27 unidades da Federação.
ii. População alvo: são avaliados os alunos das 4º e 8ª séries do Ensino
Fundamental e da 3ª série do Ensino Médio.
iii. Âmbito da Avaliação: as áreas avaliadas são Língua Portuguesa,
Matemática e Ciências, sendo que na 3ª série do Ensino Médio a área de
Ciências compreende as disciplinas Física, Química e Biologia.
iv. Periodicidade: o Sistema Nacional de Avaliação da Educação Básica
- SAEB é aplicado de dois em dois anos. Já foram realizadas 4 avaliações,
sendo a primeira em 1990, a 2ª em 1993, a 3ª em 1995 e a 4ª em 1997. A
próxima aplicação será realizada em outubro de 1999.
v. Outros aspectos: são verificados alguns fatores contextuais e escolares
que incidem na qualidade do Ensino Básico, tais como: as características de
infra-estrutura e de disponibilidades da unidade escolar (questionário da
escola), o perfil do diretor e os mecanismos de gestão escolar (questionário do
Diretor), o perfil e a prática docente (questionário do Professor), as
características socioculturais e os hábitos de estudo dos alunos (questionário
do aluno).
II - Procedimentos e análises
i. Tipos de instrumentos
a. Em relação aos testes: são aplicados testes de desempenho dos alunos,
elaborados com base em matrizes curriculares validadas nacionalmente.
Esses testes medem tanto os conteúdos quanto as habilidades (em seus
diversos níveis de complexidade) das diversas séries e disciplinas avaliadas.
b. Em relação ao tipo de resposta: para a área de Língua Portuguesa os
testes contêm tanto respostas fechadas (de múltipla escolha) quanto respostas
3. abertas (respostas construídas, curtas e longas). Nas demais disciplinas os
testes são de resposta fechadas (múltipla escolha).
c. Em relação aos procedimentos de aplicação, os testes para os alunos são
aplicados por agentes externos à escola, com procedimentos unificados e com
tempo controlado. Os mesmos agentes externos coletam as informações sobre
a escola. Os questionários do diretor e do professor são auto-administrados.
ii. Tipos de processamento
a. A entrada de dados dos questionários ocorre por meio da digitação das
informações. Os questionários de alunos e as respostas aos itens dos cadernos
de provas, são processados por meio de leitura ótica.
b. Análise dos Dados: para as análises dos dados são utilizados diversos
tipos de softwares, de acordo com o nível de análise. Na análise de itens das
provas, são utilizados softwares como o Bimain, Bilog, Microcat e outros,
dependendo do tipo de item e do tipo de análise que se deseja (estimação de
parâmetros TRI e da Teoria Clássica e cálculo de estatísticas para verificação
das estimativas), Testfact e Microfact (para análise da unidimensionalidade
dos itens). Para estimação das proficiências individuais são utilizados os
softwares Bilog e Bimain, entre outros, dependendo do modelo utilizado. Para
a tabulação dos dados e análises estatísticas são usados pacotes estatísticos,
tais como SAS, SPSS e EXCEL.
c. Tipos de Análises: são realizadas, primeiramente, análises dos itens de
prova utilizados nos levantamentos, isto é, a análise de unidimensionalidade
dos itens; a estimativa dos parâmetros dos itens (dificuldade, discriminação,
acerto ao acaso, entre outros, dependendo do modelo utilizado); a verificação
da qualidade do ajuste ao modelo TRI; a estimação de parâmetros da Teoria
Clássica (proporção de acertos, correlação bi-serial e outras). Em seguida são
calculadas as proficiências individuais dos alunos. São calculados também
indicadores de aproveitamento curricular, obtidos através das probabilidades
de acerto aos itens, por meio da utilização da técnica de Pontuação
Verdadeira.
d. Tipos de Análises: a partir dos dados dos questionários e dos resultados
de Proficiência e de Aproveitamento Curricular, são efetuados diversos tipos
de análises - cruzamentos de informações, correlações, comparação de
médias, proporções, regressões, análises de informações socioeconômicas de
alunos, confecção de "escalas" para interpretação dos resultados, indicando o
que e quanto os alunos sabem fazer, comparação com indicadores do Censo
Educacional, entre outras.
iii. Disseminação da informação
i. O que é disseminado: os resultados são divulgados tanto em termos
gerais (nível nacional) quanto desagregados por região, estado, localização
(capital, interior), zona geográfica (urbano, rural), dependência administrativa
(estadual, municipal, federal e particular). Os resultados englobam tanto
4. aqueles relacionados ao desempenho dos alunos quanto aqueles referentes às
variáveis da escola, do diretor, do professor e dos hábitos de estudo e
condições socioculturais dos alunos.
ii. Como se divulga: os resultados são divulgados por meio da distribuição
de relatórios técnicos, relatórios estaduais, boletins e documentos específicos
(sobre o desempenho, condições da escola, características dos professores e
diretores, etc.), de material preparado para a imprensa (televisão, jornais,
rádio) e de promoção e participação em seminários locais, nacionais e
internacionais.
iii. Níveis de análises: os relatórios técnicos contêm toda a descrição
metodológica da aplicação, além dos resultados dos diversos instrumentos
(questionários e testes de desempenho). Esses resultados são apresentados de
forma descritiva (porcentual, média, etc.) e, também, com algumas
associações simples (associação do desempenho dos alunos com a formação
do diretor, do professor, participação destes em cursos de capacitação, etc.).
São elaborados também documentos mais sintéticos - boletins e informes -
focalizando aspectos específicos dos resultados, como descrito no item
anterior.
iv. Quem são os usuários: os usuários dos resultados são o próprio
Ministério da Educação, as Secretarias estaduais e Municipais de Educação, as
Universidades, os Institutos de Pesquisa, as Escolas e o público em geral
(incluindo os alunos e seus familiares).