Resenhas

 

Avaliação da pesquisa psicopedagógica

 

Geraldina Porto Witter

Pontifícia Universidade Católica de Campinas

 

Femández Cano A, (1995). Métodos para evaluar Ia investigación en Psicopedagogia. Madrid: Sintesis, 299p.

A pesquisa deve ser objeto de avaliação constante quer formal quer informalmente. A importância da produção científica, especialmente da pesquisa, passou a ser mais sentida com a exploração da produção, com o crescente número de publicações. Da conscientização desta relevância, a partir dos anos cinqüenta começaram a surgir instrumentos diversos para avaliação, trabalhos de meta-ciência que passaram a ser progressivamente conduzidos com delineamentos mais sofisticados e com análises estatísticas condizentes ao anseio de avaliações conduzidas em consonância com os princípios da própria Ciência.

Se é difícil avaliar a pesquisa em uma área específica é ainda mais complexa a tarefa quando se trata de trabalho realizado em área interdisciplinar como é o caso da pesquisa psicopedagógica. Neste sentido, a obra de Fernandéz Cano pode ser considerada como de grande utilidade para quem se deparar com a tarefa de avaliar pesquisas psicopedagógicas. Pode-se mesmo dizer que é obra útil inclusive para avaliadores de outras áreas de produção. Realmente, o texto pode ser de grande valia para quantos se ocupam com a pesquisa em qualquer área, bem como, para os que estão envolvidos com a rica experiência de formar pesquisadores. Aliás, esta é uma assertiva que se depreende do prólogo (prefácio) escrito pelo matemático Rico Romero.

A obra de Fernández Cano compreende uma introdução e dez capítulos, bem estruturados, com discurso claro e didático, com exemplos bem apresentados e quadros de síntese. A bibliografia utilizada pelo autor é rica, predominantemente apoiada em artigos de periódicos científicos e dos anos noventa, mas incluindo os clássicos.

Na introdução explicita sua opção por trabalhar usando a metodologia científica e a cientometria, como forma de se buscar pesquisar mais e melhor. Enfoca a concepção de avaliação, lembrando que com a quantidade acaba também emergindo a qualidade como vários trabalhos na área vem demonstram. Propõe um modelo matricial de avaliação incluindo duas dimensões, uma relativa ao tempo (passado, presente, futuro) e outra à concepção do trabalho (formal ou informal). Este é o modelo que desenvolve ao longo dos capítulos que integram o livro.

O primeiro capítulo trata da avaliação anterior (passada) informal da pesquisa, tendo por base os critérios da filosofia da ciência. Neste quadro, um primeiro passo para avaliar a qualidade é estabelecer uma análise do que, do porquê e do como foi conduzi da a pesquisa. Implica em levantamento nas bases bibliográficas, na análise das relações teoria método - problema / tópicométodo - teoria.

O capítulo seguinte descreve a avaliação formal-anterior que pede uma seqüência mais abrangente e complexa de atividades, com ênfase na análise crítica do produzido anteriormente, enfocando aspectos qualitativos e quantitativos, formais e informais.

A avaliação passada formal estipula um grande rol de variáveis a serem consideradas. É particularmente interessante o quadro de hierarquização de estudos que apresenta, bem como, os indicadores para a definição de centros de excelência e de líderes de produção. A avaliação formal imediata da pesquisa pelos pares é tratada no 3° capítulo, o qual começa por lembrar que esta avaliação é o meio de avaliação mais freqüentemente empregado para análise qualitativa da produção, mas embora não se tenha dúvida quanto à relevância deste processo há problemas sérios de validade e confiabilidade por resolver. A tomada de cuidados especiais com algumas variáveis pode melhorar o processo. Entre elas estão: definição de critérios prévios; definição de escalas de avaliação, número de revisões e revisores, definição dos papéis dos editores e revisores, avaliação às cegas, pontuação e estatísticas de acompanhamento. O autor arrola 17 funções que a avaliação por pares deve cumprir, as fases que o processo deve incluir (segue normas da AP A) e a interação entre os componentes do sistema ao longo do processo. Os diagramas apresentados facilitam muito a compreensão do texto. Além disso, pesquisas ilustram as proposições feitas. Para a melhoria do processo apresenta 37 sugestões tomando por base o estabelecido na literatura como por exemplo: os revisores (membros de corpo editorial) usarem escalas bipolares de avaliação; treinamento dos revisores; maior rigor nos critérios; usar critérios cientométricos; os editores/revisores/avaliadores devem ser pessoas que publiquem freqüentemente; preferir artigos concisos, reduzindo ao máximo a extensão do trabalho etc. Discute aspectos éticos relacionados com a avaliação pelos pares.

O capítulo 4 trata da avaliação da pesquisa quantitativa apresentando vários tipos de escalas para a avaliação das mesmas incluindo uma ante-escala para checagem. Apresenta dados quantitativos sobre várias delas bem como fórmulas matemáticas para a avaliação. Apresenta um quadro sintetizando várias pesquisas, de grande utilidade para os que se preocupam com a matéria.

O capítulo seguinte enfoca a avaliação da pesquisa qualitativa começando por discutir a problemática de definição dos padrões metodológicos, muitas vezes ignorados por pessoas que conduzem ou avaliam pesquisas deste tipo. Discute a cultura do qualitativo lembrando que ao abandonar o paradigma epistemológico instrumentalista, se está aceitando que a pesquisa científica será orientada pela teoria e será eminentemente interpretativa e humanística e como tal se deveria proceder. Entretanto, na educação abraçou-se "outra cultura, a literária... Poderíamos dizer, aceitando uma das teses fundamentais de Nietzsche (1872/1932), mas muito criticada pelos doutos desde seu surgimento, por falta de solidez científica, que o paradigma qualitativo incorpora e recupera a alma dionisíaca ...frente a alma apolínea" (p.I50). Fica patente a necessidade de novos parâmetros e paradigmas que estabeleçam bases mais confiáveis e aceitáveis para pesquisas qualitativas. Apresenta sugestões feitas por alguns autores, inclusive com tabelas de avaliação que chegam a permitir análises quantitativas da produção, posto que, os vários aspectos das pesquisas são avaliados quantitativamente.

Muitos pesquisadores ocupam-se com pesquisas que procuram sintetizar o conhecimento ou fazer o balanço das pesquisas realizadas em uma área. Estas pesquisas também precisam ser avaliadas. Este é o tema do Capítulo 6, em que o autor contrasta os estudos de revisão de literatura com os de meta-análise e as dificuldades de avaliação. Também apresenta instrumentos para avaliação de pesquisas deste tipo. Lembra que começa a se fazer notar a preocupação com a elaboração de procedimentos metodológicos que permitam a síntese de pesquisas qualitativas com o rigor que a ciência exige.

A avaliação informal-imediata feita pelos pares é objeto de análise no Capítulo 7, que faz uso de qualificativos. Começa por discutir seu conceito e as funções dos comentários dos colegas, bem como suas limitações metodológicas, a ausência de significado, os erros mais comuns e as limitações relevantes que os pares precisam considerar.

Apresenta também as limitações da meta-análise. Fecha o capítulo com um trabalho de metaanálise de trabalhos sobre avaliação de pesquisas, cujos resultados são um excelente alarme para que pesquisadores fiquem atentos às falhas no fazer ciência.

O capítulo seguinte trata da avaliação externa na pesquisa educativa que caracteriza como uma modalidade de avaliação que está se generalizando nos países mais avançados. Apresenta um modelo de avaliação. O capítulo é muito breve para a abrangência dos tópicos enfocados: pesquisa e qualidade da informação; pesquisa de prática; uso da pesquisa e tomada de decisão. Os temas são tratados muito superficialmente.

Estudo do impacto da pesquisa implica em avaliar o produto científico, em geral feito através de análise bibliométrica e produto tecnológico, que implica na análise de patentes (Cap.9). Apresenta a análise de citação como uma forma de medir o impacto bibliográfico de um autor, usando-se freqüentemente de bases como: Resource Index, Citation Index, Educational Index, Current Index to Journal in Education, Resources in Education e Psychological Abstracts. São apresentadas várias fórmulas para cálculo de impacto de periódicos, de líderes de citação (pesquisadores, instituições, periódicos, países). Trata ainda a auto citação. Apresenta também as limitações existentes nos estudos de citação quer quanto à validade quer quanto à fidedignidade.

O último capítulo também é demasiado breve para poder tratar de um tema relevante - a avaliação informal - mediata do prisma da história da ciência. Apresenta apenas algumas informações genéricas e poucos exemplos.

Faltam ao livro índices de assunto, de autores, bem como de quadros e tabelas que facilitariam a consulta e a reconsulta ao texto. Há um glossário de siglas e abreviaturas que facilitam a leitura.

Como bem pode-se inferir das palavras do prefaciador da obra, Fernádez Cano produziu um texto muito importante para os que assumem a tarefa árdua e complexa de pesquisar e de avaliar a pesquisa, compreender e valorizar seus resultados para o aproveitamento ótimo dos recursos disponíveis e emprego criativo dos esforços realizados em benefício da coletividade.