TEMAS: EM DEBATE

 

A avaliação dos programas de pós-graduação em psicologia

 

Evaluation of Psychology graduate programs in Brazil

 

 

Oswaldo Yamamoto^I; Paulo Menandro^II

^I Universidade Federal do Rio Grande do Norte
^II Universidade Federal do Espírito Santo

Endereço para correspondência

 

 

---

RESUMO

O objetivo do presente trabalho é apresentar e discutir a sistemática de avaliação dos Programas de Pós-Graduação da área da Psicologia, pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior(CAPES). Além de uma breve descrição dos aspectos característicos da avaliação, dos aspectos passíveis de análise, elegemos três que julgamos representarem os pontos nodais dessa avaliação: a comissão de avaliação(quem faz a avaliação?), as características e procedimentos da avaliação (como é feita a avaliação?) e os parâmetros e os critérios para o resultado final (o que é relevante na avaliação?).

Palavras-chave: Pós-graduação, psicologia, avaliação.

---

ABSTRACT

The authors describe and discuss the process of accreditation and evaluation of Graduate Programs – specifically the Psychology Graduate programs in Brazil, a process carried out by a governmental agency of the Ministry of Education (CAPES). A brief description of the most important features of the accreditation and evaluation process are described. The authors also discuss three fundamental aspects of the evaluation: the committee responsible for the evaluation (who conducts the process?), the characteristics and procedure employed (how the evaluation is conducted?), and the criteria and parameters for the final result ( what is important for the evaluation?)

Keywords: Graduate programs, Psychology, evaluation.

---

 

 

Quatro décadas após a sua instituição formal, o sistema de pós-graduação no Brasil apresenta um crescimento exponencial, tendo passado dos 38 cursos existentes em meados da década de 60 (Velloso, 2003) para o total de 2972 no início de 2005. Para que se possa aquilatar o ritmo desse crescimento, apenas no período mais recente, ou seja, considerando o total de programas avaliados nos triênios 1998-2000 e 2001-2003, houve expansão do Sistema Nacional de Pós-Graduação (SNPG) da ordem de 15,9%. (CAPES, 2004).

O monitoramento do sistema é responsabilidade, desde o ano de 1976, da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), órgão vinculado ao Ministério da Educação. É interessante constatar a atual concentração da responsabilidade pelo acompanhamento e avaliação da pós-graduação stricto sensu em uma única agência governamental (ressalvado o papel de alguns outros setores no fomento e do Conselho Nacional de Educação na formulação legislativa e na homologação das decisões sobre avaliação).

A CAPES começou sua existência com a marca de entidade provisória, como evidencia sua própria denominação inicial: Campanha de Aperfeiçoamento do Pessoal do Ensino Superior (Barros, 1998). Durante muito tempo, as atividades de pós-graduação mantiveram-se subordinadas às decisões de entidades diversas na esfera governamental, apesar de seu estágio de imaturidade, e não foi um percurso sem obstáculos chegar ao modelo atual de estrutura da CAPES e do sistema de pós-graduação – modelo esse que ainda não completou vinte anos (Barros, 1998). No formato atual, a avaliação é realizada trienalmente e, em cada ano dos interstícios, é realizada uma avaliação de acompanhamento, também identificada como avaliação continuada¹

A avaliação teria por objetivo, em síntese, produzir um conjunto de informações sobre o sistema, de forma a possibilitar (a) a tomada de decisões com relação ao fomento e ao planejamento do sistema de C&T (incluindo atendimento das necessidades nacionais e regionais), (b) o estabelecimento de padrões de qualidade visando à certificação dos programas que compõem o sistema, (c) o aprimoramento dos próprios programas, pela identificação de fragilidades e (d) a memória do sistema.

Uma avaliação que permita atingir tais metas não é uma tarefa trivial. Na avaliação trienal de 2004 (referente ao período 2001-2003), os quase três mil cursos agrupados em oito grandes áreas do conhecimento foram avaliados por 44 comissões compostas por 547 consultores, a partir de dados fornecidos pelos programas que fazem parte do SNPG.

Conquanto a necessidade de monitoramento do sistema seja consensual na comunidade científica, um processo com a magnitude e o impacto que tem a avaliação do SNPG não poderia deixar de suscitar questionamentos.

O objetivo do presente trabalho é apresentar e discutir a sistemática de avaliação da área da Psicologia. Dos aspectos passíveis de análise, elegemos três que julgamos representarem os pontos nodais: a comissão de avaliação (quem faz a avaliação?), as características e procedimentos (como é feita a avaliação?) e os parâmetros e os critérios para o resultado final (o que é relevante na avaliação?).

 

A comissão de avaliação da área da Psicologia

Uma característica fundamental do processo de avaliação da pós-graduação no modelo adotado pela CAPES diz respeito à sistemática da avaliação por pares (peer review). O pressuposto de base é que a forma mais adequada de avaliar o SNPG é entregar aos especialistas de cada área a responsabilidade pela tarefa.

Admitindo-se, liminarmente, que o processo de avaliação da CAPES é cercado dos cuidados requeridos com relação à garantia da objetividade no tratamento das informações oriundas dos programas de pós-graduação e que o peer review é uma sistemática amplamente reconhecida no meio científico, é inegável, contudo, que a sua adoção introduz, no âmbito da avaliação da pós-graduação, alguns dos conhecidos problemas acerca do tema com relação à avaliação da produção científica (e.g., Davyt e Velho, 2000; Pessanha, 1998).

No que nos toca na discussão sobre a comissão de avaliação, a seleção dos componentes constitui-se em um elemento potencialmente definidor dos contornos e resultados da avaliação, tendo em vista que parte não desprezível das decisões sobre o processo (como as escolhas de critérios específicos e dados a focalizar e privilegiar, como exemplos) e a interpretação das informações são atribuições da comissão.

Os representantes são indicados pela CAPES após consulta à comunidade e apreciação do Conselho Superior da agência. Os componentes da comissão de avaliação são indicados pela representação da área e a escolha sancionada pela Diretoria de Avaliação da CAPES². A representação da área tem utilizado três critérios básicos para a composição da comissão: a diversificação regional (respeitando-se a distribuição regional dos programas da área), a representação das subáreas ou especialidades da Psicologia e o reconhecimento dos pesquisadores pela comunidade. Adicionalmente, foi definido que os programas avaliados com os conceitos 6 e 7, considerados de excelência, deveriam, caso fosse possível a conciliação com os demais critérios, ser representados na comissão.

Embora demande escolhas e possa gerar questionamentos, os dois primeiros critérios são objetivos, não representando problemas quanto à correspondência do critério com os membros convidados. O terceiro, por seu turno, implica identificações bastante subjetivas, sendo um possível foco de vulnerabilidade do sistema.

Para o triênio 2004-2006, a CAPES formalizou os critérios de composição das comissões, recomendando que, além daqueles referentes à representatividade regional e de subárea, sejam considerados a categoria do pesquisador e o nível do programa de origem. Em termos gerais, estes correspondem ao terceiro critério definido pela área da Psicologia (reconhecimento pela comunidade científica) e ao adicional, de representatividade dos programas de excelência. Todavia, as definições da CAPES podem gerar questionamentos: para a avaliação da categoria do pesquisador, recomenda-se a utilização da classificação de bolsistas de produtividade em pesquisa do CNPq, dando prioridade aos pesquisadores 1A e 1B (seguindo-se os demais níveis) e, para o nível do programa, sejam indicados pesquisadores pertencendo àqueles com avaliação mínima de 4, com a exceção para pesquisadores 1A e, eventualmente, 1B, de programas com o conceito 3.

Embora forneça uma referência mais objetiva para a escolha dos membros que a adotada pela representação da área da Psicologia no triênio 2001-2003, tais definições introduzem elementos complicadores. Pelo menos dois deles devem ser mencionados.

O primeiro problema diz respeito ao fato de que as quotas de bolsas de produtividade em pesquisa, resultado das restrições históricas de financiamento do sistema de C&T, têm um número bastante aquém das necessidades das áreas, não acompanhando o crescimento do próprio sistema.

Tomando por base os dados referentes à Avaliação Trienal 2004, estavam em atividade 652 docentes nos programas de pós-graduação da área da Psicologia recomendados pela CAPES. Considerando-se que, em 2005, os bolsistas de produtividade em pesquisa do CNPq dos níveis 1A e 1B somam 41 (ou 106, se tomarmos todos os bolsistas nível 1), que nem todos estão vinculados aos programas da área da Psicologia e que nem todos os docentes vinculados ao sistema desejam, por razões diversas, concorrer às bolsas de produtividade, não é difícil de concluir acerca dos problemas relacionados à adoção, de forma absoluta, desse critério.

Um segundo aspecto é que não há, necessariamente, coincidência entre a qualidade científica do pesquisador e seu reconhecimento, pela comunidade, de sua condição de compor uma comissão responsável pela avaliação dos programas de pós-graduação.

Schwartzman (1982), avaliando uma realidade diversa da atual, mas partindo do reconhecimento da superioridade da avaliação por pares, chama a atenção para um conjunto de questões relativas a tal processo. Introdução de interesses de grupos específicos decorrentes de escolhas arbitrárias por parte da agência, ou de perda de independência com relação aos programas, caso a escolha seja feita por indicação exclusiva dos programas, são duas delas.

Sem negar a possibilidade de eventuais problemas decorrentes de seleção inadequada dos avaliadores, cremos que existam mecanismos – além do desenvolvimento de um sistema eficiente de informações objetivas sobre o sistema – que podem minimizar os riscos. Um deles é garantir uma composição heterogênea da comissão quanto às regiões do país, as diferentes modalidades de definição administrativa das IES de origem, as subáreas e especialidades e, para as humanidades, as referências teórico-metodológicas de preferência dos membros da comissão (no caso da Psicologia, o quadro atual permite a adoção de todos esses controles). Outro é a publicização a mais ampla possível das diversas etapas do trabalho – da definição dos critérios à prestação de contas do processo mesmo de avaliação. Um terceiro mecanismo diz respeito à renovação periódica de seus membros. A CAPES recomenda uma substituição de aproximadamente 50% dos componentes de uma avaliação para a seguinte, o que assegura uma renovação com a manutenção da memória do trabalho do período precedente.

Um último aspecto, não menos importante, merece ser discutido, com relação ao elemento de subjetividade introduzido pelo peer review. Trata-se da posição privilegiada de alguns dos programas integrantes do sistema aos quais pertencem os membros das comissões de avaliação. Partindo do suposto de que os especialistas responsáveis pela avaliação dos programas estejam atuando no próprio sistema, este é um problema insuperável.

As diversas comissões têm procedimentos específicos para lidar com essa situação da forma a minimizar esse efeito. Na área da Psicologia, adota-se a sistemática de evitar a interferência dos avaliadores nas avaliações dos programas aos quais estejam vinculados e, mesmo, dos demais programas de sua instituição, exceto para prestar informações que permitam esclarecer pontos obscuros dos relatórios (procedimento que também é adotado no caso de programas não representados, valendo-se de consulta direta, sempre que seja necessário). É importante assinalar que informações enviadas à comissão, que não alterem, mas esclareçam aspectos de seus relatórios são igualmente considerados³. Em hipótese alguma, o avaliador deve participar de forma ativa da avaliação preliminar dos programas com os quais tenha vínculo e, mesmo, das discussões gerais para a definição da avaliação (aspectos que serão discutidos adiante).

 

Resultado

As avaliações dos programas de pós-graduação são realizadas em duas etapas. A primeira, preparatória, inclui ajustes de critérios e revisão da base Qualis de classificação de periódicos e demais itens de produção intelectual; a segunda, a avaliação propriamente dita. Os resultados da avaliação são submetidos à homologação do Conselho Técnico-Científico (CTC) da Capes e, posteriormente, referendados pelo Conselho Nacional de Educação.

O material que nutre as avaliações é fornecido pelos programas de pós-graduação que compõem o sistema por meio do aplicativo ColetaCapes e processado, na forma de cadernos específicos, pela CAPES⁴.

O trabalho de avaliação é consolidado em uma Ficha de Avaliação, composta por sete quesitos, a saber: Proposta do Programa; Corpo Docente; Atividade de Pesquisa; Atividade de Formação; Corpo Discente; Teses e Dissertações e Produção Intelectual. Cada um desses quesitos é subdividido em itens, que são considerados na avaliação de cada um dos programas da área.

Além dos quadros de síntese dos dados, o Caderno de Programa de cada instituição reproduz, na íntegra, as informações apresentadas de forma discursiva que os programas julgaram relevante informar aos avaliadores. Na área da Psicologia, as avaliações têm sido municiadas por um conjunto adicional de documentos preparados pela representação da área, indicando os locais nos materiais disponíveis em que as informações relevantes podem ser localizadas, aspectos obrigatórios de análise e quadros complementares, sobretudo, referentes à produção bibliográfica.

A sistemática de avaliação consiste no exame do material disponível (cadernos e demais documentos) por pares de avaliadores, que fazem o preenchimento preliminar da Ficha de Avaliação. As duplas são alteradas constantemente para evitar vieses de avaliação e momentos de discussão geral dos resultados dos trabalhos dos avaliadores são organizados, para consolidar a avaliação.

O trabalho realizado pela comissão é constantemente revisto pela representação da área, buscando identificar eventuais inconsistências na análise (considerando-se os conjuntos dos programas alocados em cada conceito). Buscam-se, na medida do possível, definições consensuais sobre os programas específicos e sobre o conjunto da área, mas não se exclui a possibilidade de dissenso, decidido, no limite, por meio de votação.

Existem algumas questões que devem ser destacadas nesse processo descrito em suas linhas gerais.

Um primeiro aspecto que deve ser ressaltado é que as comissões avaliam relatórios, ou seja, "a avaliação é feita sem dispor de informações precisas sobre o cotidiano dos Programas, sobre o clima intelectual vigente, sobre o empenho de pós-graduandos e orientadores, sobre as relações dos Programas com as instituições nas quais estão sediados" (Menandro e Yamamoto, 2004, p. 4). Esta questão fica apenas registrada aqui, para retomada posterior.

Um segundo diz respeito ao fato de que os relatórios avaliados pelas comissões são produzidos a partir de um modelo elaborado para atender 45 áreas do conhecimento, o que pode resultar em coleta de algumas informações de pouca utilidade para determinadas áreas e na ausência de informações que poderiam ser relevantes para outras áreas. Como assinalamos anteriormente, esse modelo pode facilmente desembocar em uma avaliação métrica, "sempre rondada pelo perigo de passar a ser um fim em si mesma, ou seja, com os meios tornando-se os fins" (Menandro e Yamamoto, 2004, p. 5).

O terceiro aspecto que merece destaque é a forma de mensuração da produção intelectual. Partindo de uma demanda da CAPES, a área da Psicologia constituiu no ano de 1998, em articulação com a Associação Nacional de Pesquisa e Pós-graduação em Psicologia (ANPEPP), uma Comissão Editorial composta por alguns dos integrantes da própria comissão de avaliação e por três editores indicados pela direção da ANPEPP, a partir de consultas feitas aos programas associados. A Comissão Editorial desenvolveu uma sistemática de avaliação de periódicos científicos da área baseada no modelo proposto por Krzyzanowksi e Ferreira (1998) para a FAPESP.

Não é possível aqui discutir os procedimentos e os resultados da avaliação que, nas suas três edições e atualizações, têm sido apresentados e debatidos com a comunidade, em eventos científicos e em publicações (Hutz, 2000; Yamamoto et al., 1998; Yamamoto et al., 2002). O que importa destacar é que os sistemas de classificação desenvolvidos pelas áreas permitem a aferição do componente de maior peso na avaliação da pós-graduação (Macedo e Menandro, 1998), merecendo atenção especial da comunidade científica. Tais sistemas, planejados para a avaliação da produção dos docentes do sistema, extrapolaram em muito esse limite, transformando-se em uma referência de qualidade para a produção científica expressa em periódicos especializados e indicação, para os pesquisadores, dos veículos que devem, ou não, ser privilegiados.

A Psicologia, diferentemente de algumas áreas das Ciências Humanas, não desenvolveu outros sistemas de classificação complementares, referentes a livros e eventos. Destes, a qualificação dos livros, com todas as dificuldades inerentes a um tipo de publicação que não tem um sistema de arbitragem consagrado e uniforme, deve ser uma tarefa a ser assumida pela área⁵.

 

Critérios da avaliação da área da Psicologia

Talvez o aspecto mais importante em um sistema de avaliação seja a definição dos critérios. O modelo de avaliação da pós-graduação da CAPES tem, definido, o conjunto fundamental de quesitos e itens a serem avaliados. É facultado à área introduzir itens nos diferentes quesitos e definir as ponderações de quesitos e itens. Os quesitos, que compõem a Ficha de Avaliação, são: (1) Proposta do Programa (sem peso); (2) Corpo Docente (peso 15); (3) Atividade de Pesquisa (peso 5); (4) Atividade de Formação (peso 15); (5) Corpo Discente (peso 15); (6) Teses e Dissertações (peso 25) e (7) Produção Intelectual (peso 25). A Proposta do Programa é avaliada com relação à sua adequação ou inadequação; os demais quesitos pesam diretamente na composição final do conceito. Não será o caso de detalhar os itens que compõem cada quesito, mas de discutir algumas das definições da área.

Com relação à ponderação dos quesitos, fica evidente que a área privilegia a produção do programa, o que é expresso pelo peso atribuído às Teses e Dissertações e à Produção Intelectual (50, no total). É interessante destacar que, exatamente em relação a esses dois aspectos, a avaliação beneficia-se da participação avaliativa do conjunto de docentes/pesquisadores da área, principalmente daqueles que integram o sistema de pós-graduação. Por uma vertente, tais profissionais atuam com freqüência na condição de consultores acionados pelos periódicos, tendo algum nível de participação, mesmo que muito diluída, no resultado final da produção publicada dos demais programas. Por outra vertente, esses mesmos profissionais participam de bancas examinadoras de dissertações e teses, atestando a qualidade das produções desenvolvidas sob orientação. É interessante assinalar tais pontos para destacar que o amplo poder definidor concentrado nas mãos dos avaliadores não é absoluto e independente de outros mecanismos que formam a realidade da pesquisa e da pós-graduação.

Os aspectos relativos ao cotidiano das atividades de pesquisa são pouco valorizados uma vez que o mais relevante entre eles, o produto, já é avaliado nos dois quesitos de maior peso, restando a avaliação da estruturação e vínculos dos projetos e a participação discente.

O peso atribuído ao quesito Corpo Docente (15) que é, em tese, o elemento decisivo para assegurar a qualidade da formação, é considerado apropriado pelo fato de a produção científica não estar sendo avaliada em tal quesito. A adequação entre áreas de titulação e de interesse dos docentes e as áreas de concentração e linhas de pesquisa dos programas também é levada em conta. Restam aspectos como a titulação formal (que, dada a evolução da área, não é mais um elemento de aferição de qualidade), atualização, renovação e intercâmbios.

De maneira análoga, a avaliação das Atividades de Formação e Corpo Discente está parcialmente imbricada com os dois quesitos de maior peso. No primeiro deles, destaca-se a avaliação da adequação da estrutura curricular o que é, exceto em casos excepcionais, um pressuposto, pelo fato de a mesma ter sido avaliada e aprovada quando da recomendação do programa. Avalia-se, então, a atualização de ementas e bibliografias das disciplinas efetivamente ofertadas no período de avaliação e a articulação com as atividades de graduação. Com relação ao Corpo Discente, as proporções de discentes com relação aos docentes constituem-se em uma questão equacionada na área, restando avaliar quantidade de discentes-autores, participação em atividades de graduação e aspectos de fluxo (desistências e abandonos).

Uma vez que a opção da área tem sido trabalhar valorizando a produção científica do Programa, é conveniente examinar com um pouco mais de detalhe o procedimento adotado e as ponderações utilizadas.

O quesito é composto por seis itens: (1) adequação dos tipos de produção à Proposta do Programa e vínculo com as Áreas de Concentração, Linhas e Projetos de Pesquisa ou Teses e Dissertações (peso 25); (2) qualidade dos veículos ou meios de divulgação (peso 30); (3) quantidade e regularidade em relação à dimensão do NRD6, distribuição da autoria entre os docentes (peso 20); (4) autoria ou co-autoria de discentes (peso 10); (5) co-autoria entre docentes do Programa (peso 5) e (6) participação docente na disseminação do conhecimento (peso 10). Este último item foi incluído pela área para valorizar ações diversas voltadas para a difusão do conhecimento, tais como promoção de eventos, edição de periódicos bem avaliados, participação de docentes em entidades cientificas, para citar algumas possibilidades. Os itens 4 e 5 têm por pressuposto a valorização de atividades coletivas na produção de conhecimento. O item 1 tem por objetivo verificar a coerência entre as publicações e a proposta do programa.

Os itens 2 e 3, de maior peso, referem-se mais diretamente ao volume, à regularidade, e à qualidade das publicações, bem como à distribuição da autoria de tais publicações entre os docentes. Para lidar com esses dois itens, os dados da produção de cada programa são trabalhados manualmente, fazendo-se o expurgo de duplicações (inclusive de um ano para outro), eliminando-se todos os casos de lançamentos equivocados, recuperando-se os casos de itens de produção lançados em locais impróprios e ponderando os artigos lançados em relatórios de programas diferentes nos quais os docentes atuem. São considerados como produção intelectual relevante os artigos publicados em periódicos, os livros com texto integral, os livros/coletâneas organizados, os capítulos de livros, os trabalhos completos em anais de congressos e os produtos como "softwares" e equipamentos para ensino ou pesquisa.

A partir dos dados apresentados pelos programas, a Comissão gera uma planilha com onze indicadores: (1) % de artigos em relação ao total de itens de produção; (2) % de artigos com autoria exclusivamente discente; (3) % de artigos publicados em periódicos estrangeiros; (4) % de artigos publicados em periódicos de circulação internacional; (5) % de artigos concentrados em um mesmo periódico; (6) % de docentes sem artigos publicados no triênio; (7) total de itens de produção (artigos + capítulos + livros + trabalhos completos) por docente, por ano; (8) total de artigos por docente, por ano; (9) total de artigos por docente, por ano, considerando a qualificação dos periódicos; (10) total de itens de produção por docente, por ano, considerando a qualificação dos periódicos no caso dos artigos e adotando uma pontuação diferenciada para os demais itens, na qual os livros com texto integral têm o maior peso e os trabalhos completos em anais de congressos têm o menor peso; e (11) a razão entre o volume de dissertações e teses defendidas e total de publicações arbitradas (artigos), indicador importante, não obstante o caráter assincrônico que marca sua apuração, da capacidade das dissertações e teses resultarem em artigos aceitos pelos periódicos, com a limitação de ser mais preciso no caso dos programas consolidados e estáveis. A análise da planilha permite a construção de um quadro comparativo dos programas da área a partir de cada indicador, buscando identificar regularidades e discrepâncias. Além de possibilitar a aferição do aspecto de maior peso no conjunto da avaliação com maior precisão, os dados da planilha permitem à Comissão fornecer informações importantes para que os programas possam localizar eventuais problemas e buscar as formas de superação.

Finalmente, convém esclarecer o procedimento para indicação de programas que disputam os conceitos 6 ou 7, considerados de excelência. Os programas completos (com Mestrado e Doutorado) avaliados com o conceito 5 são, em tese, candidatos a uma avaliação específica da área e do CTC para verificar o atendimento a uma série de condições que os definiriam como detectores de padrão de qualidade comparável às melhores instituições estrangeiras. Para a indicação na área da Psicologia, é indispensável que, ao lado de uma avaliação positiva em todos os quesitos, o programa tenha apresentado, no triênio, uma produção científica que o situe no topo do quadro mencionado anteriormente.

É indispensável registrar, ainda, conforme a definição da Comissão (Menandro e Yamamoto, 2004), que a realidade da área é parâmetro considerado todo o tempo nas comparações de desempenho dos Programas nos vários aspectos que estão sob avaliação, o que significa dizer, portanto, que tais parâmetros não são fixos.

 

Questões sobre o processo de avaliação

Apresentadas e discutidas algumas das características e dificuldades da avaliação da pós-graduação, e em especial, as da área da Psicologia, resta apontar algumas questões que necessitam de equacionamento.

Um primeiro ponto diz respeito à dificuldade inerente à tarefa de fazer uma avaliação que leve em consideração três componentes: os padrões de exigência comuns para todo o SNPG, o quadro evolutivo da área e a história própria de cada programa, expressa na sua proposta.

O respeito aos padrões gerais de qualidade, como a valorização da produção intelectual (tendo como pressuposto o conceito de que uma proposta somente terá êxito caso seja conduzida por um corpo docente de qualidade) ou as disposições com relação ao fluxo dos alunos, é uma exigência incontornável, pois ela faz parte das definições do sistema. A consideração do quadro comparativo da área permite acompanhar a evolução da área, possibilitando atualizar as exigências para o conjunto dos programas. Ao mesmo tempo, dadas as especificidades da Psicologia, o quadro permite detectar as características das subáreas, em muitos casos, bastante diferentes.

A questão mais complexa é considerar os dois padrões externos (do SNPG e da área), respeitando a proposta e, por conseguinte, as características específicas dos programas. A recomendação que é feita aos avaliadores é partir da "leitura" da proposta do programa e seus resultados no período da avaliação, confrontando com os padrões gerais para averiguar eventuais discrepâncias. Estas necessitam discussão caso a caso, acatando-se, eventualmente, as disposições dos programas ou indicando a necessidade de revisão de procedimentos.

Este é um ponto fundamental da avaliação, pois dele pode decorrer ou uma padronização dos programas, perdendo a riqueza que as propostas oriundas de grupos diversos pode trazer para o sistema, ou, na alternativa oposta, uma exagerada dispersão provocada por uma postura eminentemente relativista, que impede as avaliações de conjunto.

Este ponto se articula com uma crítica – que nos parece equivocada – de que a avaliação desconhece os programas como processos em curso e supõe a estabilidade. Avaliar implica comparações com relação a certos parâmetros e, para isso, é necessário estabelecer pontos de corte.

Um segundo ponto, intimamente relacionado à questão da padronização, diz respeito ao caráter prescritivo da avaliação. É certo que a avaliação do sistema de pós-graduação é, por definição, indutora. A questão é que a indução desejável, do nosso ponto de vista, deveria ser restrita ao padrão de qualidade exigido (o que já é, de certa forma, padronizadora), e não com relação a características secundárias do sistema. Para ilustrar, defendemos que uma avaliação pode questionar a vinculação de linhas de pesquisa à proposta do programa ou a efetividade do seu funcionamento a julgar pelos resultados obtidos no período, mas que seria impróprio interferir, por exemplo, na quantidade das linhas partindo dos padrões médios da área.

Esta consideração nos remete a outra: o significado do padrão médio da área. Não é incomum que, pela necessidade da consideração da situação da área, os avaliadores façam referência à posição relativa do programa em algum indicador com a média da área. Ocorre que a simples remissão ao padrão da área não é suficiente para qualificar o ponto em avaliação. Em determinadas circunstâncias, a área pode ter um desempenho pífio, o que não assegura qualidade a um programa que esteja "na média da área". Por outro lado, a comparação com a média da área, sem discutir o significado subjacente, pode levar os programas a buscarem a adequação aos padrões da área, promovendo uma situação de estabelecimento de exigências irreais para o funcionamento do sistema.

Um outro aspecto mencionado anteriormente diz respeito à base de informações utilizada na avaliação. Foi dito que as comissões avaliam relatórios. De uma parte, isso significa que, sem assumir o pressuposto de que haja qualquer intenção de dolo, avaliamos um material eminentemente declaratório. De outra, que alguns programas são avaliados ano após ano sem que a agência tenha contato com as condições reais de funcionamento do programa, possibilidade de aferir informações ou discutir com os seus participantes. É preciso esclarecer que, caso haja indicação explícita de necessidade de visita para alguma finalidade justificada, a CAPES autoriza e apóia tal procedimento. A dificuldade aqui é que, eventualmente, uma visita também não permite colher dados que sejam mais confiáveis para uma avaliação mais justa, deixando esta questão em aberto.

Um questionamento que tem sido feito à avaliação da CAPES diz respeito à ênfase dada à produção científica em detrimento das atividades formativas. Com relação à aferição da produção, os questionamentos referentes ao chamado "produtivismo" (e.g., Axt, 2004) devem ser relativizados, sobretudo se considerarmos o esforço que tem sido feito para o desenvolvimento de sistemas de classificação da qualidade dos veículos. Ainda em relação a esse mesmo tema, é importante assinalar que no X Simpósio de Pesquisa e Intercâmbio Científico da ANPEPP, realizado em 2004, ficou registrada, como contribuição do Fórum de Discussão sobre Políticas Científicas, a preocupação com o fato de que a adoção de critérios cada vez mais excessivos com relação ao volume de produção publicada de cada docente pode ter implicações graves nas condições de trabalho e na saúde do docente pesquisador, além da possibilidade de indução à produção de material mais superficial, de menor qualidade, para alcançar critérios de volume de produção (ANPEPP, 2004).

O peso relativo da formação é uma questão a ser discutida. Para além da análise das características internas dos programas e eventuais iniciativas que estejam promovendo para qualificar a formação, a CAPES tem buscado introduzir, nos relatórios e nas avaliações, informações sobre o egresso, que talvez seja um aspecto de fundamental importância para aferir a qualidade da formação oferecida (Carvalho, 2001). As dificuldades para concretizar tal avaliação não são desprezíveis, a realidade das desigualdades regionais comporá um cenário no qual o estabelecimento de cada critério terá de ser exaustivamente ponderado, mas talvez seja um esforço indispensável para uma avaliação mais equilibrada do sistema.

Um último ponto que não pode ser ignorado. A cada edição do processo de avaliação, dezenas de áreas de conhecimento são examinadas simultaneamente (hoje são 45). O trabalho de cada comissão de área é confrontado com o trabalho das demais comissões em uma instância superior, o Conselho Técnico Científico da Capes, também composto por representantes das grandes áreas de conhecimento. Nesta etapa final ocorre um delicado (nem sempre!) trabalho de conjugação de proposições de homogeneização de critérios e parâmetros com argumentos que justificam tratamentos diversos, em alguns aspectos, para áreas de conhecimento distintas. Essa visão externa tem, muitas vezes, alterado proposições das comissões de área, e tal interferência tem sido, em muitos casos, saudáveis e coerentes. O aperfeiçoamento dessa etapa final da avaliação, a partir da discussão antecipada de particularismos, critérios, parâmetros e patamares, é extremamente desejável.

 

Referências bibliográficas

ANPEPP – Associação Nacional de Pesquisa e Pós-Graduação em Psicologia (2004). Relatório do Fórum de Discussão Políticas Públicas. Retirado em 15 de abril de 2005 de http://anpepp.org.br.

Axt, M. (2004). O pesquisador frente à avaliação na pós-graduação: em pauta novos modos de subjetivação.Psicologia e Sociedade, 16(1), 69-85.

Barros, E. M. C. (1998). Política de pós-graduação: um estudo da participação da comunidade científica. São Carlos: EdUFSCAR.         [ Links ]

CAPES (2004). Relatório final de avaliação trienal da pós-graduação – Período Avaliado: 2001-2003. Retirado em 11 de abril de 2005 de http://www.capes.gov.br/capes/portal/conteudo/10/Resultado_AvaliacaoTrienal.htm.

Carvalho, A. M. A. (2001). Monitoramento e avaliação da pós-graduação: algumas reflexões sobre requisitos e critérios. Psicologia USP, 12(1), 203-221.

Davyt, A. e Velho, I. (2000). A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro? História, Ciências, Saúde – Manguinhos, 7 (1), 93-116.

Hutz, C. S. (2000). Avaliação do processo de avaliação das revistas científicas em Psicologia. Estudos de Psicologia (Natal), 5(2), 471-481.

Krzyzanowksi, R. F. e Ferreira, M. C. G. (1998). Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, 27 (2), 165-175.         [ Links ]

Macedo, L. de e Menandro, P. R. M. (1998). Considerações sobre os indicadores de produção no processo de avaliação dos programas de pós-graduação em Psicologia. Infocapes, 6(3), 34-38.         [ Links ]

Menandro, P. R. M. e Yamamoto, O. H. (2004). Critérios de Avaliação da Área da Psicologia. Retirado em 11 de abril de 2005 de http://www.capes.gov.br.

Pessanha, C. (1998). Critérios editoriais de avaliação científica: notas para discussão. Ciência da Informação, 27(2), 226-229.         [ Links ]

Schwartzman, S. (1982). Avaliando a pós-graduação: a prática da teoria. Retirado em 11 de abril de 2005 de http://www.schwartzman.org.br/simon/avcapes.htm.

Velloso, J. (Org.) (2003). A Pós-Graduação no Brasil: formação e trabalho de mestres e doutores no país (vol. 2). Brasília: CAPES.

Yamamoto, O. H.; Koller, S. H.; Guedes, M. C.; LoBianco, A. C.; Sá, C. P., Hutz, C. S.; Bueno, J. L. O.; Macedo, L. e Menandro, P. R. M. (1999). Periódicos científicos em Psicologia: uma proposta de avaliação. Infocapes, 7(3), 7-13.         [ Links ]

Yamamoto, O. H.; LoBianco, A. C.; Hutz, C. S.; Bueno, J. L. O.; Guedes, M. C.; Koller, S. H. e Menandro, P. R. M. (2002). Avaliação de periódicos científicos da área da Psicologia. Ciência da Informação, 31(2), 163-177.

 

 

Endereço para correspondência
Av. Estrela do Mar, 2267
CEP 59090-400 Natal, RN.
e-mail: ohy@uol.com.br

Enviado em Outubro/2002
Aceite final Março/2005

 

 

¹ A avaliação trienal tem resultados expressos na forma de notas em uma escala crescente de qualidade de 1 a 7, representando as notas 1 e 2 descredenciamento do curso e 6 e 7 o padrão de excelência do sistema.
² No triênio 2001-2003, os representantes titular e adjunto foram Paulo Rogério Meira Menandro (UFES) e Oswaldo H. Yamamoto (UFRN), respectivamente. A comissão responsável pela avaliação trienal foi composta pelos professores Alina Galvão Spinillo (UFPE), Emmanuel Zagury Tourinho (UFPA), Francisco José Batista de Albuquerque (UFPB), Hartmut Günther (UnB), Jorge Castellá Sarriera (PUC/RS), José Carlos Zanelli (UFSC), Lívia Mathias Simão (USP), Lúcia Rabello de Castro (UFRJ), Maria do Carmo Guedes (PUC-SP), Marisa Japur (USP-RP), Sebastião de Sousa Almeida (USP/RP), Sílvia Helena Koller (UFRGS) e Terezinha Féres-Carneiro (PUC-Rio).
³ Essa informação é prestada aos coordenadores nas reuniões realizadas pela representação da área.
⁴ Os cadernos são "Programa", "Cadastro de Docentes", "Disciplinas (Ofertas no ano-base)", "Linhas de Pesquisa", "Produção Artística", "Produção Bibliográfica", "Produção Técnica", "Projetos de Pesquisa" e "Teses e Dissertações".
⁵ Apenas para ilustrar, na avaliação trienal 2001-2003, aproximadamente 33% dos itens brutos de publicações completas consistiram de capítulos de livros e quase 8% dos itens brutos consistiram de livros organizados (2,95%) ou livros com texto integral (4,57%). É importante lembrar que em vários casos tais itens estão superpostos, ou seja, os capítulos estão em livros que também são computados.