Instrumentos usados na avaliação cognitiva no ensino fundamental: análise da produção científica

 

Cognitive evaluation instruments in elementary education: Analysis of scientific literature

 

Instrumentos utilizados en la evaluación cognitiva en la enseñanza primaria: análisis de la producción científica

 

 

Adriana Cristina Boulhoça Suehiro^{1, I}; Thatiana Helena de Lima^II

^IUniversidade Federal do Recôncavo da Bahia
^IIUniversidade Federal da Bahia

 

 

---

RESUMO

O presente estudo investigou os instrumentos usados na avaliação cognitiva no contexto do ensino fundamental entre 2005 e 2014. Foram analisados 22 artigos de 16 periódicos científicos. Os resultados evidenciaram que os anos mais profícuos foram 2008, 2010 e 2014. Pesquisas provindas da região Sudeste, desenvolvidas por mulheres, em coautoria e vinculadas a programas de pós-graduação foram os trabalhos mais frequentes, assim como os estudos com objetivo de diagnóstico-intervenção, delineamentos descritivoscorrelacionais e quantitativos. Verificou-se, ainda, que a avaliação cognitiva foi predominantemente realizada no ensino fundamental I, em amostras com até 500 participantes e provenientes de instituições públicas. Os artigos que empregaram testes, inventários ou escalas predominaram e os instrumentos mais utilizados foram Desenho da Figura Humana - DFH III; WISC - III; Matrizes Progressivas de Raven e R-2. Dada a relevância da avaliação cognitiva no ensino fundamental, ressalta-se a necessidade de outras investigações que possam discutir o diagnóstico cognitivo em si com suas etapas e critérios de realização.

Palavras-chave: avaliação psicológica, cognição, produção científica.

---

ABSTRACT

The present study investigated instruments employed in cognitive evaluation in elementary education from 2005 to 2014. A total of 22 articles from 16 scientific journals were analyzed. Results showed that 2008, 2010, and 2014 were the most prolific years. Research was concentrated from the southeast region of the country, most often developed by female researchers working with co-authors and linked to graduate programs, and aimed at diagnostic and intervention objectives, with both correlational and quantitative descriptive delineations. Cognitive evaluation was predominantly undertaken in the first segment of Elementary Education, with a maximum sample size of 500 participants, primarily from public institutions. The majority of articles employed tests, inventories or scales, and the most frequently used instruments were Human Figure Drawing (DFH III), WISC-II, Raven's Progressive Matrices, and R-2. Given the relevance of cognitive assessment in elementary education, we highlight the need for further investigations to discuss the cognitive diagnosis itself with its stages and criteria.

Keywords: psychological assessment, cognition, scientific literature.

---

RESUMEN

El presente estudio investigó los instrumentos utilizados en la evaluación cognitiva en el contexto de la Enseñanza Primaria entre 2005 y 2014. Se analizaron 22 artículos de 16 periódicos científicos. Los resultados mostraron que los años más fructíferos fueron 2008, 2010 y 2014. Los trabajos más frecuentes fueron Investigaciones provenientes de la región Sudeste, desarrolladas por mujeres en co-autoría y vinculadas a programas de postgrado, así como los estudios con objetivo de diagnóstico-intervención, delineamientos descriptivosde correlación y cuantitativos. Se verificó que la evaluación cognitiva fue predominantemente realizada en la Enseñanza Primaria, en muestras con un máximo de 500 participantes y provenientes de instituciones públicas. Predominaron los artículos que emplearon tests, inventarios o escalas y los instrumentos más utilizados fueron el Dibujo de la Figura Humana - DFH III; WISC-III; Matrices Progresivas de Raven y R-2. Dada la importancia de la evaluación cognitiva en la Enseñanza Primaria, se resalta la necesidad de realizar otras investigaciones que puedan discutir el diagnóstico cognitivo en sí, con sus etapas y criterios de realización.

Palabras-clave: evaluación psicológica, cognición, producción científica.

---

 

 

O termo cognição não é de fácil definição. Em linhas gerais, pode ser definido como um conjunto de habilidades mentais fundamentais para a obtenção de conhecimento. Essas habilidades estão relacionadas ao pensamento, raciocínio, abstração, linguagem, memória, atenção, criatividade, capacidade de resolução de problemas, entre outras. Elas possibilitam ao sujeito a reflexão sobre as informações adquiridas e sua aplicação no cotidiano (Olivier, 2003; Simonetti, 2012).

O desenvolvimento dessas habilidades depende, dentre outros fatores, do ambiente escolar frequentado pela criança. No presente trabalho será considerada a educação básica, mais especificamente o ensino fundamental, visto que é um segmento da educação formal no qual várias habilidades cognitivas se desenvolvem. Sob essa perspectiva, Soares (2007) considera que por mais que o Brasil tenha, praticamente, universalizado o ensino fundamental para crianças de 7 a 14 anos ainda há problemas sérios e graves que persistem, como, por exemplo, as taxas de repetência, abandono e distorção idade-série que continuam em níveis elevados. Nesse contexto, tanto o aprendizado, quanto a percepção da sua utilidade são elementos fundamentais para que o aluno permaneça na escola. O aprendizado desses escolares, também, pode ser mensurado por meio da medida dos resultados cognitivos deles, no entanto, dada a multiplicidade de fatores familiares (recursos, envolvimento dos pais e estrutura), pessoais (características, atitudes em relação à escola, aprendizagem e proficiência) e sociais (valores, políticas e demandas) nele imbricados, Soares (2007) afirma que apenas uma avaliação não permite que sejam captadas todas as particularidades do aluno. Na realidade, a tarefa de se conhecer as deficiências e potencialidades dos estudantes para que, assim, se possa fornecer um auxílio específico a eles, só é possível com base em um conjunto de técnicas que permitam a aferição dessa pluralidade, o que não é uma tarefa fácil.

Considerando que o objetivo maior das instituições de ensino do país tem sido, de acordo com Soares (2007), a elevação dos níveis de aprendizado dos alunos e, portanto, uma avaliação restrita ao fator pessoal, uma das formas mais utilizadas de avaliação tem sido as escalas especificamente desenvolvidas para esse fim. Sob essa lógica, alguns instrumentos de medida foram criados pelos órgãos federais de modo que pudessem fornecer resultados acerca das deficiências dos estudantes, tais como o Instituto Nacional de Pesquisas Educacionais - Inep que, em 1995, dentro do Sistema Nacional de Avaliação da Educação Básica - Saeb, criou escalas de avaliação das competências matemática e leitora.

No entanto, outros instrumentos para medir o desempenho cognitivo dos alunos têm sido utilizados. Isso pode ser observado no trabalho desenvolvido por Suehiro, Benfica e Cardim (2015) que teve por objetivo investigar a produção científica em avaliação cognitiva infantil nos anos de 2002 a 2012. As autoras analisaram 67 artigos de 25 periódicos científicos e evidenciaram que as avaliações foram realizadas predominantemente no contexto escolar e que os instrumentos mais utilizados foram o Desenho da Figura Humana - DFH, Matrizes Progressivas de Raven e WISC-III. Finalizam com a necessidade de que outras investigações, principalmente no que diz respeito à qualidade dos instrumentos empregados, sejam realizadas. Isso justifica este trabalho visto que tem por objetivo principal fazer a revisão dos instrumentos de avaliação cognitiva aplicados especificamente no contexto do ensino fundamental. Um outro aspecto a ser destacado é que a análise da produção científica em âmbito nacional no contexto psicoeducacional é um assunto que tem despertado interesse de outros pesquisadores (Oliveira, Cantalice, Joly, & Santos, 2006; Oliveira et al., 2007) e realizar tal análise com foco na avaliação certamente trará benefícios. Estudos dessa natureza permitem o avanço da área, pois, por meio deles, é possível se levantar prováveis indicadores de qualidade e disseminação do conhecimento científico acerca dos instrumentos empregados, bem como se vislumbrar as lacunas que se precisa sanar (Witter, 2005).

A certificação da qualidade científica e técnica dos testes psicológicos comercializados no Brasil tem sido realizada pela Comissão Consultiva em Avaliação Psicológica do Conselho Federal de Psicologia (CFP) e divulgada pelo Sistema de Avaliação de Testes Psicológicos (SATEPSI). A análise do CFP e a certificação da qualidade dos instrumentos utilizados se pauta nos estudos psicométricos (validade, fidedignidade e padronização) apresentados pelos autores dos testes e na sua base teórica, ambos critérios definidos com base em normas internacionais para a construção de testes (Anache & Corrêa, 2010; Primi & Nunes, 2010; Noronha & Reppold, 2010). A validade se refere ao conjunto de evidências empíricas favoráveis ao significado que se atribui as medidas (Ambiel et al., 2011; Primi, Nascimento, & Souza, 2004; Primi, Muniz, & Nunes, 2009; Primi & Nunes, 2010). A fidedignidade, também conhecida como precisão, diz respeito a uma maneira sistemática de se estudar o erro de medida, de forma que os escores dos testes possuam o mínimo possível de erro, independentemente do delineamento adotado para sua aferição. Por fim, a garantia da qualidade necessária para os instrumentos empregados perpassa também pela padronização, que consiste nas normas que possibilitarão, com base em um grupo de referência, a comparação, interpretação e contextualização das respostas dadas pelos indivíduos avaliados (Primi et al., 2004; Primi & Nunes, 2010).

Embora o SATEPSI apresente à sociedade uma listagem de instrumentos com parecer favorável ou desfavorável e informe aos profissionais da Psicologia, com base em tais pareceres, se esses testes estão aptos ou não para uso profissional, há que se destacar dois aspectos. O primeiro diz respeito ao fato de que todos os instrumentos carecem desses parâmetros vigentes que conferem qualidade e segurança no seu emprego. Portanto, é imprescindível que pesquisas sejam realizadas com diversos instrumentos, independentemente de estes serem aprovados ou não pelo SATEPSI, pois somente a partir desses estudos é que um dia esses testes alcançarão os parâmetros para a certificação necessária para seu uso profissional. O segundo está relacionado ao impacto da criação do SATEPSI para o desenvolvimento de pesquisas na área de avaliação psicológica, uma vez que, de acordo com Primi e Nunes (2010), algumas metas da Comissão Consultiva e do SATEPSI eram o aumento no número de pesquisas realizadas em diferentes contextos de avaliação psicológica, a diversificação dos testes psicológicos estudados e um aumento na qualidade dos artigos produzidos e publicados na área.

Considerando esse segundo aspecto, Mansur- Alves, Silva e Fernandes (2016) compararam as publicações científicas da área no Brasil durante dois períodos, de 1993 a 2002 (antes da Resolução nº 02/2003) e de 2003 a 2014 (depois da Resolução nº 02/2003). De forma geral, os resultados encontrados apontam para um impacto positivo do SATEPSI para a área de avaliação psicológica, observado no aumento da quantidade e qualidade das publicações (de 62 no primeiro período para 179 no segundo), bem como em uma maior variedade de contextos e testes psicológicos utilizados nas pesquisas. De acordo com as autoras, o crescimento constante ao longo dos anos observado indica um possível aumento no interesse dos pesquisadores para a qualidade e adequação dos instrumentos e teorias da avaliação psicológica.

No que concerne aos testes mais utilizados, no geral, os mais citados, quando se considera os dois períodos, foram BPR-5, Desenho da Figura Humana, Pfister e Rorschach, sendo os dois primeiros cognitivos e os outros de personalidade. Especificamente em relação aos instrumentos de avaliação cognitiva, alvo do presente estudo, o SATEPSI fornece uma lista com 156 testes aprovados para o uso profissional, quais sejam, Bateria Piaget- Head de orientação direita esquerda; Teste Gestáltico Visomotor de Bender; Beta-III; Bateria Psicológica para Avaliação da Atenção-BPA; BPR-5; Escala de Maturidade Mental Colúmbia-EMMC; Desenho da Figura Humana- DFH; Matrizes Progressivas de Raven; Instrumento de Avaliação Neuropsicológica Breve-NEUPSILIN; Teste Não Verbal de inteligência para crianças-R2; Teste Não Verbal de Inteligência-SON-R 2½-7[a]; Atenção Concentrada-D2; Teste de Criatividade Figural Infantil; Teste de Inteligência Geral Não Verbal (TIG-NV); Teste de Raciocínio Inferencial-RIn; Teste dos Cinco Dígitos- FTD; Teste Não Verbal de Raciocínio para Crianças- TNVRI; Teste de inteligência Não Verbal-TONI-3; Escala de Inteligência Wechsler para Crianças 3ª e 4ª edição-WISC. No entanto, dos 156 instrumentos listados, somente 20 podem ser utilizados para a avaliação da cognição de crianças no ensino fundamental.

Desses 20 instrumentos, apenas seis foram apontados no estudo de Suehiro et. al. (2015) como utilizados na avaliação da cognição infantil, são eles, Teste de Criatividade Figural Infantil; Desenho da Figura Humana-DFH; Matrizes Progressivas de Raven; Escala de Maturidade Mental Colúmbia-EMMC; Teste Gestáltico Visomotor de Bender e Teste Não Verbal de Inteligência para Crianças-R2. Dentre estes, os mais utilizados foram o DFH, o Raven e o WISC. Muitos estudos têm sido realizados com esses três instrumentos. No entanto, Suehiro et al. (2015) encontraram em sua pesquisa mais de 69 técnicas de avaliação utilizadas com crianças para avaliação cognitiva. Essas técnicas, em sua maioria, não estão comercializadas para o uso, no entanto, ressalta-se a necessidade de que todas elas prezem pela qualidade no processo de avaliação. Assim, torna-se necessário analisar as propriedades desses instrumentos, quer sejam utilizados profissionalmente, pelo psicólogo ou por outros profissionais, quer sejam alvos de pesquisa somente. Dessa forma, buscou-se, no presente trabalho, identificar quais são os instrumentos que têm sido utilizados para a avaliação cognitiva em crianças regularmente matriculadas no ensino fundamental. Ao lado disso, pretendeu-se examinar se estão presentes nessas técnicas os aspectos necessários para que as devidas interpretações sejam realizadas de maneira segura.

 

Método

O estudo foi realizado em três etapas. A primeira focalizou todos os periódicos disponibilizados no Scientific Electronic Library Online (SciELO) e nos Periódicos Eletrônicos em Psicologia (PEPSIC), e a segunda, apenas aqueles nos quais foram encontrados artigos que focalizavam a avaliação cognitiva. Para a recuperação desses textos, foi considerado o descritor "avaliação cognitiva". Já a terceira, tomou por base apenas os periódicos nos quais os artigos envolviam o ensino fundamental.

Nessa terceira etapa, foram analisados os seguintes periódicos: Arquivos Brasileiros de Psicologia (não há informações em seu site sobre a periodicidade de sua publicação), Avaliação Psicológica (publicação quadrimestral), Boletim Academia Paulista de Psicologia (não há informações em seu site sobre a periodicidade de sua publicação), Boletim de Psicologia (não há informações em seu site sobre a periodicidade de sua publicação), Cadernos de Pesquisa (publicação trimestral), CoDAS - Sociedade Brasileira de Fonoaudiologia (publicação bimestral), Educação e Pesquisa (publicação trimestral), Estudos e Pesquisas em Psicologia (não há informações em seu site sobre a periodicidade de sua publicação), Pró-Fono Revista de Atualização Científica (publicação trimestral), Psicologia: Ciência e Profissão (publicação trimestral), Psicologia em Estudo - Maringá (publicação trimestral), Psicologia em Revista (publicação quadrimestral), Psicologia: Reflexão e Crítica (publicação trimestral), Psicologia: Teoria e Pesquisa (publicação trimestral), Psicologia: Teoria e Prática (publicação quadrimestral), Psicopedagogia (não há informações em seu site sobre a periodicidade de sua publicação).

Fonte

A amostra do estudo foi composta por 22 artigos, encontrados em 16 periódicos, que focalizavam a avaliação cognitiva no ensino fundamental entre 2005 e 2014.

Procedimentos

Os artigos foram analisados na íntegra. Para tanto, foram consideradas as seguintes categorias: quantidade de artigos publicados por revista e por ano; distribuição da produção por origem (Sul, Sudeste, Centro-Oeste, Nordeste, Norte, parcerias nacionais e internacional), bem como o sexo dos autores, a natureza da autoria (individual ou múltipla) e informações sobre a vinculação ou não dos autores à programas de pós-graduação; amostra pesquisada (ano escolar e quantidade de participantes); natureza jurídica das instituições (pública, particular ou ambas), objetivos do estudo (diagnóstico-avaliação, intervenção ou validação/normatização da técnica utilizada); delineamento usado (descritivo-correlacional; quase experimental ou experimental) e tipo de instrumentos utilizados na avaliação cognitiva (testes, inventários ou escalas; outro tipo de material ou mistos). O levantamento de todos os dados foi realizado pelos autores da pesquisa, separada e concomitantemente, para dar confiabilidade à avaliação.

 

Resultados

Verificou-se primeiramente a quantidade de artigos publicados por periódico e por ano. Os periódicos com maior destaque foram: Psicologia: Reflexão e Crítica (n=4; 18,20%), Psicologia: Teoria e Pesquisa (n=3; 13,65%) e Boletim de Psicologia (n=2; 910%). Os anos de 2008, 2010 e 2014 somam 50,05% do total de publicações. A Tabela 1 apresenta os periódicos nos quais a temática aqui investigada foi localizada, por ano e suas respectivas porcentagens.

 

 

No que tange a produção, levantou-se a procedência dos artigos. Foram avaliados a região, o país e as parcerias nacionais e internacionais. Consideraram-se como "parcerias" os textos elaborados entre pesquisadores de diferentes regiões do Brasil e de países distintos. Quando os estudos foram produzidos por pesquisadores de diferentes instituições, porém da mesma região, foram considerados referentes à região da qual os autores eram provenientes. A região Sudeste, com 59,15% (n=13), deteve o maior número de publicações, quando comparada às demais regiões. Os resultados relativos à região e a parceria podem ser visualizados na Tabela 2.

 

 

Os demais resultados indicaram que os artigos foram escritos, em sua maioria, por pesquisadores do sexo feminino (n=12; 54,60%) e em autoria múltipla (n=21; 95,55%). Dos 22 artigos analisados, somente 13 (59,15%) traziam informações sobre a vinculação dos autores a programas de pós-graduação, os demais ou não apresentaram o dado ou, de fato, não eram vinculados a programas.

Dentre os objetivos dos estudos, "Diagnósticoavaliação" (n=11; 50,05%) prevalece, seguido de "Validação/normatização da técnica utilizada" (n=8; 36,40%) e de "intervenção" (n=3; 13,65%). Dos oito artigos voltados à "Validação/normatização da técnica utilizada", cinco diziam respeito ao Desenho da Figura Humana - DFH (22,75%), um ao Teste R-2, ao Roteiro de Avaliação da Consciência Fonológica - RACF e a Bateria de Habilidades Cognitivas Woodcock-Johnson- III - WJ-III Versão Ampliada, respectivamente. Quanto à análise da amostra estudada, buscou-se investigar o ano escolar, a quantidade de sujeitos e a natureza jurídica da instituição pesquisada. Os resultados revelaram, conforme disposto na Tabela 3, que a maior parte do material publicado e analisado se referia ao Ensino Fundamental I (n=36; 73,80%), com amostras de até 500 participantes (n=17; 77,35%) e, predominantemente, de instituições públicas (n=13; 59,15%).

 

 

Em 18 dos 22 artigos recuperados, ou seja, 81,90%, o tipo de delineamento adotado foi o descritivo-correlacional e somente um foi classificado como experimental (4,55%), portanto, com um desenho metodológico mais sofisticado. Evidenciou-se, ainda, que o tratamento conduzido em 86,45% (n=19) das análises de dados realizadas foi o quantitativo. A análise qualitativa se fez presente em apenas um artigo (4,55%).

Por fim, buscou-se identificar os artigos que utilizaram testes, inventários ou escalas; outro tipo de material e, ainda, os trabalhos mistos. Destaca-se que neste trabalho se entendeu por "outro material" questionários elaborados pelos autores; entrevistas estruturadas, semiestruturadas, autobiográficas, dentre outras; observações; encontros; ditados; redações e jogos. Destarte, verificou- -se uma preponderância de artigos que utilizaram testes, inventários ou escalas (n=13; 59,15%), seguido pelos trabalhos mistos (n=7; 31,85%) e, por fim, as pesquisas que empregaram outro tipo de material (n=2; 9,10%).

Tais achados evidenciaram uma grande variabilidade de técnicas, tal como demonstrado na Tabela 4. Os testes, inventários ou escalas comercializados, que figuram na lista de instrumentos aprovados para uso profissional do Sistema de Avaliação de Testes Psicológicos (SATEPSI), com maior prevalência na avaliação cognitiva no Ensino Fundamental foram: DFH III - O desenho da figura humana: avaliação do desenvolvimento (n=5; 7,45%); Escala de Inteligência Wechsler para Crianças - WISCIII (n=3; 4,47%); Matrizes Progressivas Coloridas de Raven - Escala Especial - MPC (n=3; 4,47%); Teste R-2 (n=3; 4,47%).

 

 

Cabe fazer uma breve descrição dos instrumentos com maior frequência, conforme apresentado na Tabela 4. O DFH III, tem por objetivo avaliar o desenvolvimento cognitivo infantil e a maturidade conceitual de crianças de cinco a 12 anos. Avalia dificuldade de aprendizagem, déficits de atenção e outras dificuldades de ordem desenvolvimental. A aplicação do instrumento é individual e o seu tempo de duração é de 20 a 30 minutos. A amostra contou com 10247 crianças que fizeram dois desenhos e dos quais 4782 foram sorteados. Os estudos de validade envolveram a verificação por mudanças desenvolvimentais e a correlação dos desenhos da figura humana com o teste de Integração Visomotora de Berry (coeficientes de 0,57 a 0,67). No que concerne à fidedignidade os estudos teste-reteste, tomando-se sexos e idades distintos, evidenciaram coeficientes entre 0,34 a 0,85, o Alfa foi de 0,77 a 0,89 e os índices de precisão entre avaliadores indicaram concordâncias entre 0,81 e 1,00.

A Escala de Inteligência Weschler para Crianças - WISC-III afere a capacidade intelectual de crianças e adolescentes (de 6 a 16 anos). É composta por 12 subtestes, cada um medindo um aspecto diferente da inteligência. O desempenho nestes subtestes é resumido em três medidas compostas: Quocientes Intelectuais (QIs) Verbal, de Execução e Total que oferecem estimativas das capacidades intelectuais dos indivíduos que responderem ao teste. Sua aplicação é individual e dura aproximadamente 90 minutos. A amostra de padronização brasileira contou com 801 crianças na região sul do Rio Grande do Sul. A análise fatorial identificou a presença de quatro fatores apontados por Weschler e que foram avaliados por meio da Validação Convergente-Discriminante com relação a idade (coeficientes de 0,71 a 0,83), rendimento escolar (coeficientes 0,27 a 0,40) e validade concorrente com o Teste de Raven (coeficientes 0,61 a 0,71). Os estudos de precisão realizados com um grupo de 52 crianças envolveram a avaliação teste-reteste em alguns subtestes (Código e Procurar Símbolos). Os coeficientes de fidedignidade entre os subtestes variaram de 0,62 a 0,92 dentre os diversos subtestes para as diferentes faixas etárias.

O Matrizes Progressivas Coloridas de Raven - Escala Especial - MPC é um teste de inteligência não- -verbal, que avalia mais especificamente o fator "g", proposto por Spearman. É indicado principalmente para crianças de 5 anos a 11 anos e meio, mas pode ser empregado para deficientes mentais e pessoas idosas. Também é útil para pessoas portadoras de deficiências físicas, afasias, paralisia cerebral e surdez, bem como para aquelas que não dominam a língua nacional. Três séries (A, Ab e B) de doze itens compõem a Escala Especial. Sua aplicação pode ser individual ou coletiva e dura de 15 a 20 minutos. A amostra de padronização brasileira foi constituída por 1417 crianças de ambos os sexos, divididas em 14 faixas etárias, com amplitude de seis meses cada, entre 4 anos e 9 meses e 11 anos e 9 meses de São Paulo. Estudos fatoriais indicam que o teste tem uma forte carga de fator g e alguma carga do fator viso-espacial, k e a diferenciação dos resultados por idade mostraram um aumento progressivo das médias obtidas. No estudo de fidedignidade na amostra brasileira foi obtido um coeficiente de 0,90 pelo método das metades corrigido pela fórmula de Spearman-Brown para a amostra total. Os coeficientes para os subgrupos divididos em função de idade e sexo variaram entre 0,45 e 0,95, sendo que a partir de 7 anos e meio foram superiores a 0,85, indicando que o teste é mais preciso a partir dessa idade.

Por fim, o Teste R-2 se propõe a avaliar o potencial de inteligência da criança, compreendendo a faixa etária dos 5 anos até os 11 anos de idade. É composto por 30 pranchas ou cartões com figuras coloridos de objetos concretos ou figuras abstratas. Sua aplicação é individual e sem limite de tempo. A amostra de padronização foi constituída por 1554 crianças de da rede pública e particular de São Paulo. Os estudos de validade demonstraram um aumento na pontuação com a progressão da idade. Foram realizados, ainda, a correlação com o Matrizes Progressivas Coloridas de Raven e a análise da consistência interna. Já a fidedignidade foi obtida com base no método das metades (coeficientes de 0,75 a 0,86 para a amostra total e corrigidos pela fórmula de Spearman- Brown) e no teste-reteste (coeficientes de 0,75 para 6 anos, 0,78 para 9 anos e 0,85 para o total).

Já entre os instrumentos comercializados, porém não de uso exclusivo do psicólogo, o Teste de Desempenho Escolar - TDE é o mais frequente (n=3; 5,40%). Ele busca oferecer de forma objetiva uma avaliação das capacidades de escrita, aritmética e leitura. Indica, de maneira abrangente, quais áreas da aprendizagem escolar estão preservadas ou prejudicadas em escolares de 1ª a 6ª séries do ensino fundamental, podendo ser utilizado com algumas reservas, na 7ª e 8ª séries. Sua aplicação é individual e dura aproximadamente de 20 a 30 minutos. A amostra contou com 583 escolares da rede pública e particular de Porto Alegre (RS). Estudos de validade de conteúdo foram conduzidos, bem como análises de consistência interna para cada subteste, variando de 0,79 a 0,94. O coeficiente alfa total foi 0,95.

 

Discussão

A análise da qualidade das publicações científicas no Brasil é realizada com base no sistema Qualis de avaliação de periódicos brasileiros, mantido pela Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior (CAPES). Este sistema lista e classifica os meios utilizados para a divulgação da produção intelectual dos programas de pós-graduação stricto sensu (mestrado e doutorado), quanto ao seu alcance - circulação (locais, nacionais ou internacionais) e qualidade (classificação em estratos de A1, o mais elevado; A2; B1; B2; B3; B4; B5 e C - com peso zero), com base em áreas de avaliação e passam por processo anual de atualização (Mansur-Alves et al., 2016). Os resultados aqui obtidos demonstram que houve, a exemplo do observado por Mansur-Alves et al. (2016), não apenas um aumento no número de publicações, especialmente nos últimos cinco anos, mas também uma procura maior por periódicos com melhores estratos. Um outro aspecto a ser considerado é que a maior parte das pesquisas analisadas foram relatos de pesquisa de campo, com delineamentos descritivos ou correlacionais, semelhantemente ao observado por diversos autores (Aguiar & Conceição, 2012; Oliveira et al., 2007; Mansur-Alves et al., 2016; Suehiro et al., 2015). Infelizmente, esse aumento no número de publicações e na preocupação também com a qualidade do periódico no qual se publicam as pesquisas empreendidas não tem se mostrado na mesma proporção quanto ao tipo de desenho metodológico adotado. Autores como Teixeira, Lassance, Silva e Bardagi (2007) e Noronha e Ambiel (2006) já destacavam a importância da realização de mais estudos que busquem um aprofundamento conceitual, teórico e metodológico na orientação profissional, o que pode ser generalizado para as demais áreas. Nesse sentido, as pesquisas realizadas têm evidenciado, a exemplo do aqui observado, que a incidência de trabalhos com delineamentos experimental ou quase-experimental parece ser ainda uma exceção na área da psicologia (apenas uma ocorrência neste estudo).

Em termos dos polos regionais para a disseminação das produções ainda se observou que as regiões sudeste e sul são aquelas nas quais a produção é maior. Esse dado talvez esteja relacionado ao fato de serem regiões com maior concentração de cursos de graduação e Stricto Sensu em Psicologia do país. Essa mesma tendência foi observada em estudos anteriores como os de Oliveira et al. (2006), Oliveira et al. (2007) e Mansur-Alves et al. (2016). Assim sendo, há que se ressaltar que apesar das políticas e iniciativas governamentais para a melhoria e expansão da educação superior, em especial, as pós-graduações stricto sensu, ainda se percebe uma concentração de produções oriundas das regiões mais desenvolvidas economicamente. Por isso, ainda há muito que se fazer na esfera governamental para que outras regiões brasileiras também se despontem como lócus de produção acadêmica e científica.

No que tange a natureza da autoria predominantemente feminina, deve-se compreender tal dado de forma contextual, uma vez que a profissão de psicólogo apresenta, desde sua regulamentação em âmbito nacional, o predomínio de mulheres. Nessa direção, esse fato se confirmou também nas autorias dos manuscritos analisados. Esse achado seguiu a mesma tendência do estudo realizado, por exemplo, por Oliveira et al. (2007) que, há quase uma década, também evidenciou que as mulheres ainda são a maioria em termos da representatividade de sexo nas pesquisas analisadas.

Pode-se constatar, ainda, que a maior parte das investigações trabalhou com amostras de até 500 sujeitos. Esse resultado pode ser explicado pelo fato de que a realização de pesquisas no contexto escolar permite o acesso a um número grande de escolares, por isso, de modo geral, as pesquisas nesse contexto fazem uso dessa facilidade de acesso para comporem sua amostra. Também é importante citar que os estudos aqui recuperados se concentraram em instituições públicas, o que possibilita suscitar duas hipóteses explicativas. A primeira hipótese, provavelmente mais próxima da realidade, está relacionada a dificuldade de acesso às escolas particulares para a realização das pesquisas. Muitas escolas particulares não permitem a entrada dos pesquisadores para a coleta de dados e, quando há abertura, muitos pais não autorizam a participação dos filhos. Assim, muitas pesquisas são realizadas no sistema público de ensino pela facilidade de acesso. Já a segunda, e a que se aproxima mais do desejo de qualidade, não apenas para os instrumentais utilizados, mas para a população alvo dos estudos empreendidos, se apoia na crença de que as pesquisas acadêmicas têm se voltado para estudar/ buscar alternativas/compreender o ensino público brasileiro de base, de forma que o conhecimento gerado possa contribuir para que o mesmo consiga remediar suas dificuldades. A esse respeito, no entanto, um ponto importante para discussão é até que ponto tais conhecimentos têm transposto os muros da academia e sido aplicados no cotidiano dessas instituições.

A análise do objetivo dos estudos indicou maior frequência de pesquisas com o propósito do Diagnóstico/ avaliação. Chama a atenção que o segundo objetivo mais evidenciado seja o de Validação/normatização da técnica utilizada, hipotetiza-se que esse dado demonstra a preocupação dos pesquisadores em se estudar as técnicas/instrumentos de avaliação e também expressa o crescimento da área de avaliação psicológica no contexto nacional.

Apesar da relevância de pesquisas como essas e do crescimento das mesmas, há que se considerar que os estudos voltados para a Validação/normatização da técnica recuperados aqui, ainda estão concentrados em poucos instrumentais. Na lista de testes aprovados para o uso em avaliação cognitiva do SATEPSI constam 156 instrumentos, no entanto, os dados desta pesquisa indicaram que dos oito artigos voltados à Validação/normatização da técnica utilizada, cinco diziam respeito ao Desenho da Figura Humana - DFH, um ao Teste R-2, um ao Roteiro de Avaliação da Consciência Fonológica - RACF e um a Bateria de Habilidades Cognitivas Woodcock-Johnson-III - WJ-III Versão Ampliada. Tais achados indicam, portanto, que somente dois testes desta lista, os dois primeiros, compõem o rol de instrumentos aprovados para uso profissional no Brasil. Essa realidade merece atenção e possibilita algumas considerações. A primeira delas é a de que talvez os esforços para o alcance dos critérios de qualidade para a certificação dos instrumentos utilizados pelos profissionais da psicologia não têm sido suficientes para se reverterem a favor das pessoas que necessitam de avaliações respaldadas em preceitos éticos e cientificamente respaldadas, com dados de validade, precisão e padronização.

Nesse sentido, há que se ressaltar o fato de que, nos últimos dez anos, de uma listagem de 67 técnicas empregadas para avaliação cognitiva, encontradas neste estudo (testes, inventários ou escalas; questionários elaborados pelos autores; entrevistas estruturadas, semiestruturadas, autobiográficas, dentre outras; observações; encontros; ditados; redações e jogos) somente quatro tenham sido alvo de estudos desse porte, a saber, estudos psicométricos. Esse dado revela a importância de se avançar na busca por qualidade das medidas empregadas nas avaliações empreendidas pelos psicólogos. Especificamente no contexto escolar, estudos que buscam evidências de validade para medidas cognitivas se justificam, principalmente quando se considera que a maior incidência dos artigos levantados na presente pesquisa foi realizada com a primeira etapa do ensino fundamental, ou seja, realmente os anos considerados base da educação formal. Assim, nada mais relevante do que se pensar em medidas que possam aferir diagnósticos mais precisos para remediar ou aprimorar as variáveis cognitivas observadas nessa faixa escolar e nas demais etapas de escolaridade.

Por fim, os dados concernentes aos instrumentos utilizados nas investigações levantadas pelo presente estudo, parecem seguir a tendência apontada por Suehiro et al. (2015) que, assim como outros pesquisadores, observaram que dentre aqueles mais citados estão o Desenho da Figura Humana - DFH, Matrizes Progressivas de Raven e WISC-III. Nesta pesquisa os instrumentos aprovados pelo SATEPSI e empregados no Ensino Fundamental foram o DFH III - O desenho da figura humana: avaliação do desenvolvimento, a Escala de Inteligência Wechsler para Crianças - WISCIII, as Matrizes Progressivas Coloridas de Raven - Escala Especial - MPC e o Teste R-2.

A segunda consideração que se pode tecer acerca dessa realidade reside no fato de que a realização de pesquisas com diversos instrumentos, aprovados ou não pelo SATEPSI, é importante para que a qualidade almejada por profissionais e por pessoas que necessitam dessas avaliações seja um dia alcançada. Além disso, há que se ter em mente que para desenvolver pesquisas com os testes comercializados, aprovados pelo SATEPSI, é preciso autorização dos autores, autorização das editoras, comprar folhas de aplicação o que, muitas vezes, sai mais caro para o pesquisador, caso ele não consiga o material com a editora do teste. Por fim, é possível que pesquisadores estejam realizando estudos que evidenciem as qualidades psicométricas do seu teste para enviar ao SATEPSI, mas não tenham interesse em publicá-los no formato de artigos.

Em síntese pode-se dizer que pesquisas que forneçam dados sobre a produção científica na área da psicologia, como a aqui realizada, viabilizam, não apenas um vislumbrar das lacunas existentes, mas, sobretudo, uma reflexão crítica acerca dos rumos da qualidade dessas produções. Investigações dessa natureza permitem um mapeamento dos déficits e avanços na área analisada.

No caso do presente estudo pode-se observar que há uma carência de trabalhos que busquem de fato estudar os instrumentos empregados na avaliação das muitas variáveis cognitivas, de uma forma mais sistematizada. O que se pode notar são pesquisas que empregam os instrumentos de forma mais focal, com o propósito do levantamento de informações. Nessa perspectiva, estudos que se disponham a investigar os parâmetros psicométricos desses instrumentos ainda são a minoria e precisam ser ampliados a fim de se atestar sua qualidade. Para além disso, parece plausível indicar que estudos futuros pudessem discutir o diagnóstico cognitivo em si com suas etapas e critérios de realização, bem como que avaliem a eficácia das intervenções empreendidas.

 

Referências

Aguiar, F. H. R., & Conceição, M. I. G. (2012). Análise da produção científica em orientação profissional: tendências e velhos problemas. Psico-USF, 17(1), 97-107. doi: 10.1590/S1413-82712012000100011         [ Links ]

Ambiel, R. A. M., Rabelo, I. S., Pacanaro, S. V., Alves, G. A. S., & Leme, I. F. A. S. (2011). Avaliação Psicológica - Guia de consulta para estudantes e profissionais de psicologia. Casa do Psicólogo: São Paulo.         [ Links ]

Anache, A., & Corrêa, F. (2010). As políticas do conselho federal de psicologia para a avaliação psicológica. Em Conselho Federal de Psicologia (Ed.), Avaliação psicológica: Diretrizes na regulamentação da profissão (19-30). Retirado de http://site.cfp.org.br/wp-content/uploads/2012/07/ Diretrizes.pdf.         [ Links ]

Mansur-Alves, M., Silva, R. S., & Fernandes, S. C. A. (2016). Impact of the Psychological Testing Assessment System (SATEPSI) for Scientific Publications in Psychological Assessment. Psico-USF, 21(1), 179-188. doi: 10.1590/1413-82712016210115         [ Links ]

Noronha, A. P. P., & Ambiel, R. A. M. (2006). Orientação profissional e vocacional: análise da produção científica. Psico-USF, 11(1), 75-84.         [ Links ]

Noronha, A. P., & Reppold, C. T. (2010). Considerações sobre a avaliação psicológica no Brasil. Psicologia Ciência e Profissão, 30(spe), 192-201. doi: 10.1590/S1414-98932010000500009         [ Links ]

Olivier, L. (2003). Citações e referências a documentos eletrônicos. Recuperado de http://www.ecdlo.hpg.ig.com.br/ hp/ pesqcientperspectivamultidisciplinar.html.         [ Links ]

Oliveira, K. L., Cantalice, l. M., Joly, M. C. A., & Santos, A. A. A. (2006). Produção científica de 10 anos da revista Psicologia Escolar e Educacional (1996/2005). Psicologia Escolar e Educacional, 10(2), 283-292. doi: 10.1590/S1413-85572006000200011         [ Links ]

Oliveira, K. L. Santos, A. A. A., Noronha, A. P. P., Boruchovitch, E., Cunha, C. A., Bardagi, M. P., & Domingues, S. F. S. (2007). Produção científica em avaliação psicológica no contexto escolar. Psicologia Escolar e Educacional, 11(2), 239-251. doi: 10.1590/S1413- 85572007000200005         [ Links ]

Primi, R., Muniz, M., & Nunes, C. H. S. S. (2009). Definições contemporâneas de validade de testes psicológicos. Em C. S. Hutz (Ed.), Avanços e polêmicas em avaliação psicológica (pp. 243-265). São Paulo: Casa do Psicólogo.         [ Links ]

Primi, R., Nascimento, R. S. G. F., & Souza, A. S. (2004). Critérios para avaliação de testes psicológicos. Em Conselho Federal de Psicologia - CFP (Ed.), Avaliação dos testes psicológicos: relatório (pp. 31-55). Brasília: CFP.         [ Links ]

Primi, R. & Nunes, C. H. S. S. (2010). O SATEPSI: desafios e propostas de aprimoramento. Em Conselho Federal de Psicologia (Ed.). Avaliação psicológica: diretrizes na regulamentação da profissão (pp. 129- 148). Brasília: CFP.         [ Links ]

Simonetti, L. (2012). O que é desenvolvimento cognitivo? Recuperado de http://cienciadocerebro.wordpress.com/2012/09/05/oque-edesenvolvimento- cognitivo/.         [ Links ]

Soares, J. F. (2007). Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de pesquisa, 37(130), 135-160. doi: 10.1590/S0100-15742007000100007         [ Links ]

Suehiro, A. C. B., Benfica, T. S., & Cardim, N. A. (2015). Avaliação cognitiva infantil nos periódicos científicos brasileiros. Psicologia: Teoria e Pesquisa, 31(1), 25-32. doi: 10.1590/0102-37722015011755025032         [ Links ]

Teixeira, M. A. P., Lassance, M. C. P., Silva, B. M. B., & Bardagi, M. P. (2007). Produção científica em orientação profissional: Uma análise da Revista Brasileira de Orientação Profissional. Revista Brasileira de Orientação Profissional, 8(2), 25-40.         [ Links ]

Witter, G. P. (2005). Metaciência e psicologia. Campinas: Alínea.         [ Links ]

 

 

recebido em setembro de 2015
reformulado em junho de 2016
aprovado em agosto de 2016

 

 

Sobre os autores

Adriana Cristina Boulhoça Suehiro: é Psicóloga. Doutora em psicologia pelo Programa de Pós-Graduação Stricto Sensu em Psicologia da Universidade São Francisco. Docente da Universidade Federal do Recôncavo da Bahia - Santo Antônio de Jesus.
Thatiana Helena de Lima: é psicóloga. Doutora em psicologia pelo Programa de Pós-Graduação Stricto Sensu em Psicologia da Universidade São Francisco. Docente da Universidade Federal da Bahia.

¹Endereço para correspondência: Rua Rosalvo Fonseca, 225, São Cristóvão, 44571-037, Santo Antônio de Jesus-BA. E-mail: dricbs@yahoo.com.br