Artigos

 

Escala de avaliação de altas habilidades / superdotação - versão professor: validade de conteúdo

 

Escale for assessment of giltedness - teacher's version: evidence of validity content

 

Escala de evaluación de altas habilidades/ superdotación - versión del profesor: validez de contenido

 

 

Tatiana de Cassia Nakano^{I i}; Carolina Rosa Campos^{I ii}; Maristela Volpe dos Santos^{I iii}

^I Pontifícia Universidade Católica de Campinas - PUC/ CAMPINAS

 

 

---

Resumo

A avaliação das altas habilidades embora escassa na literatura científica é de grande relevância dentro da Psicologia. Diante disso, o objetivo deste estudo foi verificar, através da validade de conteúdo, a adequação dos itens que compõem a Escala de Avaliação de Altas Habilidades – Versão Professor. Para isso, seis estudantes de pós-graduação na área da avaliação psicológica atuaram como juízes, classificando os 41 itens do instrumento em cinco fatores (capacidade intelectual acadêmica, habilidades acadêmicas específicas, liderança, criatividade e talento artístico). Os resultados demonstraram a adequação dos itens, tendo a maioria deles apresentado índices de concordância perfeita acima de 80% (n=29) e entre 60 e 80% (n=8), indicando concordância moderada. Apenas quatro itens apresentaram concordância igual ou inferior a 50%, sugerindo a necessidade de reformulações. As análises dos coeficientes Kappa evidenciaram índices entre 0,69 e 0,81. Os resultados apontaram a adequação da escala ao conteúdo do modelo que pretende avaliar.

Palavras-chave: validade do teste; educação especial; avaliação psicológica; coeficiente kappa.

---

Abstract

The assessment of high abilities is of great importance in psychology, despite scarce studies in literature. Therefore, the aim of this study was to verify, through content validity, the appropriateness of the items of the High Assessment Scale Skills - Teacher Version. The judges were six post-graduate students in the psychological assessment area who rated the 41 items of the instrument in six factors (academic intellectual ability, specific academic skills, leadership, creativity, artistic talent). The results demonstrated the suitability of the items, most of them with concordance rates above 80% (n = 29) and between 60 and 80% (n = 8). Only four items showed agreement at or below 50%, suggesting the need for reformulation. The analysis of the Kappa coefficients showed indices between 0.69 and 0.81. In general, the results indicated the suitability of the scale to the contents of the pretended model.

Key words: test validity; special education; psychological assessment; kappa coefficient.

---

Resumen

La evaluación de altas habilidades aunque escasos en la literatura es de gran importancia en la psicología. Por esto, el objetivo del estudio fue verificar, a través de la validez de contenido, la adecuación de los ítems que componen la Escala de Evaluación de Altas Habilidades - versión del Profesor. Así, seis estudiantes de posgrado en área de evaluación psicológica actuaron como jueces, y hicieron la clasificación de los 41 ítems del instrumento en seis factores (capacidad académica intelectual, habilidades académicas específicas, liderazgo, creatividad y talento artístico). Los resultados demostraron la idoneidad de los ítems, una ves que la mayoría de tuvieron las tasas de concordancia perfecta por encima del 80% (n = 29) y entre 60 y 80% (n = 8), indicando acuerdo moderado. Sólo cuatro ítems presentaron acuerdos iguales o inferiores al 50%, lo que sugiere la necesidad de reformulación. El análisis de los coeficientes Kappa mostró tasas entre 0,69 y 0,81. En general, los resultados indicaron la idoneidad de la escala para el contenido del modelo.

Key words: validación de test; educación especial, evaluación psicológica; coeficiente kappa.

---

 

Introdução

O tema das altas habilidades e superdotação vem ganhando destaque dentro da área da avaliação psicológica (Alencar, 2001; Chagas, 2007), principalmente em relação à identificação desses indivíduos (Azevedo & Mettrau, 2010; Guimarães & Ourofino, 2007). No entanto, a necessidade de cuidado em relação aos processos de identificação realizados por terceiros (professores, psicólogos e familiares), muitas vezes não conhecedores do fenômeno, também tem sido destacada visto que há, em termos de senso comum, uma errônea tendência em considerar a identificação da superdotação a partir de características especificas da inteligência (Robinson & Clinkerbeard, 2008). Como consequência, durante muito tempo foram considerados portadores de altas habilidades/superdotação somente aqueles indivíduos que apresentam elevado desempenho nos testes de inteligência (Gardner, 1983; Renzulli, 2008; Sternberg, 2005), de modo que até hoje ainda é possível encontrar pesquisadores que defendem a ideia de que inteligência é o único tipo de superdotação que merece atenção dos pesquisadores e educadores, conforme exposto por Bock e Ruyter (2011).

Tal percepção contraria as tendências atuais na definição do fenômeno, de modo a desconsiderar os demais domínios que podem estar envolvidos, tais como criatividade, liderança, motivação, habilidades artísticas e interpessoais, processos emocionais e contextos sociais como componentes da superdotação (Feldman, 2000; Gagné, 2005; Pocinho, 2009). Nota-se assim uma preocupação com a temática, visualizada de maneira cada vez mais abrangente e complexa (Kaufman & Sternberg, 2008), de modo que a definição mais atual aponta para indivíduos que apresentam um alto potencial, combinado ou isolado, nas áreas intelectual, acadêmica, de liderança e psicomotricidade, além de manifestar uma elevada criatividade, um alto envolvimento com a aprendizagem e também com a realização de tarefas de seu interesse (Brasil, 2010). Essa definição foi adotada no presente estudo.

Convém salientar a multidimensionalidade desse fenômeno, visto que os potenciais individuais de superdotação podem corresponder a determinadas áreas de desempenho acadêmico ou não acadêmicos. Além de habilidades cognitivas, várias características de personalidade (não-cognitiva), como motivos, interesses, autoconceitos, também estão envolvidos, assim como fatores familiares, educacionais e sociais podem fornecer condições ambientais importantes para o desenvolvimento de conhecimentos em domínios específicos, conforme apontado por Heller (2013).

Dada a complexidade do fenômeno, a avaliação das altas habilidades tem sido um desafio para os pesquisadores, visto que esta avaliação precisa, necessariamente, considerar esse aspecto multidimensional (Jarosewich, Pfeiffer & Morris, 2002). Do mesmo modo, tem sido ressaltada a importância de se otimizar essas características nos contextos familiares, escolares e sociais, dada a necessidade de acompanhamento e a orientação desses indivíduos como meio de garantir um melhor desenvolvimento (Negrini & Freitas, 2008).

Entretanto, convém destacar que, ainda que seja uma área que começa a receber um olhar dos pesquisadores no Brasil, tradicionalmente os estudos sobre a temática, publicados nas revistas internacionais mais importantes mostra que as principais variáveis ou conceitos sob investigação geralmente foram publicados há mais de 30 anos, o que indica um longo processo até que a educação geral e a psicologia tenham conseguido acesso aos dados de pesquisa conforme destacado por Ziegler, Stoeger e Vialle (2012). Faz-se notar, entretanto, ainda segundo os autores, que a publicação dos resultados destas não vem sendo feita nas principais revistas educacionais e psicológicas com fatores de alto impacto, sendo raramente citado nestas últimas. Nesse sentido diferenças internacionais e nacionais podem ser notadas. Enquanto Dai, Swanson e Cheng (2011) encontraram 1.234 estudos empíricos publicados durante os anos de 1998 a 2010 em bases internacionais, nacionalmente Nakano e Siqueira (2012) encontraram 19 artigos entre os anos de 2002 e 2009 nas publicações periódicas nacionais (Scielo e Pepsic), sendo que, ao adicionarem a base de Periódicos da Capes, Ribeiro e Nakano (submetido) encontraram um total de 100 estudos, entre artigos, teses e dissertações. Também Mendes, Nunes e Ferreira (2002) encontraram somente três trabalhos nos programas de pós-graduação em Educação desenvolvidos durante os anos de 1981 e 1998. Desse modo torna-se possível verificar o número pequeno de estudos publicados nacionalmente sobre a temática.

Como resultado, se fez sentir uma lacuna notadamente em relação à avaliação das altas habilidades / superdotação e consequente identificação desses sujeitos. Ainda que diferentes testes vêm sendo utilizados para essa finalidade no contexto internacional, por meio da adaptação dos instrumentos jáexistentes ou construção de novas propostas (visando principalmente a avaliação da inteligência e criatividade), o Brasil não possui, até o momento, nenhum instrumento voltado especificamente para essa população (Nakano & Siqueira, 2012). Diante desse fato, testes não específicos vêm sendo utilizados nesse processo de identificação, voltados principalmente à avaliação da inteligência, ignorando-se as demais habilidades envolvidas no fenômeno.

Tendência importante que também vem sendo notada é o reconhecimento de que, aliado aos testes, outra importante fonte de coleta de dados vem sendo destacada na literatura e refere-se à utilização de uma avaliação externa do indivíduo, usualmente realizada por pais e professores. Tal procedimento vem sendo, de acordo com Pfeiffer e Blei (2008), amplamente utilizado nas escolas americanas para seleção e identificação de estudantes para participação em programas de superdotação. Tal procedimento baseia-se na grande quantidade de evidências presentes na literatura, as quais demonstraram a importância da família, colegas e professores nos domínios da superdotação, notadamente na expressão criativa (Miller & Cohen, 2012). Diante da riqueza dos dados que podem ser obtidos por essa fonte, um aumento no número de escalas de avaliação utilizadas para a identificação de alunos superdotados pode ser notado principalmente durante os anos de 1960 a 1990, de acordo com um levantamento realizado por Bracken e Brown (2006), o qual indicou um número de 31 existentes nos Estados Unidos. Novamente destaca-se o fato de que o país também não conta com nenhuma escala publicada voltada a essa finalidade.

Ainda que tomada por alguns pesquisadores como uma avaliação mais subjetiva, Renzulli (2011) defende a ideia de que se algum grau de subjetividade não pode ser tolerado, então a nossa definição de superdotação e os programas resultantes serão, logicamente, limitados a habilidades que só podem ser medidas por testes objetivos, de modo a reforçar a importância da avaliação externa. Especificamente dentro da escola, Guenther (2012) destaca como vantagem o fato de que a avaliação realizada pelo professor pode ser realizada dentro de um processo longitudinal, baseando-se na sequência dos acontecimentos reais, orientado por observação contínua, direta e sistemática, nas diversas situações de ação, produção e desempenho em que a criança está envolvida. Também Elliott e Argulewicz (1983) apontam como principal vantagem seu baixo custo e redução de tempo que normalmente é requerido durante um processo completo de avaliação. Isso porque tais escalas vêm sendo utilizadas como um primeiro filtro dos alunos, de modo que, aqueles que forem indicados pelos professores como potenciais são encaminhados para uma avaliação mais completa.Desse modo, conforme destacado por Renzulli (2004), Guenther (2000), Gardner (1995) e Virgolim (2007), a utilização de diferentes instrumentos e formas de avaliação permite uma visão integral do sujeito, através de variadas fontes de informações.

No entanto, nota-se a dificuldade de se avaliar essas crianças de forma integral dada a escassez de instrumentos específicos para a população alvo brasileira. Um possível motivo, apontado por Carman (2013) refere-se à dificuldade dos pesquisadores em realizar a identificação desses sujeitos, visto que as pesquisas de campo consomem muito tempo e dinheiro e o processo de triagem dos participantes potenciais para a superdotação contribui para essa despesa pois um grande número de indivíduos acaba sendo testado sem que haja qualquer indício de alta habilidade / superdotação. A autora ainda destaca que, em um esforço para economizar tempo, muitos pesquisadores acabam optando por confiar em populações previamente identificadas, destacando a desconfiança em relação à validade dessa identificação. Afirma ainda que, infelizmente, devido a fatores como políticas de privacidade, muitos procedimentos de identificação escolar não estão disponíveis para o pesquisador, de maneira que informações acerca dos procedimentos de identificação utilizados podem ser difíceis ou mesmo impossíveis de se obter, o que pode explicar a popularidade do teste como um método identificação na pesquisa.

Visando sanar essa lacuna e objetivar o papel do professor na identificação e desenvolvimento de seu aluno, bem como diminuir a falta de instrumentos psicológicos específicos, a presente pesquisa tem como objetivo apresentar um primeiro estudo de validade de conteúdo da Escala de Avaliação de Altas Habilidades – versão Professor.

Dada a necessidade de condução de uma série de estudos de investigação das qualidades psicométricas de um instrumento antes de sua aprovação para uso profissional, conforme determinação do Conselho Federal de Psicologia (2003) por meio do Sistema de Avaliação dos Testes Psicológicos, SATEPSI, a realização de uma primeira análise de busca por evidências de validade de conteúdo da escala proposta, por meio de análise de juízes, cujos resultados são relatados a seguir. A importância do desenvolvimento desse tipo de instrumental é reforçada pela percepção de Jarosewich, Pfeiffer e Morris (2002), segundo os quais o momento é propício para o desenvolvimento de novos instrumentos que reflitam as formas recentes de se pensar a questão da superdotação e o desenvolvimento de talentos.

 

Método

Participantes

Atuaram como juízes independentes seis estudantes de pós-graduação, sendo três mestrandos e três doutorandos, um do sexo masculino e cinco do sexo feminino, escolhidos entre alunos que estivessem desenvolvendo seus trabalhos dentro da linha de pesquisa “Instrumentos e processos em avaliação psicológica”. Tal procedimento foi utilizado como forma de garantir que todos possuíssem conhecimento da área de avaliação psicológica. Um deles, especificamente, trabalhava com a temática das altas habilidades/superdotação.

Instrumentos

Escala de avaliação das altas habilidades – versão professor

A escala constitui-se em um instrumento para avaliação das altas habilidades, devendo ser respondida pelos professores. É composta por duas partes, sendo que, em ambas, o aluno é avaliado pelo professor. A primeira parte envolve a avaliação de quatro tipos de habilidades: competências escolares (tais como leitura, a escrita, matemática e ciências); habilidades específicas (raciocínio, abstração, criatividade e resolução de problemas); áreas de avaliação (linguagem, vocabulário, social e emocional); e atitude para o aprendizado (concentração e curiosidade). Na segunda parte, o professor avalia o estudante em relação a cinco áreas do desenvolvimento (capacidade intelectual geral, habilidades acadêmicas específicas, liderança, criatividade e talento artístico) em um total de 42 afirmativas (as áreas de capacidade intelectual geral, liderança e criatividade possuem 8 itens cada e habilidades acadêmicas especificas e talento artístico possuem 9 itens cada).

Trata-se de uma nova escala, brasileira, cujo formato baseou-se em uma escala internacional já existente, a Gifted Rating Scale, desenvolvida por Pfeiffer e Jarosewich (2003), a qual vem sendo traduzida e adaptada para diferentes países (Lee & Pfeiffer, 2006; Li e cols., 2009; Li, Lee, Pfeiffer & Petscher, 2008; Margulies & Floyd, 2004; Petscher & Li, 2008; Siu, 2009). No Brasil, um estudo de validade de conteúdo da versão brasileira da escala citada foi conduzido por Nakano e Siqueira (2012), envolvendo a investigação do instrumento pelo método de análise de juízes, cujos resultados mostraram a adequação da mesma para uso no Brasil. Dada a similaridade do conteúdo avaliado em ambas as escalas e o objetivo de avaliação de suas evidencias de validade, os autores optaram por se embasar em um instrumento já existente para avaliação do mesmo construto, e na metodologia empregada em um estudo nacional de busca por evidências de validade, tomando-a como base para a pesquisa aqui apresentada.

Durante o processo de avaliação do aluno o professor deve assinalar com um X a alternativa que mais bem o descrever, dentre as opções: abaixo da média se comparado a estudantes da mesma turma; nível da habilidade igual a de outros estudantes; acima da média apresentada pelos outros estudantes; grande destaque nessa área; ou então, caso o professor não se sinta apto para sinalizar o que melhor descreve o aluno, ele poderá na última coluna marcar um X em “incapaz de julgar”. Cada área é seguida por definições para que o professor possa embasar o julgamento feito, visando, com isso, atender à recomendação feita por Pfeiffer e Blei (2008) da necessidade de um rigor científico nesse processo de nomeação por pais e professores. Os autores recomendam que as instruções sejam seguidas rigorosamente e que um ou mais exemplos concretos sejam oferecidos como forma de auxiliar essa nominação, de maneira a garantir que cada critério seja compreendido.

Procedimentos

Após a aprovação do projeto pelo comitê de ética em pesquisa da Pontifícia Universidade Católica de Campinas (CAAE 21487513.7.0000.5481), cada juiz assinou o termo de consentimento livre e esclarecido. Posteriormente um formulário de avaliação foi elaborado e enviado aos juízes, no qual inicialmente o objetivo da pesquisa era fornecido, explicando-se a tarefa a ser desenvolvida por cada juiz (ler cada um dos itens que compõem a escala, julgando em qual das cinco áreas ele se enquadra, marcando-se um x na coluna correspondente), sendo ainda oferecidas as definições de cada área (capacidade intelectual geral, habilidades acadêmicas específicas, liderança, criatividade e talento artístico). Com a finalidade de evitar que os itens estivessem agrupados de acordo com as áreas que avaliam, eles foram organizados em uma única lista, classificados em ordem alfabética. Esse procedimento foi adotado com o intuito de dificultar aos juízes a descoberta dos itens, verificando a disposição dos mesmos, de forma que não fosse possível identificar os subgrupos de itens por similaridade ou proximidade.

Após o recebimento de todos os formulários, as pesquisadoras efetuaram o levantamento das categorias apontadas pelos juízes para cada um dos 42 itens, utilizando-se para análise dos dados de dois diferentes procedimentos: porcentagem de concordância e o cálculo do coeficiente Kappa para cada juiz. A opção pela utilização conjunta dos dois procedimentos baseou-se na constatação de Perroca e Gaidzinski (2003), segundo as quais, apesar de largamente utilizado para o estudo de confiabilidade, o coeficiente Kappa apresenta limitações na medida em que não fornece informações a respeito da estrutura de concordância e discordância, muitas vezes não considerando aspectos importantes presentes nos dados. Dessa forma, não deve ser utilizado indiscriminadamente como uma única medida de concordância, devendo-se incorporar outras abordagens com o objetivo de complementar a análise. Buscando sanar essa lacuna, um segundo método foi empregado no presente estudo, mais simples, de verificação da concordância interobservadores, por meio do cálculo da porcentagem de concordância entre juízes independentes, de maneira que os dois métodos empregados se complementaram.

Em relação ao primeiro procedimento de análise, a estimativa do coeficiente Kappa, a escolha embasou-se nos apontamentos encontrados na literatura, os quais afirmam que, para análise da dimensão teórica, tal método tem sido bastante utilizado (Lamounier & Villemor-Amaral, 2006; Miura, Gallani, Domingues, Rodrigues & Stoller, 2010; Viana & Madruga, 2008; Villemor-Amaral & Xavier, 2007). Considerado um índice útil quando vários avaliadores categorizam cada grupo de objetos ou sujeitos em categorias nominais (Alexandre & Coluci, 2011), esse método pode ser definido como uma medida de associação usada para descrever e testar o grau de concordância (confiabilidade e precisão) na classificação de diferentes juízes (Perroca & Gaidzinski, 2003).

Por fim, convém destacar que nesse tipo de estudo, que visa o desenvolvimento de instrumentos, um dos pontos controversos refere-se ao número e à qualificação dos juízes. Lynn (1986 citado por Alexandre & Coluci, 2011) recomenda um mínimo de cinco e um máximo de dez pessoas participando deste processo. Como forma de atender a essa recomendação, as autoras acabaram realizando o estudo com seis juízes devido à dificuldade em encontrar um número maior de estudantes que preenchessem os critérios de inclusão.

 

Resultados e discussão

Com o objetivo de identificar e reconhecer aspectos fortes e fracos do instrumento antes de sua aplicação em amostras de validação, foi feita a análise do índice de concordância entre os juízes, bem como as interpretações para os valores de Kappa, fornecidos por Landis e Koch (1977). Desta forma, as nomenclaturas utilizadas envolveriam concordância quase perfeita (entre 0,80 e 1,00), concordância substancial (0,60 a 0,80), concordância moderada (0,40 a 0,60), concordância regular (0,20 a 0,40) e concordância discreta (0,00 a 0,20).

Para fins de análise os itens foram divididos de acordo com a área avaliada. Assim sendo, a partir da Tabela 1 pode-se observar as porcentagens de concordância para cada item correspondente aos fatores Capacidade Intelectual Geral (exemplo de item: “Aprende com facilidade e rapidez a maior parte dos conteúdos ensinados”) e Habilidades Acadêmicas Específicas (“Apresenta desempenho superior em matemática”).

Tabela 1. Índice de Concordância entre juízes para os itens envolvendo Capacidade Intelectual geral.).

 

 

A partir da Tabela 1 pode-se observar os índices de concordância entre os juízes quanto à área de capacidade intelectual geral, a qual se refere às habilidades e competências gerais, as quais envolvem a capacidade de processar informações e resolver problemas, raciocínio, velocidade mental e memória (Pfeiffer & Blei, 2008). Nota-se que quatro dos oito itens apresentaram concordância quase perfeita, com índices maiores que 80%, três deles apresentaram concordância substancial, com índices entre 60 e 80% e apenas um apresentou concordância moderada (50%). Interessante ressaltar que o item 2, cujo conteúdo versa sobre a necessidade de pouca informação para resolver problemas difíceis foi considerado, por metade dos juízes, como pertencente à área da Criatividade, podendo ter sido confundido pelo fato da capacidade de resolução de problemas ser considerada uma tarefa tipicamente criativa. No entanto, de forma geral, pode-se dizer que para esta área foram obtidos índices satisfatórios de concordância entre os juízes, de modo a indicar sua adequação e possíveis evidências de validade de conteúdo. Ainda que o item com menor concordância possa ser classificado como concordância moderada, segundo critérios da literatura científica (Landis & Koch, 1977), sua revisão é recomendada.

 

Tabela 2. Índice de Concordância entre juízes para os itens envolvendo habilidades acadêmicas especificas.

 

 

Na Tabela 2, podem ser observados os dados referentes à área de habilidades acadêmicas especificas, cuja definição diz respeito ao domínio e destaque em alguma área específica de conhecimento (Pfeiifer & Jarosewich, 2003). Dos nove itens que compõem essa área, seis apresentaram índices de concordância superiores a 80%, dois apresentando concordância substancial e um com concordância regular (33,3%), o qual nos traz evidências da necessidade de reformulação do item ou mudança de categoria. Interessantemente, faz-se notar que o item com menor concordância, item 2 “Mostra bom desempenho nas provas e tarefas escolares” foi avaliado por três juízes como pertencente à área de capacidade intelectual geral, na qual obteve concordância de 66,66%, de modo que o mesmo deverá ser reformulado ou realocado na área em que a concordância maior se fez presente. Uma nova sugestão de redação aponta para a complementação da frase, inserindo-se a expressão “em alguma área específica”.

A Tabela 3 apresenta os resultados da análise das áreas de liderança e na Tabela 4 os dados de criatividade. A primeira delas foi definida como a capacidade do indivíduo em se destacar dentre os colegas de classe, de liderar e tomar decisões, bem como influenciar os demais ao seu redor (Pfeiffer & Blei, 2008).

 

Tabela 3. Índice de Concordância entre juízes para os itens envolvendo Liderança.

 

 

Nessa área foram encontrados índices de concordância quase perfeita em quatro dos oito itens que a compõem (100%), índice de concordância moderada em dois itens (66,66%) e um item com concordância regular (33,33%). O item cuja concordância foi mais baixa, item 3, traz como conteúdo a capacidade de reconhecer e respeitar os sentimentos alheios, tendo sido classificado por dois juízes como pertencente à capacidade intelectual geral, por outros dois como criatividade e por outros dois juízes como liderança. Tal constatação reforça a necessidade de sua reformulação ou retirada do instrumento.

 

Tabela 4. Índice de Concordância entre juízes para os itens envolvendo Criatividade.

 

 

Por sua vez, a área da Criatividade, de acordo com a definição encontrada no instrumento, relaciona-se com formas originais e diferentes de lidar com os problemas e situações, presença de flexibilidade de pensamento, grande número de ideias, imaginação e curiosidade (Pfeiffer & Jarosewich, 2003). Nela é notável a concordância entre os avaliadores, tendo todos os itens obtido índices de concordância quase perfeita (acima de 80%). Finalmente, apresenta-se na Tabela 5, os resultados da concordância de juízes para a área de talento artístico.

 

Tabela 5. Índice de Concordância entre juízes para os itens envolvendo Talento Artístico.

 

 

Nota-se que a área do Talento Artístico, que compreende aos interesses e talentos em áreas como música, dança, arte, teatro, desenho e pintura, também apresentou, em sua maioria, índices de concordância quase perfeita na maioria de seus itens (acima de 80%), o que demonstra bom enquadramento dessa área no instrumento. No entanto, vale ressaltar que dois itens apresentaram concordância moderada. O item 2, o qual se refere a facilidade de explorar materiais diferentes (imagens, estórias, música, pintura, colagem, etc.), por exemplo, foi interpretado erroneamente como pertencente à área da Criatividade, por 50 % dos avaliadores. Essa interpretação inadequada pode ser justificada pelo fato de a criatividade ter sido, durante muito tempo, exclusivamente relacionada a área artística, conforme apontamento da literatura (Lubart, 2007; Wechsler, 2008). Da mesma forma, o item 7 o qual refere-se à capacidade de divertir-se lendo ou interpretando textos, também teve sua interpretação inadequada por 33,4% dos avaliadores, tendo sido avaliado como pertencente à área das Habilidades acadêmicas específicas. Assim, faz-se necessária uma modificação desses dois itens para melhor adequá-los.

De um modo geral, os resultados apontam a adequação da escala às áreas que ela pretende avaliar. A maior parte dos itens foi classificada de modo adequado pelos juízes, alcançando índices de concordância considerados satisfatórios (71,4% dos itens que compõem o instrumento). Doze itens apresentaram menores índices de concordância entre os juízes, sendo 9 de magnitude moderada (quatro da área da capacidade intelectual geral, dois da habilidade acadêmica específica, dois de liderança e dois de talento artístico), os quais podem ser reformulados ou realocados em outras áreas caso a concordância dos juízes tenha ocorrido, de forma consensual, em área diferente aquela originalmente pensada. Somente dois itens apresentaram problemas mais graves relacionados à concordância regular (abaixo de 40%, sendo um da área da habilidade intelectual geral e um de liderança), os quais devem ser reformulados ou excluídos da versão final do instrumento. Chama a atenção o fato de que a área da criatividade foi a única que alcançou concordância alta em todos os seus itens. Talvez este resultado se deva ao fato de que o grupo de pesquisa tem se envolvido há bastante tempo na investigação desse construto, assim como boa parte dos juízes encontra-se trabalhando diretamente com a temática.

Tomando-se os resultados encontrados, torna-se preciso avaliar se os baixos indíces de concordância dos juízes em alguns itens refere-se a dificuldades no conteúdo do item em si ou ao domínio dos juízes nessa temática. Considerando-se que todos os juízes foram selecionados tendo-se como critério a experiência ou formação na área de avaliação psicológica, tal requisito, por si só, não garante que esses juízes serão bons em avaliar um intrumento de uma temática que eles podem nunca ter tido contato ou possuir pouco conhecimento. Nesse sentido, convém esclarecer que todos possuem conhecimento, ainda que superficial, sobre as altas habilidades/superdotação dado o fato da orientadora do grupo de pesquisa estudar a temática. Ao longo das reuniões de grupo, o tema foi abordado em diferentes momentos, marcados por discussões teóricas. Desse modo, os juizes não eram totalmente leigos no assunto. Salienta-se ainda que um dos juizes encontrava-se estudando diretamente a temática em seu mestrado.

Uma segunda análise do cruzamento entre as classificações de cada juiz e as cinco áreas avaliadas é apresentada, com os respectivos coeficientes kappa. Para tanto, cada classificação efetuada pelos juízes foi comparada com um “juiz ideal”, o qual representava a classificação originalmente pensada para cada item. Para uma análise qualitativa, considerou-se que valores de Kappa acima de 0,75 indicariam uma concordância excelente; entre 0,40 e 0,75, uma concordância satisfatória; e abaixo de 0,40, uma concordância insatisfatória, recomendados por Fleiss (1981). Dessa forma, a análise de cada juiz foi realizada considerando-se o número de itens classificados em cada uma das cinco áreas e sua respectiva porcentagem, cujos dados são fornecidos na Tabela 6.

 

Tabela 6 – Estatística kappa para a avaliação dos juízes por área de desenvolvimento.

 

 

A partir da Tabela 6, nota-se que, dos seis juízes, quatro apresentaram índice de concordância considerado excelente, ou seja, acima de 0,75. Dois outros juízes apresentaram concordância satisfatória. É possível observar uma tendência dos juízes em classificar mais itens na área de criatividade (n=61) e menos na área de liderança (n=48) embora a diferença entre as áreas seja pequena. Conforme apontado anteriormente, o maior conhecimento dos juízes sobre o primeiro construto pode ter influenciado tal resultado.

Ao se analisar a área em que cada juiz apresentou maior índice de concordância, é interessante observar grande oscilação, ainda que se possa destacar a criatividade e talento artístico, nas quais três juízes apresentaram 100% de acertos. As demais áreas (capacidade intelectual, habilidades acadêmicas específicas e liderança), por outro lado, somente apresentaram-se como aquela que obteve maior porcentagem de concordância para um único juiz. Por outro lado, tomando-se os menores índices de concordância pode-se verificar que as maiores discordâncias ocorrem nas áreas de capacidade intelectual geral e liderança (sendo aquela em que dois juízes que apresentaram menor porcentagem de acertos), podendo-se citar ainda a área de habilidades acadêmicas especificas (de menor concordância para um juiz).

Por fim, ao se analisar a intensidade de concordância para cada área que compõe a Escala de avaliação das altas habilidades – versão professor, pode-se visualizar que na área de capacidade intelectual geral a variância de porcentagem de acertos dos juízes foi entre 50% a 100%, na de habilidades acadêmicas especificas entre 55,5% a 88,8%, liderança entre 62,5% a 100%, criatividade de 75% a 100% e talento artístico de 66,6% a 100%. Esses dados permitem inferir que, para os juízes analisados, pareceu ser mais fácil identificar itens da área de criatividade e mais difícil os itens pertencentes à área de habilidades acadêmicas específicas. Possíveis hipóteses explicativas para a maior facilidade nos itens da criatividade amparam-se no fato de que os alunos que atuaram como juízes já terem frequentado disciplinas sobre o tema no curso de pós-graduação, aliado a uma possível definição mais clara no instrumento, de modo a tornar a tarefa do avaliador mais precisa. Do modo inverso a área de habilidades acadêmicas específicas pode não estar claramente explicada, de maneira que os juízes tendem a atribuir menos itens a essa área, diminuindo as chances de concordância. Idealmente, trabalha-se com a possibilidade de que a seleção de juízes que fossem experts na temática das altas habilidades/superdotação poderia melhorar os índices aqui relatados. Entretanto, dada a dificuldade em se encontrar pesquisadores diretamente envolvidos na temática, assim como os resultados encontrados, em sua maior parte satisfatórios, considera-se que os objetivos de busca por evidências de validade da escala proposta puderam ser alcançados.

 

Considerações finais

De um modo geral, os resultados demonstraram a adequação dos itens da escala, tendo a maioria deles apresentado índices de concordância considerada quase perfeita.Apenas quatro itens apresentaram concordância igual ou inferior a 50%, sugerindo a necessidade de reformulações. Novos estudos, ampliando-se o número de juízes envolvidos (sendo recomendada a utilização de juízes que trabalham com a temática ou estudantes do assunto) ou nova análise após reformulações dos itens serão realizadas, bem como estudos que visem a busca por evidências de validade e precisão para a população brasileira, de modo que o instrumento possa atender aos requisitos do Conselho Federal de Psicologia e, consequentemente, ser disponibilizado para uso profissional. De modo semelhante, outro ponto a ser considerado como limitação dos resultados, refere-se à descrição fornecida aos juízes para a classificação dos itens. É possível que estas não tenham sido suficientes para que os juízes classificassem corretamente alguns dos itens, como hipótese levantada anteriormente. Tal fato deve ser considerado antes que novos estudos sejam conduzidos com o instrumental, visando-se a revisão de seus itens e nova análise dos dados.

O instrumento apresentado não tem a pretensão de ser utilizado como único critério para a identificação da superdotação, e sim constituir-se em uma ferramenta auxiliar e complementar a outros recursos aos testes, tal como já vem sendo utilizada em outros países. Sua importância ampara-se na constatação de que a identificação dos indivíduos portadores de altas habilidades / superdotação permite não só o conhecimento de suas habilidades e de suas necessidades específicas, mas também embasa a tomada de decisões educacionais, a fim de otimizar seu desenvolvimento. Como limitação pode ser apontado o fato de que o mesmo se constitui em um primeiro estudo exploratório do instrumental, mostrando-se necessária a condução de outros estudos visando a obtenção de outros tipos de evidências de validade.

Nesse processo de identificação, sem dúvida, os pais e professores apresentam-se como aqueles que possuem maior proximidade e afinidade com os alunos, de modo a constituírem-se em fonte importante de consulta (Cohen et al., 2000), a qual não é considerada quando se faz uso exclusivo de testes objetivos. Nesse sentido o estudo aqui relatado adquire valor ao permitir a identificação de pontos fortes e fracos do instrumento que está sendo desenvolvido, de maneira que os resultados possam auxiliar em um processo de adequação antes de que o mesmo comece a ser aplicado na amostra de validação. Uma sugestão de pesquisa futura que pode ser citada envolve a replicação do estudo aqui apresentado, utilizando-se a avaliação de juízes especialistas na temática, cujos resultados poderão incrementar as evidencias positivas já obtidas.

 

Referências

Alencar, E. M. L. S. (2001). Criatividade e Educação de Superdotado. Petrópolis: Vozes.         [ Links ]

Alexandre, N. M. C., & Coluci, M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência e Saúde Coletiva, 16(7), 3061-3068. doi: 10.1590/S1413-81232011000800006.         [ Links ]

Azevedo, S. M. L., & Mettrau, M. B. (2010). Altas habilidades/superdotação: mitos e dilemas docentes na indicação para o atendimento. Psicologia Ciência e Profissão, 30(1), 32-45. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1414-98932010000100004&lng=pt&tlng=pt        [ Links ]

Bock, K.M.B, & Ruyter, D.J. (2011). Five values of giftedness. Roeper Review, 33, 198-207. Disponível em http://eric.ed.gov/?id=EJ929318.         [ Links ]

Bracken, B. A., & Brown, E. F. (2006). Behavioral identification and assessment of gifted and talented students. Journal of Psychological Assessment, 24(2), 112-122. doi: 10.1177/0734282905285246.         [ Links ]

Brasil. (2010). Secretaria de Educação Especial - MEC. Políticas Públicas para Alta Habilidade/ Superdotação. Disponível em: http://www.senado.gov.br/comissoes/CE/AP/AP20080626_superdotados_CláudiaGriboski.pdf.

Carman, C. A. (2013). Comparing apples and oranges: fifteen years of definitions of giftedness in research. Journal of Advanced Academics, 24(1), 52-70. doi: 10.1177/1932202X12472602.         [ Links ]

Chagas, J. F. (2007). Conceituação e fatores individuais, familiares e culturais relacionados à altas habilidades. In D. S. Fleith & E. M. L. S. Alencar (Eds.), Desenvolvimento de talentos e altas habilidades: Orientação a pais e professores (pp. 15-24). Porto Alegre: Artmed.         [ Links ]

Cohen, L. M., Ambrose, D., & Powell, W. N. (2000). Conceptual foundations and theoretical lenses for the diversity of giftedness and talent. In K. A. Heller, F.J. Mönks, R. Subotnik, & R. J. Sternberg (Eds.), International handbook of research and development of giftedness and talent (pp.331-344). Oxford, England: Pergamon.         [ Links ]

Conselho Federal de Psicologia (2003). Resolução 02/2003. Disponível em www.pol.org.br.         [ Links ]

Dai, D. Y., Swanson, A., & Cheng, H. (2011). State of research on giftedness and gifted education: a survey of empirical studies published during 1998-2010 (April). GiftedChild Quarterly, 55(2), 126-138. doi: 10.1177/0016986210397831        [ Links ]

Elliott, S. N., & Argulewicz, E. N. (1983). Use of a behavior rating scale to aid in the identification of developmentally and culturally different gifted children. Journal of Psychoeducational Assessment, 1, 179-186. doi: 10.1177/073428298300100209.         [ Links ]

Feldman, D. H. (2000). The development of creativity. In R.J. Sternberg (Ed.), Handbook of creativity (pp. 169-189). Cambridge: Cambridge University Press.         [ Links ]

Fleiss, J. L. (1981). The measurement of interater agreement. In J.L. Fleiss (Org.), Statistical methods for rates and proportions. 2. ed. (pp. 212-236). New York: John Wiley & Sons Inc.         [ Links ]

Gagné, F. (2005). From gifted to talents: the DMGT as a developmental model. In R. J. Sternberg & J. E. Davidson (Eds.), Conceptions of Giftdeness. 2 ed. (pp. 98-120). New York: Cambridge University Press.         [ Links ]

Gardner, H. (1983). Frames of mind. New York: Basic Books.         [ Links ]

Gardner, H. (1995). Inteligências múltiplas: a teoria na prática. Porto Alegre: Artmed.         [ Links ]

Guenther, Z. C. (2000). Desenvolver capacidade e talentos: um conceito de inclusão. Petrópolis: Vozes.         [ Links ]

Guenther, Z. C. (2012). Quem são os alunos dotados? Reconhecer dotação e talento na escola. In L. C. Moreira & T. Stoltz (Eds.), Altas Habilidades/Superdotação Talento, Dotação e Educação (pp. 63-83). Curitiba: Juruá         [ Links ].

Guimarães, T. G. & Ourofino, V. T. A. T. (2007). Estratégias de identificação do Aluno com Altas Habilidades/Superdotação. In D. S. Fleith (Ed.), A construção de práticas educacionais para alunos com altas habilidades/superdotação: orientação a professores (pp. 53-65). Brasília: Ministério da Educação, Secretaria de Educação Especial.         [ Links ]

Heller, K. A. (2013). Findings from Munich longitudinal study of giftedness and their impact on identification, gifted education and counseling. Talent Development & Excellence, 5(1), 51-64. Disponível em: http://connection.ebscohost.com/c/articles/90616009/findings-from-munich-longitudinal-study-giftedness-their-impact-identification-gifted-education-counseling.         [ Links ]

Jarosewich, T., Pfeiffer, S. I., & Morris, J. (2002). Identifying gifted students using teacher rating scales: A review of existing instruments. Journal of Psychoeducational Assessment, 20, 322-336, doi: 10.1177/073428290202000401.         [ Links ]

Kaufman, S. B., & Sternberg, R. J. (2008). Conceptions of giftedness. In S. Pfeiffer (Ed.), Handbook of giftedness in children: Psycho-Educational theory, research and best practices (pp. 71-91). New York: Springer.         [ Links ]

Lamounier, R., & Villemor-Amaral, A. E. (2006). Evidencias de validez para el Rorschach en el contexto de la psicología de tránsito. Interamerican Journal of Psychology, 40 (2), 167-176. Disponível em: http://www.redalyc.org/articulo.oa?id=28440204.         [ Links ]

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-74. doi: 10.2307/2529310.         [ Links ]

Lee, D., & Pfeiffer, S. I. (2006). The reliability and validity of a korean-translated version of the Gifted Rating Scales. Journal of Psychoeducational Assessment, 24, 210-224. doi: 10.1177/0734282906287829.         [ Links ]

Li, H., Lee, D., Pfeiffer, S. I., Kamata, A., Kumtepe, A. T., & Rosado, J. (2009). Measurement invariance of the Gifted Rating Scales – school form across five cultural groups. School Psychology Quaterly, 4(3), 186-198. Disponível em: http://www.academia.edu/2333726/Measurement_Invariance_of_the_Gifted_Rating_Scales_School_Form_Across_Five_Cultural_Groups.

Li, H., Lee, D., Pfeiffer, S. I., & Petscher, Y. (2008). Parent Ratings Using the Chinese Version of the Parent Gifted Rating Scales School Form Reliability and Validity for Chinese Students. Educational and Psychological Measurement, 68, 659-675. doi: 10.1177/0013164407313365.         [ Links ]

Lubart, T. ( 2007). Psicologia da Criatividade. Porto Alegre, Artmed.         [ Links ]

Margulies, A. S., & Floyd, R. G. (2004). Book review: Gifted Rating Scales (GRS). Journal of Psychoeducational Assessment, 22, 275-282. doi: 10.1177/073428290402200306.         [ Links ]

Mendes, E. G., Nunes, L. R. O. P., & Ferreira, J. R. (2002). Diagnóstico e caracterização de indivíduos com necessidades educacionais especiais: produção cientifica nacional entre 1981 e 1998. Temas em Psicologia, 10(1), 11-25. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1413-389X2002000100002&lng=pt&nrm=iso.         [ Links ]

Miller, E. M. & Cohen, L. M. (2012). Engendering talent in others: expanding domains of giftedness and creativity. Roeper Review, 34, 104-113. Disponível em: http://eric.ed.gov/?id=EJ960267.         [ Links ]

Miura, C. T. P., Gallani, M. C. B. J., Domingues, G. B. L., Rodrigues, R. C. M., & Stoller, J. K. (2010). Adaptação cultural e análise da confiabilidade do instrumento Modified Dyspnea Índex para a cultura brasileira. Revista Latino-Americana de Enfermagem, 18 (5), 1-11. doi: 10.1590/S0104-11692010000500025.         [ Links ]

Negrini, T., & Freitas, S. N. (2008). A identificação e a inclusão de alunos com características de altas habilidades/superdotação: discussões pertinentes. Revista Educação Especial (Santa Maria), 32, 273-284. doi: 10.5902/1984686X.         [ Links ]

Perroca, M. G., & Gaidzinski, R. R. (2003). Avaliando a confiabilidade interavaliadores de um instrumento para classificação de pacientes: coeficiente Kappa. Revista Escola de Enfermagem USP, 37 (1), 72-80. doi: 10.1590/S0080-62342003000100009.         [ Links ]

Petscher, Y., & Li, H. (2008). Measurement Invariance of the Chinese Gifted Rating Scales: Teacher and parent forms. Journal of Psychoeducational Assessment, 26, 274-286. doi: 10.1177/0734282907303873.         [ Links ]

Pfeiffer, S., & Blei, S. (2008). Gifted identification beyond the IQ test: rating scales and other assessment procedures. In S. Pfeiffer (Ed.), Handbook of giftedness in children: Psychoeducational theory, research and best practices (pp. 177-198). New York: Springer.         [ Links ]

Pfeiffer, S., & Jarosewich, T. (2003). Gifted Rating Scales – Manual. San Antonio/TX: Pearson.

Pocinho, M. (2009). Superdotação: conceitos e modelos de diagnóstico e intervenção psicoeducativa. Revista Brasileira de Educação Especial, 15(1), 3-14. doi : 10.1590/S1413-65382009000100002.         [ Links ]

Renzulli, J. S. (2004). O que é esta coisa chamada superdotação, e como a desenvolvemos? uma retrospectiva de vinte e cinco anos. Revista Educação, 27(1), 1-21. Disponível em: http://revistaseletronicas.pucrs.br/ojs/index.php/faced/article/view/375.         [ Links ]

Renzulli, J. S. (2008). La educación del sobredotado y el desarrollo del talento para todos. Revista de Psicologia (Lima), 26(1), 25-44. Disponível em: http://revistas.pucp.edu.pe/index.php/psicologia/article/view/1120.         [ Links ]

Renzulli, J. S. (2011). What makes giftedness? Reexamining a definition. Kappan, 92(8), 81-88. doi: 10.1177/003172171109200821.         [ Links ]

Ribeiro, W.J., & Nakano, T.C. (2013). Altas habilidades / superdotação: produção científica brasileira. Manuscrito não publicado.         [ Links ]

Robinson, A., & Clinkenbeard, P. R. (2008). History of giftedness: Perspectives from the past presage modern scholarship. In S. Pfeiffer (Ed.), Handbook of giftedness in children: Psycho-Educational theory, research and best practices (pp. 13-31). New York: Springer.         [ Links ]

Siu, A. F. Y. (2009). The reliability and validity of a Chinese-translated version of the Gifted Rating Scales–Preschool/Kindergarten Form. Journal of Psychoeducational Assessment, 20(10), 2-10. doi: 10.1177/0016986208315802.

Sternberg, R. J. (2005) The WICS model of giftdness. In R. J. Sternberg & J. E. Davidson (Eds.). Conceptions of Giftdeness (pp. 243-327). New York: Cambridge University Press.         [ Links ]

Viana, H. B., & Madruga, V. A. (2008). Diretrizes para adaptação cultural de escalas psicométricas. Revista Digital – Buenos Aires, 12(116). Disponível em: http://www.efdeportes.com/efd116/adaptacao-cultural-de-escalas-psicometricas.htm.

Villemor-Amaral, A. E., & Xavier, M. F. (2007). Avaliação da relação com a figura materna no CAT-A. Psic: revista da Vetor Editora, 8(2), 195-203. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1676-73142007000200010&lng=pt&tlng=pt.         [ Links ]

Virgolim, A. M. R. (2007). Altas habilidades/superdotação: encorajando potenciais. Brasília: Ministério da Educação, Secretaria de Educação Especial.         [ Links ]

Wechsler, S.M. (2008). Criatividade: descobrindo e encorajando. Campinas: Lamp / Impressão Digital do Brasil.         [ Links ]

Ziegler, A., Stoeger, H., & Vialle, W. (2012). Gifteness and gifted education: the need for a paradigm change. Gifted Child Quarterly, 56, 194-197. doi: 10.1177/0016986212456070        [ Links ]

 

 

 

Endereço para correspondência
Tatiana de Cassia Nakano
e-mail: tatiananakano@hotmail.com

Endereço para correspondência
Carolina Rosa Campos
e-mail: carolene_crc@hotmail.com

Endereço para correspondência
Maristela Volpe dos Santos
e-mail: maristela.volpe@gmail.com

 

Recebido em: 11/11/2015
Revisado em: 06/04/2016
Aceito em: 29/04/2016

 

 

ⁱDocente do curso de Pós-Graduação strictu sensu em Psicologia pela Pontifícia Universidade Católica de Campinas. Trabalha na linha de Avaliação e medidas psicológicas.

ⁱⁱDoutoranda, mestre e psicóloga pela Pontifícia Universidade Católica de Campinas. Trabalha na linha de Avaliação e medidas psicológicas e recebe financiamento de pesquisa da CAPES.

ⁱⁱⁱMestre pela Pontifícia Universidade Católica de Campinas, com pesquisa financiada pelo CNPq.