SciELO - Scientific Electronic Library Online

 
vol.24 número1Representações sociais do rejuvenescimento na mídia impressaA importância da família na clínica infantil: um ensaio teórico-clínico índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Temas em Psicologia

versão impressa ISSN 1413-389X

Temas psicol. vol.24 no.1 Ribeirão Preto mar. 2016

http://dx.doi.org/10.9788/TP2016.1-09 

ARTIGOS

 

Considerações sobre a formação e a prática em avaliação psicológica no Brasil

 

Considerations about the training and practice in psychological assessment in Brazil

 

Consideraciones a cerca de la formación y la práctica de la evaluación psicológica en Brasil

 

 

Juliane Callegaro Borsa

Departamento de Psicologia da Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, RJ, Brasil

Endereço para correspondência

 

 


RESUMO

O objetivo deste artigo teórico é discutir a prática e a formação em avaliação psicológica no contexto brasileiro. Para tanto, serão apresentadas as resoluções e documentos normativos do Conselho Federal de Psicologia, bem como artigos teóricos e empíricos de referência na área e que contextualizam o cenário atual da avaliação psicológica no Brasil, suas particularidades e principais dificuldades. Especificamente, será discutido o papel das instituições de ensino superior para a formação de psicólogos devidamente capacitados para atuação na avaliação psicológica nos seus diferentes campos de inserção. Aponta-se para a necessidade de uma reflexão quanto ao ensino de avaliação psicológica nos cursos de graduação em Psicologia, os quais ainda apresentam carga horária insuficiente e recursos materiais e humanos incipientes. Entende-se que a formação básica e continuada é a principal forma de minimizar o preconceito pertinente à área e, que de certo modo, está atrelado aos problemas éticos e técnicos ainda presentes na prática da avaliação psicológica no contexto brasileiro atual.

Palavras-chave: Avaliação psicológica, formação do psicólogo, testes psicológicos.


ABSTRACT

The aim of this article is to discuss the practice and training of psychological assessment in the Brazilian context. Resolutions and normative documents from the Brazilian Federal Council of Psychology as well as theoretical and empirical reference articles discussing the main difficulties and particularities of psychological assessment in Brazil are presented. Specifically, the article highlights the role of Brazilian higher education institutions on the proper training for psychologists and their ability to conduct a psychological assessment in different contexts. It points toward a necessity to reflect upon the teachings of psychological assessment in undergraduate psychology courses, which still lack sufficient academic time loads, materials and experienced professors. It is understood that basic training and ongoing education are the principal ways to minimize the prejudice in this area and those related to the ethical and technical problems still present in the practice of psychological assessment within the current Brazilian context.

Keywords: Psychological assessment, training of psychologists, psychological tests.


RESUMEN

El objetivo de este artículo es discutir la práctica y la formación de la evaluación psicológica en el contexto brasileño. Para ello, presentamos las resoluciones y documentos normativos del consejo federal de psicología, así como trabajos de referencia en el área, tanto teóricos como empíricos, los cuales contextualizan el actual escenario de la evaluación psicológica en Brasil, sus particularidades y principales dificultades. Específicamente, se analizará el papel de las instituciones de educación superior para la formación adecuada de los psicólogos en la práctica de la evaluación psicológica en sus diferentes ámbitos de inserción. Se apunta a la necesidad de una reflexión en lo que compete a la educación sobre la evaluación psicológica en las carreras de grado en Psicología, las cuales todavía presentan una carga horaria insuficiente, y recursos materiales y humanos escasos. Se entiende que el grado básico y la educación continua son las principales formas de reducir el preconcepto en el área y que de alguna manera se relacionan con los problemas de ética y técnica aún presentes en la práctica de la evaluación psicológica en el contexto brasileño actual.

Palabras clave: Evaluación psicológica, formación profesional del psicólogo, test psicológicos.


 

 

A avaliação psicológica é definida pelo Conselho Federal de Psicologia (CFP) como o processo técnico-científico de coleta de dados, estudos e interpretação de informações a respeito dos fenômenos psicológicos, que são resultantes da relação do indivíduo com a sociedade (CFP, 2003a). Segundo Urbina (2007), a avaliação psicológica é um processo flexível que tem por objetivo chegar a uma conclusão a respeito de uma ou mais questões psicológicas por meio da coleta, da avaliação e da análise de dados apropriados ao objetivo em questão. Por meio da avaliação psicológica, é possível investigar, descrever e/ou mensurar características e processos psicológicos, como emoção, afeto, cognição, inteligência, motivação, personalidade, atenção, memória, percepção, entre outros (CFP, 2003b). A avaliação psicológica é uma das áreas mais antigas da Psicologia (Anastasi & Urbina, 2000) e uma prática exclusiva do psicólogo, contribuindo para sua inserção nos mais diversos contextos de atuação profissional (Löhr, 2011).

A avaliação psicológica diferencia-se da testagem psicológica, embora muitas vezes estas práticas sejam confundidas ou até compreendidas como sinônimos. Embora o uso de testes psicológicos seja uma importante fonte de coleta de informações no âmbito da avaliação psicológica, esta é um processo mais amplo e, sobretudo, mais complexo. Enquanto a primeira envolve a integração de informações oriundas de diferentes fontes (testes, entrevistas, observações, entre outras), a testagem psicológica pode ser considerada uma etapa da avaliação psicológica em que a principal fonte de informação são os testes psicológicos de diferentes tipos (CFP, 2013b; Primi, Nascimento, & Souza, 2004). A avaliação psicológica configura-se, assim, como um complexo processo de análise que exige do psicólogo um grande preparo técnico e um aprofundado conhecimento teórico que extrapola o conhecimento presente nos manuais dos testes psicológicos. Segundo a Resolução do CFP, nº 07/2003, os resultados das avaliações devem considerar a influência do contexto e seus efeitos no psiquismo, devendo servir como instrumentos para atuar não somente sobre o indivíduo, mas na modificação dos condicionantes históricos e sociais (CFP, 2003a).

No Brasil, a avaliação psicológica vem sendo cada vez mais reconhecida e respeitada como uma importante área da Psicologia (Ambiel, 2011). No entanto, apesar dos inquestionáveis avanços, os problemas concernentes à sua prática ainda são uma realidade (Noronha, 2002; Noronha & Reppold, 2010). Esses problemas referem-se, em grande parte, à formação desqualificada e, consequentemente, ao despreparo técnico e teórico dos psicólogos que atuam na área.

O presente artigo tem por objetivo apresentar reflexões sobre a prática e a formação em avaliação psicológica nos cursos de graduação em Psicologia no Brasil. Entende-se como relevante apresentar tais questões em um periódico não específico de avaliação psicológica, que conta com leitores de diferentes áreas da Psicologia e que poderão compreender a importância da formação qualificada em avaliação psicológica como um direito de todos os psicólogos brasileiros.

 

A Avaliação Psicológica no Brasil

Ao longo das décadas, psicólogos, profissionais de outras áreas e a sociedade em geral vem identificando uma série de problemas na prática da avaliação psicológica no contexto brasileiro. Estes problemas envolvem desde falhas na postura ética e na qualificação técnica dos profissionais até a escassez de instrumentos psicológicos de qualidade e apropriados para uso nos contextos específicos de aplicação (CFP, 2011; Frizzo, 2004; Noronha, 2002). Com o objetivo de mudar essa realidade, o CFP vem tomando importantes medidas para qualificar esta prática (Noronha & Reppold, 2010).

A Resolução 002/2003 (CFP, 2003b), que define e regulamenta o uso, a elaboração e a comercialização de testes psicológicos e revoga a Resolução CFP nº 025/2001 foi, sem dúvida, uma importante contribuição para a área da avaliação psicológica no Brasil. Outro importante documento foi a Resolução nº 007/2003, que institui o Manual de Elaboração de Documentos Escritos produzidos pelo psicólogo, decorrentes de avaliação psicológica, e revoga a Resolução nº 017/2002. O primeiro documento apresenta importantes orientações sobre os requisitos mínimos necessários para atestar a qualidade dos testes psicológicos. Já o segundo, tem como objetivo orientar os psicólogos na elaboração de documentos decorrentes das avaliações psicológicas, fornecendo orientações sobre os aspectos éticos e técnicos necessários (CFP, 2003a).

Além destas resoluções, muitos outros avanços aconteceram na área como, por exemplo, a elaboração de orientações sobre a prática da avaliação psicológica em diferentes contextos e para diferentes finalidades. Como exemplo, cita-se a Resolução nº 018/2008, que dispõe acerca do trabalho do psicólogo na avaliação psicológica para concessão de registro e/ou porte de arma de fogo, a Resolução nº 016/2002, que dispõe acerca do trabalho do psicólogo na avaliação psicológica de candidatos à Carteira Nacional de Habilitação e condutores de veículos automotores e a Resolução nº 001/2002, que regulamenta a avaliação psicológica em concurso público e processos seletivos da mesma natureza, entre outras (CFP, 2011).

Outro importante avanço, decorrente da Resolução 002/2003 (CFP, 2003b), foi a criação, no ano de 2003, do Sistema de Avaliação de Testes Psicológicos (Satepsi). O Satepsi é o sistema do CFP responsável pela elaboração de critérios de qualidade para que os testes psicológicos possam ser comercializados e utilizados por psicólogos no contexto brasileiro (CFP, 2014). A página destinada ao Satepsi (http://satepsi.cfp.org.br/) apresenta a lista dos testes psicológicos com pareceres favoráveis e desfavoráveis para uso. Tais pareceres são emitidos pela Comissão Consultiva em Avaliação Psicológica, a qual é formada por pesquisadores e conselheiros com experiência e produção científica na área da avaliação psicológica. Em sua apreciação, a Comissão Consultiva considera se os testes psicológicos possuem, pelo menos, um conjunto mínimo de estudos que atesta sua qualidade, com base nos critérios definidos na Resolução 002/2003 (CFP, 2010).

O site do Satepsi disponibiliza, também, as resoluções e as principais publicações do CFP sobre a prática avaliação psicológica. No site é possível consultar, ainda, os instrumentos avaliados e que não foram considerados testes psicológicos e os instrumentos que foram considerados testes psicológicos tendo, portanto, seu uso privativo aos psicólogos (CFP, 2014). Tais informações são de acesso livre e estão disponíveis para psicólogos e para a comunidade em geral (CFP, 2014).

Preocupado com a qualidade técnica e científica dos profissionais que trabalham com avaliação psicológica, o CFP lançou, em 2010, o documento intitulado Avaliação Psicológica: Diretrizes na Regulamentação da Profissão (CFP, 2010). Este documento reforça o compromisso do CFP com a prática da avaliação psicológica no Brasil e salienta a necessidade de assegurar o respeito e garantir o comprometimento desta prática com os direitos humanos. Além disso, com o objetivo de discutir sobre a qualificação da área da avaliação psicológica, o CFP por meio da Assembleia das Políticas, da Administração e das Finanças (APAF), instância deliberativa do Sistema de Conselhos de Psicologia, instituiu o Ano Temático da Avaliação Psicológica, em 2011. Neste período, foram promovidas atividades nas sedes do CFP e de seus conselhos regionais, buscando refletir sobre diferentes questões pertinentes a essa temática, dando especial ênfase a questão dos direitos humanos no processo de avaliação psicológica e na devolução e uso de seus resultados (Ambiel, 2011; CFP, 2011). Essas atividades resultaram em um documento intitulado Relatório do Ano temático da Avaliação Psicológica (CFP, 2013a), disponível para acesso no site do CFP (http://site.cfp.org.br/publicacao/relatorio-do-ano-tematico-da-avaliacao-psicologica-20112012/).

No âmbito da pesquisa em avaliação psicológica, também tem-se observado um importante crescimento no número de publicações brasileiras sobre o tema (Hutz & Bandeira, 2003; Joly, Silva, Nunes, & Souza, 2007; Primi, 2010). Muito deste crescimento se deve ao surgimento e fortalecimento das linhas de pesquisa pertinentes à área da avaliação psicológica, vinculadas a importantes instituições de ensino. Apenas como exemplo, cita-se o Programa de Pós-Graduação Stricto Sensu da Universidade de São Francisco (CAPES 6), que tem como área de concentração a avaliação psicológica, além do Programa de Pós-Graduação em Psicologia da Universidade Federal do Rio Grande do Sul (CAPES 7), e do Programa de Pós-Graduação em Psicologia da Pontifícia Universidade Católica de Campinas (CAPES 5) que contam com linhas de pesquisa específicas sobre instrumentos e processos de avaliação psicológica e de onde derivam-se diversas dissertações e teses que tem como escopo a avaliação psicológica aplicada e seus fundamentos.

Importante referenciar, também, o empenho dos grupos de trabalho do Simpósio de Pesquisa e Intercâmbio Científico em Psicologia, promovido pela Associação Nacional de Pesquisa e Pós-Graduação em Psicologia (ANPEPP). Na edição de 2014, na cidade de Bento Gonçalves -RS, o encontro contou com cinco grupos de trabalho referentes à avaliação psicológica, quais sejam: Pesquisa em Avaliação Psicológica, Métodos Projetivos nos Contextos da Avaliação Psicológica, Avaliação Cognitiva e Neuropsicológica, Avaliação em Psicologia Positiva e Criatividade, Avaliação Psicológica: Personalidade e Psicopatologia. Esses grupos ilustram a complexidade da área de avaliação psicológica que, cada vez mais, amplia seu escopo de atuação e investigação, articulando-a com outras áreas de conhecimento científico (ANPEPP, 2014).

Dentre as principais instituições que vem trabalhando para a qualificação técnica e científica da avaliação psicológica, está o Instituto Brasileiro de Avaliação Psicológica (IBAP). Fundado em 1998, o IBAP tem como objetivo promover o desenvolvimento da área, divulgando o conhecimento, orientando os psicólogos e os membros da comunidade com interesses nos procedimentos de avaliação psicológica, incentivando e promovendo a formação de especialistas e pesquisadores (IBAP, 2014). Dentre ações promovidas pelo IBAP, duas merecem maior destaque: A primeira é a realização do Congresso Brasileiro de Avaliação Psicológica, evento bienal que em 2015 realizará sua sétima edição. A segunda é a publicação da Revista Avaliação Psicológica, criada em 2002 e publicada trimestralmente. Esta configura-se como um importante meio de divulgação da produção científica iberoamericana na área de avaliação psicológica publicando trabalhos originais, artigos de revisão da literatura, notas técnicas e comunicações breves de pesquisa e resenhas de livros importantes na área e notícias. Recentemente a revista passou a receber o nome de Interamerican Journal of Psychological Assessment, ampliando, assim, sua abrangência. Seus números vêm sendo publicados sem interrupção, desde 2002 e todos os artigos são de livre acesso, podendo ser consultados por meio do portal Periódicos Eletrônicos em Psicologia, no endereço http://pepsic.bvsalud.org/scielo.php?script=sci_serial&pid=1677-0471&lng=pt.

Outra importante associação atuante na área é a Associação Brasileira de Rorschach e Métodos Projetivos (ASBRo), fundada em 1993, e que tem por objetivo promover o desenvolvimento das técnicas projetivas e fomentar o aprimoramento técnico-científico dos psicólogos brasileiros nas técnicas projetivas, oferecendo cursos de formação e de aprimoramento profissional. A cada dois anos, a ASBRo realiza o Congresso da Associação Brasileira de Rorschach e Métodos Projetivos, ocasião em que acontece o intercâmbio entre psicólogos que pesquisam e utilizam as técnicas projetivas (ASBRo, 2014).

Como consequência do crescimento na área da avaliação psicológica observa-se, também, uma crescente oferta de testes psicológicos disponíveis no mercado. Esse efeito é natural e esperado, já que nenhum teste surge ao acaso, sendo necessários muitos anos de estudo para sua construção e validação. Em um levantamento realizado para este artigo, verificou-se que, em 2014 a lista contava com 153 testes psicológicos favoráveis para comercialização e uso (CFP, 2014).

Apesar dos avanços recentes na área, caracterizados pelo crescimento das pesquisas e publicações e pelo aumento do rigor sobre a qualidade dos testes psicológicos, a formação dos psicólogos que atuam em avaliação psicológica ainda apresenta importantes lacunas. As mudanças necessárias para a qualificação da prática da avaliação psicológica dependem, sobretudo, da qualidade da formação oferecida nos cursos de graduação em Psicologia. E quanto a este aspecto, ainda há um longo e árduo caminho a ser percorrido.

Chama a atenção, por exemplo, o fato de que a maioria das infrações éticas denunciadas ao CFP refere-se ao exercício equivocado da avaliação psicológica (Anache & Reppold, 2010). Muitas dessas infrações envolvem o uso de testes e técnicas psicológicas inadequadas ou não reconhecidas, a falta de qualidade destas ferramentas, a falta de orientações sobre encaminhamentos adequados ou a emissão de documentos sem fundamentação teórica (Anache & Reppold, 2010; Frizzo, 2004; Noronha, 2002). Essa realidade demonstra a necessidade de uma profunda revisão na qualidade do ensino da avaliação psicológica na graduação e aponta para a importância do aprimoramento e da formação continuada na área.

 

A Formação em Avaliação Psicológica no Brasil

A avaliação psicológica é um importante campo de estudo, ensino e atuação da Psicologia e deve ser realizada com base em teorias e estudos empíricos. Essa área deve ser parte obrigatória nos currículos dos cursos de Psicologia (CFP, 2010; Nunes et al., 2012). Atualmente, cresce a preocupação quanto à capacitação dos psicólogos que realizam a avaliação psicológica (Noronha, Carvalho, Miguel, Souza, & Santos, 2010; Reppold & Serafini, 2010). Como já referido, a avaliação psicológica é, por lei, uma prática exclusiva do profissional de Psicologia (CFP, 2011). Uma vez habilitado psicólogo, o profissional poderá realizar procedimentos de avaliação psicológica, sem haver a obrigatoriedade legal de qualquer treinamento, especialização ou qualificação adicional para além das disciplinas constantes nos currículos de graduação. No entanto, como aponta Noronha e Reppold (2010), esta reserva de mercado não garante que a avaliação psicológica seja realizada com rigor e competência.

Sabe-se que a formação em avaliação psicológica está distante da sua condição ideal e embora com importantes variações, as limitações estão presentes nos mais diversos cursos de graduação em Psicologia do Brasil. Dentre os problemas encontrados nos currículos, cita-se a carga horária reduzida, a falta de qualificação dos professores e a visão fragmentada, limitada e preconceituosa em relação à avaliação psicológica (Fonseca, 2011; Noronha & Reppold, 2010; Noronha, Oliveira, et al., 2002). Além disso, por muitos anos o ensino da avaliação psicológica ficou restrito ao ensino descontextualizado de testes, com ênfase na mera aplicação e correção (Alchieri & Bandeira, 2002) e com bibliografia desatualizada (Noronha & Alchieri, 2004). Esses problemas podem ser entendidos como resquícios de um período em que a carência de profissionais capacitados para a prática da avaliação psicológica, a falta de qualidade dos testes psicológicos e a proliferação de cursos de Psicologia no Brasil era um problema ainda mais intenso e frequente que nos dias de hoje (Hutz & Bandeira, 2003).

Em 1997, o CFP promoveu um importante fórum que teve por objetivo discutir diferentes problemas pertinentes à avaliação psicológica, dentre eles a deficiência do ensino e da formação na área. Salientou-se a necessidade de revisar, por exemplo, a formação do corpo docente e do conteúdo ensinado, de modo a proporcionar uma formação crítica e aprofundada do processo de avaliação (CFP, 1997). Em função destas dificuldades, pesquisadores se reuniram em 2002 durante o Simpósio da ANPEPP para discutir a situação da avaliação psicológica no país e, em conjunto com as diretorias do IBAP e a ASBRo, elaboraram o documento intitulado "Em Defesa da Avaliação Psicológica" (Noronha, Ziviani, et al., 2002) no qual sugeriram conteúdos que deveriam fazer parte dos currículos de formação do psicólogo brasileiro na área de avaliação psicológica, incluindo teoria das medidas, psicometria, avaliação da inteligência e da personalidade, entre outros.

Em 2012, pesquisadores da área publicaram um documento, em parceria com o IBAP, contendo as diretrizes para o ensino de avaliação psicológica (Nunes et al., 2012). O objetivo do documento foi apresentar às Instituições de Ensino Superior (IES) uma proposta de conteúdos desejáveis para as disciplinas de avaliação psicológica ao longo do curso de graduação em Psicologia. O documento subdivide-se em quatro partes. A primeira delas refere-se às competências mínimas a serem alcançadas na formação do aluno do curso de Psicologia na temática de avaliação psicológica. Segundo os autores, espera-se que, ao longo do processo de formação seja possível desenvolver 27 competências básicas, dentre elas: história da avaliação psicológica; legislação da avaliação psicológica; ética na avaliação psicológica; conhecimento sobre psicometria e fundamentos dos testes psicológicos; conhecimento sobre a prática da avaliação psicológica; impacto social da avaliação psicológica para os indivíduos; noções sobre fundamentos e aplicabilidade de diferentes instrumentos psicométricos e técnicas projetivas, entre outros (Nunes et al., 2012).

Na segunda parte, os autores apresentam propostas de disciplinas e conteúdos programáticos fundamentais na grade curricular dos cursos de graduação em Psicologia: (a) Avaliação Psicológica I (história, legislação, ética, fundamentos da avaliação psicológica, etc.); (b) Avaliação Psicológica II (teoria dos testes psicométricos, aplicação, correção, interpretação dos testes cognitivos, etc.). (c) Avaliação Psicológica III (instrumentos de autorrelato, aplicação, correção, interpretação dos testes cognitivos para avaliação afetiva e comportamental, etc.); (d) Avaliação Psicológica IV (fundamentos e aplicação, correção, interpretação dos testes projetivos e expressivos, etc.); (e) Avaliação Psicológica V (planejamento da avaliação psicológica, técnicas de entrevista, elaboração de documentos, etc.) e (f) Estágio Supervisionado em Avaliação Psicológica (aplicação prática dos conhecimentos por meio da condução do processo de avaliação psicológica; Nunes et al., 2012). Segundo os autores, tais conteúdos podem ser reorganizados de acordo com as especificidades de cada IES, respeitando as particularidades da grade curricular de cada curso.

A terceira parte trata da estrutura do ensino da avaliação psicológica, incluindo aspectos físicos (criação de locais específicos para armazenamento dos testes, criação de laboratórios de avaliação psicológica e investimento em livros atualizados), métodos de ensino (incluindo aulas expositivas e dialogadas, atividades práticas entre outros), formação docente (formação compatível, atualização contínua e experiência profissional na área). Os autores também apresentam algumas recomendações importantes como a necessidade de cuidado no armazenamento de testes e outros materiais privativos do psicólogo e a oferta de estágios supervisionados em diferentes contextos em que a avaliação psicológica se insere (Nunes et al., 2012). Por fim, a quarta parte do documento apresenta sugestões de referências bibliográficas para as disciplinas na área da avaliação psicológica, incluindo livros atualizados de autores nacionais e internacionais e as principais resoluções do CFP. O documento está disponível na integra no site do IBAP e pode ser acessado por meio do linkhttp://www.ibapnet.org.br/docs/ensino_de_avaliacao_psicologica.pdf.

Utilizando documentos internacionais de referência na área, Noronha et al. (2010) apresentaram critérios a serem considerados no processo de aprendizagem da avaliação psicológica, incluindo conteúdo, infraestrutura, métodos de ensino apropriados, possibilidades de avaliações informatizadas, validade clínica dos instrumentos psicológicos, entre outros. Do mesmo modo, a proposta recente de Nunes et al. (2012) apresenta importantes aspectos teóricos, científicos e técnicos fundamentais para o ensino da avaliação psicológica nos cursos de graduação.

A preocupação com as diretrizes para a formação em avaliação psicológica, no entanto, não é recente. Ainda na década de 90, algumas orientações básicas foram propostas por Jacquemin (1995) no que se refere à qualidade teórica e técnica dos instrumentos ensinados nas disciplinas dos cursos de graduação. Do mesmo modo, os diversos estudos conduzidos por Noronha e colaboradores são importantes materiais de consulta sobre o ensino e a formação em avaliação psicológica no Brasil (Noronha, 2002; Noronha & Alchieri, 2004; Noronha et al., 2010; Noronha, Oliveira, et al., 2002; Noronha & Reppold; 2010; Noronha, Ziviani, et al., 2002).

Considerando a exigência de uma formação generalista (Decreto-lei nº 53.464, 1964) e levando em conta a duração dos cursos de graduação em Psicologia, a oferta de um número consistente de disciplinas de avaliação psicológica nem sempre se apresenta como uma opção viável para as IES (Bandeira, 2011). Como aponta Noronha (2002), os cinco anos do curso de graduação em Psicologia, não preparam o aluno para a atuação em todas as áreas de conhecimento. É importante referir que, embora a avaliação psicológica seja uma prática garantida a todo psicólogo, nem todos os psicólogos estão habilitados para tal. A escolha por uma prática em detrimento de outras deve depender, sobretudo, das competências profissionais (Noronha & Reppold, 2010). Neste sentido, parece que a especialização se torna um recurso necessário, já que a carga horária oferecida nos cursos de Psicologia não é suficiente para oferecer todo o conhecimento teórico e prático necessário para uma atuação adequada em avaliação psicológica.

A especialização em avaliação psicológica vem sendo amplamente discutida na atualidade (Bandeira, 2011; Noronha & Reppold, 2010; Primi, 2010). Os debates são intensos e giram em torno de ser a avaliação psicológica uma atividade específica ou um conhecimento básico pertinente ao psicólogo. Por um lado, argumenta-se que a avaliação psicológica não corresponde a uma atividade profissional específica, mas um conhecimento que perpassa todas as atividades desenvolvidas pelo psicólogo nas mais diversas áreas (Primi, 2010). Por outro lado, argumenta-se que, dada a característica generalista dos cursos de graduação em Psicologia, somente a especialização em avaliação psicológica é capaz de proporcionar aos psicólogos o aprofundamento teórico e prático necessário para a adequada atuação na área (Bandeira, 2011).

As discussões sobre a especialização em avaliação psicológica são atuais e necessitam de maior reflexão e aprofundamento por parte de instituições, profissionais e pesquisadores. É necessário, por exemplo, discutir se o título de especialista habilitaria o psicólogo para toda e qualquer avaliação ou se seria necessário existir especialidades específicas para finalidades e contextos específicos. Também é importante discutir sobre a possibilidade de haver certificações para práticas específicas. Por exemplo, certificações para uso de escalas, para uso de testes projetivos, para avaliações clínicas, para avaliações em contexto de seleção de pessoal, para perícia no contexto jurídico, etc.

Entende-se que entre a condição ideal da formação e o que, de fato, vem sendo realizado, há inúmeros caminhos possíveis para qualificar o ensino da avaliação psicológica no Brasil, seja no âmbito da graduação, seja no âmbito da pós-graduação. Especificamente, no que se refere à graduação, importantes propostas de melhorias vem sendo discutidas pelas instituições que atuam na área da avaliação psicológica, seja em termos de grade curricular, seja em termos de infraestrutura e qualificação do corpo docente. Como bem define Noronha et al. (2010), as IES devem proporcionar aos alunos o desenvolvimento de habilidades e competências tanto para a atuação profissional generalista quanto, especificamente, para a realização da avaliação psicológica.

Um aspecto importante para a melhoria da formação em avaliação psicológica é, sem dúvida, a prática profissional (Ministério da Educação [MEC], 2011). Entende-se a relevância da formação aplicada de modo a complementar os fundamentos teóricos que, obviamente, são essenciais para a formação de psicólogos habilitados em avaliação psicológica. O contato com as diferentes técnicas e o treinamento na aplicação, no levantamento e na correção dos testes psicológicos é essencial para a qualidade da formação. Sobretudo, o ensino de avaliação psicológica não deve se resumir ao ensino de testes e técnicas isoladas e deve proporcionar aos estudantes a integração entre teoria e prática, permitindo o desenvolvimento de competências para uma atuação autônoma. História e fundamentos da testagem psicológica e legislação, aspectos éticos e consequências sociais da avaliação psicológica são alguns dos conteúdos obrigatórios que deveriam estar presentes em todos os currículos dos cursos de Psicologia (Bandeira, 2011; Nunes et al., 2012).

 

A Prática na Formação em Avaliação Psicológica

A formação em Psicologia tem como perspectiva a necessidade da aproximação entre teoria e prática (MEC, 2011) e essa realidade se estende à prática em avaliação psicológica (Noronha et al., 2010; Nunes et al., 2012). No ano de 2011 o MEC instituiu as Diretrizes Curriculares Nacionais para Cursos de Graduação em Psicologia referentes tanto à formação básica quanto à ênfase da formação do psicólogo. O núcleo comum da formação em Psicologia estabelece uma base homogênea para a formação no Brasil e uma capacitação básica para lidar com os conteúdos da Psicologia, enquanto campo de conhecimento e de atuação. O Art. 5º, por exemplo, propõe que os cursos de graduação em Psicologia devem articular os conhecimentos, habilidades e competências quanto aos procedimentos para a investigação científica e a prática profissional, de forma a garantir tanto o domínio de instrumentos e estratégias de avaliação e de intervenção quanto à competência para selecioná-los, avaliá-los e adequá-los a problemas e contextos específicos de investigação e ação profissional. O Art. 8º, por sua vez, dispõe sobre as competências do psicólogo e recomenda que a formação deve garantir o domínio básico de conhecimentos psicológicos e a capacidade de utilizá-los em diferentes contextos de aplicação. Dentre as competências são elencadas a capacidade de (a) escolher e utilizar instrumentos e procedimentos de coleta de dados em Psicologia tendo em vista a sua pertinência; (b) avaliar fenômenos humanos de ordem cognitiva, comportamental e afetiva, em diferentes contextos; (c) realizar diagnóstico e avaliação de processos psicológicos de indivíduos, de grupos e de organizações;(d) saber buscar e usar o conhecimento científico necessário à atuação profissional, entre outros.

Ainda quanto à relevância da formação prática nos cursos de graduação em Psicologia, o Art. 19 dispõe que o planejamento acadêmico deve assegurar, em termos de carga horária e de planos de estudos, o envolvimento do aluno em atividades individuais e de equipe que incluam exercícios em laboratórios, práticas didáticas como parte de disciplinas ou integradas a outras atividades acadêmicas e aplicação e avaliação de estratégias, técnicas, recursos e instrumentos psicológicos.

As diretrizes do MEC (2011) não se referem, especificamente, à formação em avaliação psicológica, de modo que foi apresentado aqui um recorte das disposições que parecem estar diretamente relacionadas com a formação nesta área. Entende-se que a prática é um aspecto primordial da formação em Psicologia como um todo e não deve ser diferente no que se refere à avaliação psicológica.

Nunes et al. (2012) apontam para a importância do uso de diferentes estratégias e técnicas de ensino, como forma de desenvolver diferentes habilidades. Citam, por exemplo, a realização de atividades práticas que utilizem os conceitos teóricos aprendidos em sala de aula, a apresentação de estudos de caso, as oficinas de elaboração de documentos psicológicos, a realização de pesquisas científicas sobre avaliação psicológica e a oferta de estágios supervisionados. Do mesmo modo, salientam que o contato com os instrumentos e o treinamento na aplicação, no levantamento e na correção dos testes psicológicos é essencial para a qualidade da formação do psicólogo e deve permitir o desenvolvimento de competências para uma atuação autônoma e qualificada. Para tanto, é essencial que o curso de graduação em Psicologia conte com uma estrutura física minimamente adequada para o bom desenvolvimento da prática da avaliação psicológica.

Experiências exitosas são encorajadoras e apontam para soluções aos velhos problemas pertinentes à formação em avaliação psicológica. Reppold e Serafini (2010) apresentam, por exemplo, a experiência de implantação do curso de Psicologia da Universidade Federal de Ciências da Saúde de Porto Alegre (UFCSPA), na capital do Rio Grande do Sul, o qual conta com sete disciplinas obrigatórias de psicometria/avaliação psicológica, além de disciplinas eletivas na área. Outro diferencial do curso é a proposta de relacionar teoria e prática por meio de atividades multidisciplinares de avaliação desenvolvidas pelos alunos em um hospital psiquiátrico.

Um importante meio de proporcionar a prática supervisionada da avaliação psicológica clínica é a criação de clínicas-escola especializadas. As clínicas-escola de Psicologia são serviços obrigatórios, segundo a Lei nº 4.119 (Decreto-lei nº 53.464, 1964), que dispõe sobre os cursos de formação e regulamenta a profissão de psicólogo no Brasil. Em linhas gerais, o objetivo das clínicas-escola é possibilitar um espaço adequado à formação profissionalizante, assim como consolidar e articular as competências centrais desenvolvidas nas graduações em Psicologia (Borsa, Oliveira, Yates, & Bandeira, 2013). As clínicas-escola devem oferecer atendimento gratuito ou a baixo custo para a comunidade, constituindo-se em um local onde o aluno recebe treinamento e orientação com o objetivo de capacitá-lo para a prática e a reflexão do exercício profissional (Borsa, Oliveira, et al., 2013). As clínicas-escola cumprem, assim, o complexo objetivo de atender da forma mais eficaz possível à comunidade e, ao mesmo tempo, capacitar o aluno de forma ética, técnica e teórica para o exercício da Psicologia (Decreto-lei nº 53.464, 1964; Campezatto & Nunes, 2007). Entende-se que a formação do psicólogo deve ser consoante com a realidade do contexto social em que o aluno está inserido e, neste sentido, os cursos de Psicologia devem oferecer oportunidades de atuação junto às comunidades, qualificando as estratégias profissionalizantes do currículo (Boeckel et al., 2010).

No Brasil, as clínicas-escolas de Psicologia oferecem diferentes modalidades de atendimento (Boeckel et al., 2010), contudo, o que se pode observar é que nem todos os locais oferecem a prática da avaliação psicológica, fator limitante para a formação dos alunos e preocupante no que se refere à crescente demanda por estes serviços. Entende-se que a prática em avaliação psicológica nas clínicas escolas pode proporcionar o aprendizado mais aprofundado da complexidade do processo (Borsa, Oliveira, et al., 2013). Além disso, um serviço de avaliação psicológica pode proporcionar diagnósticos mais apurados, otimizando os encaminhamentos a serem realizados para os diferentes serviços de saúde, como a psicoterapia, psiquiatria, neurologia, psicopedagogia, fonoaudiologia, terapia ocupacional, entre outros, e reduzindo as taxas de não-aderência e de abandono de psicoterapia (Borsa, 2014).

Um exemplo de clínica-escola especializada em avaliação psicológica é o Centro de Avaliação Psicológica, da Universidade Federal do Rio Grande do Sul (UFRGS) (Borsa, Oliveira, et al., 2013). Trata-se de um serviço especializado na realização de avaliações psicológicas e neuropsicológicas e que tem como finalidade oferecer atividades práticas aos alunos de graduação, de especialização, de extensão universitária e de mestrado e doutorado do Instituto de Psicologia da UFRGS. O objetivo da clínica é promover atividades de ensino, pesquisa e extensão nas diferentes áreas concernentes à avaliação psicológica, quais sejam: avaliação cognitiva, afetiva e neuropsicológica de crianças, adolescentes, adultos e idosos. Especificamente, o serviço visa a oferecer estágios curriculares e extracurriculares, fomentar a pesquisa nas suas áreas de abrangência, atender as demandas de avaliação psicológica da comunidade de Porto Alegre e região metropolitana e responder às necessidades específicas de avaliação, especialmente aquelas demandadas por órgãos e agências municipais, estaduais e federais (Borsa, Oliveira, et al., 2013; Borsa, Segabinazi, Sternert, Yates, & Bandeira, 2013).

Além do atendimento à comunidade e da formação dos alunos, a clínica-escola pode atuar no sentido de identificar as características da população atendida e conhecer a prevalência dos problemas mais comuns naquela região específica. Estas informações podem contribuir para o fomento de políticas públicas em saúde mental e para gerar serviços efetivos que atendam as demandas reais da comunidade. Reitera-se a relevância da formação prática, de modo a complementar os fundamentos teóricos que, obviamente, são essenciais para a formação de psicólogos habilitados em avaliação psicológica.

 

Considerações Finais

Este artigo teve por objetivo apresentar reflexões sobre a prática e a formação em avaliação psicológica nos cursos de graduação em Psicologia no Brasil. A avaliação psicológica é uma prática importante da Psicologia e configura-se como uma área em plena expansão. Além disso, seu exercício é um direito e uma prática privativa do psicólogo e, neste sentido, a qualificação técnica dos profissionais que atuam na área é primordial. Para o exercício adequado da avaliação psicológica, é necessário a compreensão dos seus objetivos e o conhecimento do contexto em que os indivíduos estão inseridos, para que se possa realizar a condução adequada do processo e manejo adequado das técnicas e instrumentos de acordo com a especificidade de cada demanda (CFP, 2010, 2013b).

Mesmo com os avanços ocorridos na área, a avaliação psicológica ainda sofre com a falta de profissionais qualificados do ponto de vista técnico e teórico. Do mesmo modo, não é incomum os problemas éticos referentes ao mau uso dos testes psicológicos e a má condução do processo da avaliação como um todo. Tais problemas poderiam ser sanados ou, ao menos, reduzidos se a formação em avaliação psicológica fosse oferecida de forma qualificada. Sabe-se, no entanto, que a maioria dos cursos de graduação em Psicologia está muito longe de alcançar os requisitos mínimos para adequado ensino em avaliação psicológica.

Nos últimos anos têm sido constantes os debates sobre a formação em avaliação psicológica. As diretrizes curriculares dos cursos de graduação precisam garantir que as competências em avaliação psicológica sejam, de fato, desenvolvidas. Neste sentido, é importante que as IES invistam na qualidade da formação já nos cursos de graduação, de modo a garantir o conhecimento mínimo necessário para a prática da avaliação psicológica. Do mesmo modo, é necessário que as IES e demais instituições possam oferecer cursos de especialização, treinamentos e cursos de extensão para profissionais que desejam buscar o aprimoramento e a atualização dos aspectos teóricos e práticos concernentes à avaliação psicológica.

Por fim, reitera-se a relevância do conhecimento prático, de modo a complementar os fundamentos teóricos que, obviamente, são essenciais para a formação de psicólogos devidamente capacitados para atuação em avaliação psicológica (Nunes et al., 2012). Entende-se que a oferta de estágios nas clínicas-escolas de Psicologia pode proporcionar aos alunos de graduação uma formação completa e qualificada na área, permitindo a integração entre teoria e prática. Como aponta Noronha e Reppold (2010), somente assim os psicólogos poderão sair das universidades preparados para conduzir avaliações psicológicas adequadas. Se a formação em avaliação psicológica for, de fato, valorizada ao longo do curso de graduação em Psicologia, será possível qualificar cada vez mais a área, diminuindo o preconceito e os problemas ainda presentes nela.

 

Referências

Alchieri, J. C., & Bandeira, D. R. (2002). O ensino da avaliação psicológica no Brasil. In R. Primi (Ed.), Temas em avaliação psicológica (pp. 35-39). São Paulo, SP: Instituto Brasileiro de Avaliação Psicológica.         [ Links ]

Ambiel, R. A. M. (2011). Ano temático da avaliação psicológica: Uma discussão importante sobre direitos humanos, prática e formação. Psico-USF, 16(3),393-395. doi:10.1590/S141382712011000300016        [ Links ]

Anache, A., & Reppold, C. T. (2010). Avaliação psicológica: Implicações éticas. In Conselho Federal de Psicologia, Avaliação psicológica: Diretrizes na regulamentação da profissão (pp. 57-85). Brasília, DF: Conselho Federal de Psicologia.         [ Links ]

Anastasi, A., & Urbina, S. (2000). Testagem psicológica. Porto Alegre, RS: Artes Médicas.         [ Links ]

Associação Brasileira de Rorschach e Métodos Projetivos. (2014). Eventos científicos. Recuperado em http://www.asbro.org.br/eventos-cientificos        [ Links ]

Associação Nacional de Pesquisa e Pós-Graduação em Psicologia. (2014). Grupos de Trabalho. Recuperado em http://www.simposio2014.anpepp.org.br/        [ Links ]

Bandeira, D. R. (2011). Repensando a formação em avaliação psicológica no Brasil. In Conselho Federal de Psicologia, Ano da avaliação psicológica - Textos geradores (pp. 129-132). Brasília, DF: Conselho Federal de Psicologia.         [ Links ]

Boeckel, M. G., Krug, J. S., Lahm, C. R., Ritter, F., Fontoura, L. O., & Sohne, L. C. (2010). O papel do serviço-escola na consolidação do projeto pedagógico do curso de Psicologia. Psicologia, Ensino & Formação, 1(1),41-52.         [ Links ]

Borsa, J. C. (2014, abr.). Avaliação dos problemas de comportamentos na infância: Exemplos práticos da clínica à pesquisa. In A. E. Villemor-Amaral (Coord.), Psicopatologia, saúde mental e avaliação psicológica. Simpósio conduzido em VII Congresso da Associação Brasileira de Rorschach e Métodos Projetivos, Ribeirão Preto, SP, Brasil.         [ Links ]

Borsa, J. C., Oliveira, S. E. S., Yates, D. B., & Bandeira, D. R. (2013). Centro de Avaliação Psicológica - CAP: Uma clínica-escola especializada em avaliação e diagnóstico psicológico. Psicologia Clínica, 25(1),101-114. doi:10.1590/S0103-56652013000100007        [ Links ]

Borsa, J. C., Segabinazi, J. D., Sternert, F., Yates, D. B., & Bandeira, D. R. (2013). Caracterização da clientela infanto-juvenil de uma clínica-escola de avaliação psicológica de uma universidade brasileira. Revista Psico, 44(1),73-81.         [ Links ]

Campezatto, P. M., & Nunes, M. L. T. (2007). Caracterização da clientela das clínicas-escola de cursos de psicologia da região metropolitana de Porto Alegre. Psicologia: Reflexão e Crítica, 20(3),376-388. doi:10.1590/S010279722007000300005        [ Links ]

Conselho Federal de Psicologia. (1997). Câmara de Testes é formada para qualificar instrumentos. Jornal do CFP, 12(50).         [ Links ]

Conselho Federal de Psicologia. (2003a). Resolução CFP nº 007/2003. Institui o Manual de Elaboração de Documentos Escritos produzidos pelo psicólogo, decorrentes de avaliação psicológica e revoga a Resolução CFP º 17/2002. Recuperado em http://site.cfp.org.br/wp-content/uploads/2003/06/resolucao2003_7.pdf        [ Links ]

Conselho Federal de Psicologia. (2003b). Resolução CFP nº 002/2003. Define e regulamenta o uso, a elaboração e a comercialização de testes psicológicos e revoga a Resolução CFP n. 025/2001. Recuperado em http://site.cfp.org.br/wp-content/uploads/2003/03/resolucao2003_02_Anexo.pdf        [ Links ]

Conselho Federal de Psicologia. (2010). Avaliação psicológica: Diretrizes na regulamentação da profissão. Brasília, DF: Autor.         [ Links ]

Conselho Federal de Psicologia. (2011). Ano da avaliação psicológica - Textos geradores. Brasília, DF: Autor.         [ Links ]

Conselho Federal de Psicologia. (2013a). Relatório do Ano Temático da Avaliação Psicológica 2011/2012. Brasília, DF: Autor. Recuperado em http://site.cfp.org.br/publicacao/relatorio-do-ano-tematico-da-avaliacao-psicologica-20112012/        [ Links ]

Conselho Federal de Psicologia. (2013b). Cartilha avaliação psicológica. Brasília, DF: Autor.         [ Links ]

Conselho Federal de Psicologia. (2014). Sistema de Avaliação de Testes Psicológicos - Satepsi. Recuperado em http://satepsi.cfp.org.br/listaTeste.cfm        [ Links ]

Decreto-lei nº 53.464 de 21-01-1964. (1964). Regulamenta a Lei nº 4.119, de agosto de 1962, que dispõe sobre a Profissão de Psicólogo. Recuperado em http://site.cfp.org.br/wpcontent/uploads/2008/08/decreto_1964_53464.pdf        [ Links ]

Fonseca, S. M. S. M. de S. (2011). Avaliação psicológica e suas vicissitudes: A formação do psicólogo como foco. In Conselho Federal de Psicologia, Ano da avaliação psicológica - Textos geradores (pp. 133-138). Brasília, DF: Conselho Federal de Psicologia.         [ Links ]

Frizzo, N. P. (2004). Infrações éticas, formação e exercício profissional em psicologia (Dissertação de mestrado, Programa de Pós-Graduação em Psicologia, Centro de Filosofia e Ciências Humanas, Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil).         [ Links ]

Hutz, C. S., & Bandeira, D. S. (2003). Avaliação psicológica no Brasil: Situação atual e desafios para o futuro. In O. H. Yamamoto & V. V. Gouveia (Eds.), Construindo a psicologia brasileira: Desafios para a ciência e prática psicológica (pp. 261-277). São Paulo, SP: Casa do Psicólogo.         [ Links ]

Instituto Brasileiro de Avaliação Psicológica. (2014). Objetivos. Recuperado em http://www.ibapnet.org.br/index.php?cd=2&descricao=objetivos        [ Links ]

Jacquemin, A. (1995). Ensino e pesquisa sobre testes psicológicos. Boletim de Psicologia, 65(102),19-21.         [ Links ]

Joly, M. C. R. A., Silva, M. R., Nunes, M. F. O., & Souza, M. S. (2007). Análise da produção científica em painéis dos congressos brasileiros de avaliação psicológica. Avaliação Psicológica, 6(2),239-252.         [ Links ]

Löhr, S. S. (2011). Avaliação psicológica na formação do profissional da Psicologia, algumas reflexões. In Conselho Federal de Psicologia, Ano da avaliação psicológica - Textos geradores (pp. 143-149). Brasília, DF: Conselho Federal de Psicologia.         [ Links ]

Ministério da Educação, Conselho Nacional de Educação, Câmara de Educação Superior. (2011, 16 mar.). Resolução nº 5, de 15 de março de 2011. Institui as Diretrizes Curriculares Nacionais para os cursos de graduação em Psicologia. Diário Oficial da União, Seção 1, p. 19. Recuperado em http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=7692rces005-11-pdf&category_slug=marco-2011pdf&Itemid=30192        [ Links ]

Noronha, A. P. P. (2002). Os problemas mais graves e mais frequentes no uso dos testes psicológicos. Psicologia: Reflexão e Crítica, 15(1),135-142. doi:10.1590/S0102-79722002000100015        [ Links ]

Noronha, A. P. P., Carvalho, L. F., Miguel, F. K., Souza, M. S., & Santos, M. A. (2010). Sobre o ensino de avaliação psicológica. Avaliação Psicológica, 9(1),139-146.         [ Links ]

Noronha, A. P. P., Oliveira, A. F., Cobêro, C., Paula, L. M., Cantalice, L. M., Guerra, P. B. C., ...Felizatti, R. (2002). Instrumentos psicológicos mais conhecidos por estudantes do sul de Minas Gerais. Avaliação Psicológica, 1(2),151-158.         [ Links ]

Noronha, A. P. P., & Reppold, C. T. (2010). Considerações sobre a avaliação psicológica no Brasil [Número especial]. Psicologia Ciência e Profissão, 30,192-201. doi:10.1590/S141498932010000500009        [ Links ]

Noronha, A. P. P., Ziviani, C., Hutz, C. S., Bandeira, D. R., Custódio, E. M., Alves, I. B., Alchieri, J. C., ...Domingues, S. (2002). Em defesa da avaliação psicológica. Avaliação Psicológica, 1(2),173-174.         [ Links ]

Noronha, A. P., & Alchieri, J. C. (2004). Conhecimento em avaliação psicológica. Estudos de Psicologia (Campinas), 21(1),43-52. doi:10.1590/S0103-166X2004000100004        [ Links ]

Nunes, M. F. O., Muniz, M., Reppold, C. T., Faiad, C., Bueno, J. M. H., & Noronha, A. P. P. (2012). Diretrizes para o ensino da avaliação psicológica. Avaliação Psicológica, 11(2),309-316.         [ Links ]

Primi, R. (2010). Avaliação psicológica no Brasil: Fundamentos, situação atual e direções para o futuro [Número especial]. Psicologia: Teoria e Pesquisa, 26,25-35. doi:10.1590/S010237722010000500003        [ Links ]

Primi, R., Nascimento, R. S. G. F., & Souza, A. S. (2004). Avaliação dos testes psicológicos: Relatório. Brasília, DF: Conselho Federal de Psicologia.         [ Links ]

Reppold, C. T., & Serafini, A. J. (2010). Novas tendências no ensino da avaliação psicológica. Avaliação Psicológica, 9(2),323-329.         [ Links ]

Urbina, S. (2007). Fundamentos da testagem psicológica. Porto Alegre, RS: Artmed.         [ Links ]

 

 

Endereço para correspondência:
Juliane Callegaro Borsa
Rua Marquês de São Vicente, 225, Edifício Cardeal Leme, Gávea
Caixa-postal 22470060
Rio de Janeiro, RJ, Brasil 22451-900
Fone: (21) 3527-1185, Fax: (21) 3527-1187
E-mail: juliborsa@gmail.com

Recebido: 20/06/2014
1ª revisão: 23/12/2014
2ª revisão: 09/01/2015
Aceite final: 20/01/2015

Creative Commons License