ABSTRACT

Aiming to identifying trends in the use of assessment instruments in research involving the Brazilian undergraduate and graduate students, this study analyzed the scientific literature in the SciELO Brazil and PePSIC databases. The selection criteria included: the presence of undergraduate students as participants, use of instruments for data collection, and a publication date between 2010 to 2015. The analysis of 139 abstracts indicated that empirical research was the most frequent, as well as multiple contributing authors of both sexes. The predominant focus was on instrument construction and/or seeking validity evidence. There was broad diversification of instruments used, with a total of 89 indicated, with the majority being in a scale/inventory format. Further research is recommended in other databases, especially foreign, to obtain a more comprehensive analysis and comparison between different realities.

Keywords: psychological assessment, scientific literature, higher education, undergraduate.

RESUMEN

Con el objetivo de identificar tendencias en el uso de instrumentos de evaluación en la investigación, con estudiantes de grado de la Enseñanza Universitaria brasileña, este estudio analizó la producción científica en las bases de datos SciELO Brasil y PePSIC. Para la selección, los artículos necesitaban tener la presencia de estudiantes de grado como participantes, el uso de instrumentos para la recolección de datos y el período de tiempo entre 2010 y 2015. El análisis de 139 resúmenes indicó que la investigación empírica fue la más frecuente, así como trabajos de autoría múltiple y de ambos sexos. El enfoque predominante fue la construcción de nuevos instrumentos y/o buscar evidencias de validez. El resultado mostró una amplia diversificación de los instrumentos utilizados, con un total de 89, la mayor parte en el formato de escalas/inventarios. Se recomienda la ampliación de la investigación en otras bases de datos, especialmente extranjeras, con el fin de permitir un análisis más completo y la comparación entre diferentes realidades.

Palabras-clave: evaluación psicológica, producción científica, Enseñanza Universitaria, estudiante.

O conhecimento pode ser compreendido como uma construção social e histórica que expressa as diversas relações entre os indivíduos. Trata-se de um processo no qual variáveis cognitivas, afetivas e históricas se associam de forma convergente e também, por vezes, antagônicas a depender do contexto social ao qual se insere. Nesse cenário, o desenvolvimento científico e tecnológico, expressão do conhecimento formal, tem apresentado um crescimento significativo que nos últimos anos se consolidou, especialmente por meio das novas tecnologias da informação (Antunes, 2014).

Autores como Oliveira Filho, Hochaman, Nahas e Ferreira (2005) indicam a necessidade de se levantar e aferir parâmetros de qualidade à produção científica. A análise metacientífica permite identificar a qualidade do conteúdo das publicações, permitindo que seja mapeada a evolução do conhecimento, tanto no cenário nacional quanto no internacional (Freitas, 1998; Oliveira, Cantalice, Joly, & Santos, 2006; Pinto, Lima, & Lima, 2011; Zanella & Titon, 2005; Witter 1999).

Bufren, Silva, Fabian e Sorribas (2007) referem que a informação presente em revistas científicas se diferencia das dos demais tipos de veiculação (como dissertações, teses, livros, dentre outras formas), visto que são periódicas e apreciadas por um corpo editorial qualificado, com expertise relativa ao escopo do periódico. Na mesma linha, Suehiro, Benfica e Cardim (2015) argumentam que as informações oriundas da recuperação por meio de periódicos científicos teriam maior credibilidade em relação àquelas acessadas da literatura cinzenta, denominação usada para as teses e dissertações não publicadas. É sabido que o meio digital agrega maior velocidade à comunicação científica (Mueller, 2006), especialmente quando se considera as publicações ahead of print. No entanto, apesar da maior facilidade oferecida pelas bases de dados na recuperação dos artigos, ainda é possível constatar que algumas bases de dados nacionais e também internacionais não permitem acesso e recuperação na íntegra do material.

Witter (2005) destaca que o Institute for Scientific Informaticon (ISI), atualmente substituído pelo Web of Science, oferece uma certificação de qualidade no que se refere à indexação das revistas científicas de diferentes campos do conhecimento. Para a área da Psicologia, cita- -se, ainda, o PsycInfo (American Psychological Association) e a base de dados LILACS e MEDLINE (National Library of Medecine). Dentre as bases de dados nacionais que oferecem critérios rigorosos de indexação para certificação da qualidade, destaca-se a Scientific Electronic Library Online – SciELO, que se constitui em um relevante modelo de publicação eletrônica e cooperativa para a divulgação da produção científica nacional (Meneghini, 1998) e que reúne em sua coleção 1249 periódicos, sendo 348 no domínio do Brasil. No caso da área da Psicologia, existe também o portal de Periódicos Eletrônicos de Psicologia (PePSIC), vinculado à Biblioteca Virtual em Saúde (BVS-Psi), que reúne atualmente 98 periódicos listados no ambiente virtual com acesso aberto.

Estudos que monitoraram a produção científica em diferentes contextos no cenário nacional apresentaram alguns pontos de convergência, quais sejam, as produções são elaboradas predominantemente com autoria múltipla, sendo o sexo feminino mais prevalente nessas publicações. Outro ponto também observado nesses estudos é a regionalidade que parece ser oriunda de Programas de Pós-graduações Stricto Sensu das regiões Sul e Sudeste (Cunha, Suehiro, Oliveira, Pacanaro, & Santos, 2009; Oliveira et al., 2007; Suehiro, Rueda, Oliveira, & Pacanaro, 2009; Suehiro & Rueda, 2009; Suehiro et al., 2015).

Souza Filho, Belo e Gouveia (2006) buscaram levantar a frequência de uso dos testes psicológicos na literatura científica brasileira publicada na base de periódicos Capes no período de 2000 a 2004. Os autores evidenciaram que muitos estudos não empregaram testes como recurso de medida. Por sua vez, a pesquisa de Oliveira et al. (2007) que focalizou o período de 1995 a 2004, verificou que, dentre os recursos utilizados nas 234 pesquisas analisadas, a maior parte fez uso de instrumentos psicométricos. Esse fato pode indicar, por um lado, um aumento no uso de recursos que permitem mais facilmente a demonstração de sua eficácia (no caso do emprego em pesquisas que envolvem diagnósticos/ou levantamentos). Por outro lado, pode ser, também, um indicativo da preocupação em desenvolver estudos que buscam investigar as propriedades psicométricas de instrumentos, que se expandiu no país no início do século XXI (Noronha & Reppold, 2010).

No que tange ao monitoramento da produção científica no contexto universitário, conforme apontado por diversos pesquisadores (Bariani, Buin, Barros, & Escher, 2004; Leite, 2010; Pascarella & Terenzini, 1991, 2005; Polydoro & Freitas, 2010), desde os anos 30 do século XX, a literatura internacional tem se dedicado ao tema, inicialmente com os estudos de Corey em 1937, seguido por Feldman e Newcomb em 1969, Perry em 1970, Marton e Saljo em 1976, Bowen em 1977, Entwistle em 1979, Astin em 1977 e 1993, Strange em 1994, Pascarella e Terenzini em 1991 e 2005. No âmbito nacional, diferentemente, a produção sistematizada sobre esse contexto, e especialmente sobre o estudante, é bem mais recente. Sob essa perspectiva, destaca-se na literatura nacional o trabalho organizado por Morosini (2001) que analisa o estado do conhecimento sobre a educação superior em periódicos nacionais de 1968 a 1995. Dentre as 15 temáticas estudadas, o corpo discente representou 5,8% das produções.

Focalizando apenas a produção em Psicologia, Santos, Oliveira, Joly e Suehiro (2003) analisaram os 304 resumos, classificados na área Escola/Educação, do I Congresso Brasileiro de Psicologia Ciência e Profissão, ocorrido em 2002. Observaram que o ensino superior foi a quinta categoria mais frequente entre os trabalhos apresentados. Outro trabalho com propósito similar foi o de Bariani et al. (2004), que focalizou o período de 1995 a 1999, tomando por base o material disponível em bibliotecas (incluindo periódicos, teses e dissertações) dos cursos de Psicologia e de Educação de duas Universidades de Campinas/SP. As autoras detectaram que 38,2% das 34 publicações sobre ensino superior investigaram o corpo discente, sendo mais frequente o estudo sobre o perfil do estudante universitário. As autoras salientaram que 50% das pesquisas analisadas empregaram questionários como recurso de coleta de dados e que a entrevista foi empregada em 32% dos textos analisados.

Ao considerarem apenas os artigos publicados no periódico Psicologia Escolar e Educacional, Oliveira et al. (2006) constataram que o ensino superior era o nível escolar mais estudado nas publicações. Anos depois, em outra análise sobre a produção científica no ensino superior, em especial com os estudantes, Polydoro e Freitas (2010) verificaram que a maioria dos 35 trabalhos investigados era de natureza descritiva (88,5%) e apresentavam delineamentos quantitativos (71,4%). Além disso, também majoritariamente, eram de autoria múltipla (82,8% dos artigos) e feminina (69,8% dos autores). Os universitários do curso de Psicologia constituíram a população mais estudada (31,2%).

Cabe mencionar, ainda, os trabalhos de Souza Filho et al. (2006) e o de Oliveira et al. (2007) que apesar de não terem como foco a população específica de universitários, objeto de interesse da presente pesquisa, procuram identificar, respectivamente, o uso de testes nas publicações brasileiras e o emprego da avaliação psicológica no contexto escolar em geral. No primeiro estudo foi observado que os testes eram considerados em apenas 19,5% dos 1182 artigos disponíveis na base Periódicos Capes entre os anos de 2000 e 2004. Por sua vez, Oliveira et al. (2007), após a análise de 234 artigos publicados em sete periódicos científicos indexados na área de Psicologia, descobriram que o tipo de recurso mais empregado nas avaliações foi o instrumento do tipo psicométrico/fatorial. Cabe mencionar, também, que entre os participantes desses estudos 23,7% eram do ensino superior.

Face ao exposto e, também, considerando que são mais de sete milhões de estudantes distribuídos entre os 32.878 cursos de graduação (modalidade presencial e a distância), oferecidos nas faculdades, centros universitários, universidades, institutos federais de educação, ciência e tecnologia ou centros federais de educação tecnológica, somando as 2.368 instituições públicas e privadas do Brasil (INEP, 2014), entendeu-se ser relevante escolher apenas as produções que envolviam estudantes de graduação do ensino superior brasileiro. Assim, estabeleceu-se como objetivo deste estudo a identificação das tendências do uso de instrumentos de avaliação na produção científica com essa população.

Método

Fontes

Dentre os diversos formatos de comunicação científica, optou-se por tomar como fonte de dados periódicos indexados, dada sua importância e reconhecimento na divulgação do conhecimento produzido e como base de busca os portais SciELO Brasil e PePSIC, utilizando como filtro para as buscas avançadas os termos universitário or universitários e/and instrumento; educação superior or ensino superior and instrumento; e universidade and instrumento. Como limite temporal, estipulou-se o período de 2010 a 2015.

Ressalta-se que, como era de interesse que a produção estivesse voltada ao estudante de graduação do sistema de ensino superior brasileiro, os estudos obtidos na busca que foram realizados com outro público-alvo (ex. estudantes de outros países, estudantes de pós-graduação, docentes ou outros) foram excluídos da amostra de análise. Na base SciELO foram obtidos 291 artigos que, após aplicação dos critérios de seleção, ficaram reduzidos a 103; na base PePSIC foram recuperados 630 artigos, dos quais 36 foram selecionados para compor a amostra de produções, totalizando 139 artigos para análise no presente estudo.

Procedimento

A partir das informações contidas nas referências descritivas das obras consultadas e em seu resumo, cada artigo foi analisado em relação aos seguintes itens: (a) dados de publicação (nome do periódico em que o artigo foi publicado e ano de publicação); (b) autoria (individual ou múltipla) e o sexo dos autores; (c) tipo de pesquisa (empírica ou teórica); (d) temática (foco de interesse da pesquisa); (e) natureza da variável estudada (pessoal, acadêmica, social, carreira, institucional); (f) área do conhecimento das variáveis centrais dos estudos; (g) sujeitos/ participantes (número, ano/série e curso); (h) instrumentos (nome e tipo de instrumentos).

Resultados

Inicialmente foram levantados os nomes dos periódicos nos quais os 139 resumos foram localizados e o ano de publicação. Dos 66 periódicos contabilizados, 28 apresentaram pelo menos duas publicações, os quais foram organizados na Tabela 1.

As revistas que apresentaram maior quantidade de artigos localizados foram a Avaliação Psicológica (10,79%; n=15), Psicologia: Reflexão e Crítica (6,47%; n=9), seguida pela PSICO-USF (5,03%, n=7), Revista Acta Paulista de Enfermagem (4,31%, n=6), Revista da Escola de Enfermagem da USP (4,31%, n=6), Revista Brasileira de Educação Médica (3,60%, n=5) e Ciência e Saúde Coletiva (2,88%, n=4). Entre os demais periódicos apresentados na Tabela 1, sete contavam com dois artigos selecionados para o estudo em cada um deles e 15 apresentavam três publicações por revista.

Entre os periódicos que continham apenas uma produção selecionada, encontraram-se 38 revistas, a saber: Acta Comportamental, Archives of Clinical Psychiatry, Arquivos Brasileiros de Oftalmologia, Ciência Cognitiva, Ciência Rural, Educação em Revista, Educação & Realidade, Educação e Sociedade, Einstein (São Paulo), Estudos Interdisciplinares em Psicologia, Gestão & Produção, Pro-Posições, Psicólogo inFormação, Motriz: Revista de Educação Física, Psicologia em Revista (Belo Horizonte), Psicologia Escolar Educacional, Psicologia Hospitalar (São Paulo), Psicologia Pesquisa, Psicologia Teoria e Prática, REAd Revista Eletrônica de Administração (Porto Alegre), Revista Abordagem Gestáltica, Revista CEFAC, Revista Brasileira de Ginecologia e Obstetrícia, Revista Brasileira de Ciências Farmacêuticas, Revista Brasileira de Epidemiologia, Revista Brasileira de Orientação Profissional, Revista Brasileira de Psiquiatria, Revista Brasileira Educação Especial, Revista Brasileira Educação Física e Esporte, Revista Brasileira Terapia Comportamental Cognitiva, Revista da Educação Física (UEM), Revista de Administração Contemporânea, Revista de Odontologia e Ciência, Revista Educação e Pesquisa, Revista Gaúcha Odontologia, Revista Psicologia, Organizações e Trabalho, Salud & Sociedad, Trabalho, Educação e Saúde.

Foram localizados artigos em todos os anos do período focalizado, sendo: 17 em 2010 (12,23%), 22 em 2011 (15,83%), 19 em 2012 (13,67%), 18 em 2013 (12,95%), 32 em 2014 (23,02%) e 31 em 2015 (22,30%). Ao comparar a distribuição temporal dos 139 artigos com os apresentados na Tabela 1, nota-se que há um aumento na produção nos anos de 2014 e 2015 no total de produções e entre as revistas que tiveram pelo menos duas publicações selecionadas. As publicações de 2011 encontram-se mais distribuídas entre as diferentes revistas, sendo que das 22 publicações, apenas 14 (63,64%) estavam entre as revistas com pelo menos duas publicações. Por outro lado, 83,34% das publicações de 2013 constavam dos periódicos apresentados na Tabela 1, isto é, com duas publicações ou mais.

Quanto à análise da autoria, entre os 139 resumos investigados, observou-se que a grande maioria (90,65%, n=126) teve autoria múltipla, sendo a autoria individual de baixa ocorrência (9,35%, n=13). No que se refere ao sexo dos autores, um pouco mais do que a metade dos trabalhos contou com a parceria entre homens e mulheres (51,80%, n=72). Os trabalhos de exclusiva autoria feminina somam 34,53% (n=48) da amostra e aqueles com a participação somente masculina foram pouco frequentes (13,67%, n=19).

Outra etapa do presente estudo incluiu a identificação do tipo de pesquisa. Constatou-se que todos os trabalhos eram empíricos, sendo que a quase totalidade foi composta por estudos não experimentais (97,12%, n=135), e apenas dois de natureza quase experimental (2,88%, n=4).

Para a análise das temáticas dos estudos, foram definidas categorias a posteriori, a partir da identificação do foco de interesse do conjunto de publicações encontradas. Foi possível identificar dois alvos de interesse dos trabalhos: o próprio instrumento de coleta ou o participante da pesquisa. Notou-se que 51,08% (n=71) dos artigos tratavam da construção/adaptação de instrumentos e/ou busca de evidências de validade/precisão, sendo o restante voltado para a compreensão de variáveis relacionadas aos sujeitos da pesquisa. Cada um desses blocos será apresentado conforme a natureza das variáveis estudadas. Tendo como critério as principais dimensões da vivência universitária adotados por Almeida e Soares (2003), os 139 artigos foram classificados nas seguintes categorias: pessoal, acadêmico, social, carreira, institucional (Tabela 2).

Os dados demonstram a predominância de estudos voltados para a dimensão Pessoal, seja no que se refere à construção/validação de instrumentos (28,78%) ou à caracterização dos participantes (19,42%). Entre os 40 artigos que tratavam da construção ou validação de instrumentos sobre variáveis pessoais, observaram-se as seguintes temáticas estudadas: atitude, vitalidade subjetiva, flexibilidade psicológica, personalidade, dependência de jogos eletrônicos, (in)satisfação corporal, atividade física, preocupação ambiental, comportamento de risco à saúde, escolha alimentar, orientação para vida, procrastinação ativa, pensamento crítico, valores básicos, centralidade de evento, transtorno alimentar, religiosidade, atenção dividida, memória, uso de álcool, burnout, depressão, empatia, trauma, bem-estar psicológico, crença no mundo justo. Dos 27 estudos voltados para os participantes, alguns temas foram equivalentes, como: personalidade, atitude, cuidados com a saúde, comportamento de risco, uso de álcool, burnout. Também foram observados os temas: perfil nutricional e dietético, uso de drogas, risco cardiovascular, uso de medicamento, mal-estar psicológico, hábitos e percepções socioambientais, assertividade, percepção de dor, qualidade de vida, autocuidado, percepção e estereótipos, opinião frente à doença mental e práticas de cuidado, desenvolvimento adulto, criatividade, manejo do estresse, competências emocionais.

As exigências de estudo e a aprendizagem (dimensão acadêmica) ocuparam a segunda colocação, sendo 13 artigos sobre instrumentos de pesquisa e 18 sobre os participantes. Os instrumentos estudados que envolviam as exigências de estudo e da aprendizagem apresentaram os seguintes temas: habilidade de estudo, transferência de significados, motivação para aprender, estratégias de aprendizagem, envolvimento acadêmico, comportamentos acadêmico-sociais, expectativas acadêmicas, estilo cognitivo e autoeficácia para a formação superior. Mas também foram observados artigos que relatavam o desenvolvimento de instrumentos ligados ao ensino e à aprendizagem dos temas doenças sexualmente transmissíveis, ludicidade dos jogos, exame ocular e catálogo de Patologia. Por meio da análise do interesse pelas demandas acadêmicas entre as publicações voltadas para os participantes da pesquisa, foram identificadas duas vertentes de estudos, uma voltada para as competências e o processo de aprendizagem (formação de conceitos, estratégia de aprendizagem, aprendizagem reflexiva, saber, tempo de processamento de informação, mapa conceitual, uso de tecnologias da informação, uso do portfólio) e outra, voltada para a identificação de interesse ou de domínio de um conteúdo específico, relevante para o curso de formação dos estudantes (finanças, temas controversos, conduta na dor, inclusão de aluno com deficiência, aleitamento materno, competência clínica, ressuscitação cardiopulmonar, cuidados com portadores de feridas, superdotação, agrotóxicos).

Com um total de 20 artigos sobre a dimensão institucional, os sete que focalizaram o estudo de instrumentos tratavam de temas, como: avaliação de qualidade, satisfação acadêmica, ações afirmativas, ensino a distância. Também foram avaliadas as percepções dos participantes sobre o ambiente institucional como um todo ou na especificidade de um curso ou de uma atividade de ensino (13 artigos). Nesse caso, observaram-se os seguintes temas: ensino de empreendedorismo, satisfação com a vida acadêmica, avaliação participativa, avaliação de curso, ambiente virtual, docência no ensino superior, componente curricular, yoga, PET-Saúde, tecnologia educacional.

Foram também recuperados 14 artigos que abordavam fenômenos de natureza social. Os instrumentos referentes às relações sociais atuais e anteriores, apresentados em nove artigos, buscavam avaliar temas, como: interação com pares, percepção de suporte social, apego adulto, ciúme romântico, imprevisibilidade familiar na infância, vínculo pais e filhos, práticas parentais. Os estudos referentes às demandas de natureza social da experiência dos participantes (cinco artigos) envolviam os temas: violência em relacionamentos íntimos, relação afetiva professor- aluno, envolvimento em atividade cultural, habilidades sociais e experiência de vitimização na escola.

Entre os sete artigos agrupados na dimensão Carreira, foram detectados dois estudos sobre instrumentos, voltados para a identidade de carreira e mundo do trabalho, especificamente sobre os temas percepção de competências transversais para o trabalho e interesse profissional. Os cinco estudos que focalizavam aspectos de carreira dos estudantes tratavam de temas, como: escolha de curso, transição para o mundo do trabalho, valores relativos ao trabalho.

Os artigos também foram analisados conforme a área de conhecimento das variáveis centrais dos estudos (Tabela 3). As categorias foram definidas a partir das grandes áreas do conhecimento, sendo que no caso da Saúde, como houve incidência de grande volume de trabalhos, resolveu-se separá-la da área de Ciências Biológicas.

Apesar da presença de estudos relacionados a quatro grandes áreas do conhecimento, houve maior concentração dos publicados sobre variáveis da área das Ciências Humanas (42,45%, n=59) e da Saúde (34,53%, n=48). Vale salientar o número elevado de resumos cujas áreas não puderam ser identificadas (15,83%, n=22). Na análise dos estudantes que assumiram a condição de sujeitos/participantes dos estudos, buscou-se identificar: o número, ano/série e curso. A quantidade de participantes/sujeitos nas pesquisas pode ser visualizada na Tabela 4.

Observou-se que, em 25 resumos, não havia menção sobre o número de participantes do estudo. Dentre os que o citaram, aproximadamente metade contou com 1 a 400 participantes, com ênfase na faixa de 101 a 400 estudantes (32,37%, n=45). Quanto ao ano/série em que os sujeitos/participantes se encontravam, observou-se que a maior parte dos estudos especifica em seus resumos apenas que são universitários em curso (89,93%, n=125), não identificando explicitamente em que ano/ série, inviabilizando assim a análise desse aspecto.

Dentre os resumos que apresentavam informação sobre o curso de origem dos participantes, observou-se que os estudantes pertenciam a 15 diferentes cursos. Na Tabela 5, são apresentados os cursos relatados em pelo menos dois artigos, acrescido da categoria que expressa à ausência de informação da variável de análise no resumo do artigo. Todavia, as porcentagens foram calculadas sobre o total de 139 trabalhos.

Como visto na Tabela 5, em parte significativa dos resumos, não havia indicação do curso de origem dos estudantes participantes (42,45%, n=59). O bloco de cursos, nos quais os estudantes foram mais pesquisados incluem os alunos dos cursos de Enfermagem, Psicologia e Medicina. Cabe destacar que, entre os cursos dos estudantes que apareceram apenas em um dos artigos, encontram-se: Biologia, Engenharia, Fisioterapia, Letras, Matemática e Licenciatura em Educação do Campo. Destaca-se que em um dos artigos foram incluídos estudantes de diferentes cursos da área da Saúde, conforme classificação dos autores, incluindo Educação Física, Odontologia, Enfermagem, Fisioterapia, Medicina e Nutrição.

Por fim, buscou-se analisar os instrumentos empregados nas pesquisas. Os resultados quanto ao tipo de instrumento utilizado na coleta de dados podem ser vistos na Tabela 6.

Nota-se que o tipo de instrumento mais utilizado nos artigos foram as escalas (55,40%, n=77), valor que ainda é maior (58,99%) se considerado quando o uso das escalas era combinado com outro tipo de avaliação, entre eles: questionário, entrevista ou familiograma. Poucos estudos indicavam a combinação de diferentes técnicas de coleta de informação, sendo mais comum, nesse caso, a inclusão do questionário (4,32%), o qual foi associado ao uso de entrevista, dinâmica de grupo, dados antropométricos, grupo focal e/ou observação. Na categoria Outros, foram agrupados os seguintes materiais utilizados nos estudos: guia semiestruturado de narrativa, produção de texto, tarefa motora, blocos de palavras, prova teórica, check list, exame clínico estruturado e/ou portfólio.

Para identificar os instrumentos empregados nos estudos, elaborou-se uma relação completa de todos os instrumentos que foram citados nos resumos dos artigos analisados. A Tabela 7 apresenta aqueles que foram utilizados em pelo menos dois artigos e a categoria referente à ausência de informação sobre o instrumento no resumo do artigo, sendo a porcentagem calculada em relação ao total de artigos selecionados (n=139).

Ao todo, foram citados nos resumos 89 diferentes instrumentos, alguns aplicados de forma conjunta no mesmo estudo. O instrumento mais utilizado, AUDIT, foi indicado em três resumos analisados (2,16%), seguido por outros três instrumentos, citados em dois resumos cada um (1,44%). O fato é que quase a totalidade dos instrumentos citados foi utilizada somente em uma das pesquisas analisadas, a saber: Bateria Fatorial de Personalidade (BFP), Burnout Inventory Student Survey, Center for Epidemiologic Studies (CES-D), Escala Autoeficácia na Formação Superior, Escala de Atitude frente à Fofoca, Escala de Atitudes em Saúde Estética, Escala de Atitudes frente à Tatuagem, Escala de Atividades do Questionário de Busca Auto Dirigida (SDS), Escala de Autoeficácia na Transição para o Trabalho (AETT-Br), Escala de Autopercepção de Competências Transversais, Escala de Centralidade de Evento (ECE), Escala de Depressão (EDEP), Escala de Depressão – EDEP Escala de Envolvimento Acadêmico, Escala de Imprevisibilidade Familiar na Infância (EIFI), Escala de Influência dos Três Fatores (EITF), Escala de Interação com Pares para Estudantes do Ensino Superior, Escala de Motivação para Aprendizagem para Universitários, Escala de Percepção Discente do Ensino à Distância (EAD), Escala de Preocupação Ambiental, Escala de Procrastinação Ativa, Escala de Propensão ao Risco Específico (EPRE), Escala de Racismo Moderno de McConahay, Escala de Satisfação com a Experiência Acadêmica, Escala de Satisfação e Atitudes de Pessoas com Deficiência – ESA, Escala de Suporte Laboral (ESUL), Escala de Vitalidade Subjetiva, Escala de Vulnerabilidade ao Estresse no Trabalho (EVENT), Escala Geral de Crença no Mundo Justo, Escala Multidimensional de Atitudes frente a Lésbicas e a Gays, Escala Multidimensional de Reatividade Interpessoal (EMRI), Escala para Avaliar Atitudes de Estudantes de Medicina, Escala que avalia as lembranças de práticas de criação na infância, Escala Revisada de Valores Relativos ao Trabalho (EVT-R), Escala Situacional de Satisfação Corporal, Escala Student Alienation and Trauma Survey – R, Experience in close relationships inventory, Eye Retinopathy Trainer®, Filgueiras Depression Inventory, Food Choice Questionnaire (FCQ), Game Addiction Scale, Índice de Religiosidade de Duke (P-DUREL), Instrumento adaptado do Measure Yourself Medical Outcome Profile, Instrumento com base no Ergolist, Instrumento diferencial semântico, Instrumento genérico WHOQOL-bref, Inventário adaptado de Administração de Tempo (ADT), Inventário Ciúme Romântico, Inventário de Âncoras de Carreira, Inventário de Assertividade Rathus, Inventário de Burnout de Maslach para estudantes, Inventário de Depressão de Beck (BDI) Inventário de Percepção do Suporte Familiar (IPSF), Inventário de Práticas Docentes para a Criatividade na Educação Superior, Inventário de Religiosidade Intrínseca – IRI, Inventário de Vivências e Percepções do Estágio, Inventário Dimensional dos Transtornos da Personalidade (IDTP), Inventário Real World Outcomes, Inventários de Estresse (ISSL), Male Body Checking Questionnaire (MBCQ), Meaning of Education questionnaire, National college health risk behavior survey, Nursing Student Satisfaction Scale, Parental Bonding Instrument (PBI), Personality Belief Questionnaire – Short form (PBQ-SF), Physical activity questionnaire, Psychological Well-being Scale (Escala de Bem-estar Psicológico – EBEP), Questionário de Drogas e Experiências Negativas, Questionário de Hábitos de Estudos para estudantes universitários, Questionário de Percepção do Suporte Organizacional (QPSO), Questionário de Suporte Social (SSQ), Questionário dos Valores Básicos, versão diagnóstico (QVB-D), Questionário Fantastic Lifestyle Assessment, Questionário Internacional de Atividade Física (IPAQ), Questionário National College Health Risk Behavior Survey, Questionário Patient-centered Assessment and Counseling for Exercise, Questionário sobre Alienação e Trauma em Estudantes, Questionário sobre Conhecimento de Doenças Sexualmente Transmissíveis (STD-KQ), Questionário Verbalizador-Visualizador (QVV), Reação aos procedimentos instrucionais e reação ao desempenho de tutor, Revised life orientation test, Técnica de Redes Semânticas, Teste de Atenção Dividida, Teste Memória Lógica da Wechsler Memory Scale – Revised (WMS-R) e Versão brasileira do Ten-Item Personality Inventory (TIPI).

Em síntese, foram consultados 139 resumos sobre pesquisas com estudantes do ensino superior brasileiro. Esses resumos relatavam trabalhos empíricos, predominantemente de autoria múltipla, com foco majoritário em construção e validação de instrumentos e sobre variáveis de natureza pessoal. Para a coleta de dados foram utilizados 89 instrumentos, dos quais a maioria consistia em escalas.

Discussão

A análise realizada permitiu evidenciar que as pesquisas sobre o estudante do ensino superior com uso de instrumentos como técnica de medida estão divulgadas em 66 periódicos de diferentes áreas do conhecimento. As revistas vinculadas à Psicologia, como era esperado dada a ênfase na Psicometria, o interesse em variáveis psicológicas e inclusão de uma base de dados específica (PePSIC), foram as mais frequentes entre os periódicos identificados no estudo. No entanto, também chama atenção a incidência dos periódicos da área da Saúde, o que esteve principalmente associado à temática de estudo sobre a saúde do universitário ou domínio de conteúdo/ procedimentos esperados para a área de formação, além da própria população estudada, já que aproximadamente 48% dos estudos que citaram no resumo o curso de origem tinham estudantes dos cursos de Enfermagem ou de Medicina como participantes.

A distribuição temporal das 139 publicações foi equilibrada, com um pico nos anos de 2014 e 2015. Ao se levantar a autoria das publicações foi possível concluir que há uma parceria entre os profissionais tanto do sexo feminino quanto masculino, pois houve prevalência de pesquisas que apresentaram autoria múltipla e também colaboração de ambos os sexos. Os dados revelados na presente pesquisa se contrapõem, em parte, a uma tendência observada em estudos anteriores que evidenciaram a autoria múltipla, mas predominantemente feminina (Cunha et al., 2009; Oliveira et al., 2007; Polydoro & Freitas, 2010; Suehiro et al., 2009; Suehiro et al., 2015, dentre outros).

Talvez esse dado possa ser compreendido quando se considera, ainda, que a área que tenha despontado com maior incidência de produtos tenha sido a de Humanas. É possível hipotetizar que tenha havido uma diversidade maior de periódicos com áreas de concentração menos caracterizadas pela prevalência do sexo feminino, a exemplo, revistas voltadas às publicações da Psicologia, Letras, Pedagogia, dentre outras.

Bisinoto, Marinho e Almeida (2011) chamam a atenção para o fato de que o crescimento da educação superior e a heterogeneidade de sua população têm demandado de diferentes áreas do conhecimento o investimento em estudos e reflexões que possam contribuir para a promoção de uma oferta de formação de qualidade. Portanto, o esperado é que a produção científica dessa etapa também esteja em crescimento no cenário nacional.

Para o critério Temática, averiguou-se a quantidade e distribuição das pesquisas em razão dos temas de interesse. Os artigos se dividiram entre aqueles que tinham foco no instrumento de medida e aqueles cujo foco de interesse era a medida da variável junto aos estudantes participantes. Mas, de modo geral, os temas mais estudados foram os vinculados a aspectos de natureza pessoal do indivíduo, como também observado em Polydoro e Freitas (2010), incluindo principalmente variáveis associadas ao bem-estar psicológico e físico. É fato a relevância das questões de natureza pessoal para a vida do universitário. Como refere El-Khawas (2003), é preciso conhecer os estudantes para além do seu perfil demográfico, em especial, incluindo a identificação de características que levem ao entendimento das necessidades dos estudantes. O autor salienta que, para tanto, é importante considerar o cenário da crescente heterogeneidade da população estudantil do ensino superior, entre eles, destacam-se fatores ligados à família do estudante e circunstâncias pessoais, como observado entre as variáveis estudadas nos artigos selecionados. Woodard, Love e Komives (2000) também destacam a necessidade do conhecimento da diversidade estudantil do ponto de vista desenvolvimentista, incluindo aspectos da identidade, atitudes, problemas psicológicos e emocionais, espiritualidade, como também observado nos estudos.

No entanto, considerando que o estudante do ensino superior precisa lidar com desafios que são múltiplos em sua natureza, era esperado que a produção científica, além de apresentar um maior número de publicações sobre as demandas acadêmicas, sociais, de carreira e institucional, também presentes no ensino superior, incluísse estudos sobre a interface desses domínios para a integração do estudante ao ensino superior. Os estudos internacionais, como de Pascarella e Terenzini (1991, 2005) demonstram a necessária visão integrada sobre a experiência universitária e sugerem um quadro amplo de temas que podem motivar a produção de conhecimento sobre o estudante de ensino superior.

Quanto à escolha do instrumento de coleta, observou- se acentuada predominância no uso de métodos baseados em papel, especificamente, instrumentos de autorrelato. O uso da escala e questionário como método de coleta está consoante com o termo Instrumento usado para a busca nas bases de dados. Nesse sentido, é compreensível a maior prevalência de artigos na revista Avaliação Psicológica, cujo foco é voltado, principalmente, à divulgação de produções que versam sobre a construção e adaptação de instrumentos e medidas psicológicas.

Pretendeu-se também verificar quem eram os sujeitos/ participantes das pesquisas. Notou-se que os resumos, de maneira geral, apresentavam poucas características sobre a amostra, o que foi considerado um aspecto negativo, pois o resumo deve ser informativo do número de sujeitos e universo da amostra de modo a facilitar a leitura e pesquisa de pessoas que recorrem a essas fontes. Ainda, ao fazer uma análise das informações sobre os participantes, a maior parte dos estudos informou que a população-alvo da pesquisa foi de universitários de uma maneira geral, sem especificar se eram ingressantes, em curso ou concluintes. Em razão desse achado, questiona- -se a qualidade da informação prestada no resumo, se se tratava de populações universitárias mistas (ingressantes, em curso e concluintes) ou se de fato a especificidade da amostra não foi contemplada.

Também é possível perceber que tomar os estudantes do ensino superior como participantes/sujeitos dos estudos nem sempre está relacionado ao interesse de tê-lo como população-alvo. Em parte dos estudos, infere-se que os participantes universitários foram selecionados como amostra por conveniência, dada a facilidade de acesso por parte do pesquisador à indivíduos que possuem as características essenciais ao fenômeno em estudo. Esse fato também foi constatado em Oliveira et al. (2007).

Ao se efetivar o mapeamento dos instrumentos empregados nas avaliações, emergiram dois dados. O primeiro abarca o fato de que os estudos em sua maioria empregam recursos psicométricos para avaliar a viabilidade dos instrumentos. Um aspecto considerado positivo é a quantidade de pesquisas que se voltaram à temática da Construção/Validade/Precisão. Ao se confrontar os resultados, aqui encontrados, com os de Souza Filho et al. (2006) que ressaltaram que os textos que analisaram, naquela ocasião, não empregaram testes como recurso de medida, é possível inferir que houve uma acentuada mudança, especialmente quando se considera que a pesquisa realizada pelos referidos autores foi realizada há quase uma década.

No entanto, o segundo dado, inferido a partir das análises dos resumos, indica que diferentes medidas foram desenvolvidas ou validadas na população universitária, não sendo possível identificar alguma que tenha tido um destaque expressivo para o estudo dessa população. Esses resultados parecem convergir para o que já apontou Oliveira et al. (2007).

Quando se considera as possibilidades de investigações a serem desenvolvidas no ensino superior e ao se refletir sobre as temáticas focadas, os recursos e os tipos de instrumentos, é possível constatar que se, por um lado, parece haver uma preocupação no emprego de medidas que forneçam dados fundamentados psicometricamente, por outro, parece que muitos fatores relevantes e específicos do contexto universitário brasileiro ainda necessitam da atenção dos pesquisadores.

Posto isso, indica-se como limitação do presente estudo que a coleta tenha se restringido a duas bases de dados (Scielo e PePSIC), muito embora abarquem um conjunto amplo de periódicos em âmbito nacional. Além disso, a análise dos artigos obtidos foi restrita aos seus resumos que, por vezes, não traziam de forma explícita todas as características da pesquisa que se pretendeu avaliar. Há que se estender para outras bases e também outras formas de produção como aquelas oriundas de dissertações e teses. Face ao que foi apresentado, faz-se necessária a realização de estudos futuros.

Esta revisão da produção científica sobre o estudante de ensino superior brasileiro pretendeu analisar as tendências do uso de instrumentos de avaliação utilizados nas pesquisas. Tal destaque faz-se relevante já que, a escolha cuidadosa do material/instrumento de coleta é imprescindível para a mensuração das variáveis definidas como objetivos da pesquisa, o que deve ser feito considerando o nível de mensuração, fidedignidade, validade, precisão, adequação aos sujeitos (Campos, 2001).

Notou-se a preocupação dos pesquisadores em utilizar medidas qualificadas. No entanto, considera-se que ainda é preciso ampliar as pesquisas tendo efetivamente as especificidades dos estudantes de ensino superior como alvo. E mais, se para buscar novas soluções comprometidas com os estudantes é necessário conhecer as suas características e, para isso, contar com instrumentos adequados é imprescindível, mas ainda é preciso avançar em pesquisas de intervenção, em estudos que contribuam para o desenvolvimento dos alunos e da instituição como um todo.

Mesmo entendendo que a pesquisa não pode oferecer respostas prontas aos sistemas de ensino (Leite, 2010), reflete-se sobre como o conhecimento produzido nos 139 artigos analisados podem compor um conjunto de informações significativas para a vida universitária. Isso ampliará a possibilidade de diálogo entre os diversos atores, no que se refere aos investimentos em termos de docência, gestão, serviços oferecidos, com o propósito de garantir o desenvolvimento integral e o sucesso acadêmico dos estudantes.

Referências

Antunes, M. A. M. (2014). A psicologia no Brasil: Leitura histórica sobre sua constituição (5a ed). São Paulo: EDUC         [ Links ]

Almeida, L. S., & Soares, A. P. (2003). Os estudantes universitários: sucesso escolar e desenvolvimento psicossocial. Em E. Mercuri, & S. A. J. Polydoro (Eds.). Estudante universitário: características e experiências de formação (pp.15-40). Taubaté: Cabral Editora e Livraria Universitária.         [ Links ]

Bariani, I. C. D., Buin, E., Barros, R. C., & Escher, C. A. (2004). Psicologia escolar educacional no ensino superior: análise da produção científica. Psicologia Escolar e Educacional, 8(1), 17-27.         [ Links ]

Bisinoto, C., Marinho, C., & Almeida, L. (2011). A atuação da psicologia escolar na educação superior: algumas reflexões. Revista Portuguesa de Pedagogia, 45(1), 39-55.         [ Links ]

Bufrem L. S, Silva, H. F. N, Fabian, C. L. S. R. M, & Sorribas T. V. (2007). Produção científica em ciência da informação: análise temática em artigos de revistas brasileiras. Perspectivas em Ciência da Informação, 12(1), 38-49.         [ Links ]

Campos, L. F. L. (2001). Métodos e técnicas de pesquisa em Psicologia. Campinas, SP: Editora Alínea.         [ Links ]

Cunha, N. B., Suehiro, A. C. B., Oliveira, E. Z., Pacanaro, S. V., & Santos, A. A. A. (2009). Produção científica da avaliação da leitura no
contexto escolar. Psico-RS, 40(1), 17-23

El-khawas, E, (2003). The many dimensions of student diversity. Em S. R. Komives, D. B. Woodard, & Associates. Student Services. A handbook for the profession (4th ed., pp. 45-62). San Francisco: Jossey-Bass.         [ Links ]

Freitas, M. H. A. (1998). Avaliação da produção científica: considerações sobre alguns critérios. Psicologia Escolar e Educacional, 2(3), 211-228.         [ Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [INEP] (2014). Censo da Educação Superior – notas estatísticas. Brasília: INEP. Recuperado de http://download.inep.gov.br/educacao_superior/censo_superior/documentos/2015/notas_sobre_o_censo_da_ educacao_superior_2014.pdf         [ Links ]

Meneghini, R. (1998). Avaliação da produção científica e o projeto SciELO. Ciência da Informação [on line], 27(2) Recuperado de http://www. scielo.br/pdf/ci/v27n2/meneghini.pdf         [ Links ]

Morosini, M. C. (2001). Introdução. Em M. C. Morosini (Ed.). Educação Superior em periódicos nacionais (1968-1995) (pp. 15-34). Brasília: MEC/Inep/Comped.         [ Links ]

Mueller, S. P. M. (2006). A comunicação científica e o movimento de acesso livre ao conhecimento. Ciência da Informação, 35(2), 27-38.         [ Links ]

Noronha, A. P. P., & Reppold, C. T. (2010). Considerações sobre a avaliação psicológica no Brasil. Psicologia Ciência e Profissão, 30(núm. esp.), 192-201.         [ Links ]

Leite, D. B. C. (2010). Estudantes e avaliação. Avaliação (Campinas), 15(3), 9-27.         [ Links ]

Oliveira, K. L., Cantalice, M. C., Joly, M. C. A. R., & Santos, A. A. A. (2006) Produção científica de 10 anos da revista Psicologia Escolar e Educacional (1996/2005). Psicologia Escolar e Educacional 10(2), 283-292.         [ Links ]

Oliveira, K. L., Santos, A. A. A., Noronha, A. P. P., Boruchovitch, E., Cunha, C. A., Bardagi, M. P., & Domingues, S. F. S. (2007). Produção científica em avaliação psicológica no contexto escolar. Psicologia Escolar e Educacional, 11(1), 239-251 .         [ Links ]

Oliveira Filho, R. S., Hochman, B. Nahas, F. X., & Ferreira, L. M. (2005). Fomento à publicação científica e proteção do conhecimento científico. Acta Cirúrgica Brasileira, 20(2 supl.), 35-39.         [ Links ]

Pascarella, E. T., & Terenzini, P. T. (1991). How college affects students. San Francisco: Jossey-Bass.         [ Links ]

Pascarella, E. T., & Terenzini, P. T. (2005). How College Affects Students: A third decade of research. (2ª edição). San Francisco: Jossey-Bass.         [ Links ]

Pinto, L. P., Lima, T. H., & Lima, R. C. (2011). Estudo da produção científica da revista Psico-USF de 2007 a 2011. PSICO-USF, 16(3), 383-390.         [ Links ]

Polydoro, S. A. J., & Freitas, F. A. (2010). Pesquisas com estudantes do ensino superior: algumas características a partir de periódicos nacionais. Estudos Interdisciplinares em Psicologia, 1(1), 26-39.         [ Links ]

Santos, A. A. A., Oliveira, K. L., Joly, M. C., & Suehiro, A. B. (2003). I Congresso Nacional de ‘Psicologia – Ciência e Profissão’: o que tem sido feito na psicologia educacional. Psicologia Escolar e Educacional, 7(2), 135-144.         [ Links ]

Souza Filho, M. L., Belo, R., & Gouveia, V. V. (2006). Testes Psicológicos: análise da produção científica no período de 2000-2004. Psicologia: Ciência e Profissão, 26(3), 478-489.         [ Links ]

Suehiro, A. C. B., Benfica, T. S., & Cardim, N. A. (2015). Avaliação cognitiva infantil nos periódicos científicos brasileiros. Psicologia: Teoria e Pesquisa, 31(1), 25-32.         [ Links ]

Suehiro, A. C. B., & Rueda, F. J. M. (2009). Revista Avaliação Psicológica: um estudo da produção científica de 2002 a 2007. Avaliação Psicológica, 8(1), 131-139.         [ Links ]

Suehiro, A. C. B., Rueda, F. J. M., Oliveira, E. Z., & Pacanaro, S. V. (2009). Avaliac¸a~o do autoconceito no contexto escolar: ana´lise das publicações em perio´dicos brasileiros. Psicologia: Cie^ncia e Profissa~o, 29(1), 18-29        [ Links ]

Zanella, A. V., & Titon, A. P. (2005). Análise da produção científica sobre criatividade em programas brasileiros de pós-graduação em psicologia (1994-2001). Psicologia em Estudo, 10(2), 305-316.         [ Links ]

Witter, G. P. (1999). Metaciência e leitura. Em G. P. Witter (Ed.), Leitura: textos e pesquisas (pp. 13-22). Campinas: Alínea.         [ Links ]

Witter, G. P. (2005) (Ed.). Metaciência e psicologia. Campinas: Alínea.         [ Links ]

Woodard, D. B., Love, P., & Komives, S. R (2000). Students of the new millennium. Em D. B. Woodard, P. Love & S. R. Komives. Leadership and management issues for new century (pp. 35-47). San Francisco: Jossey Bass.         [ Links ]

recebido em outubro de 2015
reformulado em maio de 2016
aprovado em agosto de 2016

Sobre os autores

Soely Aparecida Jorge Polydoro: é Doutora em Educação pela Universidade Estadual de Campinas e docente da Faculdade de Educação da Universidade Estadual de Campinas, Campinas – SP – Brasil.
Katya Luciane de Oliveira: é Doutora em Educação pela UNICAMP, atuando como Professora no Programa de Pós-Graduação em Educação da Universidade Estadual de Londrina.
Elizabeth Nogueira Gomes da Silva Mercuri: é Psicóloga, doutora em Educação pela Universidade Estadual de Campinas. Atualmente é Professora Colaboradora da Faculdade de Educação da Unicamp.
Acácia Aparecida Angeli dos Santos: é Doutora em Psicologia pela Universidade de São Paulo e docente da Universidade São Francisco, Itatiba – SP – Brasil.

¹E-mail para correspondência: soelypolydoro@gmail.com