10.5935/RPOT/2022.1.22084 ARTIGOS

 

Uso de vinhetas âncora nas pesquisas em Psicologia Organizacional e do Trabalho

 

The use of anchor vignettes in research in Organizational and Work Psychology

 

El uso de viñetas de anclaje en las investigaciones en Psicología Organizacional y Laboral

 

 

Luciana Mourão^I; Felipe Valentini^II

^IUniversidade Salgado de Oliveira (UNIVERSO), Brasil; Universidade do Estado do Rio de Janeiro (UERJ), Brasil
^IIUniversidade São Francisco (USF), Brasil

Informações sobre os autores

 

 

---

RESUMO

As pesquisas na área de comportamento organizacional são, em geral, realizadas por meio de surveys com uso de escalas Likert. Tais escalas permitem obter feedbacks e conhecer sentimentos e atitudes de diferentes stakeholders, mas são sujeitas ao viés dos estilos de resposta que pode conduzir a resultados espúrios. Este artigo teve por objetivo apresentar o uso de vinhetas âncora como estratégia de controle do viés do estilo de resposta em pesquisas com escala Likert voltadas para a área organizacional. A praticidade e a economicidade constituem importantes critérios para recomendar a adoção das vinhetas âncora, que se mostram como um método útil e de fácil aplicação para o controle de viés da resposta em escalas Likert. Assim, apresentamos o método de uso das vinhetas em cinco passos, que se forem seguidos permitirão melhorar a confiabilidade das pesquisas quantitativas na área de Psicologia Organizacional e do Trabalho.

Palavras-chave: estilos de resposta; escala Likert; vinhetas âncora.

---

ABSTRACT

Surveys in organizational behavior generally use Likert scales. Such scales, on the one hand, yield feedback, as well as knowledge about feelings and attitudes of different stakeholders. However, on the other hand, they are susceptible to bias due to response styles, which can lead to spurious results. This article aimed to present the use of anchor vignettes as a strategy to control the response bias due to the response style in surveys with Likert scales, focused on the organizational area. Practicality and economization are important criteria to recommend the adoption of anchor vignettes, considered a useful and effortless application method to control the bias of the response on Likert scales. Thus, we present the method in five steps; if these are followed, it will improve the reliability of quantitative research in organizational and work psychology.

Keywords: response style; likert scale; anchor vignettes.

---

RESUMEN

Las investigaciones en el área del comportamiento organizacional se realizan generalmente a través de surveys que utilizan escalas Likert. Dichas escalas permiten obtener retroalimentaciones y conocer sentimientos y actitudes de diferentes stakeholders, pero están sujetas al sesgo de los estilos de respuestas capaces de conducir a resultados espurios. El objetivo de este artículo fue presentar el uso de viñetas de anclaje como estrategia de control del sesgo de respuesta en investigaciones con escala Likert dirigidas al área organizacional. La practicidad y la economicidad constituyen importantes criterios para recomendar la adopción de las viñetas de anclaje, mostrándose un método útil y de fácil aplicación para controlar el sesgo de respuesta en las escalas Likert. Por lo tanto, presentamos el método de uso de viñetas en cinco pasos que, si se siguen, mejorarán la confiabilidad de la investigación cuantitativa del área de Psicología Organizacional y del Trabajo.

Palabras clave: estilos de respuesta; escala Likert; viñetas de anclaje.

---

 

 

As pesquisas organizacionais na área de comportamento humano no trabalho são quase sempre voltadas à apreensão do que é dito pelas pessoas (Aguinis, Pierce, Bosco, & Muslin, 2009), numa clara hegemonia do autorrelato como método central das pesquisas na área (Mourão, Bastos, & Oliveira, 2016). Em um estudo contemplando os 193 artigos publicados nos dez primeiros volumes da revista Organizational Research Methods (ORM), no período de 1998 a 2007, os surveys predominaram (Aguinis et al., 2009). O mesmo ocorre na literatura nacional. Mourão et al. (2016) relatam que em 694 pesquisas sobre Comportamento Organizacional, publicadas em 15 periódicos das áreas de Psicologia e Administração no Brasil, no período de 1996 a 2013, a prevalência foi de aplicação de questionários (65,6%), e, em alguns temas, como comprometimento organizacional, suporte organizacional e estresse no trabalho esses percentuais ultrapassam 80% do total de pesquisas.

Grande parte dessas pesquisas na área organizacional é realizada a partir do uso de escalas Likert, que mensuram atitudes, a partir de escalas de resposta que remetem a diferentes graus de concordância/discordância (Chyung, Roberts, Swanson, & Hankinson, 2017). A escala Likert foi desenvolvida, há quase um século, pelo psicólogo social americano Rensis Likert para uso em pesquisas atitudinais. Tal escala contém cinco pontos de resposta que devem ser usados pelos participantes para expressarem sua opinião ou sentimento acerca de uma série de itens referentes a um objeto específico que está sendo medido (Likert, 1932).

A escala de resposta proposta por Likert é bipolar, com um polo de concordância originalmente formado pelas respostas "aprovo totalmente" e "aprovo"; e outro polo de discordância, composto pelas expressões "desaprovo" e "desaprovo totalmente", com um ponto intermediário que seria um ponto neutro ("indeciso"). Posteriormente, a palavra "aprovo" (approve) foi alterada para "concordo" (agree), que é o formato mais utilizado atualmente (Chyung et al., 2017). As pontuações para cada um dos itens podem ser somadas para obter um escore total para cada respondente ou, alternativamente, são calculadas pontuações médias. (Willits, Theodori, & Luloff, 2016). Usualmente, as respostas aos itens do tipo Likert são utilizadas como indicadores observados para estimação de escores latentes.

Embora a escala Likert orginalmente tivesse cinco alternativas de resposta com polos de concordância e discordância, um conjunto de outros formatos passou a ser utilizado nas pesquisas em ciências sociais (ex.: de "totalmente satisfeito" a "totalmente insatisfeito"; ou "ruim, razoável, bom e excelente" (Chyung et al., 2017). Escalas de resposta que não são de concordância/discordância e/ou que têm um número de pontos de resposta diferente de cinco, mas que seguem a proposta geral de Rensis Likert, são geralmente denominadas "escalas tipo Likert". Apesar de tal distinção, neste artigo, padronizamos esse conjunto de escalas como "escalas Likert".

A despeito de alguns pesquisadores pontuarem que o uso das escalas Likert pode causar distorção e perda de informação em função de sua natureza ordinal e formato fechado (Kandasamy, Kandasamy, Obbineni, & Smarandache, 2019), essas escalas seguem sendo amplamente utilizadas, sobretudo para avaliar atitudes pessoais (Carifio & Perla, 2008; Willits et al., 2016). Em organizações, elas também são usadas em diversas pesquisas (Aguinis et al., 2009; Mourão et al., 2016) para obter feedbacks e conhecer sentimentos e atitudes de diferentes stakeholders. Mas seu uso nem sempre reflete a preocupação com os vieses derivados de respostas descuidadas ou pouco confiáveis por parte de alguns respondentes (Lang, Lievens, De Fruyt, Zettler, & Tackett, 2019).

Em síntese, a literatura evidencia que, se por um lado, as escalas Likert tornaram-se uma prática comum nas ciências sociais e na pesquisa em gestão (Awang, Afthanorhan, & Mamat, 2016), tendo recebido algumas críticas "injustas" (Willits et al., 2016); por outro, o uso desse tipo de escala traz desafios para os quais os pesquisadores precisam estar atentos, pois tais escalas são sujeitas a determinados vieses de resposta. Nesse sentido, considerando a utilidade e a frequência de uso das escalas Likert, é fundamental que sejam desenvolvidas estratégias para minimizar os riscos de vieses nas pesquisas empíricas que as utilizam. Se não forem seguidas algumas estratégias, é possível que o uso dessas escalas conduza a resultados tendenciosos ou espúrios. Assim, o presente artigo objetiva apresentar o uso de vinhetas âncora como estratégia de controle do viés do estilo de resposta em pesquisas empíricas quantitativas com escala Likert voltadas para a área organizacional. As vinhetas âncora consistem em descrições de pessoas ou grupos hipotéticos, que diferem no atributo de interesse (variável que está sendo estudada), e são utilizados como benchmark para ancorar as respostas dos indivíduos (Mõttus et al., 2012).

Viés de Estilo de Resposta em Escalas Likert e a Proposta das Vinhetas Âncora

Quando se utiliza escalas Likert, diferentes fenômenos podem ameaçar a validade e a confiabilidade das pontuações, uma delas é o estilo de resposta. Esse fenômeno refere-se à tendência de responder a essas escalas em uma determinada direção, independentemente do conteúdo do item que está sendo avaliado. Assim, há pessoas que têm um estilo de resposta que tende a concordar com itens sem levar em conta o seu conteúdo (estilo aquiescente), enquanto outros tendem a usar os pontos extremos ou os pontos finais da escala (estilo de resposta extrema), e há também aqueles que são propensos a marcar as respostas da posição central (estilo de resposta média) (He, Bartram, Inceoglu, & Van de Vijver, 2014). O estilo de resposta pode distorcer os resultados das pesquisas em função da variação no total de pontuações que tem como componente outros fenômenos e não o construto que está sendo avaliado.

Outro estilo de resposta importante se refere ao grupo de referência (Kyllonen & Bertling, 2014). Participantes da pesquisa nem sempre entendem o conteúdo do item com a mesma intensidade. Por exemplo, para uma avaliação de desempenho realizada pela chefia, os pesquisadores constroem um conjunto de itens, entre eles: 'Tomou decisões favoráveis aos objetivos da organização'. Para o gestor X, um subordinado que toma decisões favoráveis aos objetivos da organização pode ser simplesmente aquele que cumpre com as tarefas que lhe forma designadas; enquanto para o gestor Y, um subordinado que toma decisões favoráveis aos objetivos da organização deve buscar proativamente melhorar os indicadores organizacionais independentemente das tarefas que tenha ou não recebido. Nesse caso, a relação entre a tomada de decisões dos empregados e a avaliação de seu desempenho será distinta entre os gestores X e Y. Esse estilo de resposta pode comprometer a precisão e a validade dos escores de um instrumento (Primi, Zanon, Santos, De Fruyt, & John, 2016).

Essa heterogeneidade no uso das respostas da escala pode estar associada a padrões desiguais de entendimento de cada ponto da escala (por exemplo, a opção "concordo" pode ser compreendida de diferentes maneiras pelas pessoas) ou também a padrões pessoais em termos de otimismo, concordância, humor ou propensão a usar categorias extremas. Assim, podem ocorrer vieses sistemáticos dentro dos grupos de respondentes, como o viés de positividade; ou ainda padrões desiguais de interpretação das categorias da escala. Essas diferenças sistemáticas no uso de escala são genericamente denominadas como funcionamento diferencial (DIF) (King & Wand, 2007), havendo também o funcionamento diferencial da pessoa (person differential functioning - PDIF) (Primi et al., 2016).

Existem formas de lidar com os estilos de resposta e uma delas é utilizar as vinhetas âncora (King & Wand, 2007; Mõttus et al., 2012; Primi et al., 2016). Embora seja uma estratégia ainda pouco utilizada em pesquisas na área organizacional, esse recurso já vêm sendo adotado em diferentes avaliações quantitativas como, por exemplo, no Programa Internacional de Avaliação de Estudantes (PISA) (Kyllonen & Bertling, 2014), em pesquisas de autoavaliação de habilidades socioemocionais em adolescentes (Primi et al., 2016), e com maior frequência em estudos de avaliação de políticas públicas, inclusive estudos transculturais (King & Wand, 2007; Mõttus et al., 2012).

Nas pesquisas organizacionais, que frequentemente requerem comparações de grupos (de clientes, funcionários, chefes etc.), o uso das escalas tipo Likert, ao mesmo tempo em que é desejável por sua praticidade, também apresenta riscos pelos vieses existentes na comparabilidade de respostas dos grupos, uma vez que parte da variância das respostas dadas às escalas refere-se ao DIF ou PDIF, e não ao conteúdo avaliado (King & Wand, 2007). As vinhetas âncora visam justamente identificar o real nível de uma variável de pesquisa, controlando problemas relacionados ao funcionamento diferencial dos grupos ou das pessoas.

O método das vinhetas âncora busca, portanto, avaliar os estilos de resposta de referência; e o faz por meio da apresentação de breves descrições de pessoas hipotéticas (personagens fictícios), que variam sistematicamente nas características latentes que são objeto da pesquisa. Os respondentes devem avaliar os personagens descritos nas vinhetas usando a mesma escala de resposta a ser adotada no restante do questionário (Primi et al., 2016). Assim, se a pesquisa é sobre comportamento contraproducente no trabalho, as vinhetas devem descrever personagens com diferentes níveis desse construto (por exemplo, níveis muito baixo, baixo, médio, elevado e muito elevado desse tipo de comportamento).

Primi et al. (2016) ponderam que a classificação que os respondentes fazem dos personagens fictícios apresentados nas vinhetas permite inferir como eles traduzem os níveis daquele construto na escala de classificação tipo Likert que está sendo adotada. O pressuposto é que, como todos os participantes classificam o mesmo conjunto de vinhetas, essa classificação individual se transforma em pontos fixos de ancoragem para igualar as respostas entre os respondentes e, por conseguinte, corrigir o efeito dos estilos de resposta. Destarte, as autoavaliações dos entrevistados são recodificadas por meio de uma comparação com as respectivas classificações nas vinhetas, usando um algoritmo não paramétrico.

Para melhor compreender a técnica, vamos exemplificá-la. Consideremos uma pesquisa de satisfação com o trabalho, cuja escala de resposta aos itens do questionário varie de 1 = totalmente insatisfeito a 5 = totalmente satisfeito. Quando dois empregados atribuem o valor 4 para o item oportunidades de desenvolvimento profissional que a organização lhe oferece, não temos certeza de que o valor 4 tem o mesmo significado para ambos. Pode ser que um dos empregados não seja muito exigente em suas avaliações, nesse caso, o valor 4 atribuído por ele pode significar que não está muito satisfeito com as oportunidades de desenvolvimento que vem recebendo naquela organização, pois se estivesse, tenderia a atribuir nota máxima. Já o segundo empregado que atribuiu valor 4 é muito exigente quanto ao seu desenvolvimento profissional e raramente atribui uma nota acima de 3 para as ações de capacitação que a organização oferece. A nota 4 desse último cliente significa que ele está bastante satisfeito com as oportunidades de desenvolvimento ofertadas pela sua organização.

O problema é que, nas análises de dados, as respostas desses dois empregados serão computadas como iguais, o que indica um viés de resposta que ocorre com o uso de escalas Likert. É justamente para solucionar o problema de adequação das respostas a perfis de participantes mais ou menos exigentes (ou com esta ou aquela tendência de resposta), que as vinhetas âncora foram criadas.

Passo a Passo para o Uso das Vinhetas Âncora em Pesquisas Organizacionais

A estratégia das vinhetas âncora têm fácil aplicação e apresentaremos a seguir um passo a passo para sua utilização em pesquisas na área de Psicologia Organizacional e do Trabalho. Organizamos cinco passos que conduzem a um uso adequado das vinhetas âncora, sendo três etapas anteriores à realização da pesquisa empírica e duas etapas posteriores à coleta de dados (Figura 1).

Primeiro Passo: Definição das Medidas e das Respectivas Escalas de Resposta

Quando se decide trabalhar com vinhetas âncoras, a primeira escolha consiste na definição das medidas que serão usadas no questionário e suas respectivas escalas de resposta. Precisamos identificar as medidas mais indicadas para atender ao objetivo de pesquisa. Inúmeros artigos científicos apresentam diversas escalas voltadas para a avaliação de atitudes de consumidores, funcionários, gestores etc. Há também várias obras que compilam um conjunto de medidas para pesquisas quantitativas na área organizacional, por exemplo, para avaliar o comportamento organizacional como ferramenta de diagnóstico e de gestão (Siqueira, 2014), para as avaliações de ações de treinamento, desenvolvimento e educação (Abbad et al., 2012) ou ainda para o diagnóstico de diferentes fenômenos organizacionais ou do mundo do trabalho (Puente-Palácios & Peixoto, 2015). Essas obras apresentam não só as informações psicométricas de diferentes medidas com escala Likert que podem ser utilizadas por pesquisadores e profissionais na área organizacional, mas também os cuidados no uso de tais medidas e como interpretar os resultados obtidos.

Essas medidas podem ter diferentes escalas Likert, seja em número de itens, seja nas categorias de resposta. A Tabela 1 apresenta alguns exemplos de escala Likert utilizadas em pesquisas organizacionais. Como pode ser visto, algumas delas apresentam ancoragem em todos os pontos e outras ancoram apenas as duas extremidades das categorias de resposta.

Segundo Passo: Criação das Vinhetas Âncora

Após definir as medidas que serão utilizadas na pesquisa é preciso criar as vinhetas, ou seja, os casos fictícios que serão utilizados para identificar os padrões de resposta de cada pesquisado. O pressuposto básico é de que as vinhetas sejam projetadas para ilustrar os diferentes níveis de gradação que existem para um determinado construto. Isso é importante para aumentar as chances de que todos os tipos de categorias de resposta sejam amplamente escolhidos e, como resultado, que as diferenças individuais nos estilos de resposta possam ser captadas (Mõttus et al., 2012). Para atender a esse pressuposto, em uma pesquisa realizada em 20 países sobre o efeito do estilo de resposta nos autorrelatos sobre conscienciosidade, Mõttus et al. (2012) utilizaram 30 personagens fictícios descritos em vinhetas curtas. Contudo, em geral, é possível ter um número bem menor de vinhetas. Não há um critério definido para a quantidade de vinhetas. Essa decisão dependerá do objetivo da pesquisa e do tempo previsto para a aplicação do questionário, pois um número maior de vinhetas tende a demandar maior esforço de julgamento por parte dos respondentes. Usualmente, são utilizadas, no mínimo, três vinhetas por construto. No exemplo de pesquisa sobre o desempenho no trabalho, Andrade, Queiroga e Valentini (2020) criaram três vinhetas que descreviam personagens fictícios associadas ao baixo, médio e alto desempenho (Figura 2).

Uma regra importante é a de que as vinhetas âncora devem respeitar o objeto em avaliação, isto é, se a pesquisa é sobre comprometimento organizacional, as vinhetas deveriam descrever atitudes de personagens fictícios com diferentes graus de comprometimento. Se a pesquisa é sobre abertura à mudança organizacional, as vinhetas devem descrever personagens fictícios que tenham total abertura a mudança, assim como aqueles que são muito resistentes, com alguns níveis intermediários que permitam refletir funcionários com distintas gradações de abertura ou resistência às mudanças.

Outro aspecto importante se refere ao formato de resposta das vinhetas, que devem ser iguais ao do instrumento principal (Primi et al., 2016). Por exemplo, se o inventário de satisfação é respondido por meio de uma escala Likert de cinco pontos, as vinhetas também devem utilizar o mesmo procedimento. Além disso, seria recomendável que as ancoragens de cada ponto da escala Likert fossem iguais ou compatíveis entre o instrumento principal e as vinhetas. Assim, a ideia é que os respondentes avaliem os personagens descritos nas vinhetas usando a mesma escala de resposta adotada no restante do questionário.

Para aumentar a probabilidade de que os entrevistados pensem na vinheta como descrevendo alguém como eles, exceto pelo conteúdo da vinheta, os indivíduos hipotéticos recebem nomes apropriados para o idioma e a cultura e, quando possível, com correspondência também para o sexo do entrevistado (King & Wand, 2007). Para diferentes setores e objetos de pesquisa, já existem vinhetas desenvolvidas que podem ser adotadas ou servir de exemplo para pesquisas futuras (para mais informações consultar https://gking.harvard.edu/vign).

Sugere-se também que as vinhetas sejam dispostas em ordem crescente em relação à gradação do construto. Vamos pensar no exemplo de uma pesquisa de engajamento no trabalho, os empregados fictícios deveriam ser apresentados de tal sorte que quem apresenta um padrão de engajamento mais baixo seria o primeiro a ser apresentado e o empregado fictício com um padrão de engajamento mais elevado seria o último a figurar no questionário. Isso ajudaria o respondente a perceber a gradação, permitindo que ele expresse seu estilo de resposta a partir dos diferentes estímulos ofertados pelas vinhetas âncora.

Terceiro Passo: Validação das Vinhetas Âncora

O próximo passo após a criação das vinhetas é testá-las em termos de validade de construto e de validade semântica. Saber se as vinhetas de fato cobrem as diferentes gradações do construto é uma tarefa que pode contar com a avaliação de juízes, isto é, experts naquele determinado objeto de estudo e que podem contribuir com a etapa de validade de construto. Em seguida, é também importante testar se os participantes da pesquisa compreendem bem as descrições que estão sendo feitas dos personagens fictícios e se as vinhetas possuem equivalência. Essa equivalência supõe que todos os pesquisados compreenderão da mesma maneira as gradações das vinhetas âncora, ou seja, o nível da variável representada pelo personagem fictício deve ser compreendido pelos participantes (King & Wand, 2007).

Voltando ao exemplo de avaliação do engajamento de empregados, as vinhetas âncora a serem criadas deveriam apresentar personagens fictícios cuja descrição remetesse a empregados posicionados em diferentes níveis desse construto. Essas diferenças entre os níveis da vinheta (ou seja, as características dos personagens fictícios) precisam ficar claras para os participantes. Hipoteticamente, o empregado André seria caracterizado como um funcionário pouco engajado no trabalho, o empregado Bernardo precisaria ser descrito com um nível intermediário de engajamento e o empregado Cláudio teria que ser descrito de forma a não haver dúvida de que seria uma pessoa que se engaja muito no trabalho.

O pressuposto é de que o estilo de resposta é homogêneo entre os itens do questionário e as vinhetas. Em outras palavras, a vinheta deve suscitar no participante o mesmo estilo de resposta presente nos itens (Kyllonen & Bertling, 2014). Para que isso ocorra, é necessário garantir que haja compatibilidade entre a escala de resposta dos itens e das vinhetas, bem como que as vinhetas descrevam os mesmos tipos de sentimentos, comportamentos e características dos itens.

Além disso, é importante avaliar a compreensão da tarefa das vinhetas. Sujeitos de pesquisa estão acostumados a responder sobre si (autorrelato). Assim, nem todo participante compreende rapidamente que deve responder sobre personagens fictícios (ou metafóricos). Para contornar esse problema, sugerimos um pré-teste da aplicação do questionário a fim de testar a compreensão das vinhetas, dos itens do questionário e da escala Likert escolhida para a resposta. A amostra do pré-teste não precisa ser grande, mas deve contemplar pessoas pertencentes ao público-alvo definido como universo daquela pesquisa. Posteriormente à aplicação, é importante realizar uma entrevista com os participantes a fim de identificar possíveis erros de compreensão ou dificuldades que eles possam ter tido com palavras ou expressões que foram usadas na pesquisa. Por fim, o pré-teste pode também indicar a necessidade de inclusão de novos níveis nas vinhetas âncora, que permitam representar de forma mais fidedigna as atitudes dos pesquisados relativamente ao construto em foco. Isso será identificado quando os participantes da validação semântica manifestarem que sentiram dificuldades em avaliar as vinhetas em função de sentirem falta de personagens fictícios com maior variabilidade nos padrões de comportamento apresentados; ou personagens que reúnem características incomuns de serem observadas na mesma pessoa.

Quarto Passo: Recodificação das Respostas a partir das Vinhetas Âncora

Após a coleta de dados, é preciso realizar a recodificação das respostas aos itens do questionário. Esse processo de recodificação é realizado a partir de uma comparação das respostas dos participantes às vinhetas, de tal sorte que quem apresentou uma avaliação mais severa ou menos severa terá seus escores corrigidos na respectiva direção. Em outras palavras, as vinhetas âncora buscam reposicionar em uma escala única as respostas de indivíduos heterogêneos, com estilos de resposta distintos. (King & Wand, 2007).

Assim, o processo de recodificação funciona a partir da comparação das respostas dadas ao questionário e as respostas dadas às vinhetas. As vinhetas são utilizadas como uma espécie de 'baliza' de intervalos para recodificar as respostas ao instrumento principal. Para explicar essa etapa, utilizaremos um exemplo de vinheta com três personagens fictícios e uma escala Likert de quatro pontos de resposta. A Tabela 2 ilustra esse processo de recodificação. A primeira coluna da tabela indica a situação da resposta de um determinado participante ao item do questionário quando comparada com a resposta atribuída pelo mesmo participante à vinheta. A segunda coluna indica o novo valor que a resposta daquele participante deverá assumir, de forma a contemplar seu estilo de resposta.

A Tabela 2 também descreve os pontos de ancoragem. A vinheta baixa, por exemplo é utilizada como um limiar inferior. Caso a resposta ao item do questionário principal seja inferior ao da vinheta baixa, significa que, para o sujeito, o conteúdo desse item descreve alguma situação de níveis inferiores ao da vinheta. Como a vinheta é descritiva e de exemplos concretos do construto, esse limiar é utilizado como âncora comum entre os participantes. Pensemos no exemplo de uma pesquisa de avaliação de desempenho em que dois líderes atribuíram nota 3 para um determinado item da performance de seus subordinados. O Líder X atribuiu nota 3 à vinheta de nível intermediário, portanto, a resposta dele para o item de avaliação da performance do subordinado seria recodificada para o valor 4. Já o Líder Y, que atribuiu nota 3 à vinheta de nível mais elevado, então teria a sua avaliação recodificada para o valor 6. Esse exemplo mostra que a mesma nota 3 atribuída pelos dois líderes seria modificada para 4 em um caso e para 6 no outro, de forma a refletir, com maior precisão, a avaliação que cada líder faz daquela performance de seu subordinado.

Como pode ser observado na Tabela 2, o uso dessa técnica amplia o número de pontos da escala Likert de 4 para 7 pontos, buscando respeitar as diferenças de estilo pessoal de resposta entre os participantes. Como a recodificação deriva de uma comparação entre a posição das respostas dos participantes aos itens do questionário e suas respostas às vinhetas, quanto maior o número de vinhetas, maior será a amplitude da escala final obtida após o processo de recodificação. Por exemplo, se fossem utilizadas quatro vinhetas (baixa, média-baixa, média-alta e alta), a recodificação resultaria em nove pontos, pois haveria duas possiblidades adicionais de resposta: igual ou maior à vinheta que foi adicionada. Portanto, se usarmos uma ancoragem com três vinhetas, teremos sete pontos de resposta na recodificação (Tabela 2), mas se usarmos quatro vinhetas, ampliaremos para nove as possibilidades de recodificação, uma vez que sempre comparamos a resposta de cada participante no instrumento principal com as respostas que essa mesma pessoa deu às vinhetas. Mas a quantidade de pontos da escala final depende da quantidade de vinhetas, portanto, se a escala original do instrumento for de 10 pontos e forem utilizadas apenas três vinhetas, a recodificação reduzirá a escala para os mesmos sete pontos do exemplo da Tabela 2.

Uma boa notícia é que a recodificação pode ser feita de forma automatizada no programa de análises estatísticas R (que é um software livre e cada vez mais utilizado por pesquisadores de todo o mundo). Já existem, portanto, pacotes específicos para o uso das vinhetas âncoras, por exemplo, o Anchors Package, desenvolvido por Wand et al. (2011). O uso desses pacotes requer apenas que os pesquisadores apresentem informações sobre a quantidade de vinhetas e as escalas de resposta que foram utilizadas.

Quinto Passo: Diagnóstico das Vinhetas, Limpeza do Banco e Análise de Dados

Após concluída a recodificação, será iniciado o trabalho de análise de dados, considerando os objetivos da pesquisa e o delineamento metodológico adotado. A primeira etapa envolve o diagnóstico das vinhetas, principalmente quanto aos casos de inversão e de empate (ties). A inversão ocorre quando a resposta a uma vinheta baixa é maior do que a resposta a uma vinheta alta (Kyllonen & Bertling, 2014; Primi et al, 2016). Por exemplo, para a vinheta de alta satisfação, um sujeito endossou a categoria três da escala Likert (possivelmente porque se trata de uma pessoa muito exigente); no entanto, para a vinheta de baixa satisfação, o mesmo participante endossou a categoria 2, violando a expectativa quanto à ordem de ancoragem das vinhetas no contínuo do construto. Espera-se que os casos de inversão não ultrapassem 10% da amostra (no entanto esse número é arbitrário e desconhecemos um estudo de simulação que tenha testado esse threshold). Caso esse número ultrapasse 10%, é preciso avaliar com cuidado se o uso das vinhetas para a correção das respostas deve ou não ser mantido. Talvez, os participantes não tenham compreendido a tarefa; ou as vinhetas não reflitam adequadamente o contínuo do construto. Se essa for a conclusão, talvez a recodificação a partir das vinhetas deva ser abortada.

Vamos retomar o exemplo da pesquisa de engajamento no trabalho, considerando as vinhetas em que a Empregada Ana seria caracterizada como uma funcionária com elevado padrão de engajamento, a Empregada Beatriz se classificaria como de nível intermediário nesse construto e a Empregada Cláudia teria uma atitude de baixo grau de engajamento no trabalho. Quando um participante da pesquisa avalia as vinhetas de forma a julgar que a Beatriz tem escores de engajamento no trabalho mais elevados do que a Ana ou que a Cláudia é mais engajada do que as outras duas empregadas fictícias, há uma violação na ordem esperada. O problema é que não é possível saber se o participante realmente pensa de maneira invertida (por questões psicológicas muito específicas), se não entendeu a tarefa ou se não prestou atenção ao atribuir a sua resposta. Caso haja outras evidências que se trata de um caso de falta de atenção ou de entendimento (por exemplo, quando se usam, ao longo do questionário, itens cujo objetivo é somente a verificação de atenção do respondente), é possível excluir o caso no processo de limpeza do banco de dados, pois o uso das vinhetas permitiu identificar que ele atribuiu respostas espúrias aos itens. Uma solução alternativa é atribuir o valor mais baixo às vinhetas invertidas. Por exemplo, para vinheta baixa, o participante respondeu 3; e para a vinheta média, o participante respondeu 2; neste caso, ambas receberiam o valor 2. No entanto, é preciso cautela ao adotar tal alternativa, pois ela pode ser tendenciosa, uma vez que não temos as informações sobre o processo de resposta utilizado pelos respondentes. Ainda assim, a consequência para a amostra geral não seria grave: redução da variabilidade e tendência de regressão à média (apenas desses casos). Sugerimos, nestes casos, comparar as evidências de validade com e sem esses participantes.

Os empates nas vinhetas também devem ser diagnosticados. É possível que um participante atribua as mesmas notas para as vinhetas de nível mais baixo e de nível intermediário. Isso pode indicar falta de atenção e motivação para responder o questionário, ou que o participante realmente, não diferencia os níveis descritos nas vinhetas; ou seja, que o padrão de qualidade mínimo para esta pessoa seria equivalente ao padrão intermediário. O mesmo pode ocorrer em relação aos níveis mais elevados, pois pode ser que a partir de determinado ponto, para aquele participante, não haja mais diferença em termos de padrão de qualidade. Nesses casos, as respostas deles não seriam espúrias, apenas significariam estilos de resposta diferentes. Contudo, segundo as regras indicadas na Tabela 2, para um mesmo escore haveria mais de uma possibilidade de recodificação. Por exemplo, um participante X endossou a categoria 3 para as vinhetas baixa e média (i.e., um empate nas primeiras vinhetas). No instrumento principal, ele responde 3 para um item. Nesse caso, duas regras se aplicam: item igual à vinheta baixa (2) e item igual à vinheta intermediária (4), portanto, a recodificação poderia ser entre 2 e 4. Como solução é possível recodificar para o valor mais baixo (2) ou para a média (3). Há evidências que ambas as escolhas produzem resultados parecidos (Kyllonen & Bertling, 2014), desde que utilizada a mesma regra de resolução de empate para todos os casos.

As vinhetas podem ser úteis para a compreensão do processo de resposta às escalas. Ao responder um instrumento de autorrelato, o participante costuma processar a resposta em quatro etapas: 1. ler e compreender o conteúdo; 2. recuperar informações semelhantes na memória; 3. comparar a informação compreendida do item com as informações recuperadas da memória; e 4. selecionar a melhor resposta do instrumento como resultado da comparação no passo anterior (Duckworth & Yeager, 2015; Tourangeau & Rasinski, 1988). A alta porcentagem de vinhetas invertidas ou empatadas podem indicar problemas na redação das vinhetas. Se for feita uma análise e essa hipótese for descartada, as vinhetas invertidas ou empatadas indicarão dificuldades na etapa de leitura e compreensão. E as vinhetas podem minimizar os vieses na etapa de comparação entre o item e as informações da memória, visto que todos os participantes teriam um benchmark comum para ancorar as informações da memória.

Em que pese as vantagens do uso de vinhetas e das escalas Likert, devemos ressaltar outras discussões. Após a recodificação as análises seguintes devem ser feitas considerando o objetivo da pesquisa de comparar grupos e/ou de testar relações entre as variáveis. No momento dessas análises, retomamos a controvérsia se escalas Likert podem ser interpretadas como escalas intervalares ou se devem ser tratadas como escalas ordinais.

Há ainda muitas outras discussões em torno das escalas Likert. Uma delas é se elas podem ou não podem ser analisadas como dados paramétricos (Carifio & Perla, 2008; Mircioiu & Atkinson, 2017; Wu & Leung, 2017). Historicamente, tem havido debate entre pesquisadores que consideram que as respostas em escala Likert deveriam ser consideradas como escalas ordinais (ou seja, produzem uma ordem de classificação dos dados) e não como escalas intervalares (que além da ordem de classificação supõem que os intervalos entre as classes são equivalentes) (Carifio & Perla, 2008). A visão de que escalas Likert são, por natureza, ordinais levam à conclusão de que não deveríamos usar estatísticas paramétricas na análise dessas escalas, posto que tais estatísticas requerem - entre outros pré-requisitos - que as escalas tenham natureza intervalar.

Também há uma discussão acerca do viés de aquiescência, caracterizado pela tendência de os participantes responderem positivamente aos itens (Zhang et al., 2019). Esse viés é confirmado pela alta frequência de endosso da categoria "concordo fortemente" em escalas Likert, ainda que os conteúdos descritivos dos itens sejam opostos (Valentini, 2017). Possibilidades mais avançadas de análise também têm sido propostas para instrumentos que adotam escalas Likert (Liu & Chalmers, 2018; Nunes et al., 2008).

Liu e Chalmers (2018), por exemplo, argumentam que apesar de uma grande família de modelos de desdobramento para dados de resposta em escala Likert tenha sido desenvolvida por décadas, elas apareceram pouco nas pesquisas publicadas. A limitação era justamente a ausência de um software adequado para a estimativa de modelo. Os autores criaram, então, um tutorial com exemplos de sintaxe R (pacote mirt) para aplicar modelos de desdobramento a dados em escala Likert. Como resultado, os pesquisadores podem começar a construir um banco de itens para testes adaptativos computadorizados que permitem administrar a pontuação em tempo real. Na área de POT isso poderia ser utilizado para, simultaneamente, reduzir o tempo de pesquisas de mensuração de competências (como aquelas que ocorrem em certificações profissionais) e aumentar a sua precisão.

Nunes et al. (2008), por sua vez, mostraram estratégias para a aplicação da Teoria de Resposta ao Item (TRI) na análise de testes que Escalas Likert. Os autores mostraram as vantagens da utilização da TRI tomando como exemplo a avaliação de Socialização no Modelo dos Cinco Grandes Fatores de Personalidade, que originalmente utilizou uma escala Likert de 7 pontos. Nunes et al. (2008) mostraram que o processo de recodificação com a utilização de categorias otimizadas (número menor de pontos que na escala original), permitiu a mensuração do construto, inclusive com alguns ganhos em parâmetros psicométricos do instrumento. Logo, o uso da TRI aplicado a escalas Likert poderia beneficiar pesquisas de POT, posto que esse tipo de escala é amplamente utilizado nas pesquisas da área.

Acompanhando as muitas discussões sobre as análises de dados com o uso de escalas Likert verificamos que ainda há muita controvérsia, com possibilidade de novos testes estatísticos e proposições de estratégias de correção de vieses que venham a contribuir para o debate. O uso das vinhetas âncora não soluciona as questões relativas à caracterização das escalas Likert como ordinais ou intervalares e nem quanto às estatísticas que podem ser realizadas a partir do uso dessas escalas. Todavia, a estratégia das vinhetas contribui para solucionar o viés dos estilos de respostas, ampliando as possibilidades do uso desse tipo de escala, com uma produção de dados mais precisos e confiáveis.

 

Considerações Finais

O presente artigo objetivou apresentar o uso de vinhetas âncora como estratégia de controle do viés do estilo de resposta em pesquisas empíricas quantitativas com escala Likert voltadas para a área organizacional. Longe de ter a intenção de colocar fim nas muitas controvérsias que se mantêm sobre as escalas Likert, nossa proposta era tão somente apresentar uma solução para o viés dos estilos de resposta que afetam esse tipo de escala.

Porém, é necessário apresentar algumas limitações do método. A primeira refere-se à inserção de texto e à carga de leitura. Algumas vinhetas possuem textos longos, que impactam no tempo de coleta de dados. A segunda limitação é que o processo de recodificação costuma ser realizado com base em poucas vinhetas (com quantidade limitada de informação). Além disso, parte-se do pressuposto que a informação das vinhetas é 100% precisa (i.e., escores estáveis). Para contornar esse problema, é possível que estudos futuros investiguem formas alternativas para a utilização das vinhetas, como o uso de modelos fatoriais de mistura (Mixture Factor Models), nos quais as vinhetas poderiam explicar a ocorrência de classes latentes, mas não teriam impacto direto nas respostas aos itens.

Adicionalmente, é preciso considerar que a depender do público-alvo da pesquisa, as vinhetas talvez não sejam adequadas. Esse tipo de estratégia demanda públicos com maior cognição, capacidade de leitura e abstração. Logo, as vinhetas não se adequam a pesquisas com crianças pequenas, públicos com menor escolaridade ou com alguma deficiência cognitiva. Nesse sentido, antes de se optar pelo uso das vinhetas âncora é preciso avaliar se elas seriam compreendidas pelo público-alvo definido para o estudo.

Em que pesem tais limitações, a praticidade e a economicidade constituem importantes critérios para recomendar a adoção das vinhetas âncora como estratégia para minimizar os efeitos dos estilos de resposta nas escalas Likert. Vale lembrar que tais vinhetas são incluídas no mesmo questionário da pesquisa, praticamente sem nenhum custo adicional. Além disso, os pesquisadores pertencentes ao Institute for Quantitative Social Science da Harvard University, responsáveis pelo desenvolvimento dessa estratégia, mantêm um site (https://gking.harvard.edu/vign) com vários exemplos de uso e explicações sobre a técnica, que facilitam a sua aplicação. Por fim, o fato de a recodificação e a análise de dados poderem ser realizadas em um software livre, com pacotes específicos para o uso das vinhetas âncoras, aumenta a praticidade da etapa de análise.

Concluímos, assim, que as vinhetas âncora constituem um método útil e de fácil aplicação para o controle de viés da resposta a escalas Likert. Nesse sentido, elas podem fornecer uma contribuição rica para as pesquisas na área de Psicologia Organizacional e do Trabalho, em que a mensuração de atitudes e percepções fornece elementos importantes para a gestão em diferentes áreas e níveis.

Por fim, a estratégia das vinhetas âncora também podem ter implicações práticas, sendo utilizadas por profissionais da área de POT. Esse tipo de estratégia poderia ser empregado pelos profissionais que atuam por exemplo com processos seletivos ou diagnósticos. Durante procedimentos de uma seleção, a estratégia dos personagens fictícios para conhecer o padrão de resposta individual dos candidatos/as pode aumentar a fidedignidade da interpretação das respostas que eles derem nas escalas utilizadas ao longo do processo. De forma semelhante, em um diagnóstico de necessidades de treinamento e desenvolvimento ou em uma avaliação de desempenho, os profissionais que atuam com gestão de pessoas podem fazer uso das vinhetas âncora a fim de corrigir vieses de padrões individuais de resposta, aumentando o grau de precisão dos instrumentos utilizados na prática profissional.

 

Referências

Abbad, G. S., Mourão, L., Meneses, P. P., Zerbini, T., Borges-Andrade, J. E., & Vilas-Boas, R. (2012). Medidas de avaliação em treinamento, desenvolvimento e educação: ferramentas para gestão de pessoas. Porto Alegre: Artmed.         [ Links ]

Andrade, E. G. S. de A., Queiroga, F., & Valentini, F. (2020). Short version of Self-Assessment Scale of Job Performance. Annals of Psychology, 36(3),543-552. https://doi.org/10.6018/analesps.402661        [ Links ]

Aguinis, H., Pierce, C.A., Bosco, F.A., & Muslin, I.S. (2009). First Decade of Organizational Research Methods: Trends in Design, Measurement, and Data-Analysis Topics. Organizational Research Methods, 12,69-112. https://doi.org/10.1177/1094428108322641        [ Links ]

Awang, Z., Afthanorhan, A., & Mamat, M. (2016). The Likert scale analysis using parametric based Structural Equation Modeling (SEM). Computational Methods in Social Sciences, 4(1),13-21. Recuperado de http://cmss.univnt.ro/wp-content/uploads/vol/split/vol_IV_issue_1/CMSS_vol_IV_issue_1_art.002.pdf        [ Links ]

Carifio, L., & Perla, R. (2008). Resolving the 50-year debate around using and misusing Likert scales. Medical Education, 42(12),1150-1152. https://doi.org/10.1111/j.1365-2923.2008.03172.x        [ Links ]

Chyung, S. Y. Y., Roberts, K., Swanson, I., & Hankinson, A. (2017). Evidence-Based Survey Design: The Use of a Midpoint on the Likert Scale. Performance Improvement, 56(10),15-23. https://doi.org/10.1002/pfi.21727        [ Links ]

Duckworth, A. L., & Yeager, D. S. (2015). Measurement Matters. Educational Researcher, 44(4),237-251. https://doi.org/10.3102/0013189X15584327        [ Links ]

He, J., Bartram, D., Inceoglu, I., & Van de Vijver, F. J. (2014). Response styles and personality traits: A multilevel analysis. Journal of Cross-Cultural Psychology, 45(7),1028-1045. https://doi.org/10.1177/0022022114534773        [ Links ]

Kandasamy, I., Kandasamy, W. B. V., Obbineni, J. M., & Smarandache, F. (2019). Indeterminate Likert scale: feedback based on neutrosophy, its distance measures and clustering algorithm. Soft Computing. https://doi.org/10.1007/s00500-019-04372-x        [ Links ]

King, G., & Wand, J. (2007). Comparing incomparable survey responses: Evaluating and selecting anchoring vignettes. Political Analysis, 15,46-66. https://doi.org/10.1093/pan/mpl011        [ Links ]

Kyllonen, P. C., & Bertling, J. P. (2014). Draft report: anchoring vignettes reduce bias in noncognitive rating scale responses. ETS/OECD.         [ Links ]

Lang, J. W. B., Lievens, F., De Fruyt, F., Zettler, I., & Tackett, J. L. (2019). Assessing meaningful within-person variability in Likert-scale rated personality descriptions: An IRT tree approach. Psychological Assessment, 31(4),474-487. https://doi.org/10.1037/pas0000600        [ Links ]

Likert R. (1932). A technique for the measurement of attitudes. Arch Psychology, 22(140),55. Recuperado de https://psycnet.apa.org/record/1933-01885-001        [ Links ]

Liu C-W., & Chalmers, R. P. (2018) Fitting item response unfolding models to Likert-scale data using MIRT in R. PLoS ONE, 13(5),e0196292. https://doi.org/10.1371/journal.pone.0196292        [ Links ]

Mircioiu, C., & Atkinson, J. (2017). A comparison of parametric and non-parametric methods applied to a Likert scale. Pharmacy, 5(2),26. https://doi.org/10.3390/pharmacy5020026        [ Links ]

Mõttus, R., Allik, J., Realo, A., Rossier, J., Zecca, G., Ah-Kion, J., ... Johnson, W. (2012). The effect of response style on self-reported conscientiousness across 20 countries. Personality and Social Psychology Bulletin, 38,1423-1436. https://doi.org/10.1177/0146167212451275        [ Links ]

Mourão, L., Bastos, A. V. B., & Oliveira, R. P. D. (2016). The Saying and the Doing in research on WOP. Revista Psicologia Organizações e Trabalho, 16(4),333-339. https://doi.org/10.17652/rpot/2016.4.12575        [ Links ]

Nunes, C. H. S. S., Primi, R., Nunes, M. F. O., Muniz, M., Cunha, T. F., & Couto, G. (2008). Teoria de Resposta ao Item para otimização de escalas tipo Likert - um exemplo de aplicação. Revista Iberoamericana de Diagnóstico y Evaluación-e Avaliação Psicológica, 1(25),51-79. Recuperado de https://pdfs.semanticscholar.org/e471/0af4e6243349aaf3acb64b9866703e9ed4e6.pdf        [ Links ]

Primi, R., Zanon, C., Santos, D., De Fruyt, F., & John, O. P. (2016). Anchoring vignettes: Can they make adolescent self-reports of social-emotional skills more reliable, discriminant, and criterion-valid? European Journal of Psychological Assessment, 32(1),39-51. https://doi.org/10.1027/1015-5759/a000336        [ Links ]

Puente-Palacios, K., & Peixoto, A. D. L. A. (2015). Ferramentas de diagnóstico para organizações e trabalho: Um olhar a partir da psicologia. Porto Alegre: Artmed.         [ Links ]

Siqueira, M. M. M. (2014). Novas medidas do comportamento organizacional: ferramentas de diagnóstico e de gestão. Artmed.         [ Links ]

Tourangeau, R., & Rasinski, K. A. (1988). Cognitive processes underlying context effects in attitude measurement. Psychological Bulletin, 103(3),299-314. https://doi.org/10.1037/0033-2909.103.3.299        [ Links ]

Valentini, F. (2017). Influência e controle da aquiescência na análise fatorial. Avaliação Psicológica, 16(2). https://doi.org/10.15689/ap.2017.1602.ed        [ Links ]

Wand, J., King, G., & Lau, O. (2011). Anchors: Software for anchoring vignette data. Journal of Statistical Software. Recuperado de https://gking.harvard.edu/files/gking/files/anchors-jss_0.pdf        [ Links ]

Willits, F., Theodori, G., & Luloff, A. E. (2016). Another Look at Likert Scales. Journal of Rural Social Sciences, 31(3). Recuperado de https://egrove.olemiss.edu/jrss/vol31/iss3/6        [ Links ]

Wu, H., & Leung, S.-O. (2017). Can Likert Scales be Treated as Interval Scales? A Simulation Study. Journal of Social Service Research, 43(4),527-532. https://doi.org/10.1080/01488376.2017.1329775        [ Links ]

Zhang, X., Tse, W., & Savalei, V. (2019). Improved properties of the big five inventory and the Rosenberg self-esteem scale in the expanded format relative to the Likert format. Frontiers in Psychology, 10,1286. https://doi.org/10.3389/fpsyg.2019.01286        [ Links ]

 

 

Informações sobre os autores:
Luciana Mourão
E-mail: mourao.luciana@gmail.com

Felipe Valentini
E-mail: valentini.felipe@gmail.com

Submissão: 11/01/2021
Primeira Decisão Editorial: 16/09/2021
Versão Final: 01/10/2021
Aceito em: 07/10/2021