(pdf)
Permalink
Estudos Interdisciplinares em Psicologia
ISSN 2236-6407
Artigos
Evidência de validade de conteúdo de uma medida de atenção plena
Evidence og content validity for a measure of mindfulness
Validez de contenido de la medida de mindfulness
Jeferson Gervasio PiresI i; Carlos Henrique Sancineto da Silva NunesI ii; Maiana Farias de Oliveira NunesI iii; Maria Luiza BianchiI iv; Mônica Monteiro KotziasI v; Giovania Mitie MaesimaI vi
I Universidade Federal de Santa Catarina (UFSC)
Resumo
A atenção plena é uma qualidade da consciência que surge ao prestar atenção, de forma intencional e com uma postura de não julgamento, às experiências que surgem no momento presente. Os objetivos deste estudo foram de verificar a pertinência dos itens para avaliar atenção plena, em relação ao modelo conceitual proposto, e analisar a clareza dos itens para o público alvo. Os itens foram submetidos à análise de juízes (N=3) e análise semântica (N=16). A concordância entre os juízes foi analisada pelo índice de concordância (IC) e pelo coeficiente Kappa. A análise semântica recebeu tratamento qualitativo. Excluíram-se os itens que apresentaram IC inferior a 50%. Após esta exclusão, os 145 itens que restaram apresentaram concordância geral moderada (k=0,51; p<,05) e índice de concordância satisfatório (75%). Conclui-se que a compreensão dos fatores da atenção plena é divergente entre os especialistas. Entretanto, os itens selecionados constituíram representações adequadas do construto e também mostraram-se compreensíveis para o público alvo, sugerindo validade de conteúdo para a escala.
Palavras-chave: Testes Psicológicos; Atenção Plena; Psicologia Positiva.
Abstract
Mindfulness is a quality of awareness that arises by paying attention, intentionally and with a non-judgmental stance, to the experiences that arise in the present moment. This study aimed to investigate the relevance of the items for assessing mindfulness in relation to the conceptual model and to analyse items’ transparency for the target-population. Items were submitted to expert (N=3) and semantic (N=16) analyses. Agreements between pairs of experts were assessed through the concordance index (CI) and kappa coefficient. Data from semantic analysis received qualitative treatment. Items that received CI lower than 50% were excluded. After this exclusion, the 145 items that remained presented moderated general agreement between experts (k=.51, p<.05) and satisfactory concordance index (75%). We conclude that the comprehension of the components of mindfulness is divergent among specialists. However, the retained items seem to represent adequately their correspondent construct and to be understandable for the target-population, suggesting content validity evidences for the scale.
Keywords: Psychological Tests; Mindfulness; Positive Psychology.
Resumen
La atención plena es una calidad de la conciencia que surge al prestar atención, de forma intencional y con una postura de no juicio, a las experiencias que surgen en el momento presente. Los objetivos de este estudio son verificar la pertinencia de los ítems para evaluar atención plena, en relación al modelo conceptual propuesto y analizar la claridad de los ítems para el público objetivo. Los ítems fueron sometidos al análisis de expertos (N=3) y la análisis semántica (N=16). Concordancia entre jueces fueron analizados por el índice de concordancia (IC) y el coeficiente Kappa. Los datos del análisis semántico fueran analizados cualitativamente. Ítems que mostraron menos de 50% de IC fueron excluidos. Después de esta exclusión, los 145 ítems que quedaron presentaron acuerdo general moderado (k=0,51; p<,05) y índice de concordancia satisfactorio (75%). Se concluye que la comprensión de los componentes de la atención plena es inconsistente entre los expertos. Sin embargo, los ítems seleccionados son representaciones adecuadas del constructo, y también se mostraron comprensibles para el público objetivo, lo que sugiere la validez de contenido de la escala.
Palabras clave: Pruebas Psicológicas; Atención Plena; Psicología Positiva.
Introdução
Mindfulness é um termo que tem sido traduzido em português como “atenção plena”, e vem sendo tema recorrente em pesquisas científicas nos últimos anos (Hirayama, 2014). Apesar disso, sua compreensão tem se mostrado uma tarefa complexa, já que diferentes perspectivas para sua definição e operacionalização têm sido apresentadas de forma não consensual na literatura (Pires, Nunes, Demarzo, & Nunes, 2015), do mesmo modo que ocorre com outros fenômenos psicológicos (a exemplo da personalidade, que possui muitos modelos explicativos distintos).
Para Kabat-Zinn (1990), o estado de atenção plena é uma qualidade da consciência que surge ao prestar atenção, de forma intencional e com uma postura de não julgamento, às experiências que surgem no momento presente (pensamentos, sensações e sentimentos). Entende-se que esse estado pode ocorrer como resultado do treino de meditação Mindfulness (Kabat-Zinn, 1990) e por isso, o fenômeno tem recebido atenção de profissionais da saúde, os quais tem buscado promover o estado mindful, principalmente no âmbito clínico.
Na concepção de Brown e Ryan (2003), a atenção plena é um atributo da consciência (consciousness), capaz de promover bem-estar psicológico e que envolve a consciência (awareness) e a atenção (attention). Brown et al. (2007) enfatizam que consciência e atenção são capacidades básicas humanas que permitem que as pessoas se tornem mais presentes na realidade, observando-a do jeito que é ou ainda, vislumbrando-a de formas alternativas. A consciência (awareness) diz respeito ao monitoramento das experiências internas (sensações, sentimentos) e do ambiente. No entanto, a atenção envolve especificamente a “seleção” das experiências (Baars, 1997), promovendo aumento de sensibilidade a estímulos delimitados (Brown & Ryan, 2003). Nesse sentido, para Brown e Ryan (2003), a atenção plena refere-se ao aumento tanto da atenção quanto do estar consciente das experiências correntes. Essa definição indica, em alguma medida, que as variáveis atenção e consciência podem sofrer sobreposições, o que contribui para que sejam confundidas quando da sua avaliação (Baars, 1997).
Por sua vez, Langer (2014) compreende a atenção plena através dos estados mindful e mindless e enfatiza que eles não devem ser vistos como opostos. O estado “mindless” seria equivalente ao funcionamento automático das pessoas, que se dá a partir de esquemas cognitivos pré-estabelecidos (Brown et al., 2007). Nesse estado, as novidades não produzem interesse ou novas perspectivas, instaurando-se certa dependência de categorias construídas no passado, de outras regras ou da rotina, indicativos do modo automático de funcionamento (Langer & Moldoveanu, 2000; Langer, 2014). São indicadores do estado mindless: a) julgar, criticar e avaliar as próprias experiências, b) vaguear (análogo ao termo divagar) e c) efetuar diversas tarefas ao mesmo tempo.
Diferentemente, o estado mindful seria a forma inversa ao funcionamento automático da atenção e da consciência, tendo que ser, por isso, intencionalmente “ativado”. Dessa forma, provocar o estado mindful acarreta manter o indivíduo engajado no momento presente, mais sensível ao contexto e a outras perspectivas (Langer & Moldoveanu, 2000; Langer, 2014). São indicadores do estado mindful, observar: a) os pensamentos e as sensações, b) dar-se conta de emoções e pensamentos.
Pesquisas que avaliam os efeitos de práticas de meditação mindfulness com populações clínicas têm relatado, por exemplo, melhoras nas funções imunológicas (Davidson et al., 2003), e utilidade para diminuição de sintomas em quadros de ansiedade (Grossman, Niemann, Schmidt, & Walach, 2004), de ansiedade social (Goldin & Gross, 2010) e de distúrbios alimentares (Kristeller & Wolever, 2006). Vale lembrar que a regulação emocional, atributo da prática frequente de Mindfulness, é uma importante variável nesses quadros (Tran et al., 2014). Entende-se a regulação emocional como a capacidade de perceber as próprias emoções, e, se necessário, redirecioná-las, controlá-las e modificá-las, permitindo ao sujeito responder de forma adaptativa a situações que envolvem a expressão emocional (Cicchetti, Ganiban & Barnett, 1991).
Por conta da diversidade de variáveis envolvidas na delimitação da atenção plena, e das diferentes abordagens possíveis para a sua compreensão (Hart et al., 2013; Hirayama, 2014; Langer, 2014), a operacionalização desse fenômeno tem sido uma tarefa complexa para os pesquisadores. Apesar disso, uma variedade de instrumentos para avaliação desse fenômeno tem sido proposta, fato que reflete nas diferentes sistematizações obtidas atualmente para o construto (Pires et al., 2015). Isso se estende às diferentes terminologias empregadas, não havendo consenso entre acadêmicos entre chamar o construto de Mindfulness ou atenção plena no Brasil, por exemplo. Para fins desse artigo, adotou-se a denominação atenção plena, por considerá-la mais acessível para dialogar com a população de modo geral.
Existem publicados diversos instrumentos internacionais para sua avaliação (Pires et al., 2015), tais como: Escala de consciência e atenção Mindfulness (MAAS) (Brown & Ryan, 2003), Inventário Kentuck de habilidades de Mindfulness (KIMS) (Baer, Smith, & Allen, 2004), Inventário Freiburg de Mindfulness (FMI) (Walach et al., 2006), Escala cognitiva e afetiva de Mindfulness (CAMS) e (CAMS-R) (Feldman, Hayes, & Kumar, 2007), Escala Toronto de Mindfulness (TMS) (Lau et al., 2006), Questionário das cinco facetas de Mindfulness (FFMQ) (Baer, Smith, Hopkins, Krietemeyer, & Toney, 2006), e a Escala Filadélfia de Mindfulness (PHLMS) (Cardaciotto, Herbert, Forman, Moitra, & Farrow, 2008).
Os diferentes instrumentos disponíveis atualmente para a avaliação da atenção plena e as diferentes concepções para sua compreensão refletem em diferenças nas características priorizadas nos instrumentos (Pires et al., 2015). Nesse sentido, há estudos que revelaram soluções unifatoriais (Brown & Ryan, 2003; Lau et al., 2006; Walach et al., 2006), outros, soluções bifatoriais (Cardaciotto et al.,2008; Lau et al., 2006), outras soluções com quatro fatores (Baer et al., 2004; Feldman et al., 2007; Walach t al., 2006), além de uma versão composta por cinco componentes (Baer et al., 2006). Desse modo, observa-se a necessidade de avançar nos estudos para testar a dimensionalidade da atenção plena, de modo a tentar identificar qual configuração mostra-se mais estável em diferentes culturas e considerando pessoas de faixas etárias variadas.
Além disso, uma das críticas que têm sido dirigida a esses instrumentos é a carência de evidências de validade de conteúdo (Bergomi, Tschacher, & Kupper, 2012; Grossman & Van Dam, 2011). A validade de conteúdo é uma das fontes mais primárias de adequação dos itens à estrutura do construto e envolve a realização de análise de juízes (Pasquali, 2010). Essa análise indica o quão bem representado é o atributo da variável latente em relação aos fatores conceituais propostos para um dado construto.
Mais detalhadamente a esse respeito, os estudos consultados sobre os oito instrumentos estrangeiros (Pires et al., 2015) não relatam evidências de validade de conteúdo que sigam o rigor científico necessário para esse procedimento, apesar de alguns instrumentos possuírem estudos de validade semântica, como a KIMS, a PHLMS e a versão brasileira da FMI. No instrumento KIMS (Baer et al., 2004), por exemplo, os itens foram avaliados por pesquisadores, os quais indicaram uma nota à relevância dos mesmos. Entretanto, a análise desse resultado foi qualitativa, o que impossibilita a informação do quanto os juízes concordam, efetivamente, com os itens. Já no estudo de construção da PHLMS, Cardaciotto et. al. (2008) efetuaram a aplicação de método quantitativo. Como coeficiente de validade de conteúdo, os autores utilizaram o índice estatístico V (retenção de itens). Com base nele, a concordância entre os juízes indicou que os itens possuíam boa representação dos (dois) fatores propostos. Similarmente, no estudo de validade de conteúdo da FMI com amostra brasileira (Hirayama, 2014), os autores efetuaram tradução e retro tradução dos itens, tendo-os sujeitado à análise semântica com duas amostras de adultos brasileiros, entretanto, o estudo não focou o procedimento de análise de juízes. Essa realidade torna relevante a realização de estudos com o propósito de analisar a validade de conteúdo dos instrumentos construídos para a avaliação deste fenômeno.
Em observância às diferentes perspectivas e instrumentos para a compreensão e avaliação da atenção plena, nesta pesquisa, o construto foi definido de forma integrativa, tendo sido descrito como: um estado que envolve a consciência e a atenção (Bishop et al., 2004), no qual se está intencionalmente aberto para perceber às próprias experiências, sem postura de julgamento (Kabat-Zinn, 1990), além de produzir novidades no ambiente, tornando-se mais sensível ao mesmo e consciente por diferentes perspectivas (Langer, 2014). O objetivo do presente artigo é relatar os procedimentos de validação semântica e de conteúdo de uma medida de atenção plena (MAP) para adultos brasileiros. Mais especificamente, os objetivos deste estudo são: a) avaliar a pertinência dos itens elaborados para representar a atenção plena, em relação ao modelo conceitual proposto e b) verificar a inteligibilidade dos itens para representantes da população alvo. Com este estudo pretende-se contribuir com o campo da mensuração da atenção plena, que possui aplicabilidade em diversas áreas da Psicologia, tais como a saúde, esporte, organizações e trabalho, dentre outras.
Para propor os componentes da MAP, foram comparados os fatores operacionalizados nas oito medidas internacionais recém-mencionadas, das quais foram destacados cinco mais frequentes, quais sejam: a) consciência e orientação ao momento presente: que diz respeito ao monitoramento das experiências, podendo também ocorrer de forma não elaborada b) atenção e sua regulação: refere-se ao utilizar as habilidades da atenção voluntariamente, promovendo sua regulação, c) aceitação e não reatividade: diz respeito a permitir que as experiências sigam seu curso transitório, evitando produzir rótulos avaliativos a elas, o que indicaria sua aceitação, d) observar: habilidade de intencionalmente perceber as experiências afetando outras experiências e o comportamento e ainda e) descrever: que enfatiza a capacidade de reproduzir a experiência do estado mindful, a partir de palavras.
Faz-se válido destacar que consultar outras operacionalizações de um determinado fenômeno é considerada uma das formas adequadas para obter informações a seu respeito (Pasquali, 2010), razão pela qual optou-se, neste trabalho, em considerar as dimensões de atenção plena previamente apresentadas na literatura da área. A proposta do presente estudo, que buscou testar uma integração entre diferentes perspectivas sobre atenção plena pode contribuir para o avanço da discussão sobre a dimensionalidade do fenômeno, já que diferentes componentes mencionados pelos autores foram agregados e testados estatisticamente.
Para a elaboração dos itens da MAP foram considerados os polos mindful e mindless, conforme pontuado por Langer (2014), tendo sido construídos itens com conteúdos positivos (mindful) e negativos (mindless). Os itens envolveram comportamentos, crenças e características típicas da atenção plena, com o objetivo de avaliar a chance de os respondentes apresentarem esses dois estados cotidianamente, avaliando-se os cinco domínios previamente mencionados. Desse modo, o modelo conceitual proposto para a MAP compôs-se pelas cinco dimensões recém-apresentadas, as quais foram utilizadas como base para a criação de um pool contendo 275 itens.
Método
Participantes
Fizeram parte deste estudo dois grupos de participantes, que atenderam a propósitos diferenciados. O primeiro grupo participou da análise de juízes e foi composto por três especialistas, sendo eles pesquisadores brasileiros. A juíza 1 é graduada e pós-doutora em Psicologia. A juíza 2 também é graduada em Psicologia e à época da coleta de dados era doutoranda na mesma área. O juiz 3 é graduado em Fisioterapia e à época da coleta de dados era pós-doutorando na área de Saúde Coletiva. A escolha desses três juízes foi intencional, já que eles foram os autores de estudos de adaptação de quatro instrumentos de atenção plena (FFMQ, MAAS, PHLMS e FMI) no Brasil.
O segundo grupo efetuou a análise semântica dos itens que restaram da análise de juízes, sendo composto por 16 adultos, com média de idade de 26 anos (DP= 8,92), representantes da população geral e sem experiência com construção de medidas em Psicologia, nem com atenção plena. Para esse grupo, era mandatório que os participantes tivessem idade e escolaridade variadas, sendo que pelo menos um deles deveria ter 18 anos de idade e outro, mais de 40 anos. Pelo menos dois sujeitos deveriam ter no máximo ensino médio. A Tabela 1 apresenta o perfil dos participantes.
Instrumentos
Para o primeiro grupo foram utilizados dois documentos, os quais foram enviados via e-mail, para que pudessem efetuar a análise em horário e local convenientes. Utilizou-se uma planilha do Excel contendo os 275 itens elaborados e randomicamente ordenados. Utilizou-se, também, outro arquivo com as instruções para os juízes efetuarem suas análises, contendo a definição do construto atenção plena adotada nesta pesquisa, acompanhada da descrição constitutiva de cada uma das cinco dimensões propostas.
Para o segundo grupo, elaborou-se um documento contendo uma parte dos itens. Para a composição do conjunto de itens nesse documento, dividiu-se o pool resultante da análise de juízes em três partes, cada uma composta por 50 itens, de modo a viabilizar a discussão sobre a redação dos itens em tempo hábil. Ao lado de cada item havia espaço para os participantes escreverem suas considerações e sugestões. Os encontros com esses participantes aconteceram no Laboratório de Pesquisa em Avaliação Psicológica (LPAP), situado no campus da UFSC, com grupos contendo quatro participantes cada. Nos encontros, foram disponibilizados materiais como lápis e folhas.
Procedimentos
Procedimentos de coleta com os participantes do primeiro grupo
Após aprovação desta pesquisa pelo Comitê de ética, foram encaminhados e-mails para os três juízes, convidando-os para participarem do procedimento de análise de juízes. Após o aceite do convite, lhes foi encaminhado os dois documentos necessários para a atividade, também via e-mail. A tarefa que esses juízes efetuaram correspondeu a indicar, para cada um dos 275 itens, qual das cinco dimensões de atenção plena eles se referiam. Para efetuar essa categorização, o participante deveria ler cada um dos itens e então digitar o código da dimensão correspondente, na coluna “Dimensões”. Igualmente, ao lado dessa coluna, havia a coluna “Observações”, na qual o participante foi incentivado a efetuar quaisquer anotações sobre o item, como: a) melhorias na descrição ou na redação do item, b) apontar quando o item se referia a mais de um fator, c) comentar quando o item não se referia a nenhum dos cinco domínios ou ainda, d) fazer comentários gerais sobre o item. No caso de algum juiz não ter compreendido a atividade, ele poderia entrar em contato com o pesquisador, via e-mail ou telefone, conforme descrito no documento. Os juízes tiveram quatro semanas para efetuarem suas análises.
Procedimentos de coleta com os participantes do segundo grupo
Foram efetuados convites a alunos e funcionários da Universidade Federal de Santa Catarina. O pesquisador e sua equipe indagaram estudantes e servidores dessa Instituição, explicando-lhes a pesquisa e convidando-os para participar. Também foram convidados participantes da rede de contatos da equipe de pesquisa. Foram acessados 16 participantes, os quais foram instruídos a comparecer no Laboratório de Pesquisas em Avaliação Psicológica (LPAP), em data e horário agendados. Foram organizados quatro encontros presenciais com esses participantes, com duas duplas por encontro. Cada participante integrou apenas um encontro, com duração de duas horas cada.
Na ocasião dos encontros, após o pesquisador explicar brevemente os objetivos da pesquisa e daquele encontro, os participantes responderam individualmente o TCLE. Em seguida, pediu-se para que os participantes se separassem em duplas. Cada uma das duplas recebeu duas cópias de uma parte impressa do pool, contendo 50 itens. Os participantes deveriam ler, individualmente, os itens e em seguida discutir, nas duplas, um possível significado para eles. O significado atribuído aos itens era registrado em campo específico no documento entregue. Caso algum dos participantes não entendesse o significado de algum item, ou caso houvesse diferentes significados na dupla, tais ocorrências deveriam ser registradas no referido protocolo. Vale ressaltar que os participantes foram incentivados a propor mudanças nos itens, de forma que os tornassem ainda mais claros, pontuando suas sugestões em campo específico no protocolo. Essa tarefa levou cerca de 90 minutos por encontro.
Considerações Éticas
Esta pesquisa foi aprovada pelo Comitê de Ética e Pesquisas com Seres Humanos da Universidade Federal de Santa Catarina (CAAE: 43086815.4.0000.0121). Os participantes assinaram o Termo de Consentimento Livre e Esclarecido, também sendo informados de seus direitos.
Procedimentos de análise dos dados
As categorizações efetuadas pelo primeiro grupo foram acrescidas das categorizações sugeridas pelo pesquisador responsável pelo estudo, tendo essa sido organizada durante o processo de elaboração dos itens, intitulada “gabarito” (ou seja, representa a expectativa teórica relacionada ao conteúdo de cada item). Considerando que nos estudos brasileiros de adaptação de instrumentos de atenção plena foram obtidas diferentes soluções fatoriais para o construto, associado ao fato de que na literatura internacional não há uma estrutura “padrão ouro” estabelecida para a sua representação, o gabarito foi utilizado, para fins das análises estatísticas empreendidas, como um juiz, tendo sido usado como critério para o desempate em circunstâncias em que a concordância era de 50% entre dois pares de juízes. É importante ressaltar que, apesar de esse não ser um procedimento padrão, optamos por ele para concluir a categorização de cinco itens.
Com auxílio do Stata 12 ® comparou-se as quantidades de itens categorizados em cada uma das cinco dimensões propostas, do qual foi verificado o índice de concordância (IC) entre os juízes e também por fatores. Para complementar essa interpretação (Nakano & Siqueira, 2012), a magnitude da concordância foi avaliada por meio do coeficiente Kappa de Cohen (k) (Viera & Garret, 2005), o qual indica a concordância entre pares de observadores, desconsiderando-se a possibilidade de concordância derivada do acaso. Foram verificados o kappa para cada um dos fatores, além do Kappa combinado, que se refere à concordância, considerando-se o somatório de todos os itens. Para interpretar os valores do Kappa, foram considerados os parâmetros propostos por Landis e Koch (1977). Para esses autores, entre 0 e 0,19 a concordância é considerada pobre, entre 0,20 e 0,39 é razoável, entre 0,40 e 0,59 é moderada, entre 0,60 e 0,79 a é substancial, e entre 0,80 e 1,0 é quase perfeita.
Com a intenção de delimitar um conjunto de itens com concordância adequada e que mantivessem itens de todas as cinco dimensões propostas à MAP, foram efetuados alguns procedimentos junto ao pool original (n=275), quais sejam, os itens que apresentaram concordância inferior a 50% foram excluídos do pool e com os demais, verificava-se o coeficiente de Kappa (k) entre as categorizações dos juízes. Dessa forma, obteve-se um pool preliminar composto por 145 itens.
Ainda em relação ao primeiro grupo de participantes, sequencialmente, foram lidas as colunas “Observações” de todos os três documentos recebidos com as respostas dos juízes. Foram considerados especialmente os comentários efetuados aos 145 itens restantes na versão preliminar. As considerações e sugestões dos juízes foram ponderadas e acatadas.
A respeito do instrumento utilizado com o segundo grupo, as anotações das duplas foram lidas e os significados que os participantes atribuíram aos itens foram comparados com as definições originais, propostas para os fatores, as quais também foram utilizadas na análise de juízes. Os itens que apresentaram dúvidas foram reelaborados e as sugestões dadas pelos participantes, no tocante à mudança e melhoria na redação, também foram consideradas.
Resultados
Quanto às categorizações do pool original (n=275), o juiz 1 categorizou todos os itens, ao passo que o juiz 2 omitiu categorização em sete e o juiz 3, em 58 itens. Uma parcela de itens da versão original (n=55) apresentou 100% de concordância entre as quatro categorizações. Outros 67 itens foram categorizados igualmente entre três das quatro categorizações, indicando 75% de concordância. Cinquenta e nove itens continham omissões por parte de um juiz, sendo que em três itens havia omissões por parte de dois juízes. Vale salientar que uma parcela dos itens com omissões (n=17) apresentava 100% de concordância entre as demais categorizações.
A distribuição dos itens mostrou que, em relação ao pool original, havia certo desequilíbrio nas categorizações dos juízes. As maiores variações ocorreram entre os juízes 1 e 3. O juiz 1 apresentou variação especialmente nos fatores Aceitação e Observar, confundindo-se entre eles, ao passo que o juiz 3 manteve-se diferenciado, tendo apontado baixa quantidade de itens em Descrever e Consciência; além de ter omitido a categorização de 58 itens, de forma não sequencial. Esse mesmo juiz não relacionou nenhum item ao fator Observar e atrelou outros 150 exclusivamente ao fator Atenção. Por outro lado, o gabarito e o juiz 2 mantiveram-se altamente semelhantes. A Tabela 2 oferece o coeficiente de Kappa obtido, combinado e por fator, à versão original do pool.
O Kappa combinado apontou que, de forma geral, os três juízes e o gabarito concordaram razoavelmente com os itens, convergindo em 34% deles (93 itens). Aceitação e Descrever apresentaram concordâncias moderada e substancial, respectivamente. Atenção obteve concordância razoável. Observar e Consciência obtiveram concordância pobre. Os coeficientes de concordância entre os avaliadores estão na Tabela 3.
As concordâncias entre os pares de avaliadores, em relação à versão original, mostraram-se razoáveis. Na sequência, procedeu-se à mesma análise, porém com apenas 145 itens, tendo sido mantidos apenas aqueles que apresentaram um grau de concordância de 75% ou mais (i.e., foram eliminados 130 dos 275 itens originais). Esses 145 itens compuseram o que se chama aqui de versão preliminar da escala. A Tabela 4 apresenta os valores de Kappa, combinado e por fator, obtido para a versão preliminar (n=145), ou seja, após a exclusão dos itens que apresentaram baixa concordância e que foram considerados inadequados.
O valor do Kappa combinado mostra que os juízes concordam moderadamente com os itens da versão preliminar. Aceitação e Descrever mantiveram as melhores concordâncias, de forma que os juízes concordam quase perfeitamente com os itens desses dois fatores. No entanto, para Consciência, Observar e Atenção, os juízes concordam de forma razoável e moderada com os itens que restaram nesses fatores. A Tabela 5 apresenta a concordância obtida por pares de avaliadores, à versão preliminar.
O gabarito e o juiz 2 concordaram substancialmente com os itens da versão preliminar, ao passo que os juízes 1 e 3 concordam razoavelmente com esses itens. Os demais pares possíveis de juízes apresentaram concordâncias moderadas. A Tabela 6 resume a quantidade de itens categorizados em cada fator, por juiz.
Observa-se maior equilíbrio nas quantidades de itens em cada fator, após as exclusões, tendo sido possível a manutenção de uma quantidade razoável de itens nos cinco componentes propostos. O juiz 3 foi o único que manteve-se omitindo categorizações, destacando-se nesse âmbito. Isso inclui a não categorização de itens na dimensão Observar, a baixa quantidade de itens em Descrever e em Consciência, e a supervalorização do fator Atenção. O juiz 1 manteve-se categorizando itens de Aceitação como de Observar. Um resumo com as médias das porcentagens de concordância entre a categorização dos juízes, a expectativa teórica (gabarito), em relação os itens preliminarmente selecionados, está apresentado na Tabela 7.
Os dados mostram a média do índice de concordância obtido para os juízes, através de duas perspectivas. Inicialmente, vale esclarecer que tanto a coluna gabarito, quanto a categorização dos juízes, estão sendo comparados com a versão final após análise, ou seja, com os itens preliminares. As porcentagens presentes na última linha (% Média por Juízes) refere-se ao quanto cada um dos juízes e o gabarito concordam que os 145 itens restantes representam os fatores no qual foram preliminarmente categorizados (i.e., somatório das porcentagens de concordância em cada coluna por fator, dividido pelo número de fatores). Por esse ponto de vista, pode-se entender que os juízes e o gabarito concordaram, em média, com 75% com a categorização preliminar. Além disso, os fatores Aceitação, Atenção e Descrever apresentaram as maiores médias de concordância. Diferentemente, Consciência e Observar apresentaram, igualmente, as mais baixas concordâncias; ao passo que Descrever obteve concordância intermediária.
As porcentagens médias apresentadas nas colunas (gabarito e juízes 1, 2 e 3) indicam o quanto cada um dos juízes e o gabarito concorda com a categorização definida para versão final preliminar (que não necessariamente reafirmou a expectativa teórica/gabarito original). A esse respeito, o gabarito e o juiz 2 apresentaram as maiores médias de concordância com a versão do preliminar, seguidos pelo juiz 1. Por outro lado, o juiz 3 foi o que menos concordou com o pool preliminar. Igualmente, vale mencionar que poucos itens foram categorizados diferentemente da expectativa teórica, proposta no Gabarito. Por exemplo, apenas 4% dos itens propostos originalmente ao fator aceitação foram realocados de fator. Essa baixa porcentagem também pôde ser vista em relação aos demais componentes propostos. Outrossim, a última coluna (% Média por Fator) indica a porcentagem média da concordância entre os juízes e o gabarito para cada um dos fatores, separadamente.
Consciência, Atenção e Observar mantiveram-se no topo como os componentes mais difíceis para identificar, diferenciar e categorizar. Outrossim, é válido destacar a quantidade de omissões do juiz 3 em relação ao fator observar, o que sugere que o juiz ficou confuso quanto a categorização dos itens desse componente. Entretanto, deve-se ressaltar que se esse juiz fosse excluído da análise, a porcentagem de concordância aumentaria para 88% entre os demais. Nessa mesma direção, a respeito das categorizações dos itens na versão preliminar (n=145), 49 itens apresentaram 100% de concordância, outros 58 itens tiveram 75% de concordância, 29 itens tiveram com 50% de concordância. Outros nove itens apresentam concordância de 0% entre os juízes, no entanto, por conta de sua relevância teórica em relação ao construto, esses itens foram mantidos.
No tocante à análise semântica, todos os comentários dos participantes foram lidos e considerados para a redação final dos itens da MAP. Assim, foram efetuadas diversas modificações nos itens, tais como a inclusão de exemplos de experiências (sentimentos, emoções), quando mencionados em alguns itens. Por exemplo, o item “Ao perceber alguns sentimentos (tais como alegria e tristeza), procuro observá-los de fora”. Igualmente, para alguns itens, os participantes sugeriram a inclusão do termo “às vezes”, tal como no item “Às vezes, me pego prestando atenção em meus pensamentos”.
Também é válido ressaltar que, pelo fato de este ser um estudo inicial de validação de itens, associado ao fato de que o conjunto de itens foi intencionalmente elaborado de forma similar, a exemplos de “Presto atenção aos meus pensamentos”, “Fico atento aos meus pensamentos”, e "Presto atenção aos meus pensamentos quando estou almoçando”, e da consciência de que os itens passariam por etapas posteriores de validação, neste estudo, optamos por não apresentar detalhes das mudanças contidas nessa análise.
Discussão
Este estudo objetivou verificar a representação da atenção plena nos 275 itens elaborados, a partir de juízes, com o intuito de buscar evidência de validade de conteúdo aos itens que irão compor a medida de atenção plena (MAP). Foram realizadas duas análises: concordância entre juízes e análise semântica dos itens.
No que se refere à análise de juízes, faz-se necessário lembrar que em nenhum dos estudos que construíram ou adaptaram instrumentos para avaliar atenção plena (Baer et al., 2004; Cardaciotto et al.; 2008; Hirayama et al. 2014), foi utilizado especificamente o coeficiente de Kappa para verificar a concordância entre os juízes. Isso fez com que não houvesse parâmetro específico de comparação para discutir a magnitude da concordância reportada no âmbito do construto, de modo que a análise dos resultados foi feita com base em parâmetros gerais para a interpretação do Kappa.
No tocante à concordância entre os juízes na versão original (n=275), constatou-se maior dificuldade para diferenciar os fatores Consciência, Atenção e Observar. Essa dificuldade pode ter decorrido de problemas na descrição das dimensões, enviada aos juízes, não tendo elas apresentado, de maneira adequada e compreensível, os limites entre esses fatores. Além disso, as diferenças entre os itens e os fatores eram discretas, o que tornou a tarefa de categorização mais complexa. Por exemplo, “Observo meus pensamentos” refere-se a Observar, enquanto “Pego-me observando meus pensamentos”, refere-se ao fator Consciência.
Outra possível influência à baixa concordância entre os juízes diz respeito aos rótulos propostos originalmente para os fatores, de forma que alguns deles eram compostos por dois elementos, por exemplo, “Consciência e orientação para o momento presente” e “Aceitação e não reatividade”. Essa característica dos rótulos exigiria ainda mais cautela nas categorizações, dessa forma, pode ter oferecido impacto no desequilíbrio e na concordância entre os juízes. Outro fator que pode ter contribuído com a baixa concordância diz respeito ao tamanho do pool, o qual era relativamente grande, tendo isso sido apontado por juízes como uma característica negativa. Tal fato, associado ao possível cansaço decorrente de sua leitura, podem ter enviesado negativamente a análise efetuada pelos juízes. Sendo assim, entendemos que o fato de não termos dividido o pool em blocos, coloca-se como uma limitação deste estudo.
A respeito da pobre concordância obtida com os fatores Observar e Consciência, hipotetiza-se, também, que esses fatores possam se referir a diferentes componentes de um mesmo fator. Isso seria possível se considerado que Observar indica uma atitude de obter consciência “intencionalmente”, enquanto Consciência contemplaria o aspecto não elaborado, como “dar-se conta”, também da consciência. Além disso, na operacionalização original, o fator Consciência possui um atributo intencional (orientação intencional para o momento presente). Em observância a isso, parece-nos possível considerar que essas duas dimensões possam integrar um fator mais amplo, o que poderá ser verificado futuramente a partir de procedimentos como a análise fatorial.
No que tange à concordância dos itens na versão preliminar (n=145), os fatores Aceitação e Descrever mantiveram-se como os mais fáceis para serem categorizados, indicando que a descrição dos mesmos parece adequada e que esses fatores apresentam maior concordância na comunidade científica. Uma hipótese para esse resultado é que os verbos utilizados para a redação desses itens são mais diretamente associados com eles, sendo por isso, mais fáceis para serem identificados.
Diferentemente, porém, seguindo a tendência do pool original, Consciência, Atenção e Observar permaneceram como os fatores mais difíceis para serem interpretados e categorizados, sugerindo-se sobreposições entre eles. A dificuldade para diferenciar itens referentes à consciência e à atenção corrobora a confusão apontada por Baars (1997), quem salienta que atenção e consciência são termos facilmente confundíveis. Não obstante, a dificuldade para categorizar os itens de Consciência é considerada uma limitação importante para os instrumentos de avaliação do fenômeno, na medida em que esse é um dos fatores mais importantes do construto, extraído na maioria das medidas (Baer et al., 2004; Baer et al., 2006; Brown & Ryan, 2003; Cardaciotto et al., 2008; Lau et al., 2006; Feldman et al., 2007). Essa questão merece ser mais investigada em estudos futuros.
No tocante ao valor de Kappa combinado obtido com a versão preliminar (n=145), o resultado indicou que os juízes concordam, em conjunto, com 50% dos itens, excluindo-se a ocorrência de concordância pelo acaso. Apesar de serem esperados valores superiores a 0,60 para o Kappa (Alves, Dias, Sardinha, & Conti, 2010), esse coeficiente pode ser afetado por diversas questões, tais como a compreensão dos juízes em relação ao fenômeno, de forma que em alguns casos, valores baixos de kappa não indicam, necessariamente, baixa concordância (Viera & Garret, 2005). Nesse sentido, um fator que pode ter colaborado foram as omissões de categorizações do juiz 3, afetando a concordância de forma global. Esses resultados corroboram a complexidade que envolve a operacionalização da atenção plena, em que a não convergência na sua compreensão afeta o entendimento de seus itens (Hirayama et al., 2014).
A distribuição dos itens por juízes e por fatores mostrou equilíbrio entre as categorizações dos juízes, apesar das omissões do juiz 3. A respeito dos índices de concordância entre os juízes e a versão preliminar, vale destacar que, por fim, os mesmos não concordam com aproximadamente 25% dos itens da versão preliminar. Disso, pode-se considerar que a versão preliminar, destacada neste estudo, além de conseguir manter componentes dos cinco fatores e estados mindful e mindless, conforme originalmente propostos, aponta que, de forma geral, há qualidade na representação da atenção plena nos 145 itens preliminares.
De forma geral, foi possível destacar neste estudo que a compreensão da atenção plena, e de quais são seus componentes, não é convergente entre pesquisadores. O resultado encontrado mostra-se como uma representação fiel do que acontece entre os pesquisadores internacionalmente, o que reitera a concepção de que há certa complexidade na definição e operacionalização da atenção plena (Hart et al., 2013; Hirayama, 2014; Langer, 2014).
No que se refere à análise semântica, pode-se dizer que os participantes contribuíram com a qualidade da redação dos itens do pool em sua versão final, de forma que os itens puderam ser amplamente modificados, mostrando-se mais compreensíveis para os dezesseis adultos que os analisaram. É válido destacar que as diversas mudanças sugeridas pelos participantes da análise semântica foram acatadas em sua maioria e, por conta disso, acredita-se que o procedimento tenha contribuído positivamente com a redação da versão final dos itens. Por fim, vale destacar que dentre os participantes que realizaram a análise semântica dos itens, houve maior frequência das mulheres, característica que pode ter enviesado os resultados dessa análise, destacando-se como uma limitação deste estudo. No entanto, essa situação parece coerente com a realidade das pesquisas em Psicologia de forma geral, que costuma ter maior aderência de participantes do sexo feminino.
Considerações finais
Dos 275 itens originalmente elaborados, restaram 145 na versão preliminar da MAP, os quais apresentam concordância satisfatória entre os juízes. Essa quantidade de itens é considerada para alguns autores como extensiva (Feldman et al., 2007), no entanto, a quantidade de itens afeta a precisão dos fatores das medidas, o que não deve ser ignorado pelos pesquisadores ao construírem instrumentos psicológicos.
A constatação da baixa convergência na compreensão dos componentes da atenção plena mostra-se fiel aos outros estudos revisados nessa pesquisa, já que diferentes concepções têm sido empreendidas para a operacionalização do fenômeno e de seus componentes. Apesar dessa realidade, foi possível constatar que os 145 itens selecionados possuem pertinência na representação dos domínios propostos neste estudo; além de mostrarem-se compreensíveis para os representantes do público alvo.
Declaração de conflitos de interesse
Não há conflitos de interesse.
Referências
Alves, I. C. B., Dias, A. R., Sardinha, L.S., & Conti, F. D. (2010). Precisão entre juízes na avaliação dos aspectos formais do teste de Wartegg. Alethéia, 31, 54-65. Recuperado de http://pepsic.bvsalud.org/pdf/aletheia/n31/n31a06.pdf [ Links ]
Baars, B., J. (1997). Some essential differences between consciousness and attention, perception, and working memory. Consciousness and Cognition, 6(2), 363–371. doi:10.1006/ccog.1997.0307
Baer, R. A., Smith, G. T., & Allen, K. B. (2004). Assessment of mindfulness by self-report: The Kentucky inventory of mindfulness skills. Assessment, 11(3), 191-206. doi:10.1177/1073191104268029 [ Links ]
Baer, R. A., Smith, G. T., Hopkins, J., Krietemeyer, J., & Toney, L. (2006). Using self-report assessment methods to explore facets of mindfulness. Assessment, 13(1), 27-45. doi:10.1177/1073191105283504 [ Links ]
Bergomi, C. Tschacher, W., & Kupper, Z. (2013). The assessment of mindfulness with self- report measures: Existing scales and open issues. Mindfulness, 4(3), 191-202. doi:10.1007/s12671-012-0110-9 [ Links ]
Bishop, S. R., Lau, M. A., Shapiro, S. L., Carlson, L., Anderson, N. D., Carmody, J. & Devins, G. (2004). Mindfulness: A proposed operational definition. Clinical Psychology, 11, 230–241. doi:10.1093/clipsy.bph077
Brown, K. W., & Ryan, R. M. (2003). The benefits of being present: Mindfulness and its role in psychological well-being. Journal of Personality and Social Psychology, 84(4), 822-48. doi:10.1037/0022-3514.84.4.822 [ Links ]
Brown, K. W., Ryan, R., M., & Creswell, J. D. (2007). Mindfulness: Theoretical foundations and evidence for its salutary effects. Psychological Inquiry, 18(4), 211–237. doi:10.1080/10478400701598298
Cardaciotto, L., Herbert, J. D., Forman, E. M., Moitra, E., & Farrow, V. (2008). The assessment of present moment awareness and acceptance: The Philadelphia Mindfulness Scale. Assessment, 15(2), 204-223. doi:10.1177/1073191107311467 [ Links ]
Cicchetti, D., Ganiban, J., & Barnett, D. (1991). Contributions from the study of high-risk populations to understanding the development of emotion regulation. In J. Garber, & K. A. Dodge (Eds.), The development of emotion regulation and dysregulation (pp. 15-48). New York, USA: Cambridge University Press. [ Links ]
Davidson, R. J., Kabat-Zinn, J., Schumacher, J., Rosenkanz, M., Muller, D., Santorelli, S., … Sheridan, J. F. (2003). Alterations in brain and immune function produced by mindfulness meditation. Psychosomatic medicine, 65(4), 564-570.
Feldman, G., Hayes, A., & Kumar, S. (2007). Mindfulness and emotion regulation: The development and initial validation of the cognitive and affective mindfulness scale-revised (CAMS-R). Journal of Psychopathology and Behavioral Assessment, 29(3), 177-190. doi:10.1007/s10862-006-9035-8 [ Links ]
Goldin, P. R., & Gross, J. J. (2010). Effects of mindfulness-based stress reduction (MBSR) on emotion regulation in social anxiety disorder. Emotion, 10(1), 83-91. doi:10.1037/a0018441. [ Links ]
Grossman, P., Niemann, L., Schmidt, S., & Walach, H. (2004). Mindfulness-based stress reduction and health benefits: A meta-analysis. Journal of Psychometric Research, 57, 35-43. doi:10.1016/S0022-3999(03)00573-7 [ Links ]
Grossman, P., & Van Dam, N., T. (2011). Mindfulness, by any other name trials and tribulations of sati in western psychology and science'. Contemporary Buddhism, 12(1), 219-239. doi:10.1080/14639947.2011.564841 [ Links ]
Hart, R., Ivtzan, R. H. I., & Hart, D. (2013). Mind the gap in mindfulness research: A comparative account of the leading schools of thought. Review of General Psychology, 17(4), 453–466. doi:10.1037/a0035212453
Hirayama, M. S. (2014). Freiburg Mindfulness Inventory: Adaptação cultural e validação para a língua portuguesa no Brasil (Tese de Doutorado). Universidade de Campinas. São Paulo. Brasil. Recuperado de: http://www.bibliotecadigital.unicamp.br/document/?code=000936261 [ Links ]
Kabat-Zinn, J. (1990). Full catastrophe living: Using the wisdom of your body and mind to face stress, pain, and illness. New York, NY: Delta. [ Links ]
Kristeller, J. L., & Wolever, R. Q. (2011). Mindfulness-based eating awareness training for treating binge eating disorder: The conceptual foundation. Eating Disorders, 19(1), 49-61. doi:10.1080/10640266.2011.533605 [ Links ]
Landis, J. R, & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174. doi:10.2307/2529310 [ Links ]
Langer, E. J. (2014). Mindfulness forward and back. In Le, A., Christelle, T. N., & Langer, E. J. (Eds.). Handbook of Mindfulness (pp. 7- 20). Chichester: John Wiley & Sons. doi:10.1002/9781118294895.ch1. [ Links ]
Langer, E. J., & Moldoveanu, M. (2000). The construct of mindfulness. Journal of Social Issues, 56(1), 1-9. doi:10.1111/0022-4537.00148 [ Links ]
Lau, M. A., Bishop, S. R., Segal, Z. V., Buis, T., Anderson, N. D., Carlson, L., & Carmody, J. (2006). The Toronto Mindfulness scale: Development and validation. Journal of Clinical Psychology, 62(12), 1445-1467. doi/10.1002/jclp.20326/pdf [ Links ]
Nakano, T. C., & Siqueira, L. G. G. (2012). Validade de conteúdo da Gifted Rating Scale (versão escolar) para a população brasileira. Avaliação Psicológica, 11(1), 123-140. Recuperado de
http://pepsic.bvsalud.org/pdf/avp/v11n1/v11n1a12.pdf.
Pasquali, L. (2010). Instrumentação psicológica: Fundamentos e práticas. Porto Alegre, RS: Artmed. [ Links ]
Pires, J. G., Nunes, M. F. O., Demarzo, M. M. P., & Nunes, C. H. S. S. (2015). Instrumentos para avaliar o construto mindfulness: Uma revisão. Avaliação Psicológica, 14(3), 329-338. doi:10.15689/ap.2015.1403.04 [ Links ]
Tran U. S, Cebolla A, Glück T. M., Soler J., Garcia-Campayo J., & Von Moy, T. (2014). The serenity of the meditating mind: A cross-cultural psychometric study on a two-factor higher order structure of mindfulness, its effects, and mechanisms related to mental health among experienced meditators. PLoS One, 9(10), 1-13. doi:10.1371/journal.pone.0110192 [ Links ]
Viera, A. J., & Garrett, J. M. (2005). Understanding interobserver agreement: The Kappa statistic. Family Medicine, 37(5), 360-363. Recuperado de http://www.stfm.org/fmhub/fm2005/May/Anthony360.pdf [ Links ]
Walach, H., Buchheld, N., Buttenmüller, V., Kleinknecht, N., & Schmidt, S. (2006). Measuring mindfulness: The Freiburg Mindfulness Inventory (FMI). Personality and Individual Differences, 40, 1543-1555. doi:10.1016/j.paid.2005.11.025. [ Links ]
Endereço para correspondência
Jeferson G. Pires
e-mail: jefersongp@gmail.com
Endereço para correspondência
Carlos H. S. S. Nunes
e-mail: carloshnunes@mac.com
Endereço para correspondência
Maiana F. O. Nunes
e-mail: maiananunes@mac.com
Endereço para correspondência
Maria L. Bianchi
e-mail: marialuiza_b@yahoo.com.br
Endereço para correspondência
Mônica L. M. Kotzias
e-mail: monicakotzias@gmail.com
Endereço para correspondência
Giovania M. Maesima
e-mail: giovaniamitie@gmail.com
Recebido em: 25/01/2017
Revisado em: 27/09/2017
Aceito em: 13/01/2018
Declaramos que todos os autores informados, participaram suficientemente do trabalho “Evidência de validade de conteúdo de uma medida de atenção plena”, tornando pública sua responsabilidade pelo conteúdo. A contribuição de cada autor será mencionada na sequência. Os autores, Jeferson Gervásio Pires, Carlos Henrique Sancineto da Silva Nunes, e Maiana Farias Oliveira Nunes, contribuíram com o desenho geral do estudo, pontuando o tipo de participantes necessários em cada uma de suas etapas, além de indicarem as formas de análise de dados mais adequadas para responder à pergunta de pesquisa. Além disso, contribuíram com a redação do artigo, e com a revisão de sua versão final. Por sua vez, os autores, Maria Luiza Bianchi, Mônica Monteiro Kotzias, e Giovania Mitie Maesima, contribuíram com o recrutamento de parte dos participantes do estudo, com a coleta dos dados nos encontros, e com a organização dos dados coletados. Ademais, contribuíram com a correção da redação final do artigo, em sua versão final.
i Ppsicólogo pelo Centro Universitário Estácio de Sá de Santa Catarina, mestre e doutorando em Psicologia pela Universidade Federal de Santa Catarina.
ii Psicólogo, mestre e doutor em Psicologia pela Universidade Federal do Rio Grande do Sul. Pesquisador na área de Avaliação Psicológica, além de atual coordenador do Programa de Pós-graduação em Psicologia da Universidade Federal de Santa Catarina.
iii Psicóloga pela Faculdade Rui Barbosa, mestre e doutora em Psicologia pela Universidade São Francisco. Trabalha na área de Avaliação Psicológica e atualmente é professora no Programa de Pós-graduação em Psicologia da Universidade Federal de Santa Catarina.
iv Acadêmica do curso de Psicologia da Universidade Federal de Santa Catarina.
v Acadêmica do curso de Psicologia da Universidade Federal de Santa Catarina.
vi Acadêmica do curso de Psicologia da Universidade Federal de Santa Catarina.
