SciELO - Scientific Electronic Library Online

 
vol.33 número1Evaluación y follow-up de un Entrenamiento de Habilidades Sociales (EHS) en niños de la enseñanza fundamentalEl pensamiento subliminal según la teoría psicoanalítica de Sabina Spielrein índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Psicologia Clínica

versión impresa ISSN 0103-5665versión On-line ISSN 1980-5438

Psicol. clin. vol.33 no.1 Rio de Janeiro ene./abr. 2021

http://dx.doi.org/10.33208/PC1980-5438v0033n01A06 

ARTIGOS - FAMÍLIA, SOCIEDADE E CULTURA: INTERVENÇÕES TEÓRICO-CLÍNICAS

 

Programa de orientação familiar desenvolvido no serviço de psicologia aplicada de uma universidade pública

 

Family guidance program developed in the applied psychology service of a public university

 

Programa de orientación familiar desarrollado en el servicio de psicología aplicada de una universidad pública

 

 

Patricia Lorena QuiterioI; Vanessa Barbosa Romera LemeII; Marwin Machay Indio do Brasil do CarmoIII; Jenniffer Pires da SilvaIV; Bruna de Lima CameloV

IPsicóloga, Pedagoga, Doutora pela Universidade do Estado do Rio de Janeiro (UERJ), Professora Adjunta do Instituto de Psicologia e do Programa de Pós-Graduação em Psicologia Social da UERJ, RJ, Brasil. patricialorenauerj@gmail.com
IIPsicóloga, Pós-Doutora pela Universidade Federal de São Carlos (UFSCar), Professora Adjunta do Instituto de Psicologia e do Programa de Pós-Graduação em Psicologia Social da Universidade do Estado do Rio de Janeiro (UERJ), RJ, Brasil. vanessaromera@gmail.com
IIIPsicólogo pela Universidade do Estado do Rio de Janeiro (UERJ), RJ, Brasil. marwinbr@gmail.com
IVPsicóloga pela Universidade do Estado do Rio de Janeiro (UERJ), Mestranda no Programa de Pós-Graduação em Psicologia Social da UERJ, RJ, Brasil. jennifferpsilva@gmail.com
VPsicóloga pela Universidade do Estado do Rio de Janeiro (UERJ), Pós graduanda em Oncologia pelo Instituto Nacional do Câncer (INCA), Rio de Janeiro, RJ, Brasil. blima1095@gmail.com

 

 


RESUMO

Práticas educativas inadequadas e déficit de habilidades sociais educativas no contexto familiar podem funcionar como fatores de risco para o desenvolvimento infantil. Contudo, a orientação familiar com foco na prevenção de problemas de comportamento e promoção de saúde favorece a saúde mental e o bem-estar dos membros da família. Este artigo descreve os efeitos de uma intervenção exploratória (Grupo de Orientação Familiar), implementada num serviço de psicologia aplicada de uma universidade pública, que teve por objetivo promover as práticas parentais e as habilidades educativas dos familiares e prevenir problemas de comportamento. Participaram sete familiares de crianças e adolescentes com idade entre três meses e 17 anos. Foram realizadas avaliações qualitativas e quantitativas antes, durante e após a intervenção. Os instrumentos aplicados foram: (a) Breve roteiro de entrevista semiestruturada na inscrição; (b) Escalas de Qualidade na Interação Familiar; (c) Tarefas de casa; (d) Protocolo de Avaliação do Processo. A intervenção mostrou efeito positivo na qualidade da interação familiar, principalmente no fator relacionado à comunicação. Os resultados do processo revelaram estabelecimento de regras mais claras e demonstração de afeto. Conclui-se que a intervenção demonstrou mudanças satisfatórias nas práticas parentais, consideradas como fator de proteção e de desenvolvimento socioemocional dos filhos.

Palavras-chave: família; relações familiares; práticas parentais; intervenção; avaliação de programa.


ABSTRACT

Inappropriate parental practices and deficit in social skills in the family environment may be risk factors for child development. However, family guidance focused on prevention of behavioral problems and on health promotion favors the mental health and well-being of family members. This paper describes the effects of an exploratory intervention (Family Guidance Program), carried out in an applied psychology service of a public university, that aimed to promote parental practices and educational skills of relatives and to prevent behavioral problems. Seven relatives of children and adolescents between 3 months and 17 years old took part in the program. Qualitative and quantitative evaluation were done before, during and after intervention. Four instruments were applied: (a) Brief semi-structured interview at sign-up into the program; (b) Quality of Family Interaction Scales; (c) Homework assignments; (d) Process Evaluation Protocol. The intervention showed positive effects in the quality of family interaction, mainly in the communication factor. Process results showed the establishment of clearer rules and displays of affection. It is concluded that the intervention showed satisfactory changes in parental practices, considered as factors of protection and socio-emotional development of children.

Keywords: family; family relations; parental practices; intervention; program evaluation.


RESUMEN

Prácticas educativas inadecuadas y déficit de habilidades sociales educativas en el contexto familiar pueden actuar como factores de riesgo para el desarrollo infantil. Sin embargo, el asesoramiento familiar centrado en la prevención de problemas de conducta y la promoción de la salud favorece la salud mental y el bienestar de los miembros de la familia. Este artículo describe los efectos de una intervención exploratoria (Grupo de Orientación Familiar), implementada en un servicio de psicología aplicada de una universidad pública, que buscó promover prácticas parentales y habilidades educativas de los familiares y prevenir problemas de conducta. Participaron siete familiares de niños y adolescentes entre tres meses y 17 años. Se realizaron evaluaciones cualitativas y cuantitativas antes, durante y después de la intervención. Los instrumentos aplicados fueron: (a) Breve guión de entrevista semiestructurada en la inscripción; (b) Escalas de Calidad en la Interacción Familiar; (c) Tareas; (d) Protocolo de Evaluación del Proceso. La intervención mostró efecto positivo en la calidad de interacción familiar, especialmente en el factor relacionado con la comunicación. Los resultados del proceso revelaron implantación de reglas más claras y demostración de afecto. Se concluyó que la intervención mostró cambios satisfactorios en prácticas parentales, consideradas como factor de protección y desarrollo socioemocional de los niños.

Palabras clave: familia; relaciones familiares; prácticas parentales; intervención; evaluación de programa.


 

 

Introdução

A literatura é notória em identificar diferentes formas de educar os filhos, algumas consideradas mais eficientes do que outras (Bolsoni-Silva, 2007; Coelho & Murta, 2007; Gallo et al., 2010; Lima & Cardoso, 2018). Nesse sentido, destacam-se as práticas parentais, que são estratégias utilizadas pelos pais para reforçar comportamentos adequados e suprimir os inadequados para o desenvolvimento infantil (Mayer & Weber, 2014).

As práticas educativas, que envolvem estabelecimento de limites, comunicação positiva, operacionalização do amor, ensino de responsabilidades e fornecimento de modelo adequado diante de situações interpessoais, tendem a promover autoestima, autonomia e desenvolvimento das habilidades sociais, assim como atuam como fator de proteção para melhor qualidade de vida (Bolsoni-Silva et al., 2008; Borden et al., 2010; Féres-Carneiro, 1997; Long et al., 2017; Pozzobon et al., 2018; Watzlawick et al., 1967). Em contrapartida, o uso de práticas parentais por meio de uma relação pouco afetiva, com falta de clareza e consistência no estabelecimento das regras, falhas na comunicação e uso de condutas consideradas não habilidosas, funciona como fator de risco para o desenvolvimento infantil (Coelho & Murta, 2007; Menting et al., 2013).

Diante dessa constatação, estudos têm surgido, em âmbito nacional, com a proposta de desenvolver programas de intervenção voltados para pais de crianças com problemas de comportamento (Bolsoni-Silva, 2007; Gallo et al., 2010; Pinheiro et al., 2006; Pozzobon et al., 2018; Quiterio, 2014). Tais pesquisas revelaram a importância do envolvimento dos pais no desenvolvimento socioemocional dos filhos e a necessidade de programas nessa área (Quiterio, 2014), bem como indicaram, por meio de avaliações pré e pós-teste, redução significativa na frequência de comportamentos indesejáveis (Pinheiro et al., 2006), generalização dos comportamentos treinados para outros contextos e ampliação das Habilidades Sociais Educativas Parentais (HSE-P) e das habilidades sociais das crianças (Bolsoni-Silva, 2007). Por fim, constataram melhora no relacionamento e suporte familiar (Gallo et al., 2010), além de melhora global no desempenho acadêmico dos filhos (Pozzobon et al., 2018).

No contexto internacional, destaca-se, por sua relação custo-benefício, o programa Parent-Child Interaction Therapy (PCIT), que tem por objetivo o tratamento de crianças com problemas de comportamento disruptivo. O referido modelo de intervenção tem delineamento experimental e procedimentos de ensino baseado em exposições didáticas, com a presença de pais e filhos. Os resultados de um estudo que avaliou diferentes aplicações do PCIT indicaram que o programa diminuiu o estresse parental e melhorou o comportamento escolar, constituindo uma forma de tratamento com baixo custo e que produziu melhoras consideráveis no comportamento infantil (Long et al., 2017).

A revisão de literatura evidencia que programas de intervenção voltados para déficits em habilidades sociais, problemas de comportamento e baixa competência acadêmica são fundamentais para o enfrentamento dessas questões. Contudo, há necessidade de desenvolvimento ou aprimoramento de programas com foco em prevenção e promoção da saúde mental e bem-estar, adequando-se à cultura, ao público-alvo e ao contexto local (Murta et al., 2015). Uma forma de atuar nessa direção é por meio de programas de habilidades sociais, que conforme Del Prette e Del Prette (2017a) podem ser definidos como um conjunto de procedimentos e técnicas estruturadas que visam a ampliar a frequência e a proficiência das habilidades sociais, ensinar habilidades sociais significativas e, consequentemente, melhorar o relacionamento interpessoal.

Em relação à orientação de pais, faz-se necessário desenvolver ou ampliar as práticas educativas parentais e as habilidades sociais educativas. Estas são definidas como um conjunto de habilidades empregadas com a intenção de promover o desenvolvimento e a aprendizagem do outro (Del Prette & Del Prette, 2017b), que atuam como fator de proteção e de desenvolvimento socioemocional. Intervenções com esse enfoque têm demonstrado resultados positivos. Bolsoni-Silva et al. (2008) avaliaram um programa de intervenção com três participantes, que teve por objetivo promover habilidades sociais educativas e prevenir problemas de comportamento nas crianças. O programa contou com avaliações pré-teste, pós-teste e follow-up, a partir de entrevistas que demonstraram aumento significativo em expressividade, enfrentamento, comunicação e estabelecimento de limites.

Um estudo de Coelho e Murta (2007) relatou a experiência de uma intervenção voltada para a promoção de práticas educativas parentais, habilidades comunicativas e de enfrentamento do estresse sob a forma de psicoeducação, com sete participantes. A partir da avaliação do programa - por meio de entrevistas e checklist - constatou-se melhora nas práticas educativas, nas habilidades sociais educativas e no enfrentamento de estressores externos. Além disso, os participantes observaram mudanças positivas em seus filhos. Semelhantemente, Lima e Cardoso (2018), com o objetivo de implantar e verificar a eficácia de um programa de orientação e treinamento com 26 participantes, aplicaram a técnica de análise de conteúdo. Os resultados evidenciaram a ampliação do repertório de práticas parentais positivas a partir de discussões e vivências experienciadas durante a intervenção. Os estudos alcançaram os objetivos traçados a partir do uso da abordagem psicoeducativa, evidenciando a eficácia do trabalho de intervenção junto a pais de crianças com problemas de comportamento, bem como a melhora na qualidade da relação familiar.

Pesquisas internacionais têm demonstrado que programas de treinamento para pais com caráter preventivo para populações universais (crianças não identificadas com base em risco individual) e de risco (crianças com sinais ou sintomas detectáveis, ou consideradas em risco) devido a fatores biológicos, psicológicos ou contextuais, demonstraram sucesso na redução de problemas emocionais e comportamentais em crianças (Barlow et al., 2016; Forehand et al., 2014; Leijten et al., 2017; Menting et al., 2013). A implementação dos programas tem como finalidade a melhoria da competência parental e do clima familiar, visando a diminuição de problemas de conduta e a possibilidade de comportamentos antissociais nos filhos (Borden et al., 2010). Segundo Masten (2018), a qualidade da relação cuidador-filho exerce papel fundamental no desenvolvimento infantil e no processo de construção de enfrentamento e superação das adversidades por meio da resiliência. Desse modo, em função do aumento no número de estudos com foco na resiliência, modelos de intervenção têm sido transformados de propostas baseadas no tratamento de déficits para programas com foco em promover um funcionamento saudável de famílias e indivíduos (Masten, 2018). Programas como o Triple P (Sanders et al., 2014) têm recebido considerável atenção em função de sua popularidade e da quantidade expressiva de evidências de sua eficácia, tanto para populações clínicas quanto não clínicas (Long et al., 2017).

Estudos conduzidos com diferentes populações revelam maior participação das mães nessas intervenções, sinalizando que a mulher assume a maior responsabilidade pela educação e cuidado dos filhos, mesmo quando há presença de outra pessoa (Bolsoni-Silva et al., 2008; Coelho & Murta, 2007; Kanamota et al., 2017; Leme et al., 2014; Pinheiro et al., 2006). Nesse sentido, os grupos de orientação familiar devem constituir um ambiente acolhedor que possibilite às famílias elaborar e discutir estratégias para o manejo das situações familiares. Ao mesmo tempo, faz-se necessário inserir outros participantes do cenário familiar, como companheiros(as), avôs(ós), tios(as) e outros(as), pois uma das queixas recorrentes nesses programas é a dificuldade de os familiares concordarem sobre as práticas educativas parentais (Bolsoni-Silva et al., 2008).

A orientação familiar com foco no tratamento visa a capacitar os familiares no que tange a conhecimentos e estratégias de manejo de comportamentos problemáticos. Por outro lado, a orientação familiar com foco na promoção e prevenção almeja desenvolver práticas positivas, com vistas a prevenir o surgimento de comportamentos indesejáveis, exercitar a resolução de problemas, incentivar a comunicação e a demonstração de afeto, com o intuito de favorecer a saúde mental e o bem-estar (Murta et al., 2015). Assim, este artigo descreve os efeitos de uma intervenção exploratória em um Grupo de Orientação Familiar (GOF) implementada em um Serviço de Psicologia Aplicada (SPA) de uma universidade pública da Região Sudeste, que teve por objetivo promover as práticas parentais e as habilidades educativas dos familiares e prevenir problemas de comportamento.

 

Método

Participantes

O estudo, com caráter exploratório, metodologia de análise quantitativa e qualitativa, seguiu um delineamento quase experimental. A intervenção foi realizada com população não clínica, com aplicação de medidas de avaliação pré-teste, processo e pós-teste. Participaram cinco adultos do sexo feminino (P1, P2, P4, P5, P6) e dois do sexo masculino (P3, P7). Os participantes P3 e P6 são casados entre si e os demais também são de famílias parentais. A faixa etária dos participantes situou-se entre 20 e 47 anos (M = 36,43; dp = 9,41). A idade das 14 crianças e adolescentes variou de três meses a 17 anos (M = 8,09; dp = 5,24). P1, estudante de graduação, é tia de quatro crianças e adolescentes (3 anos, 4 anos, 7 anos, 13 anos). P2, contadora, é mãe de duas crianças com idades 4 e 11 anos. P3 e P6, ele técnico em informática e ela bióloga, são pais de três crianças (3 meses, 3 anos, 9 anos). P4, diarista, tem dois filhos com idades 10 e 17 anos. P5 é estudante de graduação e tem um filho de 5 anos. E P7 tem dois filhos com 10 e 17 anos e é funcionário público. A concentração de escolaridade encontrava-se no nível superior incompleto (57,1%) e classificação socioeconômica média com prevalência na faixa B2 (42,8%).

Instrumentos

1. Breve roteiro de entrevista semiestruturada na inscrição (pré-intervenção) - Instrumento desenvolvido para este estudo, baseado em entrevista do Programa de Qualidade na Interação Familiar (PQIF) (Weber et al., 2005/2011). Tem por objetivo receber os familiares de modo pessoal, informar sobre a proposta do grupo, levantar as expectativas sobre a intervenção e coletar dados sobre as queixas.

2. Escalas de Qualidade na Interação Familiar (EQIF) - versão para pais (Weber et al., 2005/2011) (pré e pós-intervenção) - Visa a avaliar estilos e práticas parentais e é composto por 40 questões, divididas em nove subescalas: Fator 1 - Relacionamento afetivo e envolvimento, Fator 2 - Regras e monitoria, Fator 3 - Punição corporal, Fator 4 - Comunicação positiva dos filhos, Fator 5 - Comunicação negativa dos pais, Fator 6 - Clima conjugal positivo, Fator 7 - Clima conjugal negativo, Fator 8 - Modelo parental e Fator 9 - Sentimento dos filhos. O participante deve avaliar a frequência por meio de escala Likert de cinco pontos, que varia de nunca (escore 0) a sempre (escore 4). A consistência interna do instrumento, por meio do coeficiente alfa de Cronbach foi de 0,72 (Stasiak et al., 2014).

3. Tarefas de casa (avaliação processual) - Técnica comportamental que visa ao aperfeiçoamento e à generalização das habilidades treinadas para outros ambientes, permitindo a avaliação de como o ambiente natural está reagindo aos novos desempenhos (Del Prette & Del Prette, 2017a). As atividades basearam-se no PQIF (Weber et al., 2005/2011) e na inserção de outras atividades que contemplaram as habilidades requeridas pelas HSE-P, conforme portfólio de Del Prette e Del Prette (2017b).

4. Protocolo de Avaliação do Processo (avaliação processual) - Foi desenvolvido por Murta (2017) e adaptado para este estudo, com os itens: (i) fidelidade ao planejamento do encontro; (ii) desempenho do facilitador; (iii) checklist das metas intermediárias (comportamentos dos familiares); (iv) outros desempenhos do facilitador; (v) indicadores de apego dos familiares em relação aos facilitadores; (vi) adesão do familiar; (vii) fatos relevantes - sessão do dia. Foram acrescentados os seguintes itens: (viii) relatório descritivo da sessão; (ix) impressões do observador; (x) relato geral do grupo. Estes itens contribuíram para o registro de informações pelos estagiários referentes à participação, ao desempenho e aos relatos sobre as dificuldades e progressos dos familiares.

5. Escalas de Qualidade na Interação Familiar (EQIF) - versão qualitativa (pós-intervenção) - Instrumento elaborado para este estudo para que cada familiar realizasse uma autoavaliação após sua participação no GOF. Apresenta os seguintes itens: Categoria 1: Relacionamento afetivo / envolvimento; Categoria 2: Regras e monitoria; Categoria 3: Consequências para comportamentos adequados; Categoria 4: Consequências para comportamentos inadequados; Categoria 5: Comunicação entre pais e filhos / filhos e pais / pais / filhos; Categoria 6: Clima conjugal; Categoria 7: Modelo parental; Categoria 8: Sentimento dos filhos.

Procedimentos

Este estudo está de acordo com a Resolução 466/2012 do Conselho Nacional de Saúde em relação às Diretrizes e Normas Regulamentadoras de Pesquisas Envolvendo Seres Humanos, bem como foi aprovado pela Comissão de Ética em Pesquisa de uma Instituição de Ensino Superior (CAEE: 89194718.5.0000.5259). Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE) e o Termo de Compromisso (TC) para a pesquisa, no qual se comprometeram a não divulgar ou compartilhar fotos, áudios ou qualquer forma de registro realizado durante os encontros do GOF.

Coleta de dados

O GOF foi desenvolvido durante a realização de um estágio curricular no SPA de uma universidade pública. A equipe de estagiários que implementou a intervenção passou pelo seguinte treinamento: Durante um semestre letivo (20 supervisões), realizou leituras e discussões de textos sobre habilidades sociais educativas parentais e estilos e práticas parentais. Em seguida, elaborou-se a adaptação do PQIF (Weber et al., 2005/2011), resultando no programa denominado Grupo de Orientação Familiar (GOF). A intervenção foi divulgada por meio das seguintes estratégias: (a) cartazes colocados no campus da universidade; (b) cartazes em escolas da rede municipal de ensino; e (c) redes sociais relacionadas ao instituto de psicologia. As pessoas interessadas compareceram nos dias de inscrições e foram recebidas pelos estagiários, que fizeram uma breve entrevista semiestruturada (Weber et al., 2005/2011). Em cada encontro havia quatro estagiários, dois dos quais responsáveis por conduzir as atividades, enquanto os outros ficavam como observadores, com a função de avaliar o processo de intervenção por meio do protocolo desenvolvido por Murta (2017). Na fase pré-intervenção, informou-se o objetivo do GOF aos participantes, solicitou-se que assinassem o TCLE e o TC e que respondessem ao EQIF - versão pais (Weber et al., 2005/2011). No último encontro, imediatamente após o encerramento do GOF, os participantes responderam ao EQIF - versão pais (Weber et al., 2005/2011) e a versão qualitativa do mesmo instrumento, a fim de avaliar a intervenção realizada.

Grupo de Orientação Familiar

O programa foi desenvolvido em 15 encontros com periodicidade semanal de 1h30min, com a seguinte estrutura: (1) revisão da tarefa de casa; (2) dinâmica ou vivência; (3) explicação didática; (4) treino de habilidades; (5) vídeo educativo / texto reflexivo; (6) momento de dúvida dos pais; (7) tarefa de casa. O desenvolvimento dos temas das sessões foi o mesmo descrito por Weber et al. (2005/2011). Para cada encontro, mediante o tema proposto pelas autoras do PQIF, a equipe elaborou um foco para o atendimento psicoeducativo, conforme demonstra a Tabela 1.

 

 

Alguns procedimentos e adaptações foram realizados à proposta original (Weber et al., 2005/2011): (a) o PQIF é conduzido semanalmente com duração de duas horas. No GOF, a duração foi de 1h30min, por motivos de segurança, levando em consideração o horário de trabalho dos participantes e a ocorrência de um período de greve na universidade; (b) no encontro inicial, entregou-se uma pasta, na qual foi colocada semanalmente a síntese da exposição didática, a tarefa de casa e o texto reflexivo do dia; (c) a seção do PQIF intitulada "dúvida dos pais" foi realizada sob a forma de sorteio; (d) houve acréscimo de duas oficinas para os familiares e os filhos, nas quais ambos participaram na elaboração da rotina e regras de convivência (Oficina 1) e nos combinados para o estabelecimento da estratégia Economia de Fichas (Oficina 2); (e) na última sessão, foi entregue uma cartilha informativa com orientações aos familiares.

Análise de dados

1. Breve roteiro de entrevista semiestruturada na inscrição - As respostas foram organizadas em eixos temáticos que contemplaram as demandas dos familiares: (a) aprendizado de métodos e técnicas educativas; (b) expectativa da troca de experiências com outros pais; (c) estabelecimento de regras e limites; (d) comunicação entre pais e filhos; (e) divergência de opiniões entre pai e mãe; (f) teimosia e desobediência dos filhos às ordens dos pais.

2. Escala de Qualidade na Interação Familiar (EQIF) - versão para pais (Weber et al., 2005/2011) - A avaliação dos dados realizou-se por meio do escore total e escores fatoriais. Os dados reunidos nos períodos pré e pós-teste foram analisados no Statistical Package for the Social Sciences for Windows (SPSS, versão 22.0), por meio do teste estatístico não paramétrico de Wilcoxon. Os dados também foram analisados e comparados de modo quantitativo com auxílio do método proposto por Jacobson e Truax (1991), chamado de "Método JT", que é uma alternativa para análise de casos de intervenção em pequenos grupos (Del Prette & Del Prette, 2008). Com esse método calcula-se, por meio da comparação entre os escores, o índice de mudança confiável (IMC), que permite verificar se a variação entre os escores pré e pós-intervenção é confiável, isto é, situa-se além da faixa atribuída a erro de medida do instrumento e a significância clínica do tratamento (Evans et al., 1998). Em virtude da indisponibilidade de dados normativos para a EQIF-pais, o ponto de corte para definir a mudança clinicamente significativa foi estimado, conforme recomendação de Jacobson e Truax (1991), a partir dos dados da amostra pré-intervenção. Isso significa que a margem para mudança clinicamente significativa ocorre pela extensão de dois desvios padrões além da média inicial.

3. Tarefas de casa - Ao final dos encontros, os familiares recebiam as folhas com as tarefas de casa. Os estagiários liam as tarefas, formulavam um comentário, submetiam à supervisora e após o seu retorno, redigiam uma devolutiva. Para análise do material, foi realizada a "leitura flutuante" das respostas e os conteúdos foram organizados em categorias conforme a temática (Bardin, 1997/2010), da seguinte forma: demonstração de afeto, identificação de comportamentos dos filhos, aplicação de consequências, estabelecimento de combinados, reforço positivo e autorreflexão.

4. Protocolo de Avaliação do Processo - O instrumento foi preenchido por dois estagiários (observadores) em cada encontro de intervenção, com o objetivo de avaliar a confiabilidade por meio do critério de equivalência. Estabeleceu-se o índice de consenso entre os estagiários 80% para cada item avaliado, e aqueles que não obtiveram tal consenso foram discutidos em reunião presencial entre a pesquisadora e os estagiários até se chegar a uma decisão. Na sequência, as respostas aos itens objetivos foram contabilizadas por frequência e as respostas aos itens discursivos foram lidas e agrupadas em categorias, por meio da análise de conteúdo de Bardin (1977/2010).

5. Escalas de Qualidade na Interação Familiar (EQIF) - versão qualitativa - Os dados foram categorizados por meio da análise de conteúdo (Bardin, 1977/2010) de acordo com os itens definidos na elaboração do instrumento.

Resultados

1. Escalas de Qualidade na Interação Familiar (EQIF) - versão pais (Weber et al., 2005/2011) (pré e pós-intervenção) - Os resultados do teste de Wilcoxon indicaram diferença estatisticamente significativa entre os escores de pré e pós-intervenção: (i) no Escore total da EQIF (Z = -1,997, p = 0,046); (ii) nos escores de Comunicação Negativa dos Pais (Z = -2,120, p = 0,034). Além disso, os escores obtidos pela EQIF foram avaliados por meio do Método JT, conforme Figura 1. Os resultados mostram que o participante P3 apresentou mudança positiva confiável no Escore Total e no item Comunicação Negativa dos Pais. Já P1 apresentou mudança positiva confiável nos escores de Relacionamento Afetivo / Envolvimento e de Regras e Monitoria.

 

 

2. Tarefas de casa (avaliação processual) - Durante as supervisões analisavam-se as tarefas de casa. De acordo com a demanda, novas atividades poderiam ser incorporadas à proposta do programa. A última parte da sessão era utilizada para a explicação das tarefas e os momentos iniciais para devolução individual por escrito aos participantes. Ao longo do programa, foram aplicadas 12 tarefas de casa, categorizadas da seguinte forma:

Categoria 1: Demonstração de afeto/carinho - tarefas direcionadas para a análise das manifestações de afeto na família, com a proposta de incentivar a ocorrência de momentos afetivos. Consistiam em elaborar uma lista de atividades que gerassem um clima mais agradável e confeccionar um presente para cada criança. As respostas que mais tiveram evocações (83%) foram sobre confeccionar presentes, proporcionar contato físico e passar tempo juntos.

Categoria 2: Identificação de comportamentos dos filhos - tarefas que consistiam em anotar comportamentos das crianças que os familiares considerassem adequados, inadequados e que desrespeitassem as regras. A maioria das respostas versava sobre o não cumprimento de rotina doméstica e escolar (42%). Sobre as regras estabelecidas, a maior evocação (42%) foi sobre cumprimento das tarefas, organização e higiene. Já em relação aos comportamentos inadequados, a maior porcentagem (46%) correspondeu a comportamentos como pular no sofá, não fechar geladeira, comprar coisas na rua.

Categoria 3: Aplicação de consequências - tarefas que consistiam em obter informações sobre a aplicação de consequências para os comportamentos inadequados dos filhos, bem como suas reações. No início do grupo, a maioria das respostas (95%) era referente a punições como bater e gritar. No decorrer dos encontros, houve um aumento de respostas relacionadas a dar explicações e expor consequências lógicas para comportamento inadequado.

Categoria 4: Estabelecimento de combinados - verificação das ocasiões em que os familiares estabeleciam regras claras e coerentes. A maior parte das respostas (78%) prezou o estabelecimento de combinados.

Categoria 5: Reforço positivo - análise de quantas vezes o responsável reforçou um comportamento adequado.

Categoria 6: Autorreflexão - tarefas que propunham reflexão sobre características comportamentais dos filhos e de si mesmos. A maioria dos familiares relatou acreditar ter características em comum com seus filhos, como por exemplo, altruísmo, ser educado, generosidade, totalizando 58% das evocações.

3. Protocolo de Avaliação do Processo (avaliação processual) - A análise desse protocolo indicou os resultados a seguir: (i) fidelidade ao planejamento do encontro: o planejamento dos encontros foi rigorosamente seguido, sendo adaptado apenas em caso de insuficiência de tempo; (ii) desempenho do facilitador: os estagiários mostraram desempenho adequado quanto à preparação da sessão, à postura nos encontros, ao fornecimento de informação e suporte aos participantes; (iii) checklist das metas intermediárias: os participantes relataram e expuseram suas dificuldades desde o início do grupo, porém de forma mais intensa nos encontros finais; (iv) outros desempenhos do facilitador: de modo geral, os estagiários encorajaram os participantes a refletir sobre suas estratégias de enfrentamento e exploraram seus sentimentos em atividades e relatos; (v) indicadores de apego dos familiares em relação aos facilitadores: os indicadores revelaram que os participantes buscaram proximidade com os estagiários por meio do compartilhamento de informações pessoais, realização de perguntas pessoais e olhar atento; (vi) adesão do familiar: a frequência dos familiares aos encontros foi expressiva desde o início do grupo, com 75% dos familiares, em média, presentes em cada encontro.

4. Escalas de Qualidade na Interação Familiar (EQIF) - versão qualitativa (pós-intervenção) - O levantamento de temas permitiu uma categorização (Bardin, 1977/2010) sobre o repertório das habilidades educativas parentais e as práticas educativas:

Categoria 1: Relacionamento afetivo / envolvimento - Parte dos pais focava no limite e nas regras, e repensou o resgate do afeto: "Acho que o sentimento de carinho pelos meus filhos foi resgatado. Com um pouco mais de paciência e respeito por eles, consegui melhorar o nosso relacionamento." (P3)

Categoria 2: Regras e monitoria - Algumas famílias estabeleciam as regras, mas de modo autoritário: "Foi muito trabalhoso mudar regras que motivavam atitudes negativas, mudar as regras do 'não' pelas regras do 'sim', mas o resultado é gratificante e vale o esforço, pois a minha percepção é que os meninos ficaram mais interessados em cumprir as regras; no início não davam muito crédito, mas como teve a monitoria, eles entenderam." (P2), destacando o uso satisfatório da monitoria e a importância de desenvolver uma educação positiva. Observou-se a necessidade de implementar estratégias educativas: "A economia de fichas nos ajudou de alguma forma com os comportamentos inadequados, para além dos castigos." (P3)

Categoria 3: Consequências para comportamentos adequados - Os participantes relataram avanços significativos, especialmente em estar atentos aos comportamentos adequados, bem como ao uso dos reforços sociais: "Foi um grande aprendizado para nós aprender a valorizar as atitudes que antes eram comportamentos cobrados e não valorizados. O convívio familiar ficou mais leve." (P5)

Categoria 4: Consequências para comportamentos inadequados - O uso de estratégias alternativas (antecipar, negociar) no manejo de conflitos e na solução de problemas interpessoais foi introduzido ou ampliado: "Aprendi a não ser tão rígida e dar consequências adequadas." (P4) Os participantes destacaram a importância do diálogo: "Para os comportamentos inadequados, quase sempre, como consequência, procuro conversar sobre o assunto, explicando o que aconteceu e qual será a consequência." (P3)

Categoria 5: Comunicação entre pais e filhos / filhos e pais / pais / filhos - Os participantes destacaram o diálogo como elemento essencial ao convívio familiar e que após o GOF "Há mais diálogo, consequentemente, menos brigas." (P3), "Passamos a perguntar e demonstrar interesse no dia a dia da escola, nos relacionamentos com os colegas. Percebemos que ele se sentiu mais confiante." (P7)

Categoria 6: Clima conjugal - Dentre os participantes, parte sinalizou que há uma dificuldade nesse aspecto, como: "Minha comunicação com meu marido poderia melhorar. () E gostaria também de ser mais elogiada por ele." (P5) Outra participante afirmou que o clima conjugal era satisfatório, mas que, mesmo assim, houve melhora: "Passamos a nos ouvir mais e aceitar ou entender a opinião do outro." (P7)

Categoria 7: Modelo parental - Houve demonstração de conhecimento sobre os estilos parentais: "Sou participativa. Tive uma mãe autoritária e um pai participativo." (P5) Destaca-se a importância do autoconhecimento: "Melhorei muito quanto à minha pessoa." (P4)

Categoria 8: Sentimento dos filhos - Parte expressiva revelou estar mais atenta aos sentimentos dos filhos, como P7, por exemplo: "Meu filho percebeu a preocupação que temos com ele em ser uma pessoa melhor e independente. A vinda dele em algumas reuniões do grupo (oficinas) o surpreendeu, ele se sentiu valorizado e amado. Passou a ser mais carinhoso e demonstrar seus sentimentos."

As habilidades desenvolvidas ou ampliadas por meio do GOF indicaram resultados positivos nas práticas parentais após a intervenção, como afirma uma participante: "Depois desses 15 encontros, aprendi muito como ser mais paciente, principalmente comigo." (P4) Outros participantes sugeriram que "Seria interessante outros encontros no futuro." (P3)

 

Discussão e considerações finais

Este estudo mostrou os efeitos de uma intervenção para promoção de práticas parentais e desenvolvimento de habilidades educativas adequadas como forma de prevenção de problemas de comportamento e incentivo ao convívio familiar promotor de bem-estar. Os resultados da comparação entre medidas pré e pós-intervenção corroboraram os dados da literatura brasileira e estrangeira sobre os efeitos positivos de programas de promoção de práticas e habilidades educativas parentais, bem como os efeitos na prevenção de problemas de comportamento (Barlow et al., 2016; Bolsoni-Silva et al., 2008; Borden et al., 2010; Coelho & Murta, 2007; Forehand et al., 2014; Leijten et al., 2017; Lima & Cardoso, 2018; Menting et al., 2013; Murta et al., 2015). De fato, diversas pesquisas focam em programas de intervenção com pais de crianças com problemas de comportamento (Bolsoni-Silva, 2007; Gallo et al., 2010; Long et al., 2017; Pinheiro et al., 2006; Pozzobon et al., 2018; Quiterio, 2014). Contudo, nota-se o aumento no número de pesquisas voltadas para a promoção e prevenção da saúde, especialmente no contexto familiar, como forma de reforçar comportamentos adequados e suprimir comportamentos inadequados para o desenvolvimento infantil (Mayer & Weber, 2014).

A avaliação das Escalas de Qualidade na Interação Familiar (EQIF) indicou que após a intervenção houve aumento no escore total e no fator relacionado à comunicação. Em relação aos demais fatores não houve mudança significativa. Este achado se alinha aos estudos analisados por Menting et al. (2013), que observaram efeitos maiores em programas com foco no tratamento em relação aos de prevenção. A hipótese levantada pelos autores é que, nas intervenções com ênfase na prevenção, os níveis de problema de comportamento iniciais sejam menores, dificultando a identificação de mudanças. Desse modo, a ausência de mudança clínica significativa em alguns fatores investigados neste estudo pode ser compreendida pelo caráter preventivo do programa, o que não diminui a qualidade da intervenção.

Em relação à análise qualitativa do mesmo instrumento, constatou-se, por meio dos registros dos familiares, melhora representativa em todos os fatores avaliados pela escala. P7 destacou que "Com as orientações que obtive, passei a encarar as malcriações e desobediências com paciência e procurando observar qual era realmente a causa daquelas irritações e contrariedades. Passamos a conversar mais sem aumento do tom de voz. Demonstrações de carinho e brincadeiras juntos aumentaram." Estudos ressaltam a importância da comunicação e participação dos pais no cotidiano dos filhos, bem como a correlação positiva com o desenvolvimento das habilidades sociais dos filhos (Borden et al., 2010; Gallo et al., 2010; Lima & Cardoso, 2018; Pozzobon et al., 2018).

A categorização do conteúdo das Tarefas de Casa e do Protocolo de Avaliação do Processo denotaram mudanças satisfatórias nas práticas parentais e nas habilidades sociais educativas parentais. A partir da análise sobre as tarefas de casa, foi possível observar resultados positivos quanto ao que era esperado. Verificou-se ampliação das habilidades educativas parentais e mudança nas práticas parentais dos participantes, que passaram, por exemplo, a estabelecer regras mais claras e demonstrar mais afeto a partir de pequenas atitudes. Os autores discutiram a implementação de tais programas como favorecedores de melhoria da competência parental, bem como orientaram os pais sobre modos mais efetivos e seguros de educar (Long et al., 2017).

Em relação aos aspectos que contribuíram para a redução das dificuldades apresentadas na pré-intervenção, notou-se a importância da adequação ao público-alvo e ao contexto local (Murta et al., 2015). Destaca-se a escolha do delineamento do programa de intervenção, desde o levantamento das necessidades, planejamento dos objetivos, dos procedimentos, das estratégias e da seleção dos recursos com base na avaliação pré-intervenção (Del Prette & Del Prette, 2017a), bem como é sinalizada a importância da avaliação processual como elemento que fornece informações e análises para o prosseguimento do grupo de intervenção.

É importante manter e ampliar programas de orientação familiar destinados aos filhos com problemas de comportamento, orientando os familiares na identificação e manejo dessas situações (Gallo et al., 2010; Pinheiro et al., 2006; Pozzobon et al., 2018; Quiterio, 2014). Contudo, em consonância com a presente intervenção, faz-se necessário desenvolver e ampliar programas com foco na prevenção e promoção da saúde mental (Coelho & Murta, 2007; Lima & Cardoso, 2018), visto que a qualidade da relação cuidador-criança/adolescente exerce um papel fundamental no desenvolvimento infantil e na capacidade de gerar processos de resiliência, contribuindo para a promoção de um funcionamento saudável de famílias e indivíduos (Masten, 2018).

Embora em número reduzido entre os participantes, constatou-se que os pais participaram ativamente do GOF. Outros estudos destacam a influência positiva da participação de outros familiares nos programas de orientação familiar (Bolsoni-Silva et al., 2008; Kanamota et al., 2017; Leme et al., 2014). Nessa direção, intitulou-se o programa de Grupo de Orientação Familiar (GOF) como forma de envolver diferentes participantes do cenário familiar.

Em relação à efetividade e aplicabilidade do GOF, os indicadores de processo mostraram que, em relação à dose fornecida e recebida, 100% das sessões planejadas foram realizadas. As avaliações sugeriram resultados satisfatórios e bom envolvimento dos participantes nas atividades. Já em relação à retenção, recrutamento e adesão do grupo, foi observado o reduzido número de participantes e, com isso, a necessidade de ampliação do conjunto de participantes, com recrutamento por meio de outros meios de divulgação, como palestras em escolas e anúncios em rádios locais. Observou-se, também, o esforço de alguns participantes para custear a passagem, devido à falta de pagamento aos funcionários públicos. Acerca do contexto em que a intervenção foi implementada, houve dificuldades por aspectos internos, como greve de professores e funcionários, além de aspectos externos, como segurança.

Apesar das referidas dificuldades no desenvolvimento da intervenção, os indicadores de processo e de avaliação dos efeitos permitiram delinear alguns aspectos da tomada de decisão: (1) a necessidade de ampliar os instrumentos utilizados na pré e pós-intervenção; (2) o número de sessões mostrou-se adequado ao contexto; (3) o uso de oficinas, com formato individual, mostrou-se satisfatório e esclarecedor no estabelecimento de estratégias comportamentais. Essas modificações, provavelmente, deverão resultar numa intervenção com maior viabilidade em relação ao seu formato e procedimentos para aperfeiçoar as condições pertinentes à validade social.

O estudo apresentou algumas limitações. Primeiro, destaca-se o uso de metodologia transversal, pois o acompanhamento de natureza longitudinal seria importante para avaliar como os familiares estariam utilizando as práticas parentais com o passar do tempo. Segundo, a combinação com outras medidas de avaliação, como o grupo controle. Além disso, futuros estudos poderiam realizar intervenções em paralelo com os familiares e as crianças/adolescentes para possibilitar um aprimoramento dos modelos de intervenção.

 

Referências

Bardin, L. (1977/2010). Análise de Conteúdo (4ª ed.). Lisboa: Edições 70.         [ Links ]

Barlow, J.; Bergman, H.; Kornor, H.; Wei, Y.; Bennett, C. (2016). Group-based parent training programmes for improving emotional and behavioural adjustment in young children. Cochrane Database of Systematic Reviews. https://doi.org/10.1002/14651858.cd003680.pub3        [ Links ]

Bolsoni-Silva, A. T. (2007). Intervenção em grupo para pais: Descrição de procedimento. Temas em Psicologia, 15(2), 217-235. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1413-389X2007000200007        [ Links ]

Bolsoni-Silva, A. T.; Silveira, F. F.; Ribeiro, D. C. (2008). Avaliação dos efeitos de uma intervenção com mães/cuidadoras: Contribuição do treinamento em habilidades sociais. Contextos Clínicos, 1(1), 19-27. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1983-34822008000100003        [ Links ]

Borden, L.; Schultz, T.; Herman, K.; Brooks, C. (2010). The Incredible Years Parent Training Program: Promoting resilience through evidence-based prevention groups. Group Dynamics: Theory, Research, and Practice, 14(3), 230-241. https://doi.org/10.1037/a0020322        [ Links ]

Coelho, M. V.; Murta, S. G. (2007). Treinamento de pais em grupo: Um relato de experiência. Estudos de Psicologia, 24(3), 333-341. https://doi.org/10.1590/S0103-166X2007000300005        [ Links ]

Del Prette, A.; Del Prette, Z. A. P. (2017a). Habilidades sociais: Intervenções efetivas em grupo. São Paulo: Casa do Psicólogo.         [ Links ]

Del Prette, A.; Del Prette, Z. A. P. (2017b). Competência social e habilidades sociais: Manual teórico-prático. Rio de Janeiro: Vozes.         [ Links ]

Del Prette, Z. A. P.; Del Prette, A. D. (2008). Significância clínica e mudança confiável na avaliação de intervenções psicológicas. Psicologia: Teoria e Prática, 24(4), 497-505. https://doi.org/10.1590/S0102-37722008000400013        [ Links ]

Evans, C.; Margison, F.; Barkham, M. (1998). The contribution of reliable and clinically significant change methods to evidence-based mental health. Evidence-Based Mental Health, 1(3), 70-72. https://doi.org/10.1136/ebmh.1.3.70        [ Links ]

Féres-Carneiro, T. (1997). Entrevista familiar estruturada (EFE): Um método de avaliação das relações familiares. Temas Psicologia, 5(3), 1-32.         [ Links ]

Forehand, R.; Lafko, N.; Parent, J.; Burt, K. (2014). Is parenting the mediator of change in behavioral parent training for externalizing problems of youth? Clinical Psychology Review, 34(8), 608-619. https://doi.org/10.1016/j.cpr.2014.10.001        [ Links ]

Gallo, A. F.; Cheffer, L.; Morais, A. O.; Cascardo, G. M.; Lima, A. C. S.; Duarte, A. C. (2010). Intervenção em grupo para ensino de práticas parentais a mães de crianças com problemas de comportamento. Revista Brasileira de Análise do Comportamento, 6(2), 187-202. https://doi.org/10.18542/rebac.v6i2.1118        [ Links ]

Jacobson, N.; Truax, P. (1991). Clinical significance: A statistical approach to defining meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59(1), 12-19. https://doi.org/10.1037/0022-006x.59.1.12        [ Links ]

Kanamota, P. F. C.; Bolsoni-Silva, A. T.; Kanamota, J. S. V. (2017). Efeitos do Programa Promove-Pais, uma terapia comportamental aplicada a cuidadoras de adolescentes com problemas de comportamento. Acta Comportamentalia, 25(2), 197-214. http://www.revistas.unam.mx/index.php/acom/article/view/60154        [ Links ]

Leijten, P.; Gardner, F.; Landau, S.; Harris, V.; Mann, J.; Hutchings, J.; Beecham, J.; Bonin, E.; Scott, S. (2017). Research Review: Harnessing the power of individual participant data in a meta-analysis of the benefits and harms of the Incredible Years parenting program. Journal of Child Psychology and Psychiatry, 59(2), 99-109. https://doi.org/10.1111/jcpp.12781        [ Links ]

Leme, V. B. R.; Marturano, E.; Fontaine, A. M. (2014). Habilidades sociais, problemas de comportamento e competência acadêmica de crianças de famílias nucleares e recasadas. Estudos e Pesquisas em Psicologia, 14(3), 854-876. https://doi.org/10.12957/epp.2014.13888        [ Links ]

Lima, A.; Cardoso, M. P. (2018). Orientação e treinamento de pais: Uma vivência clínica. Revista Brasileira de Psicologia e Educação, 20(1), 6-19. https://doi.org/10.30715/rbpe.v20.n1.2018.10872        [ Links ]

Long, N.; Edwards, M.; Bellando, J. (2017). Parent Training Interventions. In: J. Matson (Ed.). Handbook of Childhood Psychopathology and Developmental Disabilities Treatment, p. 63-86. Cham: Springer.         [ Links ]

Masten, A. S. (2018). Resilience Theory and Research on Children and Families: Past, Present, and Promise. Journal of Family Theory & Review, 10(1), 12-31. https://doi.org/10.1111/jftr.12255        [ Links ]

Mayer, A. P. F.; Weber, L. N. D. (2014). Relações entre obesidade na infância e adolescência e a percepção de práticas de alimentação e estilos educativos parentais. Psicologia Argumento, 32(79), 143-153. https://doi.org/10.7213/psicol.argum.32.S01.AO13        [ Links ]

Menting, A.; Castro, B. O. de; Matthys, W. (2013). Effectiveness of the Incredible Years parent training to modify disruptive and prosocial child behavior: A meta-analytic review. Clinical Psychology Review, 33(8), 901-913. https://doi.org/10.1016/j.cpr.2013.07.006        [ Links ]

Murta, S. G. (2017). Aproximando ciência e comunidade: Difusão de programas de habilidades sociais baseados em evidências. In: A. Del Prette, Z. A. P. Del Prette (Orgs.). Habilidades sociais: Intervenções efetivas em grupo, p. 83-115. São Paulo: Casa do Psicólogo.         [ Links ]

Murta, S. G.; França, C. L.; Santos, K. B.; Polejack, L. (2015). Prevenção e promoção em saúde mental: Fundamentos, planejamento e estratégias de intervenção. Novo Hamburgo: Sinopsys.         [ Links ]

Pinheiro, M. I. S.; Haase, V. G.; Del Prette, A.; Amarante, C. L. D.; Del Prette, Z. A. P. (2006). Treinamento de habilidades sociais educativas para pais de crianças com problemas de comportamento. Psicologia: Reflexão e Crítica, 19(3), 407-414. https://doi.org/10.1590/S0102-79722006000300009        [ Links ]

Pozzobon, M.; Falcke, D.; Marin, A. H. (2018). Intervenção com famílias de alunos com baixo desempenho escolar. Ciências Psicológicas, 12(1), 87-96. https://doi.org/10.22235/cp.v12i1.1599        [ Links ]

Quiterio, P. L. (2014). Grupo de orientação familiar: Uma abordagem positiva de psicoeducação. 12ª Mostra de terapia cognitivo-comportamental, UERJ, 13/09/2014. Resumo dos trabalhos apresentados, p. 24. Rio de Janeiro. https://atc-rio.org.br/wp-content/uploads/2017/06/resumos1.pdf        [ Links ]

Sanders, M.; Kirby, J.; Tellegen, C.; Day, J. (2014). The Triple P-Positive Parenting Program: A systematic review and meta-analysis of a multi-level system of parenting support. Clinical Psychology Review, 34(4), 337-357. https://doi.org/10.1016/j.cpr.2014.04.003        [ Links ]

Stasiak, G. R.; Weber, L. N. D.; Tucunduva, C. (2014). Qualidade na interação familiar e estresse parental e suas relações com o autoconceito, habilidades sociais e problemas de comportamento dos filhos. Psico, 45(4), 494-501. https://doi.org/10.15448/1980-8623.2014.4.15846        [ Links ]

Watzlawick, P.; Beavin, J. H.; Jackson, D. D. (1967). Pragmática da Comunicação Humana. São Paulo: Cultrix.         [ Links ]

Weber, L.; Salvador, A. P.; Brandenburg, O. (2005/2011). Programa de Qualidade na Interação Familiar: Manual para Aplicadores (2ª ed.). Curitiba: Juruá         [ Links ].

 

 

Recebido em 26 de fevereiro de 2019
Aceito para publicação em 25 de janeiro de 2021

 

 

Este estudo teve apoio da bolsa de Estágio Interno Complementar (EIC/PR-1) da Universidade do Estado do Rio de Janeiro (UERJ).

Creative Commons License