O impacto do clima no comprometimento afetivo em equipes de trabalho

 

The impact of climate on affective commitment inwork teams

 

 

Katia Puente-Palacios^{1, I}; Rafaella de Andrade Vieira ^II; Raphael Andrade Nunes Freire^III

^IUniversidade de Brasília
^IIConsultor independente
^IIIHay Group

 

 

---

Resumo

As equipes de trabalho constituem células de desempenho utilizadas com bastante freqüência nas organizações, tendo em vista as vantagens que podem oferecer à efetividade. Os relatos de pesquisas científicas, porém, não mostram resultados consistentes quanto aos antecedentes da efetividade das equipes. Ao analisar os preditores de comportamento e desempenho humano no trabalho observa-se o efeito do clima organizacional. Assim, a partir dessas constatações estabeleceu-se como objetivo investigar o poder explicativo do clima sobre a efetividade das equipes. Coletaram-se informações de 303 membros de equipes mediante aplicação de instrumentos previamente validados. Utilizou-se uma regressão padrão como técnica de análise das relações preditas. Os resultados evidenciaram que a qualidade das relações entre o líder e os membros, o espaço para a inovação e o conhecimento das demandas de desempenho explicam 26% da variância do comprometimento, considerado critério afetivo de efetividade. Esses resultados permitem a identificação dos elementos do clima relacionados aos vínculos afetivos estabelecidos com a equipe.

Palavras-chave: Equipes de trabalho; Clima Organizacional; Comprometimento afetivo.

---

Abstract

The work teams are cells of performance used quite often in organizations with a view to the benefits they can offer to effectiveness. The reports of scientific research, however, do not show consistent results regarding the process and predictors of the effectiveness of teams. In examining the predictors of behavior and human performance at work it is notable the influence of organizational climate. From these findings, this study aimed to investigate the explanatory power of climate on the effectiveness of teams. To this end, information was collected from 303 team members by using instruments previously validated. A standard regression as a analysis technique to predicted relations was used. The results showed that the quality of relations between the team leader and the members, the space for innovation and knowledge of performance demands explain 26% of the variance of commitment, adopted as an affective criterion of effectiveness. These results show the elements of climate effectively related to the affective bonds established with the team.

Keywords: Work teams; Organizational climate; Affective commitment.

---

 

 

Introdução

No cenário atual das organizações, as equipes de trabalho ocupam um lugar cada vez mais privilegiado. Apesar dos resultados das pesquisas apontarem que a efetividade das equipes depende do contexto em que se encontram e da forma como administram os processos de trabalho, existe tanto dentro das organizações como entre o público leigo o fenômeno denominado por Allen e Hecht (2004) de “romance” com as equipes. Estas autoras o definem como crença indiscriminada na efetividade das equipes de trabalho, sendo que a literatura científica da área evidencia que nem sempre isso é verdadeiro. Uma das principais causas da sua ocorrência, segundo as autoras, é a convicção das pessoas de que essas células de trabalho sempre oferecem vantagens, quanto aos resultados de trabalho, se comparadas com os resultados atingidos por indivíduos trabalhando isoladamente. Desta forma, observa-se que urge a melhor compreensão da dinâmica do seu funcionamento.

Uma vez que o presente artigo versa sobre o funcionamento das equipes de trabalho, cabe definir, em primeira instância, o que sejam essas unidades de desempenho. Segundo Hackman (1987), equipes de trabalho podem ser definidas como entidades sociais inseridas em sistemas maiores (como as organizações), as quais executam tarefas consideradas relevantes para a missão da organização à qual pertencem, uma vez que os seus resultados de desempenho têm consequências para o ambiente interno e externo à equipe. Além disso, são compostas por pessoas que trabalham de maneira interdependente, as quais são identificadas por outros membros da organização como parte da equipe. Embora essa definição tenha norteado o trabalho realizado, expressões como células de trabalho ou unidades de desempenho poderão ser utilizadas ao longo deste relato com a única finalidade de evitar o uso excessivo do termo equipe.

A respeito do interesse pela compreensão do funcionamento das equipes observa-se que, conforme previsto por Mathieu, Maynard, Rapp e Gilson (2008), tem ocorrido um vertiginoso incremento de estudos nesta área nas últimas décadas. Entretanto, a fecundidade evidenciada ainda não oferece resultados conclusivos ou suficientemente robustos sobre as variáveis que mais influenciam a efetividade. Ainda assim, ao resumir os achados deste campo publicados entre os anos 1997 e 2007, os autores referenciam mais de 300 obras que oferecem indicações relevantes a respeito das variáveis mais promissoras no estudo do funcionamento das equipes, dentre as que se destacam tanto as variáveis de contexto como as de processos.

Investigando campos de conhecimento próximos também se encontram pistas sobre os atributos mais relevantes para a compreensão da efetividade do desempenho das equipes. Especificamente, estudos empíricos sobre efetividade das organizações demonstram que o clima, enquanto variável de contexto, destaca-se como preditor de comportamentos e desempenhos da mesma forma como já tinha sido apontado, no nível das equipes, na revisão de Mathieu e colaboradores. (2008). Logo, existe uma relação positiva já identificada entre perceber positivamente o clima (da organização ou da equipe) e estar comprometido com ela (Welsch & La Van, 1981), ter elevado envolvimento com o trabalho (Brown & Leigh, 1996; Shadur, Kienzle & Rodwell, 1999), demonstrar esforço e bom desempenho (Brown & Leigh, 1996; Heller, Guastello & Aderman, 1982; Keller, Julian & Kedia, 1996), estar satisfeito (James & James, 1989; Keller e colaboradores, 1996), não ter pretensões de mudar de emprego ou faltar ao trabalho (Hemingway & Smith, 1999), apresentar desempenho efetivo (Stetzer & Morgeson, 1997) e avaliar positivamente as práticas administrativas (Lin, 1999; Toulson & Smith, 1994).

Concretamente, no âmbito das pesquisas empíricas sobre equipes de trabalho, diversos aspectos do contexto têm sido estudados. Um deles é o clima. Entretanto, os resultados nem sempre são convergentes ao apontar os componentes deste construto que funcionam como melhores preditores de comportamentos organizacionais e individuais. Ainda assim, destaca-se que os autores da área concordam que o clima está composto por diversos elementos, logo, trata-se de um fenômeno multidimesional ou que possui várias dimensões. Conforme Naumann e Bennett (2000) apontam, a existência de climas específicos e diferenciados (de justiça, de segurança, de inovação, de serviço) pode ser uma das razões que justifica a diversidade de resultados empíricos encontrados, dependendo daquele focado por cada pesquisador no seu estudo.

A partir dos indícios encontrados na literatura é adequado defender que da mesma forma como na esfera organizacional o clima apresenta papel central na explicação de comportamentos e desempenhos, no contexto das equipes o impacto das relações estabelecidas entre seus membros e as regras de comportamento e desempenho (clima) podem ser elementos que facilitam ou dificultam o alcance das metas propostas. Esta afirmação torna-se adequada, principalmente, se considerado que as equipes se caracterizam pela presença de relações complexas de interação e dependência existentes entre seus membros.

Discutindo o papel do clima organizacional, Martins, Oliveira, Silva, Pereira, e Souza, (2004) manifestam que ele tem sido investigado tanto como preditor quanto como conseqüente. Este construto é definido por Koys e DeCotiis (1991, p.266) como “fenômeno perceptual duradouro, construído com base na experiência, multidimensional, compartilhado pelos membros de uma unidade de organização, cuja função principal é orientar e regular os comportamentos individuais de acordo com os padrões determinados por ela”.

Martins e colaboradores (2004) apontam que a relevância do papel do clima tornou-se mais evidente nas últimas décadas, pois a partir dos anos 90 passou a ser muito pesquisado, não se restringindo mais aos estudos sobre qualidade de vida no trabalho. O interesse também está presente no campo do desempenho das equipes. Entretanto, a investigação empírica é incipiente, principalmente no Brasil. Assim, é uma contribuição significativa a indagação do papel dessa variável no contexto das equipes de trabalho, a qual se constitui objetivo do presente artigo.

Ao discutir o papel do clima se faz imprescindível esclarecer o nível ao qual este atributo pertence. Conforme apontado por James, Choi, Ko, McNeil, Minton, Wright e Kim (2008), ele pode ser compreendido como característica manifesta no nível do indivíduo quando faz referência ao significado psicológico que o ambiente de trabalho em que o sujeito está inserido possui para o mesmo. Neste caso, recebe a denominação já cunhada de longa data por James e Jones (1974) de clima psicológico. Paralelamente, os autores apontam que este fenômeno também existe (ou é prioritariamente compreendido) em níveis organizacionais mais elevados, como no caso das equipes ou da própria organização, quando faz referência aos significados compartilhados entre os membros em relação às práticas organizacionais, recebendo denominação de clima organizacional (ou da equipe).

O aspecto crucial desta diferenciação, entretanto, está no fato da maioria das teorizações fazerem referência ao clima organizacional (ou de equipe), logo, à existência de significados compartilhados. Porém, a operacionalização das pesquisas empíricas é executada no nível individual, construindo modelos preditivos testados a partir de respostas individuais. A este respeito, James e colaboradores (2008) afirmam ser pertinente utilizar informações coletadas no nível individual como ponto de partida. Contudo, defendem que a investigação do papel do clima organizacional deve ser realizada a partir da composição de medidas coletivas que de fato representem o nível de equipe ou da organização, conforme prevê a teoria.

Discorrendo sobre a pertinência de compor medidas coletivas a partir de medidas do nível individual, Chan (1998) propõe uma tipologia de modelos de composição, que explica o surgimento de medidas de níveis mais elevados resultantes da condensação de medidas de níveis mais baixos. Porém, Gonzalez-Romá, Fortes-Ferreira e Peiró (2008) alertam que é inadequado simplesmente fazer um somatório (ou média aritmética) das informações do nível individual. Destacam, apoiados na tipologia proposta por Chan, que a forma de operacionalizar o construto do nível mais elevado deverá obedecer a natureza teórica do construto.

A partir das contribuições desse conjunto de estudiosos do clima e dos modelos de composição de medidas coletivas, deve ser destacado que o clima, enquanto atributo da organização ou da equipe, embora se origine em percepções individuais, deve evidenciar as características teóricas em que se sustenta. Desta forma, ele deve mostrar, por um lado, a existência de compartilhamento das percepções dos membros de um mesmo coletivo (equipe) e, por outro, a capacidade de discriminação entre unidades desse nível. Vale ainda destacar que Puente-Palacios e Borba (2009) oferecem um dos poucos trabalhos nacionais em que especificidades de medidas do nível do grupo ou das equipes são exploradas. Essas autoras defendem que a verificação da similaridade de percepções individuais em cada unidade, assim como a discriminação entre unidades, é uma das exigências para os pesquisadores interessados em trabalhar com medidas do nível coletivo, compostas a partir de informações fornecidas pelos seus membros.

Com relação à efetividade das equipes de trabalho, é de longa data que autores como Hackman (1987) e Gladstein (1984) defendem que esta deve ser avaliada a partir de três parâmetros. O primeiro, e mais comumente utilizado, é composto pelos indicadores concretos, “duros”, que contemplam a produção e os resultados quantificáveis de bens ou serviços. O segundo pressupõe a adoção de indicadores afetivos, como a satisfação e o comprometimento, os quais são considerados evidencias de bom funcionamento das equipes. O terceiro refere-se à capacidade de sobrevivência da equipe. Em relação aos indicadores afetivos, Van der Vegt, Emans e Van de Vliert (1998) manifestam ser indicadores legítimos da efetividade, uma vez que focam nas relações afetivas dos membros das equipes, as quais são condições necessárias para a manutenção, sobrevivência e bom funcionamento dessas unidades de desempenho.

Também a respeito dos vínculos com a equipe e a empresa é válido mencionar que nos últimos anos tem surgido um grande interesse por parte dos gestores em manter nos seus quadros funcionários qualificados e comprometidos com as mesmas de modo a realizar esforços em prol das metas organizacionais e de equipe estabelecidas. Tais fatos podem explicar a grande ênfase em estudos que tenham como temática central o estudo dos vínculos afetivos e, em particular, o estudo do comprometimento com a organização.

Quanto ao foco ao qual o vínculo faz referência, pesquisas o investigam em relação a diversos alvos como: trabalho, carreira, ocupação, sindicato, organização e equipe (Bastos 1994; Bishop & Scott, 2000; Lee, Carswell & Allen, 2000). Porém, a maior parte dos estudos nessa área tem se voltado para a análise daquele estabelecido entre o empregado e a organização em que ele trabalha (Bastos, 1994; Tamayo, Souza, Vilar, Ramos, Albernaz & Ferreira, 2001).

Dos diversos tipos de comprometimento apresentados pela literatura da área (Siqueira & Gomide Jr., 2004), o estudo ora relatado faz referência àquele sustentado em uma base afetiva, pois é afetiva a natureza dos vínculos com a equipe, os quais são considerados evidencias de efetividade no desempenho dessas unidades de trabalho. Siqueira e Gomide Jr., (2004) afirmam que a dimensão afetiva se desenvolve quando o indivíduo internaliza os valores da organização, identifica-se com seus objetivos, se envolve com os papéis de trabalho, desempenhando-os de forma a facilitar a consecução dos objetivos do sistema, e deseja permanecer trabalhando para ela.

Em relação ao nível ao qual este atributo pertence, cabe manifestar que se trata de característica do nível dos indivíduos; isto é, são os empregados da organização os atores do estabelecimento desses vínculos afetivos, logo, ao falar de comprometimento, implicitamente está se referindo a pessoas. Ainda assim, reconhece-se que pode ocorrer o surgimento de um vínculo de intensidade similar entre os membros da equipe ou da organização. Porém, os modelos teóricos que explicam a sua natureza, surgimento e manutenção o tratam como característica das pessoas e não como atributo de um coletivo. Logo, ele é compreendido como variável relativa aos indivíduos, membros das equipes.

Conforme manifestado, a maioria das pesquisas deste campo foca na relação entre o individuo e a organização (Tamayo, 2005), contudo, o interesse pela investigação de outros tipos de comprometimento tem crescido substancialmente (Bastos, 1997), em especial na literatura estrangeira onde são identificados diversos trabalhos sobre esta temática (Bishop & Scott, 2000; Ellemers, Gilder & Van den Heuvel, 1998; Vandenberge, Bentein & Stinglhamber, 2004; Van der Vegt colaboradores, 1998, 1999, 2000). Para Bishop e Scott (2000) o vínculo afetivo com a equipe tem o poder de predizer desempenho e outros comportamentos dos membros. Destacam ainda que da mesma forma que ocorre com o comprometimento organizacional, o estabelecido com a equipe deve ser entendido como uma forte crença e aceitação do indivíduo nos valores e metas da equipe, disponibilidade para exercer grandes esforços em favor dessa unidade de desempenho, e ainda, um forte desejo de se manter como parte dela.

A produção científica brasileira relativa a esta temática, realizada no cenário de equipes, é escassa, entretanto, observa-se o inicio de esforços pela sua compreensão. Analisando os preditores do comprometimento afetivo de membros de equipes, Barbosa (2006) observou maior intensidade deste vínculo em pessoas cujos líderes enfatizam o relacionamento interpessoal dos membros. Souza (2006), por sua vez, constatou que uma parte significativa (18%) dele decorre da forma como a pessoa se percebe enquanto profissional. Entretanto, sobre a relação entre clima e comprometimento não foi encontrada qualquer produção nacional.

Tendo em vista o estado incipiente das pesquisas na área de equipes de trabalho no Brasil e o crescente interesse no estudo dos construtos clima e comprometimento, considera-se pertinente o desenvolvimento de um estudo que investigue as relações entre tais variáveis. Assim, este trabalho tem como objetivo central analisar o papel preditivo das dimensões do clima no comprometimento afetivo das equipes de trabalho. Ao fazer esta investigação, condizente com a literatura revisada, será analisado o nível ao qual cada variável pertence (se da equipe ou dos indivíduos) para, assim, adotar as estratégias metodológicas capazes de lidar com as diferenças de níveis esperadas entre variáveis preditoras e critério.

 

Método

Participantes

Os dados coletados para a pesquisa ora relatada são oriundos de uma amostra obtida de uma empresa do ramo farmacêutico, que na época possuía 28 lojas (consideradas equipes de trabalho), um setor administrativo e um call center, totalizando 510 funcionários. Foram obtidas informações de um total de 380 pessoas, tendo atingido uma taxa de retorno de 74,5% em relação à quantidade total de funcionários. Para a análise dos dados, entretanto, precisaram ser excluídos diversos respondentes, por motivos como: a) tempo na empresa igual ou inferior a um mês, uma vez que tanto o clima como o comprometimento afetivo precisam de certo tempo para emergir; b) pessoas que não consideravam o seu trabalho como sendo de equipes, pois o foco da pesquisa é o trabalho coletivo; c) tarefas, recompensas e desenho das atividades marcadamente mais individualizadas que as dos outros setores, o que levou a exclusão do setor administrativo e o call center onde se constatou, mediante entrevistas, que o sistema de recompensas era muito diferente daquele adotado nas lojas; d) setores representados por apenas um respondente, considerando que parte das análises pretendidas (relativas ao clima) envolve a verificação da similaridade de respostas entre os membros de um mesmo grupo e nesses setores as análises planejadas seriam inviáveis. A amostra final de participantes para a realização da análise de dados, desta forma, esteve composta efetivamente pelas respostas fornecidas por 303 membros integrantes de equipes de trabalho. Os dados sócio-demográficos evidenciam que desse total 61,4% era do sexo masculino, 55,4% tinham segundo grau completo e a média de idade era de 27,9 anos (d.p = 6,5). Adicionalmente verificou-se que 34,2% dos funcionários possuíam até 1 ano de empresa enquanto 45,9% estavam na faixa de 1 a 5 anos. Com relação ao tempo na equipe (loja), verificou-se que 50,8% estão há um ano na equipe e 43,6% estão entre 1 e 5 anos.

Instrumentos

Para levantar dados relativos às variáveis de interesse, foram utilizados questionários autoaplicados. Todos os instrumentos estavam previamente validados no contexto brasileiro. O comprometimento foi mensurado por uma escala unifatorial composta por 9 itens (α = 0,87, Puente- Palacios & Andrade-Vieira, no prelo) enquanto o Clima Social foi mensurado por 35 perguntas agregadas originalmente em 2 fatores (fator 1 – Gestão do trabalho α = 0,95; fator 2 – Gestão das relações α = 0,94), segundo pesquisa de Puente- Palacios e Carneiro (2005). Em ambos os casos as respostas foram dadas em escalas do tipo Likert de 7 (1 = discordo totalmente; 7 = concordo totalmente) e 5 pontos respectivamente (1 = nunca; 5 = sempre).

Procedimentos

Prévio a coleta de dados verificou-se que o trabalho foi realizado em equipes, de acordo com os critérios propostos por Hackman (1987). Segundo esse autor as equipes devem: a) estar compostas por três membros ou mais; b) realizar tarefas, ainda que temporárias, cujo objetivo só pode ser atingido a partir da cooperação entre os membros; e, c) ser identificada pelos próprios membros como equipe. Todas as unidades da empresa foram consideradas como tendo trabalho em equipe, embora em alguma delas fossem identificadas peculiaridades na realização do trabalho. A coleta de dados ocorreu no local de trabalho e o pesquisador que visitou cada unidade destacou o caráter sigiloso das respostas assim como o caráter voluntário da participação; logo, foram obedecidas as exigências éticas que regulamentam as pesquisas do campo das ciências humanas. Após estes esclarecimentos, o pesquisador entregou o questionário a cada funcionário e aguardou pela devolução.

Análise e Tratamento de Dados: Foram utilizados procedimentos de estatística descritiva e inferencial. Análises descritivas (medidas de tendência central e dispersão) forneceram informações relativas às características demográficas, funcionais e ao comportamento organizacional investigado, enquanto análises fatoriais e de confiabilidade revelaram as propriedades psicométricas das escalas de mensuração utilizadas. A investigação do nível das variáveis foi realizada a partir de análises de similaridade das respostas individuais por equipes, diferenças por equipes e do cálculo da magnitude da variância no nível dos indivíduos e dos setores. As relações preditivas entre as variáveis sob estudo foram testadas mediante o uso de uma regressão linear (Ordinary Last Square - OLS).

 

Resultados

Visando atingir o objetivo da pesquisa, os resultados focam a investigação do papel preditivo das dimensões do clima da equipe em relação ao comprometimento dos seus membros. Assim, investigou-se em primeira instancia a estrutura fatorial e confiabilidade das escalas utilizadas. Uma vez concluída essa tarefa, o nível a que cada variável pertence foi analisado. Finalmente, testou-se o papel preditivo dos fatores do clima.

Inicialmente, para a investigação da fatorabilidade das escalas utilizadas foram adotados os procedimentos sugeridos por Tabachnick e Fidell (2000), tanto no caso da escala de clima como na de comprometimento. Isto envolveu: a) cálculo do coeficiente de adequação da amostra (KMO); b) cálculo da magnitude do determinante da matriz e do teste de esfericidade (Bartlett); e, c) inspeção da matriz de correlações. Em relação à escala de comprometimento com a equipe de trabalho, os resultados obtidos (KMO = 88; teste de esfericidade < 0,001; determinante da matriz = 0,042; correlações significativas entre todos os itens) evidenciaram ser pertinente proceder com a redução dos itens a fatores. A seguir, e uma vez que se tratava de instrumento unifatorial já validado, investigou-se a possibilidade de manutenção dessa solução. A análise ocorreu a partir da verificação da solução fatorial sugerida pelo gráfico do scree e da comparação entre a magnitude do eigenvalue randômico e o empírico (Horn, 1965). Uma vez confirmado ser pertinente agregar os itens da escala em um fator único, investigou-se a sua confiabilidade interna mediante o cálculo do Alpha de Cronbach (alfa = 0,84) e da magnitude da média aritmética da correlação item-total (r item-total = 0,57). Os resultados revelaram que o instrumento utilizado é uma ferramenta confiável para capturar o fenômeno, na amostra sob investigação. Os 9 itens foram condensados em um escore único que representa a intensidade do comprometimento dos respondentes em relação à equipe à qual pertencem. Essa solução unifatorial explica 46,48% da variância do fenômeno em questão.

Da mesma forma foram analisadas as propriedades psicométricas da escala utilizada para mesurar o clima das equipes. A fatoriabilidade da matriz de dados foi analisada pelo cálculo do KMO (0,95), do teste de esfericidade de Bartlet (< 0,001), da magnitude do determinante da matriz (9,12 E- 0,10) e da inspeção da matriz de correlações (correlações significativas entre a maioria de itens da escala). Os dados obtidos revelaram ser pertinente enfrentar o desafio de reduzir os 35 itens a fatores.

Dando continuidade, investigou-se o número adequado de fatores a extrair. Para tanto, partiu-se do da solução de dois fatores previamente relatada (Puente-Palacios & Carneiro, 2005). O levantamento de informações adicionais, entretanto, mostrou outras possíveis soluções dentre as quais a mais satisfatória, tanto desde uma perspectiva teórica como empírica, foi a de cinco fatores. Nela, 32 itens se agregam em cinco conjuntos compatíveis com as dimensões teóricas do construto clima social e três itens precisam ser retirados por apresentarem inadequação à solução fatorial da medida. Os cinco fatores permitem explicar 51,17% de explicação da variância e foram denominados: Relacionamento, Reconhecimento, Inovação, Desempenho, Autonomia.

O primeiro fator, denominado Relacionamento, foca nas relações interpessoais mantidas tanto entre os membros da equipe, como entre eles e o líder designado. O segundo fator, Reconhecimento, indaga as percepções dos membros da equipe sobre as políticas de reconhecimento, formais e informais, adotadas pela empresa. O fator chamado Inovação aborda as práticas relativas ao espaço dado para a criação de novas formas de organização e realização do trabalho. O quarto fator, denominado Desempenho, foca na clareza com que as normas e regras de desempenho esperado são bem divulgadas entre os funcionários; e o último fator, Autonomia, aborda as percepções dos membros relativas ao espaço dado para que tomem as próprias decisões, busquem formas de realizar o trabalho e façam a gestão do seu trabalho.

Após identificar a estrutura fatorial dos instrumentos de medida utilizados, verificou-se mediante o cálculo de medidas de tendência central e dispersão o comportamento das variáveis mensuradas, na amostra investigada. O valor médio do comprometimento (5,6; dp = 0,9) revela que os respondentes da pesquisa mantêm um vínculo afetivo favorável com a sua equipe de trabalho. A magnitude do desvio padrão demonstra que o grupo tende a concordar nas suas apreciações a respeito do assunto investigado, pois o índice de discrepância pode ser considerado baixo (16%). Em relação ao clima das equipes, observaram-se também valores elevados (médias entre 4,12 e 3,41) e desvios padrão proporcionalmente baixos (entre 0,94 e 0,72). Esses valores permitem afirmar que, em termos gerais, os integrantes das equipes pesquisadas possuem percepções positivas sobre o clima das suas equipes, conforme mostra a Tabela 1.

 

 

Após confirmada a validade dos instrumentos utilizados e a distribuição das respostas nessas medidas foi investigada a relação preditiva hipotetizada. O arcabouço teórico do presente trabalho defende que o clima investigado é o da equipe, logo, pressupõe compartilhamento entre os membros das equipes a respeito dos significados atribuídos às políticas e práticas organizacionais. Assim, seguindo as recomendações de Gonzalez- Romá e colaboradores (2009) procedeu-se a analisar a magnitude da similaridade das percepções por equipe assim como a discriminação entre equipes, nos cinco fatores do clima.

Efetuou-se, desta forma, o cálculo do AD_(M)J conforme orientações de Burke, Finkelstein e Dusig (1999). Este índice fornece informação sobre a magnitude da concordância ou similaridade das respostas dadas por um conjunto de pessoas. Os valores médios encontrados para os cinco fatores do clima foram satisfatórios, pois estiveram compreendidos entre 0,71 e 0,50 tendo como valor de referência máximo 0,83. Para interpretar esses valores é preciso considerar que o AD ^(M)J mostra a discrepância nas respostas emitidas (embora a denominação e descrição de seus resultados falem de índice de concordância, o calculo efetivamente realizado é o de magnitude das divergências). Para uma escala de respostas de 5 pontos, como a utilizada na pesquisa ora relatada, o valor máximo de discordância tolerada seria de 0,83. Uma vez que os valores médios encontrados nos fatores do clima tiveram como valor máximo 0,71, conclui-se que eles estão dentro da margem de discrepância tolerável para considerar que as pessoas possuem percepções similares. Portanto, esses resultados evidenciam presença de compartilhamento das percepções dos membros para falar de um construto referido a um coletivo, no caso, o clima da equipe. Ainda assim, Puente-Palacios e Borba (2009) destacam que esta constatação de similaridade das percepções por equipes é condição necessária, mas não suficiente. Por se tratar de atributo do coletivo deveria também permitir discriminar entre as equipes participantes da pesquisa, que no caso constituem as 28 lojas com cujos dados as análises de dados foram efetivamente realizadas. Desta forma, procedeu-se ao cálculo da análise de variância entre as equipes em relação aos fatores do clima, utilizando para tanto a Anova (one way). Os resultados foram significativos para todos os fatores tendo sido encontrados índices estatísticos satisfatórios (Fator 1: F =4,04; p >0,00; Fator 2: F =2,27, p =0,001; Fator 3: F =1,73, p =0,018; Fator 4: F =1,52, p =0,5; Fator 5: F =1,3, p =0,006). Todavia, considerou-se preocupante constatar que o teste pos hoc evidenciava que de fato, a expressiva minoria das lojas comparadas tinha resultados significativamente diferentes. Isto é, ao fazer uma avaliação geral observaram-se diferenças entre equipes, mas na avaliação detalhada constatou-se que elas estavam presentes apenas para poucas equipes (o teste pos-hoc analisa todas as possíveis diferenças entre as 28 lojas comparadas). As implicações destes achados dizem respeito ao nível ao qual a variável sob análise pertence. Conforme discutido, o clima é um atributo da equipe, fato confirmado pelo resultado do teste Anova. Isto demandaria a construção de um modelo preditivo do comprometimento que levasse em consideração diversos níveis uma vez que a variável critério, conforme defendido, é atributo dos membros, não da equipe. Entretanto, os resultados do teste pos-hoc sinalizam que essas diferenças são escassas. Assim, optou-se por dar continuidade às análises dos pressupostos da análise multinível que exige verificações também na variável a ser predita. Ainda deve ser apontado que dados com estrutura de múltiplos níveis são adequadamente analisados pelos modelos multinível, razão pela qual essa foi a escolha metodológica inicial para os passos seguintes da investigação.

Conforme Puente-Palacios e Laros (2009), a análise multinível não é apenas uma ferramenta de análise de dados. Constitui a opção adequada de testagem de modelos preditivos nos quais os termos envolvidos pertencem a diferentes níveis. Seguindo as recomendações desses autores, a primeira tarefa a ser executada foi a verificação da magnitude da variância da variável critério, no caso, o comprometimento afetivo, em todos os níveis envolvidos na pesquisa (indivíduos e equipes). Os resultados desta análise, contudo, mostraram significância marginal (p =0,057) evidenciando que o comprometimento varia prioritariamente de um indivíduo para outro, portanto, não permite diferenciar, na amostra investigada, uma equipe de outra.

A partir do conjunto total de dados resultantes das análises preliminares relatadas, foi necessário adotar um procedimento de análise de dados que considerasse todas as variáveis em um único nível, no caso o dos indivíduos, porém que maximizasse as diferenças. Isto porque as diferenças entre equipes nos fatores do clima mostraram-se de escassa magnitude e também pela significância marginal da diferença entre equipes na variável critério (comprometimento). Por esta razão tomou-se a decisão de trabalhar com escores de diferença (centralizados). Operacionalmente este procedimento foi realizado a partir do cálculo da diferença entre o escore de cada sujeito e o valor da média aritmética da sua equipe no fator correspondente do clima. Assim, a similaridade das percepções identificada pelo cálculo do AD_(M)J e da análise de variância foi minimizada. A necessidade de adotar este procedimento decorre da exigência presente para qualquer análise preditiva como as pretendidas (OLS), na qual são exigidas observações independentes.

A análise do modelo preditivo esteve sustentada em equação de regressão padrão (OLS), construída a partir da inserção, em bloco, dos cinco fatores do clima, adotando-se o método enter. Considerando que Puente-Palacios e Borges-Andrade (2005) destacam que na predição de vínculos afetivos em equipes efeito significativo é desempenhado tanto pelo tamanho da equipe assim como pela avaliação da adequação desse tamanho, essas duas variáveis tiveram o seu efeito controlado.

Os resultados obtidos na regressão evidenciaram primeiramente que as variáveis de controle exercem efeito significativo embora de escassa magnitude sobre o comprometimento (r=0,015, p=0,03), revelando assim a pertinência do seu controle. A seguir foram inseridos os cinco fatores do clima, os quais evidenciaram efeito significativo de magnitude considerável (0,26, p<0,01). O modelo (variáveis de controle mais as independentes) permitiu explicar aproximadamente 27% da variância do comprometimento. Esses resultados revelam que ao redor de 26% do vínculo afetivo que o membro estabelece com a equipe decorre da percepção dele em relação às regras e políticas organizacionais, denominadas de clima social.

Analisando a relação independente de cada fator do clima com o comprometimento, observou-se que três dos cinco fatores contribuíram significativamente (p<0,05) para a predição: Inovação (β=0,22), Relacionamento (β=0,15) e Desempenho (β=0,20). Logo, observa-se uma leve preponderância dos fatores Desempenho e Inovação na explicação do comprometimento afetivo com a equipe de trabalho.

Em relação aos fatores Reconhecimento e Autonomia, não foram encontradas evidências da sua participação independente na explicação do comprometimento. Entretanto, destaca-se que o modelo matemático construído prevê a participação conjunta de todas as variáveis inseridas, não apenas daqueles com efeito individual significativo. As implicações destes resultados são discutidas na seção a seguir.

 

Discussão e Conclusões

Tendo em vista os resultados observados, é importante analisar tanto as razões da sua ocorrência quanto as suas implicações para os gestores organizacionais. Em primeira instância, chamam a atenção os resultados relativos ao compartilhamento do clima. Enquanto fenômeno coletivo esperava-se identificar a presença de climas diferenciados por equipes. A sua não ocorrência (observada ao analisar os resultados do teste pos hoc da análise de variância) pode ter resultado da existência de regras organizacionais fortes, assim como do fato dos gestores locais das equipes não conseguirem impor características pessoais às regras de trabalho. Pode-se afirmar, então, que o fenômeno efetivamente identificado na amostra pesquisada é o clima social da organização e não o da equipe. Isto explica o fato de ter sido identificada elevada similaridade de percepções entre os membros das equipes, demonstrando presença de cognições compartilhadas, acompanhadas de escassas diferenças entre as equipes.

A organização em que os dados foram coletados prioriza a manutenção de um conjunto estabelecido de regras e normas, inclusive no que diz respeito ao atendimento ao cliente, espaço para inovação, políticas de recompensas, dentre outros. Desta forma, os aspectos que constituem as dimensões do clima possuem características definidas no nível da organização e não das equipes. Logo, os resultados revelam tanto que os funcionários da empresa compartilham a interpretação do estilo de agir da organização, quanto a inexistência de climas específicos por lojas.

Estes resultados também chamam atenção para a necessidade de adotar estratégias de mensuração e análise compatíveis com a natureza do construto. No caso da pesquisa ora relatada, o clima, variável preditora, foi compreendido como atributo coletivo, das equipes. As estratégias de análise foram compatíveis com essa compreensão. Entretanto, os resultados empíricos encontrados revelaram ausência de climas específicos nas lojas estudadas. Evidenciou-se que o clima era atributo coletivo, porém do nível macro ou da organização. Ao fazermos esta constatação, precisamos reconhecer a falta de independência das observações individuais, logo, foi necessário adotar procedimentos que maximizassem as diferenças existentes sob o risco de violar o principio básico em que as análises pretendidas se sustentam. Assim, os procedimentos de análise devem respeitar o nível teórico do construto ou adotar estratégias de análise que respeitem os seus princípios analíticos. A descoberta realizada também revela a importância da percepção e interpretação dos membros sobre o estilo de gestão da organização (clima), pois isto é compatível com as teorizações realizadas por James e Jones (1974) quanto ao efeito do clima psicológico sobre o comportamento e desempenho do individuo.

Em segundo lugar, é necessário considerar os resultados do modelo preditivo, especificamente da participação dos fatores Relacionamento, Inovação e Desempenho na explicação do comprometimento. Considerando a natureza do vinculo afetivo, Siqueira e Gomide Jr. (2004), destacam que ele surge quando o indivíduo se identifica com a empresa, internalizando, desta forma, os valores, envolvendo-se com papéis de trabalho e desejando permanecer nela. Dos fatores que evidenciaram relação independente direta com o comprometimento, o denominado Relacionamento foca as relações afetivas mantidas entre o chefe e os membros da equipe. A este respeito vale destacar também que a pesquisa realizada por Barbosa (2006) revelou que lideranças organizacionais que enfatizam a manutenção de relações interpessoais positivas favorecem o comprometimento daqueles sob seu comando. Assim, torna-se pertinente esperar que relações afetivas vistas como favoráveis impactem positivamente no estabelecimento de um vínculo afetivo com a equipe de trabalho.

Análise semelhante pode ser realizada quanto aos fatores Inovação e Desempenho que também revelaram participação significativa. Na medida em que o clima é percebido como dando espaço para a inovação, permitindo ao trabalhador imprimir identidade ao seu trabalho e ao mesmo tempo sinalizando o que se espera dele em termos de desempenho, mais provável é que o membro da equipe desenvolva um vínculo afetivo favorável com a essa equipe.

Em relação ao fato do Reconhecimento e a Autonomia não participarem da explicação do comprometimento afetivo cabe retomar as afirmações de Siqueira e Gomide Jr. (2004), a respeito da natureza do vínculo que ocorre quando o indivíduo internaliza os valores da organização, se envolve com seus papéis de trabalho, identificando-se com os objetivos, desejando permanecer na organização. Também Bishop e Scott (2000) apontam que o comprometimento com a equipe é uma forte crença e aceitação do indivíduo dos valores e metas da equipe, disponibilidade para exercer grandes esforços em favor dessa unidade de desempenho, e ainda, um forte desejo de se manter como parte dela. Com base nestas definições, e considerando que o reconhecimento revela a retribuição recebida da organização, pode ser hipotetizado que as pessoas que compuseram a amostra, reconhecem haver diferenças entre o que a empresa lhes oferece e o que a equipe de trabalho representa para eles. Isto é: o vínculo afetivo com a equipe, com seus colegas de trabalho com os quais compartilham o cotidiano não é influenciado pela percepção de retribuição do seu esforço por parte da organização.

Também a este respeito é importante resgatar as teorizações de Van der Vegt e colaboradores (1999) ao defenderem que a equipe consiste no cenário mais próximo de vinculação afetiva dos membros, de sorte que ela pode ter características diferentes das mantidas com a organização. Ainda sobre este mesmo assunto, Bastos e Borges-Andrade (2002) destacam que o comprometimento pode ocorrer em relação a diferentes focos de maneira simultânea. Em pesquisa relatada por estes autores evidenciaram que as pessoas podiam ter ao mesmo tempo elevado comprometimento com a organização e baixo com a profissão. Assim, pondera-se a respeito da possibilidade do fator Reconhecimento ter um papel importante, enquanto preditor, do comprometimento com a organização e não com a equipe.

Em relação à não participação do fator Autonomia como elemento de predição do comprometimento ela pode decorrer da existência de um padrão de desempenho pré-definido, no caso, de atendimento ao público, o qual deve ser obedecido e demonstrado por todos os funcionários. Assim, pouco espaço efetivo é dado à autonomia de trabalho. Além disso, na organização pesquisada, toda e qualquer comunicação entre funcionários e empresa, é feita por intermédio do gerente de cada loja, marcando assim, uma rígida hierarquia no ambiente de trabalho. Estas práticas restringem a autonomia dos membros e uma vez que a autonomia de trabalho é escassa, a probabilidade de aparecimento de qualquer papel preditivo é baixa, ou nula como nesta pesquisa.

As propostas teóricas de explicação dos resultados encontrados, embora pertinentes, não conseguem justificar de maneira cabal os resultados observados, uma vez que tecem relações independentes entre cada um dos preditores. A técnica de análise utilizada contempla, entretanto, a participação conjunta dos fatores do clima retidos no modelo. Assim, é o conjunto de fatores do clima que consegue uma explicação plausível do comprometimento (26%).

Percebe-se, então, a necessidade de realização de outras pesquisas que estudem tanto estes construtos isoladamente - comprometimento e clima - quanto a relação entre os mesmos. Sugestões de pesquisa vão desde a realização de uma análise fatorial confirmatória, com o intuito de verificar a estrutura empírica do instrumento de clima, já que a estrutura dos fatores encontrada neste estudo mostrou-se diferente da validação feita por Puente- Palacios e Carneiro (2005), como a replicação do estudo realizado, em outras equipes de trabalho, investigando também outras dimensões do comprometimento como variáveis conseqüentes do clima em equipes de trabalho.

Os resultados obtidos com a realização da presente pesquisa podem ser considerados contribuições relevantes tendo em vista a ampla disseminação e utilização das equipes de trabalho, assim como a necessidade de estudos que auxiliem na compreensão de quais aspectos influenciam a efetividade das mesmas. Conforme defendido por D’Amato e Zijlstra (2008), ao conhecermos mais sobre o comprometimento das pessoas e o que as leva ao estabelecimento desses vínculos, mais poderemos predizer os seus comportamentos e desempenhos.

 

Referências

Allen, N.J., & Hecht, T. D. (2004). The ‘romance of teams’: Toward an understanding of its psychological underpinnings and implications. Journal of Occupational and Organizational Psychology, 77, 439-461.         [ Links ]

Barbosa, D. (2006). A influência da liderança e os valores pessoais nas respostas afetivas de membros de equipes de trabalho. Dissertação de Mestrado em Psicologia não publicada. Universidade de Brasília.         [ Links ]

Bastos, A. V. B. (1994). Comprometimento Organizacional: Seus antecedentes em distintos setores da administração e grupos ocupacionais. Temas de Psicologia, 2, (1), 73-90.         [ Links ]

Bastos, A. V. B. (1997). Comprometimento No Trabalho: Os Caminhos da Pesquisa e Os Seus Desafios Teórico-Metodológicos. In: Álvaro Tamayo; Jairo Eduardo Borges Andrade; Wanderley Codo. (Org.). Trabalho, Organizações e Cultura. São Paulo: Cooperativa de Autores Associados, 1, 105-128.         [ Links ]

Bastos, A. V. B., & Borges-Andrade, J. E. B. (2002). Padrões de comprometimento com o trabalho em diferentes contextos organizacionais. Revista de Administração de Empresas (FGV), 42, (2), 31-41.         [ Links ]

Becker, T., & Billings, R. (1993). Profiles of commitment: An empirical test. Journal of Organizational Behavior, 14, 177-190.         [ Links ]

Bishop, J. W., & Scott, K. D. (2000). An Examination of Organizational and Team Commitment in a Self-Directed Team Environment. Journal of Applied Psychology, 85, (3), 439-450.         [ Links ]

Brown, S., & Leigh, T. (1996). A new look at psychological climate and its relationship to job involvement, effort, and performance. Journal of Applied Psychology, 81, (4), 358-368.         [ Links ]

Burke, M., Finkelstein, L., & Dusig, M. (1999). On average deviation indices for estimating interrater agreement. Organizational Research Methods, 2, 49-68.         [ Links ]

Chan, D. (1998). Functional relationships among constructs in the same content domain at different levels of analysis: A typology of composition models. Journal of Applied Psychology, 83, 234–246.         [ Links ]

D’Amato, A., & Zijlstra F. R. H. (2008). Psychological climate and individual factors as antecedents of work outcomes. European Journal of Work and Organizational Psychology,17, 33-54.         [ Links ]

Ellemers, N., Gilder, D., & Van Den Heuvel, H. (1998). Career-oriented versus team-oriented commitment and behavior at work. Journal of Applied Psycology, 8, 717-730.         [ Links ]

Gladstein, D. (1984). Groups in context. A model of task group effectiveness. Administrative Science Quarterly, 29, 499-517.         [ Links ]

Gonzalez-Romá, V., Fortes-Ferreira, L., & Peiró, J., M. (2009). Team climate, climate strength and team performance. A longitudinal study. Journal of Occupational and Organizational Psychology, 82, 511–536.         [ Links ]

Hackman, J. (1987). The design of work teams. Em J. Lorsch (Ed.), Handbook of Organizational Behavior (315-342). New York: Prentice-Hall.         [ Links ]

Heller, R., Guastelo, S., & Aderman, M. (1982). Convergent and discriminant validity of psychological and objective indices of organizational climate. Psychological Reports, 51, 183-195.         [ Links ]

Hemingway, M., & Smith, C. (1999). Organizational climate and occupational stressors as predictors of withdrawal behaviors and injuries in nurses. Journal of Occupational and Organizational Psychology, 72, 285-299.         [ Links ]

Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30, 179-185.         [ Links ]

James, L. A., Choi, C., Ko, C., McNeil, P., Minton, M., Wright, M., & Kim, K. (2008). Organizational and psychological climate: A review of theory and research. European Journal of Work and Organizational Psychology, 17, 5-32.         [ Links ]

James, L. A., & James, L. R. (1989). Integrating work environment perceptions: explorations into the measurement of meaning. Journal of Applied Psychology, 74, (5), 739-751.         [ Links ]

James, L. A., & Jones, A. (1974). Organizational climate: a review of theory and research. Psychological Bulletin, 81, (12), 1096-1112.         [ Links ]

Keller, R., Julian, S., & Kedia, B. (1996). A multinational study of work climate, job satisfaction, and the productivity of D&R teams. IEEE Transactions on Engineering Management, 42, 48-55.         [ Links ]

Koys, D., & DeCotiis, T. (1991) Inductive measures of psychological climate. Human Relations, 44, (3), 265-285.         [ Links ]

Lee, K., Carswell, J., & Allen, N. (2000). A metaanalytic review of occupational commitment: Relations with person-and work-related variables. Journal of Applied Psychology, 85, (5), 799-811.         [ Links ]

Lin, C. (1999). The association between organizational climate and quality management practices: an empirical study on small- and medium-sized manufacturing companies in Taiwan. Total Quality Management, 10, 863- 868.         [ Links ]

Martins, M. C. F., Oliveira, B., Silva, C. F., Pereira, K. C., & Souza, M. R. (2004). Construção e validação de uma escala de medida de clima organizacional. Revista Psicologia: Organizações e Trabalho, 4, (1), 37-60.         [ Links ]

Mathieu, J., Maynard, M. T., Rapp, T., & Gilson, L. (2008). Team Effectiveness 1997-2007: A Review of Recent Advancements and a Glimpse Into the Future. Journal of Management, 34, 410- 476.         [ Links ]

Naumann, S. E., & Bennett, N. (2000). A case for procedural justice: Development and test of a multilevel model. Academy of Management Journal, 43, 881–889.         [ Links ]

Puente-Palacios, K., & Andrade-Vieira, R. (no prelo). Comprometimento com a equipe: Um questionário de avaliação. Revista Psicologia Organizações e Trabalho r-POT .         [ Links ]

Puente-Palacios, K. E., & Borba, A. C. (2009). Equipes de trabalho: Fundamentos teóricos e metodológicos da mensuração de seus atributos. Avaliação Psicológica, 8, (3) 1-16.         [ Links ]

Puente-Palacios, K. E., & Borges-Andrade, J. E. (2005). O efeito da interdependência na satisfação de equipes de trabalho: um estudo multinível. Revista de Administração Contemporânea. 9, (3), 57-78.         [ Links ]

Puente-Palacios, K. E., & Carneiro, B. (2005). Adaptação de uma escala de avaliação do clima social ao contexto de equipes de trabalho. Revista Psicologia: Organizações e Trabalho. 5, (10), 45-70.         [ Links ]

Puente-Palacios, K. E., & Laros, J. A. (2009). Análise multinível: contribuições para estudos sobre efeito do contexto no comportamento individual. Estudos de Psicologia (PUCCAMP), 26, 349-361.         [ Links ]

Shadur, M., Kienzle, R., & Rodwell, J. (1999). The relationship between organizational climate and employee perceptions of involvement. Group and Organizational Management, 24, 479-503.         [ Links ]

Siqueira, M. M. M., & Gomide Jr., S. (2004). Vínculos do Indivíduo com o Trabalho e com a Organização. Em: Borges-Andrade, J. E, Zanelli, J. C., Bastos, A.V. B. (Orgs.). Psicologia, Organizações e Trabalho no Brasil. Porto Alegre: Artmed.         [ Links ]

Souza, M. (2006). O efeito do autoconceito profissional na efetividade das equipes de trabalho. Dissertação de Mestrado em Psicologia não publicada. Universidade de Brasília.         [ Links ]

Stetzer, A., & Morgeson, F. (1997). Organizational climate and ineffectiveness: Evidence from 25 outdoor work crew divisions. Journal of Quality Management, 2, 251- 265.         [ Links ]

Tabachnick, B.G., & Fidell, L. S. (2000). Using multivariate statistics. 4 ed. New York: Harper- Collins College Publishers.         [ Links ]

Tamayo, A. (2005). Impacto dos valores pessoais e organizacionais sobre o comprometimento organizacional. Em: Tamayo, A., Porto, J. (Orgs.) Valores e comportamentos nas organizações. Petrópolis: Editora Vozes.         [ Links ]

Tamayo, A., Souza, M. G. S., Vilar, L. S., Ramos, J. L., Albernaz, J. V., & Ferreira, N. P. (2001). Prioridades axiológicas e comprometimento organizacional. Psicologia: Teoria e Pesquisa, 17, (1), 27-35.         [ Links ]

Toulson, P., & Smith, M. (1994). The relationship between organizational climate and employee perceptions of personnel management practices. Public Personnel Management, 23, 453-468.         [ Links ]

Vandenberghe, C., Bentein, K., & Stinglhamber, F. (2004). Affective commitment to the organization, supervisor, and work group: Antecedents and outcomes. Journal of Vocational Behavior 64, 47-71.         [ Links ]

Van der Vegt, G., Emans, B., & Van de Vliert, E. (1998). Motivating effects of task and outcome interdependence in work teams. Group and Organizational Management, 23, 124-143.         [ Links ]

Van der Vegt, G., Emans, B., Van de Vliert, E. (1999). Effects of interdependencies in project teams. The Journal of Social Psychology, 139, (2), 202-214.         [ Links ]

Van der Vegt, G., Emans, B., & Van de Vliert, E. (2000). Team members’ affective responses to patterns of intragroup interdependence and job complexity. Journal of Management, 26, 633- 655.         [ Links ]

Welsch, H., & Lavan, H. (1981). Inter-relationship between organizational commitment and job characteristics, job satisfaction, professional behaviour, and organizational climate. Human Relations, 34, 1079-1089.         [ Links ]

 

 

Recebido em janeiro de 2010
1ª reformulação em abril de 2010
2ª reformulação em maio de 2010
Aceito em junho de 2010

 

 

Sobre os autores:

Katia Puente-Palacios:Universidade de Brasília, Brasília, Brasil.
Rafaella de Andrade Vieira:pedagoga, mestre em Educação. Aluna do programa de doutorado em Consultor independente, Brasília, Brasil.
Raphael Andrade Nunes Freire:Hay Group, São Paulo, Brasil.

¹Contato:
E-mail:puente@unb.br