ARTIGOS

 

Desenvolvimento e validação de escalas para avaliação da atuação gerencial

 

Development and validation of scales for managerial performance assessment

 

 

Wanderley Silva^I; Jacob A. Laros^II; Luciana Mourão^III

^IMestre em Gestão Empresarial pela Fundação Getúlio Vargas. Doutorando em Psicologia pela Universidade de Brasília. (wanderleysilva@unb.br)
^IIPh.D. em Psicologia pela Universidade de Gröningen, Holanda. Professor do Instituto de Psicologia da Universidade de Brasília. (jalaros@unb.br)
^IIIDoutora em Psicologia pela Universidade de Brasília. Professora do Curso de Mestrado em Psicologia Social da Universidade Salgado de Oliveira. (mourao.luciana@gmail.com)

 

 

---

RESUMO

Este artigo relata o desenvolvimento e a validação de duas escalas para avaliação da atuação gerencial, sendo uma de auto-avaliação e outra de hetero-avaliação. A validação foi feita em uma organização pública brasileira, com uma amostra de 451 gerentes e 1.590 subordinados. A primeira parte do artigo explora as bases conceituais da atuação e do desenvolvimento gerencial, para, em seguida, detalhar os procedimentos qualitativos e quantitativos de coleta e análise de dados. Para a elaboração da escala, além da revisão de literatura, foram realizadas dez entrevistas em profundidade com especialistas em desenvolvimento gerencial, obedecendo-se às especificações da técnica Delphi, sendo os resultados submetidos à análise de conteúdo, finalizando-se o processo com em duas escalas simétricas (uma de auto e outra de hetero-avaliação), com 30 itens cada. Os dados foram submetidos à análise fatorial, e os resultados indicaram escalas unifatoriais, com 27 itens para auto-avaliação, e manutenção dos 30 itens para a heteroavaliação. Para ambas as escalas, sugere-se uma interpretação do fator baseada em quatro dimensões.

Palavras-chave: avaliação; desenvolvimento gerencial; gerência.

---

ABSTRACT

This article presents the construction and validation process of two scales for managerial action evaluation, one self-rating version and other subordinaterating version. Based on a case study of a Brazilian public institution, the first part of the study explored the concepts of managerial performance and development. To collect and analyze the data both qualitative and quantitative approaches were used. Ten specialists in managerial development were interviewed, according to the specifications of the Delphi technique. The data of those interviews were submitted to content analysis. A scale consisting of 30 items was constructed on basis of the content analysis results. The self-rating version was administered to 451 managers; 1,590 employees responded to the subordinate-rating version. Factor analysis indicated the existence of a single factor structure for both scales. But, in order to make easier their interpretation, four dimensions were proposed in each factor.

Keywords: evaluation, managerial development, management.

---

 

 

1. Introdução

Gerentes exercem um papel extremamente importante para o funcionamento do sistema organizacional. Como resultado da atuação desses profissionais, estratégias formuladas nos níveis diretivos superiores são desdobradas para níveis táticos e implementadas de forma articulada, por meio de ações operacionais. Dessa maneira, o estudo da atuação gerencial é um ponto-chave para a compreensão e a transformação das dinâmicas organizacionais. Nesse contexto, torna-se fundamental a garantia da efetividade das ações organizacionais de qualificação profissional de gerentes. Mas em que medida um programa de desenvolvimento gerencial atende às demandas organizacionais? Qual deve ser o foco do desenvolvimento gerencial? Essas são questões comuns às organizações e que ainda demandam respostas baseadas em pesquisas científicas. Por isso, o presente estudo busca contribuir para esse debate, ao construir e validar uma escala que permite a avaliação da atuação gerencial sob o ponto de vista dos gerentes e de seus subordinados.

Collins (2002) sugere que os administradores, embora reconhecendo o impacto que a avaliação tem para a organização, raramente a consideram como parte essencial na concepção de estratégias. Em função disso, para que sejam produzidos resultados válidos para a organização, a autora propõe, como primeiro passo, a vinculação clara entre as intervenções de desenvolvimento de pessoas (nas quais se insere um programa de desenvolvimento gerencial) e a missão, a estratégia e os objetivos organizacionais.

O desenvolvimento dessa escala insere-se num projeto de âmbito maior, cujo foco é a avaliação de programas de desenvolvimento gerencial. Assim, essa escala foi construída de forma a ser aplicada em pelo menos dois momentos: antes do início da implantação de um programa e após sua conclusão. Dessa forma, busca-se obter medidas "pré" e "pós" para a avaliação estatística do êxito (grau em que os resultados obtidos atendem aos objetivos inicialmente propostos) e do impacto do programa (implicações que esses resultados têm para a dinâmica organizacional, em termos de mudanças no comportamento no cargo).

1.1. A atuação gerencial no contexto do processo administrativo

A presente seção tem como objetivo discutir os fundamentos da atuação dos gestores, a partir de uma contextualização da atuação gerencial em função do conceito de processo administrativo e da discussão do fenômeno da gerência como uma ação social, com as diferenciações entre os papéis de gerentes e de líderes.

Na análise de Yulk (2006), a pesquisa sobre o trabalho gerencial tem evidenciado quatro temáticas centrais de estudo: descrição dos padrões de atividades típicas no trabalho gerencial; classificação do conteúdo do trabalho gerencial conforme seu propósito; análise das demandas, restrições e escolhas; e descrição de fatores situacionais que determinam como as atividades gerenciais são desempenhadas. A abordagem desenvolvida no presente estudo alinha-se à segunda temática, a qual tem como foco a identificação de responsabilidades a cargo dos gerentes e desenvolvimento de taxonomias dos papéis e funções gerenciais, como a de Mintzberg (1973), na qual o papel gerencial é descrito em termos de contato interpessoal, processamento de informações e tomada de decisão.

Compreender a essência do fenômeno administrativo tem sido ponto básico nas teorias organizacionais, desde a abordagem clássica da administração aos dias atuais. Um dos representantes mais destacados dessa escola clássica, o francês Henry Fayol, em seu livro "Administração geral e industrial", identificou seis funções organizacionais básicas: técnica, comercial, financeira, segurança, contábil e administrativa. Na concepção do autor, a função administrativa seria composta pelos seguintes atos: prever, organizar, comandar, coordenar e controlar. Ao longo da evolução do pensamento administrativo, essa questão das funções administrativas ganhou novos enfoques, caminhando progressivamente para uma tentativa de se estabelecer quais seriam as funções e papéis gerenciais.

Barnard (1971) defende a tese de que a função básica do executivo é manter um sistema de esforços cooperativos. Nesse sentido, os elementos básicos de uma organização seriam: disposição para cooperar, propósito e comunicação. Para Barnard (1971), com a finalidade de manter um sistema de esforço cooperativo, as funções executivas seriam três: (a) a manutenção das comunicações na organização; (b) a garantia de serviços essenciais aos indivíduos; e (c) a formulação de propósitos e objetivos.

O trabalho de Mintzberg (1973) amplia a discussão sobre o processo administrativo, pois o autor defende a tese de que a atuação dos gerentes vai além das funções clássicas de planejamento, organização, comando, controle e coordenação. O autor discorda da abordagem processualista defendida por Henry Fayol. Para Mintzberg (1973), as funções gerenciais não são tão delimitadas como foi defendido por Fayol e seus seguidores. Em sua obra, propõe que as atividades dos gerentes giram em torno de dez papéis, agrupados em três pólos básicos: papéis de informação (monitor, disseminador, porta-voz); papéis interpessoais (figura de proa, líder e ligação); e papéis de decisão (empreendedor, controlador de distúrbios, administrador de recursos e negociador). Essa visão mais ampla representa uma importante contribuição para a área, por discutir os papéis gerenciais sem limitá-los à descrição dos processos administrativos formais.

Porém alguns autores, como Koontz e O'Donnell (1981), criticam essa abordagem. Para esses autores, "embora a elaboração de uma teoria e de uma ciência da administração sofra com a discórdia entre estudiosos e administradores quanto à classificação das funções administrativas, já surgiu um modelo geral da prática e da terminologia". Esse modelo, ao qual Koontz e O'Donnell (1981) se referem, é o modelo da abordagem processualista das funções administrativas.

Uma consideração importante sobre esse conflito é que os autores estão, na verdade, descrevendo processos distintos. Enquanto Fayol e seus seguidores, como Koontz e O'Donnell, abordam o tema sob a perspectiva da organização, Mintzberg (1973) o faz sob a perspectiva da ação gerencial, ou seja, em um nível mais específico. Em outras palavras, são níveis de análise distintos, ambos com suas contribuições.

A literatura mais recente apresenta uma visão que incorpora esses dois níveis de análise (o da perspectiva da organização e o da ação gerencial). Yukl (2006) descreve o conteúdo das atividades gerenciais em termos de quatro processos: desenvolvimento e manutenção de relacionamentos, obtenção e provimento de informações, tomada de decisões e influência de pessoas. Por estarem esses processos intimamente interligados, o autor observa que uma mesma atividade específica pode envolver mais de um deles.

Assim, nas diferentes definições, fica claro que o papel desempenhado pelos gerentes é primordial para o funcionamento das equipes de trabalho. Por meio da atuação desses profissionais, diretrizes organizacionais são desdobradas até sua efetiva implantação por meio dos processos de trabalho que ocorrem no nível operacional. Todo o mecanismo de articulação para fazer frente ao turbulento contexto organizacional está intimamente ligado ao exercício da função gerencial, o que envolve uma contínua interação social entre gerentes e membros das equipes de trabalho. Portanto, o exercício da atividade plena do gerente envolve lidar com pessoas e demonstrar visão sistêmica e de negócios, com equilíbrio entre a busca da efetividade organizacional e da qualidade de vida no trabalho.

Não há dúvida de que um dos elementos mais destacados pelos autores, ao analisarem a atuação gerencial, é a questão da interação pessoal. Rost (1993) define a gerência como um relacionamento de autoridade entre, pelo menos, um subordinado e um gerente, o qual estabelece metas, toma decisões e coordena as atividades executadas para a produção de bens e serviços. A definição proposta pelo autor coloca o foco na questão do relacionamento. Nesse sentido, os comportamentos tanto do gerente como dos subordinados tornam-se variáveis essenciais.

Teal (1998), nessa mesma linha, sugere que o trabalho de um gerente extrapola a questão das habilidades técnicas, pois, na verdade, é definido em termos de interações humanas. O autor descreve o gerenciamento como um relacionamento transacional que deriva do poder da autoridade.

Assim, uma questão importante é a abordagem da atuação gerencial como uma ação social, em função da permanente demanda por interação do gerente com os demais membros da equipe de trabalho. Passos e Aquino (1995:134) destacam a necessidade de "colocar à disposição da formação gerencial a noção de ação administrativa como ação social".

À luz dessas considerações, a atuação gerencial será considerada, no presente estudo, como a categoria de ação social por meio da qual é realizada a coordenação das funções integrantes do processo administrativo, com vistas a garantir que as atividades executadas pelos membros da equipe promovam a realização dos objetivos previamente determinados.

Uma questão que tem se mostrado polêmica, na literatura da área, é a distinção entre os papéis de líderes e de gerentes. A maioria dos especialistas argumenta que liderança e gerenciamento são conceitos diferentes. Nessa linha de raciocínio, nem todos os líderes são gerentes, assim como nem todo gerente é um líder. Dorfman (1996) ressalta que, embora os estudiosos concordem que os conceitos de gerenciamento e de liderança sejam relacionados, eles não são idênticos. Entretanto, ainda não há fronteiras claras que delimitem o relacionamento entre esses papéis. De acordo com Yukl e Lepsinger (2005), a idéia de que liderança e gerenciamento são ambos importantes não é nova, porém as teorias desenvolvidas sobre essa temática ainda não conseguem fornecer uma explicação clara de como os dois papéis estão relacionados entre si e de como afetam o desempenho organizacional.

No Quadro 1, apresenta-se uma síntese da visão de diferentes autores em relação à distinção entre liderança e gerenciamento.

Para Dorfman (1996), parece haver um consenso de que o gerenciamento diferencia-se da liderança por envolver funções adicionais de planejamento, organização, assessoramento e controle. Nesse sentido, os gerentes podem ou não ser vistos como líderes e vice-versa. Na concepção de Northouse (1998), a área comum entre os papéis de líderes e de gerentes, deve-se ao fato de ambos estarem preocupados com a consecução de objetivos organizacionais, de trabalharem com pessoas e terem de exercer influência sobre elas.

Para Yukl e Lepsinger (2005), os papéis de liderança e de gerenciamento têm sido definidos de uma forma muito restrita na literatura, pois são colocados em oposição, como extremos de uma escala: de um lado, a liderança, associada às idéias de inovação e mudança; de outro lado, o gerenciamento, vinculado aos conceitos de ordem e estabilidade. Essa concepção de pólos opostos torna mais difícil a compreensão e integração desses dois papéis. Para tanto, os autores desenvolvem uma nova concepção: o modelo de liderança flexível. Em primeiro lugar, são identificados três fatores determinantes do desempenho organizacional: (a) eficiência e confiabilidade de processos, (b) inovação e adaptação e (c) recursos e relações humanas. A partir daí, os autores argumentam que encontrar formas efetivas para integrar liderança e gerenciamento requer a compreensão dos complexos relacionamentos entre os determinantes da performance e também das potenciais contradições e sinergias associadas à melhoria de um ou de mais de um desses determinantes. Assim, Yukl e Lepsinger (2005) identificam três alternativas de abordagem da questão: (a) definição restrita de liderança e gerenciamento como papéis opostos; (b) concepção da liderança como um dos papéis gerenciais; e (c) identificação de um conjunto de papéis relevantes à atuação das pessoas que ocupam posições de autoridade, sem necessariamente classificá-los como liderança ou gerenciamento.

Para efeitos deste artigo, será considerada como unidade de análise a atuação gerencial, a qual compreende o conjunto de comportamentos desempenhados pelas pessoas que assumem postos de trabalho de natureza gerencial numa organização. Considera-se aqui, portanto, a terceira alternativa proposta por Yukl e Lepsinger (2005), que consiste na identificação de um conjunto de papéis relevantes à atuação das pessoas que ocupam posições de autoridade, sem propor distinção dicotômica entre liderança e gerenciamento.

1.2. O processo de desenvolvimento gerencial

A efetividade dos processos de diagnóstico, planejamento, implementação e avaliação de ações voltadas para a qualificação de gestores tem sido objeto de uma gama de estudos em psicologia organizacional (COLLINS, 2002). Tanto no ambiente acadêmico como no organizacional, o desenvolvimento gerencial tem sido objeto de um amplo debate, havendo evidências de consideráveis investimentos em ações dessa natureza pelas organizações (GARAVAN; BAMICLE; O'SUILLEABHAIN, 1999).

Uma importante delimitação a ser feita é a do conceito de "desenvolvimento". Borges-Andrade (2000) esclarece que o desenvolvimento de competências profissionais diversificadas sai da esfera da responsabilidade individual para tornar-se elemento das estratégias organizacionais. O autor diferencia os conceitos de "desenvolvimento" e de "treinamento", sendo o primeiro mais abrangente, pois inclui ações organizacionais que estimulam o livre crescimento pessoal, não necessariamente vinculado à melhoria de desempenhos atuais ou futuros.

Quando várias ações de desenvolvimento, mesmo que diferentes entre si (cursos, seminários, palestras, workshops, etc.), compartilham um propósito comum e estão articuladas, pode-se falar em um programa de desenvolvimento. Mas ações de capacitação isoladas não podem ser caracterizadas como tal, pois, sem unidade de propósito e coordenação, não há que se falar em programa.

Um dos principais estudos sobre programas de desenvolvimento gerencial foi a meta-análise realizada por Burke e Day (1986), que abrangeu 70 estudos entre as décadas de 1950 e 1980. Para mensurar o grau de efetividade de diferentes ações de desenvolvimento gerencial, os autores coletaram grande variedade de informações, incluindo as características dos eventos instrucionais (conteúdo programático, método, duração, indicadores de resultado e tempo transcorrido entre o evento e a avaliação), características da clientela (nível hierárquico, anos de experiência profissional, sexo). As áreas de conteúdo pesquisadas pelos autores foram: teoria geral de administração, relações humanas, auto-consciência, resolução de problemas, tomada de decisão, motivação e valores pessoais. Por meio desse estudo, os autores concluíram que o desenvolvimento gerencial é moderadamente efetivo. Os efeitos relatados (e respectivas correlações com as ações de desenvolvimento gerencial) referem-se às seguintes dimensões:

a) aprendizagem subjetiva (0,34), que abrange princípios, fatos, atitudes e habilidades assimiladas durante ou ao final do evento e avaliadas pela percepção dos participantes ou facilitadores;

b) aprendizagem objetiva (0,38), que incluiu as mesmas dimensões, porém avaliadas por medidas objetivas, como número de erros ou testes padronizados;

c) comportamento subjetivo (0,49), que se refere a mudanças no comportamento no cargo percebidas pelos pares ou supervisores; e

d) resultados objetivos (0,67), que abrangem resultados tangíveis como redução de custos, melhoria de qualidade, ascensão funcional.

Assim, os resultados obtidos por Burke e Day (1986) foram importantes para esclarecer a abrangência e a contribuição dos eventos de desenvolvimento, evidenciando que os efeitos objetivos têm maior destaque, sendo os efeitos comportamentais e de aprendizagem menos evidentes. Apesar do enfoque para resultados como redução de custos, melhoria de qualidade e ascensão funcional, os autores avaliaram que as organizações não estão totalmente conscientes da efetividade dos programas de desenvolvimento gerencial para a melhoria da performance no trabalho.

Para resolver essa baixa percepção da efetividade dos programas de desenvolvimento gerencial, uma solução seria o alinhamento das estratégias de TD&E com a missão, os objetivos e as demandas organizacionais, como sinalizou Collins (2002). Na mesma linha, Abraham et al (2001) defendem o alinhamento entre a identificação das competências gerenciais a serem desenvolvidas por meio de ações de desenvolvimento gerencial e os processos de avaliação. De acordo com os resultados do estudo desenvolvido pelos autores, apesar de as organizações estarem conscientes da importância do mapeamento das competências gerenciais, não há correspondente preocupação em inserir essas competências nos sistemas de avaliação de desempenho.

A análise da vinculação entre desenvolvimento gerencial e estratégia organizacional é o foco do estudo desenvolvido por Luoma (2005). Para o autor, as intervenções de desenvolvimento gerencial serão mais significativas quando os participantes perceberem vínculo entre o conteúdo trabalhado nesses eventos instrucionais e a estratégia organizacional. Aumentar o investimento em ações de capacitação, segundo o autor, não significa necessariamente melhoria no desempenho gerencial. Isso reforça a importância de que os responsáveis pela condução do desenvolvimento gerencial numa organização estejam conscientes da realidade prática do trabalho dos gerentes. Portanto, faz-se necessário ativo envolvimento dos próprios gerentes em todas as fases da elaboração de um programa de desenvolvimento gerencial. Peçanha (1997) contribui para esse debate quando analisa que os eventos de capacitação gerencial, além da formação de estrategistas, baseada na transmissão de informação, devem envolver também o "aprender", baseado em problemas humanos reais e no trabalho conjunto da cognição e do afeto.

Dessa forma, o grande desafio na implantação de programas de desenvolvimento gerencial é proporcionar aos gestores capacitação que equilibre o foco na efetividade e nas vivências de bem-estar no trabalho, atendendo às demandas organizacionais e às pessoais. Mas não basta implantar ações de desenvolvimento gerencial; é preciso avaliar seus níveis de êxito e impacto. As escalas relatadas no presente estudo serão aplicadas antes e após a implementação de um programa de desenvolvimento gerencial, de forma a aferir seus resultados.

1.3. Método

O método delineado para o presente estudo baseou-se no uso de técnicas qualitativas e quantitativas para construção e validação psicométrica da escala de avaliação da atuação gerencial. O estudo foi realizado numa organização da administração pública federal brasileira. Trata-se de uma autarquia, com sede em Brasília e jurisdição sobre todo o território nacional, que possui representações regionais em nove capitais estaduais. Quando da realização da pesquisa, a organização contava com 4.308 funcionários, 877 (20,4%) no exercício de funções gerenciais, desde o nível de supervisão até o de direção estratégica. A pesquisa, que se estendeu de setembro a dezembro de 2004, teve como sujeitos todos os funcionários ativos da organização no período da coleta de dados, sendo que os gerentes responderam a versão do instrumento para auto-avaliação e os seus subordinados a versão para hetero-avaliação.

A organização objeto de estudo está em fase de implementação de um programa de desenvolvimento gerencial, com duração prevista para dois anos. Ao longo desse período, está programada a execução de eventos instrucionais que atendem aos gerentes de todos os níveis hierárquicos da organização. Dessa forma, as medidas obtidas neste estudo cumprem a finalidade de constituírem a referência da atuação gerencial antes do programa. Segundo o plano de avaliação desse programa, estão previstas mais duas coletas, uma intermediária e outra posterior ao seu encerramento. Esses resultados, quando futuramente coletados, permitirão análise mais abrangente dos efeitos do programa.

No processo de construção do instrumento, foram seguidas cinco etapas: (a) revisão de literatura sobre atuação e desenvolvimento gerencial; (b) análise documental do plano de implementação do Programa de Desenvolvimento de Competências Gerenciais da organização objeto de estudo; (c) realização de dez entrevistas em profundidade com especialistas em gestão de pessoas da organização estudada; (d) utilização da técnica Delphi; (e) validação semântica.

A revisão de literatura sobre atuação e desenvolvimento gerencial considerou desde os clássicos, como Fayol e Mintzberg, a autores que estão debatendo o tema atualmente, como Collins, Yukl e Lepsinger. Nesse processo, buscou-se conhecer as posições convergentes e as antagônicas, bem como a evolução do pensamento acerca do tema. Quando necessário, foi feita e sinalizada opção conceitual.

A análise documental do plano de implementação do Programa de Desenvolvimento de Competências Gerenciais da organização objeto de estudo foi necessária para que a avaliação pudesse, de fato, mensurar possíveis alterações no desempenho dos gerentes participantes do programa. Além disso, como Collins (2002) recomenda, é preciso que as ações de desenvolvimento gerencial estejam vinculadas às estratégias da organização e, portanto, para avaliar essas ações de desenvolvimento, é preciso também conhecer e analisar as estratégias definidas pela organização.

A realização de dez entrevistas em profundidade, realizadas com especialistas em gestão de pessoas da organização estudada, foi feita alguns meses antes da implementação do programa. Para a seleção dos entrevistados, foram considerados dois critérios: formação acadêmica na área de administração e experiência profissional em gestão de pessoas. Além disso, buscou-se a diversificação dos participantes de acordo com o nível hierárquico de atuação gerencial, com três gerentes do nível estratégico, cinco do nível tático e dois do nível operacional. As entrevistas foram gravadas, transcritas e posteriormente submetidas à análise de conteúdo.

A utilização da técnica Delphi visou complementar o trabalho já realizado, de forma a buscar o consenso entre os especialistas e evitando que o pesquisador tivesse de optar por uma ou outra opinião quando essas fossem divergentes. Assim, os dez especialistas responderam a questões sem se identificar e o conjunto das respostas de cada questão circulava entre eles para ajustes em suas opiniões iniciais, tendo sido necessárias três rodadas para obtenção de consenso em relação aos aspectos a serem contemplados na avaliação da atuação gerencial. Do ponto de vista de conteúdo, os participantes da técnica Delphi destacaram como ponto central para a capacitação gerencial a necessidade de os gerentes estarem qualificados a lidar com pessoas, atividades e recursos, tendo em vista a efetividade organizacional e a qualidade de vida no trabalho. O desafio, segundo eles, seria proporcionar aos gerentes a clareza de como essas dimensões se articulam e do papel de cada gerente na promoção equilibrada das duas. Na opinião dos participantes, os gerentes dessa instituição precisam ser assertivos nas relações interpessoais e também aprender a coordenar, medir, avaliar e garantir resultados. Quanto aos fatores mais importantes para o sucesso de um programa de desenvolvimento gerencial, o consenso, na técnica Delphi, aponta para quatro aspectos: (a) o nível de engajamento dos participantes; (b) a liderança pela alta administração; (c) a estratégia de comunicação; e (d) a qualidade do planejamento e estruturação do programa.

Finalmente, foi realizada a validação semântica dos 30 itens construídos para a escala de avaliação gerencial. Essa validação foi feita com um grupo de especialistas que respondeu ao questionário e apresentou críticas relativas à pertinência dos termos empregados e à clareza da redação. Todos os itens referem-se a ações praticadas pelos gerentes no exercício de suas funções. Optou-se por apresentar os itens na forma de afirmativas, com escala de concordância de 11 pontos, ancorada nas extremidades pelas expressões "Concordo totalmente" e "Discordo Totalmente". No Quadro 2, são apresentados os conteúdos a que se referem esses itens do instrumento.

Em termos de estratégia de pesquisa, foram criadas duas versões do instrumento de coleta de dados: uma para auto e outra para hetero-avaliação. Ao ser utilizada a avaliação pelos próprios gerentes e pelos seus subordinados de todos os níveis hierárquicos da organização, buscou-se enriquecer o processo de avaliação por meio de uma multiplicidade de perspectivas, pois cada avaliador percebe sob diferentes pontos de vista o objeto de estudo. Essa multiplicidade de pontos de vista sobre avaliação de ações de capacitação é defendida por Mourão e Borges-Andrade (2005). Os autores baseiam essa defesa em estudos que revelaram diferenças significativas entre auto e hetero-avaliação em pesquisas de treinamento. Para garantir a comparabilidade dos resultados, os itens das duas versões do instrumento abrangeram os mesmos conteúdos, adequando-se apenas os sujeitos das frases de acordo com a modalidade de aplicação.

Em dezembro de 2004, após a validação semântica dos itens, foi realizada a aplicação do instrumento, tendo sido obtidos 451 questionários de autoavaliação (51,4% do quantitativo de gerentes da instituição) e 1.590 questionários de hetero-avaliação (36,9% do total de funcionários). Após o tratamento de casos omissos (missings) e de valores extremos (outliers uni e multivariados), os dados foram submetidos às análises estatísticas, sendo considerados válidos 433 questionários de auto-avaliação e 1.571 de hetero-avaliação.

 

4. Resultados

A análise dos resultados compreende as duas pesquisas realizadas: a de auto-avaliação e a de hetero-avaliação da atuação gerencial. Ambas as escalas foram inicialmente submetidas à análise fatorial exploratória e à análise de consistência interna dos fatores. A fatorabilidade das matrizes de correlações dos itens foi considerada favorável, tendo em vista os resultados de KMO, tanto para a escala de auto-avaliação (0,96) como também para a de hetero-avaliação (0,98). Além disso, a matriz de correlações bivariadas entre os itens apresentou todos os valores acima de 0,30 para a escala de hetero-avaliação, e 88% das correlações acima desse valor para a escala de auto-avaliação.

Para ambas as escalas, a decisão quanto ao número de fatores a serem retidos foi baseada na análise paralela, nos valores de eigenvalues e na interpretabilidade do fator. Na análise paralela, é feita a comparação entre os eigenvalues (autovalores) de uma matriz de correlação de dados aleatórios com os da matriz empírica. De acordo com Reise, Waller e Comrey (2000), para a tomada de decisão sobre quantos fatores reter, deve-se verificar em que medida os dados empíricos explicam maior variância que os dados aleatórios. Assim, recomenda-se reter o maior número de fatores até o ponto em que os eigenvalues empíricos sejam maiores que os aleatórios. Para o cálculo dos eigenvalues aleatórios, cujos resultados são apresentados no Quadro 3, foi utilizado o software RanEigen (Enzmann, 1997).

A partir da análise desses resultados, decidiu-se pela solução unifatorial para ambas as escalas. Em primeiro lugar, há de se considerar a grande diferença entre os valores dos eigenvalues empíricos entre as opções com um e com dois fatores, em ambas as escalas. Para a escala de auto-avaliação, a opção com um fator possui um valor de eigenvalue empírico 8,7 vezes maior que a opção com dois fatores, enquanto que, para a escala de hetero-avaliação, essa mesma razão é de 25,8 vezes. Especificamente no caso da escala de auto-avaliação, a opção com dois fatores, sugerida pelo resultado da análise paralela, foi testada pelo método de fatoração do eixo principal (PAF), com rotação Promax. Contudo, os resultados com dois fatores não foram satisfatórios, em função da permanência de itens complexos, que apresentavam cargas significativas nos dois fatores. Ao se persistir nessa opção, com a remoção sucessiva dos itens complexos, o conteúdo da escala foi sendo significativamente comprometido, o que prejudicou, de forma substancial, a interpretabilidade dos fatores gerados a partir dos itens remanescentes. Além disso, verificou-se haver correlação muito alta (0,78) entre os possíveis dois fatores da escala de auto-avaliação. Portanto, considerando-se os critérios dos valores de eigenvalues, da análise paralela e da interpretabilidade do fator, decidiu-se pela composição unifatorial de ambas as escalas.

Dois importantes aspectos foram levados em consideração para a estruturação definitiva das escalas. O primeiro refere-se ao tamanho das escalas (com 30 itens cada). Segundo Fukuda e Pasquali (2002), nesses casos, uma solução seria a de realizar nova análise fatorial, com os mesmos critérios já descritos, definindo-se dimensões (ou facetas) de itens. Os autores se apóiam em solução semelhante adotada por Comrey (1970) na construção das Escalas de Personalidade Comrey - CPS, tendo o autor denominado esses agrupamentos de itens de dimensão de itens homogêneos fatorados (Factored Homogeneous Item Dimension - FHID). O segundo aspecto refere-se à sustentação teórica: uma solução exclusivamente unifatorial não corresponde de forma adequada à diversidade de competências compreendidas na atuação gerencial (MINTZBERG, 1973; YUKL, 2006). Dessa maneira, tendo em vista o aspecto teórico e o estatístico, optou-se por considerar as escalas como unifatoriais, mas realizar também a análise de dimensões. Para isso, foi feita uma análise fatorial (PAF) dos itens com soluções de três a oito dimensões para cada uma das escalas, utilizando-se a opção de especificação do número de fatores e rotação Promax..

Ao se realizar essa análise, foram encontradas algumas diferenças entre os itens que comporiam as dimensões nas versões auto e hetero da escala. Apesar de a escala ser única em termos de conteúdo, com duas versões simétricas, optou-se por trabalhar com validações separadas para a versão de auto e de heteroavaliação, pelo fato de as avaliações das diferentes fontes - gerentes e subordinados - serem distintas e porque ambas as escalas apresentaram indicadores satisfatórios para a fatorabilidade.

Na escala de auto-avaliação, a melhor solução obtida, considerando-se o conteúdo dos itens, foi a de quatro dimensões, a saber:

a) coordenação do trabalho (5 itens): capacidade de planejar e organizar as atividades da equipe para obtenção dos resultados;

b) comunicação e aprendizagem (9 itens): capacidade de estabelecer troca de informações e de incentivar a aprendizagem;

c) visão e habilidade para lidar com pessoas (7 itens): capacidade visionária, de promoção de mudança, com habilidade para lidar com conflitos e negociar; e

d) foco na equipe e receptividade para críticas e novas idéias (6 itens): capacidade de reconhecer o que a equipe faz, ouvir a equipe e apoiar novas habilidades e conhecimentos.

Na escala de hetero-avaliação, a melhor solução obtida também foi a de quatro dimensões, porém com outra distribuição dos itens, conforme descrito a seguir:

a) coordenação do trabalho (7 itens): capacidade de planejar e organizar as atividades da equipe para obtenção dos resultados;

b) comunicação e feedback (8 itens): capacidade de estabelecer troca de informações e feedback com os membros da equipe e de buscar o bemestar da mesma;

c) visão, aprendizagem e inovação (9 itens): capacidade visionária e de promoção de mudança, com atenção para a aprendizagem no trabalho e continuidade dos trabalhos iniciados; e

d) relações interpessoais (6 itens): capacidade de interagir e negociar, demonstrando respeito e assertividade.

Esse agrupamento considerou a permanência nas dimensões daqueles itens com carga fatorial igual ou superior a 0,35, e que não eram considerados itens complexos (com carga semelhante em mais de uma dimensão). Assim, na escala de auto-avaliação, três itens foram excluídos: incentivar a implantação de melhorias contínuas nos trabalhos da equipe; avaliar os resultados obtidos pela equipe; e buscar soluções quando os resultados obtidos pela equipe são insatisfatórios. Na escala de hetero-avaliação, foram mantidos os 30 itens originais.

A solução com essas quatro dimensões para ambas as escalas corrobora a proposição de Mintzberg (1973) de que a atuação dos gerentes vai além das funções clássicas de planejamento, organização, comando, controle e coordenação. Os itens que permaneceram na versão final da escala contemplam os três papéis básicos sugeridos por Mintzberg (1973): papéis de informação, papéis interpessoais e papéis de decisão. Também atende ao que Yukl (2006) descreveu como conteúdo das atividades gerenciais, considerando quatro processos: desenvolvimento e manutenção de relacionamentos, obtenção e provimento de informações, tomada de decisões e influência de pessoas. Uma vez tomadas essas decisões, foram calculados os valores das cargas fatoriais, correlações item-total (rir), médias e desvios-padrão (dp) dos itens nas escalas e em suas respectivas dimensões, para as quais foram calculados também os valores dos alfas de Cronbach, conforme apresentado nos Quadros 4 e 5.

A consistência interna das escalas, com essa configuração de um fator e quatro dimensões, apresenta indicadores bastante favoráveis, tendo-se obtido valores do alfa de Cronbach de 0,98 para a escala de hetero-avaliação e de 0,95 para a escala de auto-avaliação. A proporção de variância explicada foi de 71,9% para a escala de hetero-avaliação e de 42,7%, para a de auto-avaliação. Na solução unifatorial, o valor médio das cargas fatoriais para a hetero-avaliação foi de 0,84 (com valores que variaram de 0,77 a 0,90). Para a escala de auto-avaliação da atuação gerencial com solução unifatorial, o valor médio das cargas fatoriais foi de 0,63 (com valores que variaram de 0,43 a 0,76) O valor médio da correlação item-total corrigida (correlação de Pearson entre o item e o somatório dos demais itens da escala) foi de 0,84 para a hetero-avaliação e de 0,61 para a autoavaliação.

A análise dos escores dos itens mostra que, na versão de auto-avaliação, a média global foi de 7,9, variando a média dos itens de 7,2 a 9,0. Já na versão de hetero-avaliação esses valores foram consideravelmente mais baixos, sendo a média global de 6,7, num intervalo da média dos itens de 5,9 a 7,6. Essa diferença pode ser explicada levando-se em consideração que os gerentes tendem a ser mais lenientes em sua própria avaliação. Um aspecto que merece ser observado é o de que a avaliação mais positiva dos gerentes deixa menor margem para melhoria a partir das ações do programa. Além disso, tal como destacado por Smither et al (1995), é importante assinalar a possibilidade de, ao efetuarem suas autoavaliações, os gerentes se fixarem às suas próprias avaliações e tornarem-se menos receptivos a feedbacks que contrariem seus pontos de vista iniciais. Esses são importantes aspectos a serem considerados na análise dos dados da reaplicação do instrumento, a ser realizada após a implementação do programa.

Ainda na comparação das versões do instrumento, observa-se que a autoavaliação sofreu menor variabilidade nas respostas, apresentando média dos desvios-padrão dos itens no valor de 1,6, enquanto que, na hetero-avaliação, esse valor foi de 2,6. Em outras palavras, os gerentes têm maior uniformidade ao avaliar suas atuações, e os subordinados, ao contrário, possuem percepções mais distintas sobre a atuação dos gerentes.

Para analisar a capacidade de discriminação das duas escalas, foi calculado o índice de discriminação de cada item. Esse índice foi obtido por meio da diferença entre as médias do respectivo item para os respondentes no quartil superior e no quartil inferior.

 

Quadro 6

 

Os resultados para a versão de auto-avaliação, conforme a Tabela 6, indicam que os itens com maior índice de discriminação referem-se a comunicar aos membros da equipe, o que está sendo feito em outras áreas da organização, demonstrar habilidade em criar condições para que a equipe trabalhe motivada e promover a preparação de sucessores para o exercício da função gerencial. Por outro lado, na avaliação dos gerentes, apoiar a aplicação no trabalho de novos conhecimentos e habilidades, considerar o perfil dos membros da equipe para a distribuição dos trabalhos e considerar a opinião da equipe na tomada de decisões importantes são itens com menor poder de discriminação na atuação gerencial.

Já para a versão de hetero-avaliação, os itens que menos discriminam a atuação gerencial são a capacidade de investir no aperfeiçoamento profissional, considerar o perfil dos membros da equipe para a distribuição dos trabalhos e ter visão global dos objetivos da organização. Para os subordinados, os itens que melhor diferenciam a atuação de um gerente são as habilidades de criar condições para que a equipe trabalhe motivada, incentivar a implantação de melhorias contínuas e comunicar aos membros da equipe o que está sendo feito em outras áreas da organização. Merece destaque o fato de os itens "criar condições para que a equipe trabalhe motivada" e "comunicar aos membros o que está sendo feito em outras áreas da organização" estarem entre os três maiores índices de discriminação, tanto na auto-avaliação como na de hetero-avaliação.

O estudo da diferenciação entre auto e hetero-avaliação vem sendo recomendado na literatura nacional há vários anos (LEITÃO, 1994; ABBAD, 1999; SALLORENZO, 2000; RODRIGUES, 2000). Uma análise de dissertações de mestrado e teses de doutorado defendidas no Brasil com o tema avaliação de impacto de ações de capacitação no trabalho mostra que foram ampliados os estudos que incluem hetero-avaliações (PAULA, 1992; LEITÃO, 1994; BRITTO, 1999; MENESES, 2002; TAMAYO, 2002; MOURÃO, 2004). No caso da presente pesquisa, o delineamento prevê a realização de auto e heteroavaliação em duas fases: antes e após o programa de desenvolvimento gerencial. Os resultados da primeira fase de coleta evidenciam diferenças significativas entre auto e hetero-avaliação. A inclusão dos subordinados como fonte de avaliação buscou confirmar a validade da auto-avaliação, isto é, em que medida o julgamento dos próprios gerentes a respeito de sua atuação coincidia com o das pessoas que ele gerencia.

Observou-se, como resultado geral, que os chefes tenderam a ser mais benevolentes na avaliação de sua atuação que seus subordinados. Além disso, foi identificada também significativa divergência de avaliação entre gerentes e subordinados em itens como a construção de relacionamentos saudáveis com os membros da equipe, a transmissão dos objetivos de trabalho e o fornecimento de feedback em relação aos trabalhos executados. Esse é um aspecto importante, porque há críticas a estudos que se limitam à auto-avaliação. Inclusive na área de avaliação de desempenho, tem-se fortalecido a tendência de realização de avaliação 360º, na qual o desempenho dos indivíduos é avaliado por ele próprio, sua chefia, seus pares, clientes e fornecedores.

 

Conclusão

Por meio da pesquisa de base empírica descrita nas seções anteriores, foi possível construir e validar versões unifatoriais para as escalas de auto e heteroavaliação da atuação gerencial, com subdivisão em quatro dimensões para ambas as escalas. Assim, este trabalho oferece uma contribuição para os profissionais de gestão de pessoas que atuam no planejamento, implantação e avaliação de programas de desenvolvimento gerencial. Tal como relatado no presente trabalho, recomenda-se a utilização da escala em dois momentos distintos: antes e após a etapa de intervenção. As informações obtidas por meio da aplicação prévia do instrumento contribuem tanto para a adequação do planejamento das ações do programa, como para a existência de parâmetro inicial para sua avaliação. A re-aplicação do instrumento após o término do referido programa, com análise estatística por meio de análise de covariância (ANCOVA), possibilitará avaliar em que medida houve modificação no comportamento dos gerentes, na perspectiva deles e na de seus subordinados.

Uma possível contribuição metodológica deste trabalho reside no fato de pesquisar auto e hetero-avaliação. Coletar as opiniões também dos subordinados e compará-las às dos gerentes é importante, pois, como ressalta Kunda (2000), o erro de julgamento é inerente à percepção humana. Portanto, considerar diferentes opiniões sobre um mesmo fenômeno permite compreender o objeto de estudo sob diferentes perspectivas.

Como a coleta de dados foi feita em uma única instituição, uma das limitações deste trabalho refere-se à sua validade externa, sendo necessária a reaplicação do instrumento em outras organizações, públicas, privadas e do terceiro setor, para confirmar a estrutura unifatorial e as quatro dimensões encontradas, bem como os itens com maior ou menor carga fatorial e índice de discriminação.

 

Referências

ABBAD, G. Um modelo integrado de avaliação do impacto do treinamento no trabalho - IMPACT. Brasília, 1999. Tese (Doutorado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

ABRAHAM, S. E.; KARNS, L. A.; SHAW, K.; MENA, M. A. Managerial competencies and the managerial performance appraisal process. Journal of Management Development. Bradford, Reino Unido, v. 20, n. 10, p. 842-852, 2001.         [ Links ]

BARNARD, Chester. As funções do executivo. São Paulo: Atlas, 1971. 322 p.         [ Links ]

BORGES-ANDRADE, J. E. Desenvolvimento de medidas em avaliação de treinamento. ENCONTRO ANUAL DA ASSOCIAÇÃO NACIONAL DOS PROGRAMAS DE PÓS-GRADUAÇÃO EM ADMINISTRAÇÃO, 24, 2000, Florianópolis, Anais ..., Florianópolis, 2000. CD-ROM.         [ Links ]

BRITTO, M. J. P. Avaliação de Impacto de Treinamento na Área de Reabilitação: preditores individuais e situacionais. Brasília, 1999. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

BURKE, M. J.; DAY, R. R. A cumulative study of the effectiveness of managerial training. Journal of Applied Psychology. Washington, DC, v. 71, p.232-245, 1986.         [ Links ]

BURKE, W.; LITWIN, G. A causal model of organizational performance and change. Journal of Management. Thousand Oaks, CA, v. 18, n. 3, p.523-545, 1992.         [ Links ]

COLLINS, D. B. The effectiveness of managerial leadership development programs: a meta-analysis of studies from 1982-2001. 2002. 209 f. Tese de Doutorado,. Louisiana State University, Baton Rouge, LA: 2002.         [ Links ]

COMREY, A. L. Manual for the Comrey Personalitty Scales. San Diego: Educational and Industrial Testing Service, 1970.         [ Links ]

COMREY, A. L; LEE, H. B. A first course in factor analysis. 2. ed. Hillsdale, New Jersey: Erlbaum, 1992. 488 p.         [ Links ]

DORFMAN, P. International and cross-cultural leadership. In. B. J. Punnet e O. Shenkar (Eds.), Handbook for international management research. Cambridge, MA: Backwell, 1996. p. 267-349.         [ Links ]

ENZMANN, D. RanEigen: a program to determine the parallel analysis criterion for the number of principal components. Applied Psychological Measurement. Thousand Oaks, CA, v. 21, n. 3, p. 232, 1997.         [ Links ]

FAYOL, H. Administração geral e industrial. 10. ed. São Paulo: Atlas, 1994. 144 p.         [ Links ]

FUKUDA, C.C.; PASQUALI, L. Professor eficaz: um instrumento de aferição. Avaliação Psicológica. Porto Alegre, v. 1, n. 1, p. 1-16, 2002.         [ Links ]

GARAVAN, T.N.; BAMICLE, R; O'SUILLEABHAIN, F. Management development: contemporary trends, issues and strategies. Journal of European Industrial Training. Limerick, Ireland, v. 23, n.4/5, p. 191-207, 1999.         [ Links ]

HOUSE, R. J.; ADITYA, R. N. The social scientific study of leadership. Quo vadis? Journal of Management. Thousand Oaks, CA, v. 23, n. 3, p.409-473, 1997.         [ Links ]

KOONTZ, H.; O'DONNELL, C. Fundamentos da administração. São Paulo: Pioneira, 1981. 580 p.         [ Links ]

KOTTER, J. P. Force for change: How leadership differs from management. New York: Free Press, 1990. 192 p.         [ Links ]

LEITÃO, J.S.S. Relações entre clima organizacional e transferência de treinamento. Brasília, 1994. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

LUOMA, M. Manager's perceptions of the strategic role of management development. Journal of Management Development. Bradford, Reino Unido, v. 24, n. 7, p. 645-665, 2005.         [ Links ]

MENESES, P.P.M. Auto-eficácia, Locus de Controle, Suporte à Transferência e Impacto de Treinamento no Trabalho. Brasília, 2002. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

MINTZBERG, H. The nature of managerial work. New York: Harper & Row, 1973, 298 p.         [ Links ]

MOURÃO, L. Avaliação de Programas Públicos de Treinamento: um estudo sobre o impacto no trabalho e na geração de emprego. Brasília, 2004. Tese (Doutorado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

MOURÃO, L.; BORGES-ANDRADE, J. E. Avaliação de programas públicos de treinamento: um estudo sobre o impacto no trabalho e na geração de emprego. Organizações & Sociedade. Salvador, v.12, n.33, p.13-38.         [ Links ]

NORTHOUSE, P. G. Leadership: Theory and practice. 3 ed. Upper Saddle River, New Jersey: Prentice Hall: 1998. p. 322.         [ Links ]

PASSOS, I.; AQUINO, V. Processo de trabalho: uma abordagem integradora na formação gerencial. Revista de Administração Pública, Rio de Janeiro, v.29, n.4, p.120-36, 1995.         [ Links ]

PAULA, S.M.A. Variáveis preditoras de impacto de treinamento no trabalho: análise da percepção dos treinandos de duas organizações. Brasília, 1992. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

PEÇANHA, D. L. Contribuições psicológicas e sistêmicas para a formação de gestores. Cadernos de pesquisa em administração. São Paulo, v. 2 , n. 5, 1997.         [ Links ]

PIZZA-JÚNIOR, W. Funções do executivo. Revista de Administração Pública, Rio de Janeiro, v. 29, n. 1, p.48-62, 1995.         [ Links ]

REISE, S. P.; WALLER, N. G.; COMREY, A. L. Factor analysis and scale revision. Psychological Assessment. Washington, DC, v. 12, n.3, p. 287-297, 2000.         [ Links ]

ROST, J. C. Leadership for the twenty-first century. Westport, CT: Greenwood, 1993. 256p.         [ Links ]

RODRIGUES, A.G. A natureza da participação e suas implicações no Impacto de Treinamento no Trabalho. Brasília, 2000. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

SALLORENZO, L. H. Avaliação do Impacto de Treinamento no Trabalho: analisando e comparando modelos de predição. Brasília, 2000. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

SMITHER, J. W.; LONDON, M.; REILLY, R.R.; MILLSAP, R.E.; et al. An examination of the effects of an apward feedback program over time. Personnel Psychology. v. 48, n.1, p.1-34, 1995.         [ Links ]

TAMAYO, N. Autoconceito Profissional, Suporte à Transferência e Impacto de Treinamento no Trabalho. Brasília, 2002. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília.         [ Links ]

TEAL, T. The human side of management. In Harvard Business Review on Leadership. Boston: Harvard Business School, 1998. 238 p.         [ Links ]

YUKL, G. Leadership in organizations. 6 ed. Upper Saddle River, New Jersey: Pearson Prentice Hall, 2006. 542 p.         [ Links ]

YUKL, G.; LEPSINGER, R. Why integrating leading and managing roles is essential for organizational effectiveness. Organizational Dynamics. Lincoln, Nebraska, v. 34, n. 4, p. 361-375, 2005.         [ Links ]

KUNDA, Z. Social Cognition. San Francisco: Jossey-Bass, 2000. 602 p.         [ Links ]