ARTIGOS

 

Impactos individual e organizacional de treinamento: uma análise com base num modelo de avaliação institucional e na teoria multinível¹

 

Organizational and individual impacts of training: an analysis based on an institutional evaluation model and on the multilevel theory

 

 

Jairo E. Borges-Andrade^I; Maria Helena G. Pereira^II; Katia E. Puente-Palácios^III; Daniela Cecília Morandini^IV

^IDoutor em Psicologia. Professor do Departamento de Psicologia Social e do Trabalho da Universidade de Brasília (jeborges@linkexpress.com.br)
^IIMestranda em Psicologia. Universidade de Brasília
^IIIDoutoranda em Psicologia. Professora do Departamento de Psicologia Social do Trabalho da Universidade de Brasília
^IVPsicóloga. Empresa Brasileira de Pesquisa Agropecuária - Embrapa

 

 

---

RESUMO

O desafio deste estudo foi criar uma metodologia para verificar impactos de treinamentos nos comportamentos de indivíduos e de organizações, visando melhorar processos de planejamento, monitoramento e avaliação (PMeA) e compará-los com uma estratégia mais complexa, que incluía esses treinamentos e também outras atividades de desenvolvimento institucional. Utilizando um modelo de avaliação institucional, em que o componente "desempenho" seria uma função indireta dos componentes "ambiente", "capacidade" e "motivação", foram construídos e aplicados questionários em três amostras de respondentes: participantes e seus supervisores e colegas. Os impactos nos comportamentos dos indivíduos foram sistematicamente maiores que os organizacionais e ocorreram na seguinte ordem decrescente: motivação, capacidade, desempenho e ambiente. Treinamentos combinados com atividades de desenvolvimento institucional mostraram-se bastante mais efetivos do que treinamentos isolados. Os resultados encontrados são analisados à luz de modelos tradicionais de avaliação de treinamento, do modelo de avaliação institucional adotado e "da teoria multinível em organizações.

Palavras-chave: avaliação de treinamento; impacto de treinamento; desenvolvimento e avaliação institucionais; teoria multinível em organizações.

---

ABSTRACT

This study's challenge was to create a methodology to evaluate the impacts of trainings on individual and organizational behaviors, in order to improve the processes of planning, monitoring and evaluation (PM&E). It also aimed at comparing them with a more complex strategy, which included those trainings and also included other institutional development activities. Using a institutional evaluation model that included variables of environment, capacity, motivation and performance, the latter being an indirect function of the three former, questionnaires were developed and mailed to training participants, their supervisors and their colleagues. The individual impacts were systematically larger than the organizational ones. ln both cases, impacts occurred in the decreasing order of motivation, capacity, performance and environment. The combination of training with institutional development activities revealed to be much more effective than isolated training. Frameworks from traditional training evaluation models, from an institutional evaluation modei and from the multilevel theory are used for interpreting the findings.

Keywords: evaluation of training; impact of training; institutional development and evaluation; multilevel theory in organizations.

---

 

 

1. Introdução

Segundo Hamblin (1978), expandindo o modelo de Kirkpatrick (1976), treinamentos podem ter efeitos na satisfação dos indivíduos (reação ao treinamento), nos conhecimentos, habilidades e atitudes que eles adquirem (aprendizagem), bem como no seu desempenho no trabalho (comportamento no cargo). Estes últimos podem ser verificados somente nos desempenhos diretamente relacionados aos objetivos dos treinamentos (em profundidade) ou podem ser verificados em outros desempenhos (em largura). Além disso, os efeitos poderiam ser verificados na organização: em processos, estruturas ou produtos dos grupos ou desta como um todo (mudança organizacional) ou através de indicadores de custo-benefício (valor finaldo treinamento). O modelo de ambos autores supõe uma cadeia de determinação de eventos, que vai do primeiro (reação) ao último nível (valor final), sendo que pouca ênfase é dada às questões de ambiente. Ou de que este poderia produzir efeitos muito relevantes, por exemplo, nos procedimentos instrucionais, na aprendizagem dos treinandos e no uso no trabalho que estes farão do aprendido, como supôs Borges-Andrade (1982). Tanto a relevância das variáveis ambientais, quanto a fragilidade da suposição daquela cadeia de determinação, foram demonstradas em pesquisa de campo realizada por Oliveira-Castro (1999).

O presente estudo tem como finalidade a verificação simultânea desses efeitos na organização e no comportamento dos indivíduos no trabalho, o que é bastante raro na literatura nacional e internacional (Borges-Andrade & Oliveira-Castro, 1996). O desafio foi criar e testar uma metodologia para verificar impactos de uma organização internacional sobre organizações nacionais situadas na América Latina e no Caribe. O ISNAR (International Service for National Agricultural Research) é uma agência de prestação de serviços em administração de ciência e tecnologia. Apoia organizações de pesquisa agropecuária em países em desenvolvimento no mundo inteiro. Sua sede é na Holanda, tendo vínculos técnicos com a FAO/ONU, e financeiros com o Banco Mundial. Na ocasião em que o estudo foi realizado, havia um escritório regional no Equador, para a América Latina e o Caribe. Em 1996, o ISNAR iniciou um projeto de avaliação de impacto institucional. Consistiu o projeto em desenvolver e testar métodos para verificar efeitos dos seus esforços de desenvolvimento institucional nos Sistemas (NARS) e Organizações (NARO) Nacionais de Pesquisa Agropecuaria.

Um estudo preliminar dos Impactos e limites alcançados pelo ISNAR foi realizado por Borges-Andrade, Debela, Lusthaus, Mackay e Smutylo (1996), cobrindo organizações de todo o mundo e tomando como nível de analise as orgamzações como um todo. O referencial de avaliação institucional do referido estudo inicialmente concebido para ter em conta todos os programas e atividades do ISNAR, avaliando seus efeitos nas organizações como um todo, será adaptado para uso no presente trabalho, a fim de investigar um Projeto do ISNAR e tendo em conta somente uma região do mundo. O estudo teve como foco os impactos institucionais de workshops ou talleres (respectivamente em inglês e espanhol) organizados para melhorar os processos de gestão das organizações de pesquisa agropecuaria na América Latina e no Caribe (ALC), estabelecendo sistemas integrados de planejamento (P), monitoramento (M) e avaliação (A) nessas organizações.

Inicialmente, os principais resultados esperados do referido Projeto do ISNAR eram: um número de indivíduos treinados, um grupo de treinadores, um grupo treinado de agentes de mudança, publicações e materiais de treinamento. Estes materiais incluíram: um manual de referência disponivel em inglês e espanhol; uma coletânea de casos em planejamento, monitoramento e avaliação (PM&A) de pesquisa agropecuária em espanhol; um conjunto de materiais de treinamento contendo quatro módulos para instrutores e quatro apostilas para treinandos ou participantes, em inglês e espanhol. Nesta primeira fase do Projeto, esperava-se que os indivíduos treinados provocassem as mudanças institucionais. Isto é, era esperado que eles aprendessem que as competências (conhecimentos, habilidades e atitudes) aprendidas fossem incorporadas em seus desempenhos no trabalho e que se modificassem os processos organizacionais de PM&A.

Numa fase seguinte, no entanto, decidiu-se por experimentar uma estratégia complementar e foram buscados alguns países que pudessem realizá-la e, portanto, teriam efeito de "demonstração" sobre os demais. Assim, em quatro países da América Latina e Caribe (Panamá, Venezuela, Costa Rica e Cuba), de nominados casos-piloto, os treinamentos alcançaram um maior número de pessoas. Além disto, o ISNAR se envolveu nesses países fazendo acordos de apoio institucional e enviando sucessivas missões de orientação, das quais participaram os instrutores dos treinamentos (e autores dos materiais escritos). Essas missões iniciaram um processo de desenvolvimento institucional.

Em outras palavras, durante sua implementação o Projeto evoluiu de uma suposição de que seus treinamentos seriam capazes de produzir mudanças nos indivíduos e nas organizações para uma que passava a acreditar na necessidade de produzir alterações nos ambientes destes indivíduos e organizações, de modo que isto pudesse dar suporte aos efeitos dos treinamentos. Portanto, era preciso utilizar um modelo de investigação que fosse capaz de detectar efeitos nos indivíduos e nas organizações, mas também em seus ambientes. Foi escolhido o modelo de avaliação institucional desenvolvido por Lusthaus, Anderson & Murphy (1995), que inclui quatro grupos de variáveis, descritos a seguir.

As variáveis ambientais incluem a credibilidade da organização, seu ambiente tecnológico e legal e o comprometimento político externo com a referida organização. Também são referentes a aspectos socioculturais e econômicos que podem afetar as organizações, bem como as próprias demandas que podem surgir de seus clientes e beneficiários. Deste modo, a noção de ambiente está relacionada àquele externo à organização. A motivação organizacional refere-se principalmente à presença de uma missão orientada ao cliente, de uma cultura estratégica e de incentivos para contribuir em direção ao cumprimento da missão. Inclui igualmente os aspectos históricos internos que podem influenciar decisões e ações organizacionais. Aqui, portanto, o conceito de motivação utilizado para identificar um conjunto de características individuais é transposto para o nível organizacional.

A capacidade organizacional inclui a existência de uma liderança estratégica, administração dos seus programas, administração dos processos organizacionais, alocação de recursos, vínculos com clientes e treinamento e desenvolvimento profissional. Outra vez, um conceito que tem sua origem num outro nível de análise, o individual, é usado metaforicamente no nível organizacional. O desempenho organizacional refere-se à efetividade (alcance de objetivos) e eficiência (uso dos recursos), relevância organizacional e sustentabilidade junto a clientes e beneficiários. Embora alguns desses indicadores tenham igualmente um similar no nível individual, este grupo de variáveis do modelo de Lusthaus et al(1995) não sofreu os processos de transposição conceituai dos dois anteriores. O desempenho da organização é visto como estando estreitamente relacionado com o seu ambiente externo e com a motivação e a capacidade da referida organização.

Na presente pesquisa, a principal preocupação está em determinar até que ponto o Projeto ISNAR teve impactos no (1) ambiente, (2) motivação, (3) capacidade e (4) desempenho dos NARS e NARO. A suposição básica, fundamentada no modelo de avaliação institucional adotado, é que o impacto naqueles três primeiros influencie o quarto grupo de variáveis, embora se reconheça que outras variáveis (fora do Projeto) também possam exercer tal influência. Utilizando a abordagem multinível para o estudo de organizações (ver Klein & Koslowski, 2000, especialmente o capítulo 1), poderia ser afirmado que haveria uma transferência horizontal entre o Projeto, as variáveis de ambiente, motivação e capacidade e as variáveis de desempenho. Mas haveria também uma transferência vertical, do tipo bottom-up,entre os níveis do indivíduo e da organização.

O impacto imediato seria esperado nos indivíduos que participaram nas atividades de treinamento do Projeto, que teriam sua motivação pessoal aumentada e suas competências ampliadas. Portanto, poderiam passar a apresentar um desempenho individual diferenciado no trabalho (transferência horizontal). Como resultado disso, mudanças poderiam ser introduzidas por esses indivíduos em suas equipes e nas organizações, produzindo efeitos nos ambientes interno e externo e na motivação e capacidade organizacionais (transferência vertical, do tipo bottom-up). Finalmente, e como resultado de tais efeitos, o desempenho organizacional global seria incrementado (transferência horizontal, outra vez).

Contudo, o que aconteceria nos casos-piloto precisaria ainda ser hipotetizado em termos de um outro quadro referencial. No caso deles, as outras atividades complementares realizadas por membros do Projeto também teriam tido efeitos nos ambientes dos indivíduos e de suas organizações, através da introdução de "suporte psicossocial para transferência de aprendizagem" (conforme a conceituação proposta por Oliveira-Castro, 1999) ou de mudança no "clima organizacional para transferência de aprendizagem" (conforme proposta de Roullier & Goldstein, 1993).

 

2. Método

Na presente seção, são descritos os instrumentos de medida, os procedimentos de coleta de dados e a amostra. Para economizar espaço, as variáveis do estudo serão apresentadas juntamente com os resultados.

A definição das variáveis-chave foi baseada no modelo de avaliação institucional já descrito, a fim de representarem indicadores de efeitos esperados do Projeto referentes a impactos no ambiente, motivação, capacidade e desempenho, nos níveis do indivíduo e da organização como um todo. As questões a serem feitas aos participantes foram formuladas em espanhol para colher dados sobre estes indicadores de avaliação, além de explorarem outras informações relevantes para o estudo. Foram desenvolvidas tanto questões fechadas quanto abertas. O presente relato refere-se apenas aos dados obtidos com as primeiras, existindo um outro texto publicado por Borges-Andrade & Siri (2000) que compara aspectos quantitativos e qualitativos. Neste outro texto, ficou evidenciado um alto grau de correspondência entre ambos os tipos de aspectos analisados.

Questionários paralelos aos dos participantes foram desenvolvidos para serem respondidos por seus supervisores e por um colega de sua escolha. Esta triangulação de fontes de informações foi desenhada com o intuito de incrementar a precisão da metodologia a ser testada, especialmente em relação às variáveis cujas diferenças estatísticas fossem encontradas entre as três diferentes fontes de informação. Os questionários redigidos em espanhol e feitos para os participantes e os supervisores foram testados, para verificar se estavam compreensíveis, em uma amostra de 16 indivíduos do Brasil, de Honduras e da Costa Rica. Posteriormente, foram feitas alterações nos questionários e versões para o inglês.

As cópias dos três questionários foram enviadas a 379 participantes de workshops ou talleres que estiveram em eventos organizados pelo Projeto, entre 1993 e junho de 1997. Os questionários deveriam ser devolvidos através do correio, sendo utilizados envelopes pré-endereçados. Cada respondente recebeu, como incentivo para a devolução, uma das publicações técnicas do Projeto, a sua escolha. No caso dos residentes em Cuba, os questionários foram enviados para uma pessoa no Ministério da Agricultura, que se encarregou da distribuição e do recolhimento. Os participantes foram instruídos a responderem seus questionários e entregarem os outros dois a seus supervisores e a colegas de sua preferência. Estes deveriam conhecer bem o trabalho do participante e ter alguma noção das atividades do Projeto de PM&A do ISNAR.

Os questionários respondidos retornaram até o começo de dezembro de 1997, quando 102 (26.4% de retorno) dos questionários de participantes foram devolvidos, 31 de supervisores e 34 de colegas. As porcentagens destes dois últimos tipos de questionários não puderam ser calculadas, pois os autores não tiveram acesso ao número real de entrega destes questionários, pelos participantes, a seus colegas e supervisores. Uma análise preliminar de dados foi realizada e uma avaliação dos questionários devolvidos resultou na conclusão de que os tamanhos, além da quantidade de questionários, poderiam ser duas das razões principais para o baixo índice de retorno.

Decidiu-se enviar uma versão reduzida dos questionarios dos participantes para todos os não-respondentes, explicando-lhes o quão importante era a sua informação para a avaliação de impactos individual e organizacional de treinamento: uma análise com base num modelo de avaliação institucional e na teoria multinivel impacto do Projeto. Os critérios utilizados para decidir quais itens deveriam ficar na versão reduzida foram relacionados à sua relevância para o modelo de avaliação e à qualidade de informação que forneciam, a partir dos dados que já podiam ser analisados. Uma outra decisão foi a de que os questionários de impacto de treinamento para supervisores e colegas não seriam enviados outra vez. De cada um destes questionários, aproximadamente 30 já tinham retornado, o que foi julgado razoável para fazer testes estatísticos visando triangular a informação. Com a sua eliminação, os participantes teriam uma menor carga de trabalho e a maioria deles não se sentiriam sob a (falsa) condição de ter de esperar os questionários de seus supervisores e colegas, para então providenciar o retorno dos seus próprios questionários.

A amostra finalmente obtida engloba participantes, seus supervisores e colegas de 22 países da América Latina e do Caribe, sendo que 131 questionários (34,6% de retorno) foram recebidos até abril de 1998. A maior proporção é oriunda de Cuba (19%), Venezuela (17%), Panamá (11%), Uruguai (8%), Argentina (7%), Colômbia (5%) e Equador (5%). Considerando-se os quatro casos-piloto, a Costa Rica (1%) está menos representada do que deveria e as amostras de Cuba, Venezuela e Panamá são maiores do que a dos demais países. As instituições de 79% dos respondentes são organizações nacionais de pesquisa agro pecuária. Estes dedicam 30% de seu tempo às tarefas administrativas, 28% às atividades de PM&A e 19% às tarefas de pesquisa. A extensão e ensino tomam menos de 10% cada. Esses números indicam que a distribuição de carga de trabalho é compatível com o foco do Projeto ISNAR e que os respondentes estariam na posição ocupacional apropriada para utilizarem o que aprenderam no Projeto.

 

3. Resultados e Discussão

O conteúdo da presente seção foi organizado em torno de quatro questões centrais derivadas dos objetivos da avaliação: Quais são os impactos? Quais as diferenças entre as fontes de informação sobre eles? Como os impactos se diferenciam, entre casos pilotos e os demais países?O que mais foi alcançado?A seguir, serão apresentados e discutidos os dados obtidos, com a finalidade 'de buscar respostas para essas questões.

Quais os principais impactos de treinamento?

Os participantes avaliaram o impacto de workshopse talleresem si mesmos, como indivíduos, e em suas organizações. Em ambos os níveis, os efeitos podem ser classificados em quatro categorias: ambiente, motivação, capacidade e desempenho.Na presente subseção, serão descritos os impactos principais de acordo com essas oito possibilidades, dentro das quais foram classificados 43 indicadores de impacto. Esses foram avaliados de acordo com uma escala do tipo Likert de cinco pontos, variando entre O (nenhum impacto) e 4 (impacto muito grande). As médias e desvios padrões foram calculados para 43 itens de impactos individuais e 42 itens de impactos organizacionais, no questionário dos participantes.

Adicionalmente, considerando que um dos objetivos do presente trabalho foi verificar a adequação do modelo propmto para a avaliação do impacto de treinamentos, foram calculadas índices de confiabilidade (α de Cronbach) para cada um dos conjuntos de itens referentes às oito dimensões de impacto (individual e organizacional). Isto foi feito depois que análises fatoriais (Componentes Principais, com rotação oblíqua) permitiram corroborar a adequação das estruturas desses oito conjuntos (todas unifatoriais) e sugeriram, portanto, que as medidas relativas a essas dimensões teriam validade de construto. Os resultados dessas análises estão descritos em Borges-Andrade & Siri (2000).

O número de respondentes para os itens de impacto individual variou entre 119 e 130, com uma margem aceitável menor que 10% de valores em branco para todos os itens. Os desvios padrões variaram entre 0,77 e 1,28. Apenas em um dos casos, o desvio padrão foi maior que a média: "tamanho da verba administrada", que justamente é o menor valor de média entre os 43 itens.

Os valores das médias calculados para os impactos individuais variaram entre 1,06 e 3,24. Nenhum valor foi menor que 1 (pouco impacto) nem próximo de 4 (impacto muito grande). Tais valores foram listados nas Tabelas 1 a 4. Decidiu-se classificar esses valores com asteriscos: 2,00 a 2,49 (*); 2,50 a 2,99 (**) e 3,00 a 3,49 (***). A quantidade de asteriscos indica a intensidade do impacto, variando de impacto moderado a grande.

 

 

 

 

 

 

 

 

A Tabela 1 demonstra que o impacto mais importante (de moderado a grande) no ambiente do indivíduo tem sido no desenho de trabalho: o grau em que o trabalho do participante demanda criatividade e inovação tanto conceituai quanto metodológica. Estes indicadores, analisados em conjunto, ainda sugerem que o impacto foi maior nos "ambientes proximais" (tarefas, colegas, relações) dos ex-treinandos, do que nos seus "ambientes distais" (reconhecimento, informação, recursos e posição institucionais), como sugerem Klein & Koslowski (2000) quando analisam as relações entre níveis, utilizando as denominações "proximal" e "distal" para o conceito que envolve simultaneamente as proximidades temporal, espacial, conceitual e hierárquica entre fenômenos organizacionais.

Em relação ao impacto sobre o ambiente do indivíduo, o excelente índice de confiabilidade (α = 0,946) permitiu concluir favoravelmente sobre a possibilidade de extração de um escore único para todos os itens que compõem o grupo da Tabela 1. Como será demonstrado no decorrer da presente subseção, os índices de confiabilidade também levaram a essa conclusão para os próximos sete conjuntos de itens, o que contribui para uma comparação mais segura entre eles, pois todos são igual mente precisos.

A média aritmética encontrada para esse escore único foi de 1,89 e o desvio padrão de 0,87. O valor da média é o menor, se comparado aos dos próximos conjuntos de itens, o que revela que o menor impacto ocorreu sobre o ambiente dos indivíduos. Vale a pena mencionar que o desvio padrão encontrado é o mais elevado, sugerindo a existência de discrepâncias entre os respondentes, no que diz respeito à avaliação desse impacto. Tomados em conjunto, esses dois achados comparativos permitem concluir que houve maior transferência horizontal (do Projeto para a motivação, capacidades e desempenho dos indivíduos) que vertical (do indivíduo para seus ambientes de trabalho, sejam eles proximais ou distais), ou que, predominaram as relações intraníveis, quando comparadas às relações ertre níveis organizacionais, conforme propõem Koslowski et alli. (2000).

No nível individual, a melhor avaliação de impacto foi em relação à motivação, onde a maioria dos sete itens (ver Tabela 2) demonstrou um impacto equivalentemente alto: os participantes têm alto interesse em fazer avaliações consistentes, melhorar o monitoramento e administração dos sistemas de informação, além de estarem muito motivados na implementação da abordagem estratégica e na utilização do planejamento estratégico. Valores semelhantes foram obtidos quanto a atitude dos participantes frente às mudanças relacionadas ao PM&A nas suas organizações. O escore único encontrado a respeito destes itens está entre os mais elevados (média = 3,17, desvio padrão = 0,65), com um excelente índice de confiabilidade (α= 0,908). Portanto, o Projeto teve, na opinião dos participantes, um forte impacto positivo na sua motivação individual. Usando o quadro de referências da psicologia instrucional, constata-se que o conjunto desses sete indicadores de motivaçãona verdade poderia ser interpretado como sendo "atitudes", conforme a taxonomia de Gagné (1977).

Capacidadefoi o segundo melhor conjunto de resultados de indicadores individuais de impacto (Tabela 3). Uma análise desses indicadores, usando o mencionado quadro de referências da psicologia instrucional, sugere que eles incluem competências relacionadas a "conhecimentos" e "habilidades intelectuais" (informações verbais, conceitos, regras e soluções de problemas, de acordo com a taxonomia de Gagné, 1977). Foram obtidas avaliações variando entre moderado e grande impacto para aspectos de "desenvolvimento institucional" (abordagem estratégica, administração estratégica de mudança) e para conhecimentos e habilidades "relacionados ao planejamento" (planejamento estratégico, quadro de referência lógico).

Considerando os dez indicadores listados na Tabela 3, é possível concluir que em termos gerais os efeitos nos indivíduos foram maiores no componente "P" (estratégia, planejamento) do que nos componentes "M" e "A" (avaliação, monitoramento, gestão de informação) do Projeto PM&A do ISNAR. Mas no caso do impacto na motivação(ver Tabela 2) essas diferenças não foram evidenciadas, o que sugere que nem sempre as aquisições de "conhecimentos", "habilidades intelectuais" e "atitudes" andam juntas.

Nesse conjunto de itens, o índice de confiabilidade encontrado foi muito bom (α = 0,899). O escore único calculado (média = 2,82) revelou que os respondentes estimaram um impacto de moderado a grande sobre a sua capacidade. Houve consenso nas respostas dadas, pois o desvio padrão (0,66) é relativamente pequeno. Esses achados, quando adicionados àqueles muito similares (ou melhores) encontrados para o impacto na motivação dos indivíduos, dão suporte à noção de que os efeitos de treinamentos nos primeiros níveis propostos pelo modelo de Hamblin (1978), dificilmente se sustentam quando as avaliações mudam o foco para o próximo nível daquele modelo (desempenho dos indivíduos no trabalho) ou "para fora" daquele modelo (ambiente dos indivíduos).

Usando um outro quadro de referências teórico mencionado anteriormente, pode também ser feita a interpretação de que as relações entre "treinamento" e "motivação e capacitação" são proximais, enquanto as relações entre "treinamento" e "ambiente e desempenho" são distais. Talvez pelo viés introduzido pela psicologia instrucional, treinamentos seriam primordialmente desenhados com a finalidade de motivar e capacitar e só secundariamente desenhados para mudar ambientes ou desempenhos no trabalho.

O escore único de avaliação de impacto sobre o desempenho dos indivíduos foi positivo (média =2,37, desvio padrão = 0,66), sendo que este indicador global é bastante confiável (α = 0,906). Os impactos mais importantes no desempenhoindividual variaram de moderado a grande, sendo o primeiro deles relativo a "desenvolvimento institucional", seguido das contribuições ao planejamento estratégico e dos processos de integração de PM&A pelos participantes (Tabela 4). A ordem de colocação dos itens é semelhante àquela de "capacidade", sugerindo uma cadeia de eventos que vai desde a construção da capacidade à demonstração do desempenho. Também como nos itens relativos à capacitação individual, os desempenhos relacionados a "P" parecem ter recebido mais impacto do treinamento do que os relacionados a "M" e "A". Isto dá suporte aos modelos de Hamblin (1978) e de Kirkpatrick (1976), que sugerem uma relação de determinação entre o que eles denominam "aprendizagem" e "comportamento no cargo". No entanto, os escores médios obtidos para "capacidade" são maiores que aqueles para "desempenho", sugerindo assim que este último não pode ser compreendido como unicamente determinado pela construção de "capacidade" no treinamento.

Resumindo, o Projeto ISNAR teve o seu maior impacto individual no nível da motivação de seus participantes, seguido de suas capacidades e de seu desempenho. Já o menor impacto registrado foi no ambiente dos participantes. Assim, o Projeto atingiu seus melhores resultados em indicadores relativos ao nível de efeitos de "aprendizagem", seguidos daqueles concernentes ao nível de efeitos de "comportamento no cargo", com os dados sugerindo que existem outras variáveis que lhes dão suporte. Além disso, foram apresentadas evidências que dão suporte à noção de que as relações entre treinamento e seus efeitos devem levar em conta o contínuo "proximal-distal" e que apontam que teria ocorrido maior transferência horizontal que vertical, embora neste último caso as melhores evidências sejam as que se seguem.

O número de respondentes para os itens de impacto organizacional variou entre 124 e 129, com uma margem de 5% de valores em branco em todos os itens. Os escores do desvio padrão variaram entre 0,86 e 1,10, consistindo numa gama mais restrita do que aquela obtida para itens de impacto individual. Estes escores são mais baixos que os escores médios e, em geral, a diferença entre ambos os tipos de escores são muito maiores que aquela dos itens de impactos individuais. Esses resultados demonstram que os indicadores de impacto organizacional variam muito menos que os escores individuais e que seus escores médios podem ser mais adequadamente utilizados. No entanto, isto não deve significar que os escores de impacto individual sejam inadequados.

No nível organizacional, os valores das médias para os impactos avaliados variaram entre 1,71 e 2,64. Nenhum valor é menor que 1,50 (impacto pequeno a moderado), nem tampouco próximo de 3,00 (impacto grande). Estes achados demonstram que os impactos no nível organizacional, como um todo, são menores que os impactos individuais. Tais resultados estão dispostos nas Tabelas 5 a 8. Estas Tabelas utilizam a mesma ordena ção anterior de asteriscos para os impactos, de maneira que fique facilitada a avaliação imediata dos itens para o leitor.

 

 

 

 

 

 

 

 

Apenas duas variáveis foram mantidas como indicadores do impacto do Projeto no nível do ambienteorganizacional (Tabela 5), dada a dificuldade de se obter itens que pudessem ser respondidos pelos participantes. Isto ocorreu pelo fato dos itens do ambiente organizacional precisarem ser externos e dos respondentes serem todos internos à organização. Evidentemente, este fato constituiu-se numa limitação do presente estudo. Os participantes avaliaram um impacto moderado em relação à credibilidade da organização com clientes, com autoridades políticas e com doadores externos.

Mesmo contando com somente dois itens, foi realizado o cálculo de confiabilidade. Seu resultado (α =0,795), apesar de ser apenas bom, confirma a possibilidade de agregação dos itens da Tabela 5 em um escore único. A média aritmética para este conjunto foi de 2,08, que é o menor valor dentre os escores globais de impacto organizacional. Considerando que o desvio padrão (0,96) é elevado, pode-se afirmar que neste conjunto de itens houve menor homogeneidade nas avaliações realizadas. Estas duas estatísticas podem ser explicadas pela hipótese dessa avaliação de impacto no ambiente da organização incluir provavelmente o fenômeno mais distal, do ponto de vista dos avaliadores individuais, e pelo fato de se tratar de uma transferência vertical que chega a "saltar" um nível (é um efeito esperado do sistema de treinamento no ambiente externoà organização). Na verdade, é um tipo de efeito de treinamento nem sequer previsto nos modelos de Hamblin (1978), Kirkpatrick (1976) e de Borges-Andrade (1982), embora já esteja presente no sistema classificatório multinível de efeitos de treinamento proposto por Birdi (2001).

De forma semelhante ao nível individual, a melhor avaliação do impacto organizacional foi relacionada à motivação,na qual todos os itens demonstram um impacto moderado a grande ou um impacto moderado nas suas avaliações (Tabela 6). Os escores mais altos são referentes ao reconhecimento do valor de PM&A e da clareza da missão e dos objetivos da organização, seguidos de uma "cultura" de planejamento estratégico. Também similarmente aos resultados no nível dos indivíduos, o impacto dos treinamentos sobre a motivação das organizações teve a média aritmética mais elevada dentre as variáveis do nível organizacional, quando o conjunto de itens foi analisado de forma global (média = 2,44, desvio padrão = 0,78). Segundo estes resultados, os treinamentos realizados tiveram um impacto de moderado a grande sobre a motivação organizacional, sendo que o indicador global obtido é muito confiável (α = 0,935).

Capacidadeé a dimensão que tem o segundo melhor conjunto de indicadores para impacto organizacional (ver Tabela 7). Isto também é muito parecido com os resultados dos impactos individuais. Um impacto moderado a grande foi obtido para a facilidade de acesso à informação técnica e o apoio metodológico para melhorar as funções de PM&A, que justamente é o foco do Projeto e, portanto, não deveria ser uma surpresa. Avaliaçôes moderadas foram obtidas para uma grande quantidade de itens relacionados a "capacidade". A respeito deste conjunto, o valor do índice de confiabilidade (α = 0,965) é excelente. O escore global obtido (média = 2,19, desvio padrão = 0,69) permite afirmar que os respondentes percebem um impacto moderado na capacidade organizacional.

Os maiores impactos observados no nível organizacional foram equivalentes aos encontrados no nível do indivíduo: nas dimensões de motivação e capacidade. Até a comparação entre as intensidades dos mesmos levou a resultados similares: mais impacto em motivação, seguido de impacto em capacidade. É provável que o fenômeno denominado bottom-up, já mencionado anteriormente, esteja marcando presença neste caso. Como foram maiores os efeitos relatados nas dimensões de motivação e depois de capacidade, no nível individual, estes teriam as maiores chances de "transbordarem" para os níveis organizacionais superiores, ocorrendo primordialmente nas dimensões mais proximais destes níveis superiores.

Os únicos impactos importantes no desempenhoorganizacional foram moderados, começando pelo grau em que a pesquisa responde às demandas dos usuários, depois pela produtividade das unidades organizacionais dos participantes e então pela sustentabilidade da organização (Tabela 8). Estes três indicadores não se referem de fato aos produtos globais ou finais de organizações de pesquisa agropecuária, mas aos processos intermediários que poderiam ser vistos como necessários para alcançar esses produtos. Assim, são os que têm relação mais proximal com aqueles indicadores relativos a capacidades e motivação, que tiveram os escores mais elevados dentre os de nível organizacional. Não é de estranhar, portanto, que tenham alcançado as maiores médias dentre os indicadores de desempenho organizacional.

Na avaliação do impacto sobre o desempenho das organizações, a média aritmética encontrada para este conjunto de seis itens foi de 2,10 e o desvio padrão de 0,79. Neste caso, foi observado que os respondentes perceberam um impacto apenas moderado, sendo que o índice de confiabilidade é ótimo (α= 0,917). Muitos desses indicadores de desempenho já estão relacionados a fatores externos à organização (demanda de usuários, sustentabilidade da organização e seus impactos econômicos, sociais e ambientais). Portanto, tal como anteriormente, a hipótese da relação distal e o fato de estar sendo esperada uma transferência vertical com "salto" de níveis, podem explicar esses achados.

Em síntese, no nível organizacional o Projeto ISNAR, como um todo, parece ter tido seu maior impacto na motivação, seguido do impacto na dimensão capacidade. Impactos pequenos a moderados foram relatados no ambiente e no desempenho organizacional. Os melhores efeitos dos treinamentos surgiram, outra vez, onde seriam esperados: na motivação e na capacidade. Os impactos no ambiente e no desempenho organizacional seriam função de muitas outras variáveis, que dificilmente poderiam ser só atribuídas às atividades de treinamento do Projeto. Algumas dessas variáveis adicionais poderiam ser o nível de capacitação do corpo técnico das organizações avaliadas e de suas parceiras em projetos; os estilos gerenciais de sua direção; o apoio político recebido pela direção dos órgãos de governo e políticos e das redes de parceiros e beneficiários; a situação dos mercados nacionais e internacionais de produtos agrícolas; mudanças nas legislações aplicáveis aos setores nacionais de educação, tecnologia e transferência de tecnologia e a atualidade dos equipamentos e recursos tecnológicos disponíveis nas organizações estudadas. Capturar dados sobre essas variáveis extrapolaria os objetivos do presente estudo, mas elas precisam ser lembradas como fontes de variabilidade não controlada na investigação aqui realizada. Além disso, se tal coleta de dados fosse tentada, os questionários seriam grandemente ampliados, dificultando pois a sua devolução. Aliás, problemas de devolução de questionários ocorreram durante a primeira fase do levantamento realizado e aqui relatado, justamente pelo fato deles serem muito extensos.

Os impactos sistematicamente maiores no nível individual poderiam ainda ser explicados através do fato do Projeto e de qualquer tecnologia de treinamento trabalharem com pessoas, e esperar que elas façam a diferença nas suas organizações. Portanto, o efeito é menos visível no nível organizacional, demandando mais tempo para resultar em mudanças neste nível.

Como as opiniões dos participantes diferem daquelas de seus supervisores e colegas?

A fim de comparar as diferentes opiniões [(participantes X supervisores) e (participantes X colegas)], nos mesmos itens, 108 testes T para amostras relacionadas foram feitos para os 42 itens de impacto organizacional e para os 12 itens de impacto individual (p < 0,05).

No nível individual, as 24 comparações revelaram uma diferença significativa entre participantes e seus supervisores e três diferenças significativas entre participantes e seus colegas. No nível organizacional, as 84 comparações revelaram três diferenças significativas entre participantes e seus supervisores e nenhuma entre participantes e seus colegas. Assim, em 93% dos casos não há diferenças de opiniões entre os participantes e seus supervisores e colegas de trabalho, o que sugere que as medidas usadas podem ter validade de critério, além da validade de construto anteriormente mencionada. Pode também sugerir que os participantes, seus supervisores e colegas escolhidos compartilham opiniões muito similares, quanto aos impactos do Projeto relatados.

Os impactos dos casos pilotos diferem dos impactos somente dos treinamentos?

Testes T para amostras independentes foram utilizados, a fim de comparar as opiniões sobre impacto entre participantes de Cuba, Costa Rica, Panamá e Venezuela e os participantes dos outros países da América Latina e do Caribe.

Os resultados dos testes T revelaram 39 diferenças estatisticamente significativas (p < 0,05) dentre 85 comparações (45,8%). Em todas estas diferenças significativas, os impactos avaliados pelos participantes de casos pilotos são maiores que aqueles sendo avaliados pelos participantes dos outros países. Portanto, os impactos de treinamento foram incrementados nos casos pilotos; dando apoio a outras pesquisas que demonstraram que a presença de suporte ou clima para a transferência pode ser preditora extremamente importante de impacto de treinamento no trabalho (Lima, Borges-Andrade & Vieira, 1989; de Paula, 1992; Roullier & Goldstein, 1993; Oliveira-Castro, 1999; Britto, Lima & Borges-Andrade, 2001). Mas em que dimensões estes efeitos dos casos pilotos foram mais sentidos?

Os efeitos dos casos pilotos foram um pouco mais abrangentes nas dimensões de motivaçãoe ambiente,no nível individual, provavelmente devido ao fato de que nos casos pilotos, as organizações seriam mais "propositadamente inclinadas" às mudanças institucionais e ao fortalecimento de PM&A (por isto teriam se voluntariado como casos-piloto). Além do mais, o Projeto ISNAR forneceu ajuda adicional (visitas e cantatas constantes feitos por seus agentes de mudanças treinados em PM&A, interações intensas e acordos formais assinados com as autoridades do país ou da organização), o que teria assegurado um importante apoio local, político e financeiro aos participantes. Este tipo de suporte à transferência afetaria mais intensamente a motivação dos ex-treinandos (atitudes já desenvolvidas nos treinamentos e que seriam mantidas pela posterior presença dos ex-instrutores), que perceberiam um acompanhamento constante e uma base de apoio psicossocial e material para usar as competências aprendidas, o que igualmente afetaria suas percepções a respeito do seu ambiente de trabalho.

É interessante notar que apenas uma diferença entre os casos pilotos e os demais casos foi encontrada na dimensão de capacidadesno nível individual. Isto significa que todos os participantes teriam recebido um treinamento do Projeto quase idêntico, pelo menos no que tange a "conhecimentos" e "habilidades intelectuais", além de adicionalmente apoiar a hipótese de que as diferenças encontradas nas demais categorias de impacto podem ser atribuídas a outras atividades do Projeto que não são treinamento. Pode também significar que os suportes material e psicossocial providos pelo Projeto teriam condições de apoiar uma manutenção de motivação e de ambiente favoráveis, mas não de promoverem a retenção dos "conhecimentos" e "habilidades intelectuais" (listados nos itens de avaliação como capacidades), adquiridos nos treinamentos.

Em comparação às diferenças significativas anteriores entre casos pilotos e os demais países, um maior número de diferenças significativas (30) foi encontrado no nível organizacional (71% do total testado). Esses resultados sugerem que os efeitos dos casos pilotos foram muito mais abrangentes no nível organizacional do que no individual. Aqui parece não ter ocorrido um fenômeno bottom-up,tendo provavelmente ocorrido simplesmente uma transferência horizontal: do Projeto (enquanto organização) para as organizações dos participantes.

Novamente no nível organizacional, motivaçãoe ambienteforam as dimensões em que os impactos tiveram a maior abrangência nos casos pilotos, o que pode outra vez ser explicado pelas relações proximais anteriormente hipotetizadas. No entanto, não seria justo concluir que os resultados dos casos pilotos se resumam principalmente em mudanças organizacionais na motivaçãoe ambiente,pois em mais da metade dos indicadores de impacto as diferenças encontradas foram significativas. Além do mais, devido ao fato de que os casos pilotos, por ocasião da coleta de dados, eram a mais recente estratégia do Projeto ISNAR, pode ser que o tempo ainda não tinha sido longo o bastante para permitir visualizar grandes efeitos de forma semelhante na capacidade e desempenhoorganizacionais.

Comparando-se os demais países com os casos pilotos, a principal razão para maiores efeitos no nível organizacional pode também ser o fato de que os primeiros foram designados como uma estratégia do Projeto que iria muito além da utilização de treinamento como atividade chave e do fortalecimento de PM&A. O foco dos casos pilotos estava, de fato, no desenvolvimento institucional como sua atividade chave e na sustentabilidade organizacional como o seu maior objetivo. Consideradas as diferenças já encontradas, parece razoável afirmar que a estratégia dos casos pilotos estaria funcionando bem, mas ainda não teria demonstrado seu potencial total.

O que mais foi ou ainda pode ser alcançado?

O modelo de avaliação e o seu quadro de referência para avaliação institucional foram utilizados minuciosamente no presente estudo, através da coleta de dados sobre os impactos relacionados ao ambiente, motivação, capacidade e desempenho.No entanto, os questionários coletaram também dados sobre produtos, metas alcançadas, mudanças em pesquisa agropecuária e contribuições presentes e futuras do Projeto ISNAR. Estes serão descritos na presente subseção.

Um dos produtos esperados do Projeto era a multiplicação de capacidades na América Latina e Caribe. Participantes de workshopsforam treinados e avisados que se esperava que treinassem outros. Do total de respondentes, 55% treinaram outras pessoas. A maioria deles organizou em média 4,4 eventos de treinamento, para 79 treinandos, com uma duração de 8,7 dias. Aproximadamente metade destes também participou de uma média de 3,7 eventos organizados por outros, para 63 treinandos, com uma duração de 7,1 dias. Como um todo, dado um total de 116 respondentes na questão específica, 57 destes treinaram um total de 4.425 indivíduos em eventos que eles organizaram e 41 deles treinaram 2.445 indivíduos em eventos organizados por outros.

Os questionários do estudo (para participantes, supervisores e colegas) apresentaram aos respondentes um conjunto de nove metas centrais esperadas do Projeto. Para cada uma destas nove metas alcançadas, os respondentes deveriam responder "sim" ou "não". A fim de comparar as proporções destas respostas binárias dos três tipos de respondentes, nove testes de Cochran Q foram feitos.

Os resultados destes testes revelaram oito casos em que a hipótese nula foi aceita (p < 0,05). Somente o item de "desenvolvimento de um planejamento estratégico" teve diferenças estatísticas significativas entre. participantes, por um lado, e supervisores e colegas por outro. Neste caso, os participantes são surpreendentemente menos otimistas que seus supervisores e colegas, em relação a reconhecer que o Projeto facilitou o desenvolvimento de um plano estratégico. Isto pode ser explicado pelo fato do Projeto ter ensinado com sucesso aos participantes como reconhecer um "bom" planejamento estratégico. Portanto, eles tenderiam a ser muito mais rigorosos que seus supervisores e colegas não treinados para afirmarem que o planejamento estratégico foi efetivamente desenvolvido na sua organização. A triangulação entre questionários demonstrou assim que a maioria das metas alcançadas é reconhecida por proporções equivalentes de diferentes tipos de respondentes. Quando suas avaliações diferem, os participantes são avaliadores mais conservadores do que seus supervisores e colegas.

Os participantes também foram perguntados se sabiam de casos de pessoas treinadas pelo Projeto que tivessem melhorado o sistema de PM&A e, como conseqüência, tivessem contribuído para mudar a pesquisa agropecuária. Para quatro itens, os respondentes tiveram que responder "sim" ou "não". A fim de comparar as proporções destas respostas binárias, quatro Quiquadrados foram calculados. Diferenças estatísticas foram encontradas para todas as comparações:

• Uma proporção maior de relato dos respondentes de evidências de mudançasem pesquisa;

• Uma proporção maior de relato deles de mudanças produzidas na agenda de pesquisar;

• Mas uma proporção menor de relato deles quanto a mudanças produzidas nos resultados das pesquisas e impactos de pesqui sa no nível de campo.

A conclusão, neste caso, é que o Projeto tem promovido mudanças significativas na pesquisa agropecuária, mas que estão ainda limitadas às mudanças internas, quando comparadas aos produtos e mudanças externos.

Quando foi perguntado aos participantes se o Projeto está contribuindo para os principais objetivos de suas organizações, 42% avaliaram-no como uma contribuição moderada e 28% como uma contribuição grande. Menos de 10% avaliaram-na como sendo muito pequena ou muito grande. O escore médio é 3,42 (impacto moderado a grande). Dificilmente seria esperado que o Projeto em si contribuísse mais que isso, pois não é a única estratégia que pode contribuir para os objetivos de uma organização. Além do mais, é uma estratégia "de fora", no sentido de ter sido fornecida por uma organização externa.

 

4. Conclusão

O presente trabalho demonstrou que é possível utilizar uma metodologia de avaliação de impacto, tomando como base um modelo de avaliação institucional. Quando esta metodologia é utilizada, coletando-se dados de participantes de treinamentos, seus superiores e colegas, emergem poucas diferenças entre as avaliações feitas por eles.

Quanto aos impactos, eles foram maiores no nível individual do que no organizacional. Nesses dois níveis, melhores avaliações foram obtidas na dimensão motivacional, seguidas das avaliações sobre as capacidades. Em menor grau, foi detectado impacto no desempenho e, por último, no ambiente dos indivíduos e das organizações. A utilização de um quadro de referências articulando aquele modelo de avaliação institucional com os modelos tradicionais de avaliação de impacto de treinamento e com uma abordagem multinível possibilitou uma maior riqueza de interpretações para os resultados.

Tanto os treinamentos isolados, como os que foram combinados com uma estratégia de suporte ao desenvolvimento institucional, revelaram-se capazes de produzir impactos. No entanto, nos quatro países em que esta combinação foi realizada, verificou-se um aumento significativo dos efeitos dos treinamentos. Deste modo, foram fortalecidos os argumentos dos autores que têm discutido a necessidade de serem levadas em conta as variáveis de suporte ou clima para transferência, ao serem estudados impactos em indivíduos e em organizações.

Algumas importantes limitações metodológicas do presente estudo referem-se aos fatos de que se baseou em percepções de impactos, o retorno dos questionários foi pequeno e os grupos comparados não foram aleatoriamente distribuídos sob as distintas condições investigadas.

 

Referências

BIRDI, K. The Bigger Picture: identifying the factors influencing training effectiveness. Mimeo. Apresentado no Seminário Working to Learn, em 29 de março de 2000. Sheffield, UK: ESRC/University of Sheffield, 2000.        [ Links ]

BORGES-ANDRADE, J. E. Avaliação somativa de sistemas instrucionais: integração de três propostas. Tecnologia Educacional,v.11 n.46, 1982, pp. 29-39.        [ Links ]

BORGES-ANDRADE, J. E.; DEBELA, S.; LUSTHAUS, C.; MACKAY, R.; SMUTYLO, T. ISNAR Achievements, Impact and Constraints 1991-1996: Final Report.The Hague, Holanda: International Service for National Agricultural Research (ISNAR), 1996.        [ Links ]

BORGES-ANDRADE, J. E. & OLIVEIRA-CASTRO, G. A. Treinamento e Desenvolvimento: reflexões sobre suas pesquisas científicas. Revista de Administração (USP),v.31 n.2, 1996, pp. 112-125.        [ Links ]

BORGES-ANDRADE, J. E. & SIRI, C. Impacts of the PM&E Project's Training. Em HORTON, D; MACKAY, R; ANDERSON, A; DUPLEICH, L. (Org.). Evaluating Capacity Development in Planning, Monitoring, and Evaluation.The Hague (Holanda), v CDRom, Anexo, 2000, pp. 1-102.        [ Links ]

BRITTO, M. J. P., LIMA, S. M. V. & BORGES-ANDRADE, J. E. Avaliação de impacto de treinamento na área de reabilitação: preditores individuais e situacionais. Revista de Administração (USP),São Paulo, v.36 n.2, 2001, pp. 46-56.        [ Links ]

GAGNÉ, R. M. The conditions of learning.New York: Rinehart & Winston, 1977.        [ Links ]

HAMBLIN, A. C. (1978). Avaliação e controle do treinamento.São Paulo:McGraw-Hill do Brasil, 1978.        [ Links ]

KLEIN, K. J. & KOSLOWSKI, S. W. J. (2000). Multilevel theory, research and methods in organizations: foundations, extensions, and new directions.San Francisco: Jossey-Bass, 2000.        [ Links ]

KIRKPATRICK, D. L. Evaluation of training. Em CRAIG, R. L. (Org.), Training and Development Handbook.New York:McGraw-Hill, 1976, pp. 18. 1-18. 27.        [ Links ]

KOSLOWSKI, S. W. J.; BROWN, K; WEISSBEIN, D.; CANNON-BOWERS, J. A. & SALAS, E. A multilevel approach to training effectiveness: enhancing horizontal and vertical transfer. In: KLEIN, K.; KOSLOWSKI, S. W. J. (Ed.), Multilevel Theory, Research and Methods in Organization.San Francisco: Jossey-Bass, 2000.        [ Links ]

LIMA, S. M. V. BORGES-ANDRADE, J. E. & VIEIRA, S. B. A. Cursos de curta duração e desempenho em instituições de pesquisa agrícola. Revista de Administração (USP),v.24 n.2, 1989, pp. 36-46.        [ Links ]

LUSTHAUS, C., ANDERSON, G. & MURPHY, E. Institutional assessment a framework for strengthening organizational capacity for IDRC's research partners.Ottawa: lnternational Development Research Centre (IDRC), 1995.        [ Links ]

OLIVEIRA-CASTRO, G. A. Um modelo integrado de avaliação do impacto do treinamento no trabalho - IMPACT.Tese de Doutorado. Instituto de Psicologia: Universidade de Brasília, 1999.        [ Links ]

DE PAULA, S. M. A. Variáveis preditoras de impacto de treinamento no trabalho: análise da percepção dos treinandos de duas organizações.Dissertação de Mestrado. Instituto de Psicologia: Universidade de Brasília, 1992.        [ Links ]

ROULLIER, J. Z. & GOLDSTEIN, I. L. The relationship between organizational transfer climate and positive transfer of training. Human Resource Development Quarterly,v.4 n.4, 1993, pp. 377-390.        [ Links ]

 

 

1 Projeto promovido e apoiado pelo ISNAR (Intemational Service for Natianal Agricultural Research, com sede em Haia, Holanda). Bolsas de Iniciação Cientifica, Aperfeiçoamento em Pesquisa e Produtividade em Pesquisa do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Pesquisa no âmbito do PRONEX/CNPq.