Fatores-chave de sucesso no treinamento corporativo a distância via web [parte 2]

por Luiz Antonio Joia^I e Mário de Figueiredo Cunha da Costa^II

3. Método de pesquisa

Para este trabalho de pesquisa, foi adotado o método de estudo de casos múltiplos, como descrito e abordado por Yin (1994).

Estudos de casos são particularmente adequados para responder a perguntas do tipo: "Como?" e "Por quê?", sendo, também, especialmente úteis para geração e construção de teorias, onde poucos dados ou teorias existem (Yin, 1994), o que corresponde à situação em questão. Permitem, também, ao pesquisador, o uso do "oportunismo controlado", de modo a responder, de forma flexível, a novas descobertas feitas quando da coleta de novos dados (Eisenhardt, 1989).

Apesar de predominantemente exploratório, este artigo, ao tentar identificar uma relação causai entre as características dos programas de treinamento analisados e seus respectivos resultados, apresenta, também, características explanatórias. Estudos de casos explanatórios ou causais são úteis para avaliar-se como determinados projetos ou ferramentas estão funcionando e por quê. Verificam se há problemas, se modificações são necessárias e procuram explicar as relações de causa e efeito encontradas. Baseiam-se, fortemente, em observações de dados, entrevistas e material publicado. Necessitam, também, de mais de um site para análise comparativa, o que foi feito pelo estudo de dois treinamentos corporativos na web (Morra e Friedlander, 1999).

É importante notar que os estudos de casos múltiplos devem ser considerados como múltiplos experimentos, seguindo uma lógica de replicação, de modo que se resultados semelhantes são obtidos em todos os casos analisados, pode-se afirmar que os resultados foram replicados, ou que de fato ocorreu replicação (Yin, 1994:45).

Yin (1994:46) salienta que nos estudos de casos múltiplos cada caso deve ser cuidadosamente escolhido, de modo que produzam resultados similares ou contrastantes.

Seguindo essa recomendação, foi selecionada uma empresa (cuja identidade é omitida a pedido) e dois casos de treinamentos na web desenvolvidos por ela, com resultados finais contrastantes.

Um deles, denominado doravante de "programa A", foi considerado um sucesso pelo atingimento dos objetivos. O outro caso analisado envolve um treinamento desenvolvido pela mesma empresa, doravante denominado "programa B", o qual foi considerado um fracasso pela mesma, pelo não-atingimento dos objetivos.

De modo a atender às idéias de Yin (1994) necessárias à validação dos estudos de caso, considerou-se, cuidadosamente, os pontos relevantes para tal, quais sejam: validade da construção, validade interna, validade externa e confiabilidade.

Validação da construção

Para validação da construção, usou-se a tática de múltiplas fontes de dados e procurou-se estabelecer uma cadeia de evidências relativa às questões investigadas. Os próprios registros existentes relativos a esses projetos foram amplamente analisados e entrevistas com alguns dos envolvidos foram também realizadas. Assim, foram conduzidas entrevistas junto aos gestores de cada um dos programas de treinamento analisados. Essas entrevistas tiveram uma natureza "aberta", de modo a não apresentarem padrões previamente estabelecidos. Essa abordagem visou dar maior flexibilidade ao roteiro, permitindo, assim, a melhor exploração dos pontos analisados. Os gestores de cada programa foram identificados junto à empresa analisada, tendo sido apontado um único gestor para o primeiro caso ("programa A") e dois para o segundo caso ("programa B").

Além das entrevistas, foram aplicados questionários aos usuários dos programas de treinamento. Esses questionários visaram obter a sua percepção quanto às características de cada programa de treinamento, de acordo com as dimensões propostas pelo modelo de Reeves e Reeves (1997). Além disso, os usuários também forneceram sua percepção sobre o grau de atingimento dos objetivos propostos pelos programas de treinamento. Em ambos os casos foi usada escala de razão de 0 a 10.

No que tange às dimensões propostas por Reeves e Reeves (1997), o valor mínimo da escala (0) indica que a dimensão segue totalmente o paradigma behaviorista, enquanto o valor máximo da escala (10) indica uma dimensão totalmente associada ao paradigma construtivista. Já o valor máximo da escala (10) para atingimento de objetivo indica a percepção de sucesso absoluto do programa de treinamento, ao passo que o valor mínimo da mesma (0) indica uma total percepção de fracasso do programa de treinamento.

Foi determinado que para garantir a validade estatística das médias das avaliações dos programas de treinamento, cada uma das amostras deveria ter um mínimo de 30 casos, para que se pudesse aplicar o teorema do limite central da estatística (Sincich, 1995:513). Seguindo essa definição, os questionários foram respondidos por 32 usuários do primeiro programa analisado ("programa A") e 31 usuários do segundo ("programa B").

Após a análise inicial dos resultados, entrevistas não-estruturadas foram conduzidas com cinco diferentes usuários de cada programa. Essas entrevistas adicionais buscaram a compreensão e validação dos resultados quantitativos deste artigo, pela busca de dados qualitativos que os esclarecessem e corroborassem.

Validação interna

Segundo Yin (1994:35), a validade interna de um estudo de casos só deve ser uma preocupação do pesquisador quando o estudo tiver natureza causai ou explanatória, isto é, quando o investigador pretende determinar se o evento x levou ao evento y.

Apesar da natureza preponderantemente exploratória deste artigo, a presença de elementos explanatórios torna necessária a descrição dos procedimentos que garantem a sua validade interna.

Para determinar os fatores críticos de sucesso dos programa de treinamento analisados, foi realizada uma análise estatística dos dados obtidos nos questionários preenchidos pelos usuários. Os dados foram inicialmente tratados para eliminação de possíveis outliers, tendo sido usado, como ponto de corte, o valor correspondente a três desvios-padrão de afastamento em relação à média calculada (Kline, 1998:79). Não houve detecção de nenhum outlier no conjunto de dados de trabalho.

A primeira análise realizada visou a comparação da percepção dos usuários sobre o grau de atingimento dos objetivos propostos por cada um dos programas de treinamento, de modo a verificar se as respectivas médias das notas atribuídas pelos usuários poderiam ser consideradas estatisticamente diferentes. Para tanto, foi realizado um teste t com nível de significância de 0,05. Esse teste demonstrou que, segundo a percepção dos usuários, os resultados dos programas de treinamento foram efetivamente diferentes, e que o grau de atingimento dos objetivos do "programa A' foi maior que o grau de atingimento dos objetivos do "programa B", o que foi corroborado pela percepção de ambos os gestores dos programas.

Uma vez determinada a diferença entre o grau de atingimento dos objetivos de cada programa de treinamento, foi realizada uma comparação estatística das médias das percepções dos usuários para cada uma das dimensões do modelo de Reeves e Reeves (1997). Essa comparação também foi realizada utilizando teste t com nível de significância de 0,05, e teve como objetivo identificar as dimensões para as quais não houve diferença significativa de resultado entre os dois programas. Uma vez que já havia sido provado que os dois programas apresentaram diferença nos seus resultados, as dimensões que para ambos os programas não apresentaram diferenças estatisticamente significativas entre si foram descartadas como fatores críticos de sucesso.

Assim, da comparação anterior, foram descartadas duas dimensões do modelo de Reeves e Reeves (1997), restando oito dimensões a serem analisadas. Para isso, foi realizada uma regressão linear multivariada utilizando como variável dependente o grau de atingimento dos objetivos do programa de treinamento e como variáveis independentes as notas atribuídas pelos usuários a cada uma dessas dimensões. Foram analisados os níveis de significância de cada um dos coeficientes associados a cada uma das oito variáveis independentes (cada uma das oito dimensões analisadas), e foram descartados os coeficientes que não apresentavam evidência de correlação linear com a variável dependente (atingimento dos objetivos).

O resultado desse procedimento apontou as três dimensões que efetivamente podem ser consideradas fatores críticos de sucesso para os programas de treinamento analisados.

Por fim, como validação quantitativa final, foi realizada uma regressão linear simples de cada uma das dimensões descartadas no atingimento dos objetivos. Essas regressões simples provaram que realmente não existia correlação linear forte entre essas dimensões e o atingimento dos objetivos.

A partir desses resultados, comparações qualitativas entre a percepção dos gestores e dos usuários foram analisadas, assim como foram realizadas entrevistas adicionais com cinco usuários de cada um dos programas de treinamento.

Validação externa

A validade externa está relacionada com a determinação de se os resultados das descobertas do trabalho podem ou não ser generalizados para outros casos similares não estudados (Yin, 1994:35). Neste artigo, estarão sendo estudados os mesmos fatores para dois casos distintos, numa mesma empresa, de modo a proporcionar validade externa à pesquisa, isto é, permitindo que os seus resultados possam ser aplicados a outros casos na mesma empresa.

Confiabilidade

Para garantir a confiabilidade deste estudo, foi utilizado um protocolo para a documentação dos procedimentos adotados. Além disso, um repositório de dados em formato digital foi criado para o armazenamento de todas as informações obtidas durante a coleta de dados.

Esse repositório contém a tabulação dos dados quantitativos obtidos durante a pesquisa de campo, além do resultado de todas as análises estatísticas efetuadas. Adicionalmente, armazenou-se uma cópia de todo material utilizado no referencial teórico para o qual foi possível obter-se uma versão digital.

Limitações do método

Yin (1994:9) aponta a falta de rigor da pesquisa, a tendenciosidade do pesquisador e a possível falta de base para generalização científica dos resultados e conclusões do estudo como os maiores alvos de crítica do método de estudo de casos. Este artigo, ao utilizar múltiplas fontes de dados, procura minimizar essas possíveis limitações do método. Além disso, o fato de se usar uma única empresa contribuiu consideravelmente para diminuir esses riscos.

Mesmo considerando os procedimentos adotados para mitigar os possíveis problemas de pesquisa, é importante salientar que a extrapolação dos métodos aplicados e das conclusões propostas para outras empresas e programas de treinamento não traz garantias de obtenção dos mesmos tipos de resultados.

Adicionalmente, o uso de um marco teórico específico (Reeves e Reeves, 1997) pode ter trazido limitações ao método de pesquisa adotado. Isto é, o estudo não pode garantir que os fatores críticos de sucesso encontrados sejam os únicos existentes, mas sim aqueles deduzidos a partir do método e do referencial teórico aplicados.

4. Descrição dos casos

A empresa

A empresa analisada é uma multinacional de grande porte da área de tecnologia da informação, contando com mais de 300 mil funcionários, e escritórios em mais de 80 países de todos os continentes. A empresa atingiu em 2003 uma receita total de US$ 85,9 bilhões e um lucro líquido (net income) de US$ 7,6 bilhões.

Com uma presença geográfica tão abrangente, as restrições à implementação de programas de treinamento presenciais corporativos constituem um desafio permanente para a organização. Ao mesmo tempo, devido ao dinamismo dos mercados nos quais está inserida, existe uma grande necessidade de constante atualização tecnológica, de processos e legislação, entre outros temas igualmente relevantes para a execução dos negócios, demandando, assim, a implementação de programas de treinamento.

Nesse contexto foram idealizados e implementados os treinamentos corporativos a distância "programa A" e "programa B".

O caso "programa A"

Considerado um caso de sucesso pela empresa, o "programa A" é um programa de treinamento corporativo a distância, obrigatório a todos os seus gerentes, que são o público-alvo. Qualquer funcionário da empresa, em qualquer país do mundo, ao receber designação gerencial, é automaticamente cadastrado e tem que realizar esse curso no prazo máximo de um ano.

Segundo informações disponibilizadas na intranet da empresa, o "programa A' tem como objetivos ajudar os novos gerentes a construir conhecimentos necessários para promover mudanças, alinhar comportamentos com as novas estratégias corporativas, reduzir a burocracia, enfatizar o foco nos clientes, e inspirar maior performance dos seus subordinados.

Esse programa de treinamento tem duração de nove meses e é composto por três fases distintas, que incluem treinamentos a distância e presenciais. O programa focaliza o desenvolvimento da liderança e é baseado no princípio de que o aprendizado é um processo contínuo ao longo da vida dos profissionais, e não um evento isolado. O "programa A" utiliza diversas tecnologias, entre as quais destaca-se a intranet para prover informações consideradas essenciais aos gerentes da empresa. O programa enfatiza as competências de liderança, estilos gerenciais, clima organizacional e coaching, entre outros aspectos ligados ao gerenciamento de pessoas. O programa inclui também a oportunidade para que o gerente obtenha um feedback de 360 graus em relação às suas habilidades de liderança.

A fase I (laboratório de pré-aprendizagem) é conduzida online, em um formato de treinamento a distância. Essa fase dura de cinco a seis meses, sendo uma atividade individual que requer de 48 a 56 horas do estudo.

A fase II (laboratório de aprendizagem) é uma experiência presencial de cinco dias. O comparecimento ao laboratório de aprendizagem da empresa é condicionado à conclusão bem-sucedida da fase I. Esse laboratório de aprendizagem é realizado no centro de aprendizagem mundial da empresa, nos EUA.

A fase III (laboratório de pós-aprendizagem), como a fase I, é realizada a distância. Essa fase é voltada para a aprendizagem colaborativa, utilizando a intranet da empresa, team room e ferramentas de instant messaging.

Durante todo o curso, um facilitador previamente designado está à disposição dos estudantes para solucionar qualquer dúvida, fornecer esclarecimentos ou ajudar a resolver problemas.

Os objetivos educacionais específicos definidos para o "programa A" são: desenvolver os melhores gerentes da empresa; prover informação e educação rapidamente para os gerentes da empresa; aperfeiçoar e fortalecer a liderança e o gerenciamento de pessoas por meio de e-learning, experiências de campo e coaching; e promover o aprendizado contínuo.

Segundo entrevista realizada junto ao gestor do "programa A", ele é considerado um sucesso, tendo atingido plenamente os seus objetivos.

Trinta e dois usuários do "programa A" responderam ao questionário e, em linhas gerais, avaliaram a experiência proporcionada pelo programa de treinamento como positiva (média de 8,50 com desvio-padrão de 1,32, em escala de razão de 0 a 10), considerando que seus objetivos foram atingidos. Todos os 32 usuários são gerentes da empresa no Brasil.

Essa avaliação por parte dos usuários apresenta resultado compatível com a percepção do gestor, obtida com entrevista, corroborando, assim, o resultado positivo desse programa de treinamento.

O caso "programa B"

O "programa B" surgiu no início de 2000, inicialmente como um esforço para atender os requisitos de disponibilização de informações para os funcionários nos diferentes escritórios da empresa.

A definição e montagem deste programa foram realizadas pela área de TI (tecnologia da informação) da empresa, tendo como premissa básica a utilização da intranet para a disponibilização de conteúdo.

A primeira versão do programa foi composta pela consolidação das diferentes informações já publicadas na intranet, sob um "site único", com um índice único de pesquisa. Para tanto, foi montado um grupo de cinco funcionários provenientes de duas áreas de negócio distintas, para assessorar a área de TI na identificação e categorização das informações.

Uma vez identificadas e categorizadas as informações, a área de TI iniciou a implementação de ferramentas de avaliação e de "guias de uso", de modo a configurar diferentes cursos, categorizados por assunto, que poderiam ser acessados por qualquer usuário da empresa através da intranet. Para tanto, para cada curso a ser implementado, foi identificado um "gestor de programa", que passaria a ser responsável pela montagem das perguntas de avaliação (sempre do tipo múltipla escolha), e teria acesso aos seus resultados.

Não existia um critério preestabelecido para a identificação dos gestores, nem a definição de um perfil desejado para eles. Assim, os gestores foram selecionados, basicamente, de acordo com o conhecimento "técnico" do assunto específico de cada curso, e considerando-se sua disponibilidade para participar do processo. Os gestores selecionados não receberam treinamento específico relativo à montagem de programas de treinamento.

Além da ferramenta de avaliação, a área de TI disponibilizou um conjunto de profissionais especializados na criação de conteúdo multimídia para web (web designers), que poderia ser desenvolvido, por solicitação dos gestores, para enriquecimento do conteúdo de cada curso.

Após um período inicial de testes (com apenas um curso destinado a um grupo específico de usuários), foram disponibilizados três diferentes cursos, dos quais dois enfocavam a definição de processos específicos da empresa, e o terceiro enfocava conteúdo técnico.

Como pôde ser observado pelos pesquisadores durante entrevista realizada junto aos gestores desse programa de treinamento, não existiu uma avaliação prévia de cada curso, dependendo da iniciativa de cada gestor a utilização ou não de teorias educacionais específicas. Aparentemente, acreditava-se que a simples publicação de conteúdo via intranet, possibilitando a consulta em qualquer horário por qualquer funcionário, seria suficiente para o sucesso do programa. Não existia, também, um professor ou facilitador que pudesse ser acessado pelos estudantes ao longo do curso. Eventualmente, os estudantes acessavam o gestor do curso que estavam fazendo, mas ele não desempenhava formalmente esse papel.

O objetivo primário do programa era diminuir os custos relacionados a treinamento, assim como diminuir o tempo de adaptação e capacitação de novos funcionários aos processos e padrões tecnológicos utilizados pela empresa. É importante salientar que, apesar desses objetivos genéricos, a definição clara dos objetivos específicos de cada curso dependia única e exclusivamente de seus gestores.

Depois de pouco menos de um ano de utilização, o programa, não tendo atingido seus objetivos, foi reestruturado.

Segundo entrevista realizada junto aos dois responsáveis pela implementação do programa, utilizando como referência formulário de pesquisa desenvolvido pelos autores, o programa de treinamento não atingiu seus objetivos inicialmente estabelecidos. Os dois gestores tiveram opiniões semelhantes quanto aos resultados obtidos, não deixando dúvidas sobre a avaliação negativa acerca do resultado do programa.

Trinta e um usuários do "programa B" responderam ao questionário e, em linhas gerais, avaliaram a experiência proporcionada pelo programa de treinamento como negativa, considerando que os objetivos não foram atingidos (média de 4,52 com desvio-padrão de 1,15, em escala de razão de 0 a 10). Todos os usuários que responderam ao questionário são funcionários da empresa no Brasil.

Essa avaliação por parte dos usuários apresenta resultado compatível com a avaliação dos seus gestores, corroborando, assim, o não-atingimento dos objetivos por esse programa de treinamento. É interessante ressaltar que, em entrevistas informais conduzidas com cinco usuários após a avaliação inicial dos resultados, foi explicitamente comentada a falta de interesse e motivação, não só para participar do treinamento, mas, também, para propor ou recomendar qualquer mudança que viesse a melhorar o programa.

___________________________________

Artigo gentilmente cedido pela Revista de Administração Pública - RAP da Fundação Getúlio Vargas - FGV.

Publicado originalmente em: Rev. Adm. Pública v.41 n.4 Rio de Janeiro jul./ago. 2007.

^IDoutor em ciências em engenharia de produção e mestre em ciências em engenharia civil pela Coppe/UFRJ, mestre em management studies pela Oxford University e engenheiro de fortificação e construção pelo Instituto Militar de Engenharia (IME). Professor da Ebape/FGV e da Faculdade de Engenharia da Uerj. 

^IIMestre em administração pela Ebape/FGV Projetista de sistemas sênior na IBM. 

Ler primeira parte do artigo.