por Luiz Antonio JoiaI e Mário de Figueiredo Cunha da CostaII
5. Comparação de resultados
A comparação dos casos apresentados neste artigo identifica as efetivas causas para o atingimento ou não dos objetivos dos programas, de modo a permitir a inferência dos fatores-chave de sucesso para a implementação de programas de treinamento corporativos a distância baseados na web.
Primeiramente, é fundamental salientar uma diferença básica identificada na montagem de cada um dos programas de treinamento. O "programa A' foi precedido de uma fase inicial de planejamento que procurou identificar as melhores práticas, metodologias e referencial teórico para a sua implementação, considerando, assim, suas características específicas. Conforme apresentado no referencial teórico deste artigo, o planejamento prévio, em especial a determinação dos objetivos, pode ser identificado como um dos fatores-chave de sucesso para os programas de treinamento (Dick e Carey, 1996; Kay, Dodd e Sime, 1970; Mager, 1972; Sancho, 1998). Mais especificamente, para os programas de treinamento a distância, é necessário avaliar os objetivos do programa, as teorias de aprendizado que podem ser utilizadas e, por fim, as tecnologias que podem ser aplicadas na sua construção (Wilhelmsen, Åsmul e Meistad, 1998).
Além desses fatores, a análise das características dos programas de treinamento segundo o modelo de Reeves e Reeves (1997) ajuda a identificar outros fatores-chave de sucesso desse tipo de empreendimento. Apesar de o modelo teórico não poder ser utilizado para avaliar se um determinado conjunto de características é melhor do que outro para um determinado programa de treinamento, a análise de algumas das diferenças encontradas na comparação dos programas aqui analisados contribui para a identificação desses fatores.
Primeiramente, é necessário analisar as diferenças apontadas pelos gestores e usuários quanto ao atingimento dos objetivos do programa de treinamento. Na avaliação dos gestores do "programa A", os objetivos foram plenamente atingidos, e a avaliação geral do programa foi classificada como "muito boa". Já na avaliação dos gestores do "programa B", os resultados não foram atingidos, e o programa acabou por ser reestruturado. Na comparação da avaliação dos gestores, portanto, fica clara a diferença no grau de atingimento dos objetivos entre os dois programas.
Para analisar a diferença de percepção dos usuários, é necessário avaliar a diferença das médias das notas atribuídas por eles a cada um dos programas. A média da avaliação (de 0 a 10) quanto ao atingimento dos objetivos dos usuários do "programa A' foi 8,50 (s = 1,32; n = 32), enquanto a dos usuários do "programa B" foi 4,52 (s = 1,15; n = 31). Essa diferença nas médias das avaliações parece corroborar a opinião dos gestores dos programas. É necessário, no entanto, realizar um teste estatístico de comparação das médias das amostras correspondentes a cada programa (teste t) para verificar se elas podem, efetivamente, ser consideradas diferentes a determinado nível de significância.
A tabela 1 apresenta o resultado do teste de comparação das médias das avaliações dos usuários de cada um dos programas analisados quanto ao atingimento dos objetivos.
A partir dos resultados apresentados na tabela 1 constata-se que, com 95% de confiança, existe uma diferença significativa entre as médias da avaliação dos usuários quanto ao atingimento dos objetivos dos programas de treinamento. Além disso, observando que o intervalo de confiança é positivo, é possível determinar que a média do "programa A' é maior que a média do "programa B" (Sincich, 1995:532).
A partir da análise comparativa das médias das avaliações dos usuários de cada programa e da constatação da similaridade dessa avaliação com a opinião dos seus respectivos gestores, pode-se efetivamente afirmar que, em termos de objetivos atingidos, o "programa A' teve resultados melhores que o "programa B".
A partir da determinação desse fato, pode-se buscar a identificação dos fatores que influenciaram esses resultados, segundo o modelo proposto neste artigo. Para isso, foram analisadas as médias das avaliações de cada uma das dimensões do modelo de Reeves e Reeves (1997), procurando identificar quais delas efetivamente influenciaram os diferentes resultados obtidos.
Analogamente, nas dimensões onde existe uma diferença significativa entre a média da amostra de cada programa de treinamento, pode-se considerar a dimensão como tendo papel influente no resultado do atingimento dos objetivos. A tabela 2, a seguir, apresenta a comparação das médias para cada uma das dimensões do modelo de Reeves e Reeves (1997).
Como pode ser observado a seguir, com 95% de confiança, as dimensões filosofia pedagógica e flexibilidade estrutural não são estatisticamente diferentes entre os casos analisados, podendo, dessa forma, ser descartadas da análise dos fatores críticos de sucesso. A partir desse resultado, foi realizada uma regressão linear múltipla do atingimento dos objetivos (variável dependente) em relação às oito dimensões que apresentaram médias significativamente diferentes (variáveis independentes), para se verificar quais variáveis poderiam ser consideradas como efetivamente influentes nos resultados obtidos. É importante salientar que essa regressão linear não objetiva a previsão do resultado de outros programas a partir das dimensões do modelo de Reeves e Reeves (1997), mas sim verificar a influência das variáveis nos resultados dos programas analisados.
A tabela 3 apresenta o sumário do modelo estatístico obtido para essa regressão.
Este resumo comprova a validade da utilização das oito dimensões indicadas (predictors) para a previsão do atingimento dos objetivos para os casos estudados (no resumo, a coluna R representa o coeficiente de correlação e a coluna R2 o coeficiente de determinação). Pelos dados apresentados, pode-se afirmar que aproximadamente 70% do resultado da variável atingimento dos objetivos são explicados pelas dimensões incluídas na regressão.
A partir da verificação da validade desse modelo, deve-se verificar cada um dos seus coeficientes (correspondentes às dimensões do modelo incluídas), de modo a determinar quais são efetivamente influentes na determinação do atingimento dos objetivos. A tabela 4 apresenta o resumo das estatísticas relacionadas aos coeficientes nesse modelo de regressão.
Observando os resultados apresentados na tabela 4, nota-se que com 95% de confiança, as dimensões teoria de aprendizado, orientação das tarefas, papel do professor, aprendizado colaborativo e sensibilidade cultural não apresentam evidências de relação linear significativa com o atingimento dos objetivos.
Um dado importante, também apresentado na tabela 4, é a verificação da eventual multicolinearidade das variáveis deste modelo de regressão. A coluna FIV (fator de inflação da variância) indica que o modelo não apresenta multicolinearidade, já que os valores para cada uma das variáveis são menores que 10 (Hair Jr. et al., 1998:193).
Para corroborar os resultados desta regressão múltipla quanto à falta de evidências da relação linear das dimensões teoria de aprendizado, orientação das tarefas, papel do professor, aprendizado colaborativo e sensibilidade cultural, foi realizada uma regressão linear simples de cada uma dessas variáveis com o atingimento dos objetivos. A tabela 5 apresenta o resumo dos modelos das quatro regressões simples.
Como pode ser observado pela análise do coeficiente de correlação (coluna R) e do coeficiente de determinação (coluna R2) dos modelos de regressão simples, essas variáveis efetivamente não apresentam uma forte relação com a variável atingimento dos objetivos (R2 menor que 0,3).
Por fim, uma última análise estatística deve ser realizada. Analisando o resultado da regressão linear múltipla das três variáveis selecionadas como fatores influentes no atingimento dos objetivos dos programas de treinamento (orientação dos objetivos, fonte de motivação e suporte metacognitivo), observa-se que este último modelo é similar ao modelo de regressão múltipla anterior, que considerava oito variáveis. A tabela 6 apresenta o resumo desse modelo.
6. Considerações finais
A partir dos testes estatísticos de comparação de médias e da verificação de relação linear das dimensões do modelo de Reeves no atingimento dos objetivos, pode-se chegar à conclusão que as dimensões especialmente influentes e que caracterizaram mais fortemente o resultado dos programas de treinamento analisados são a orientação dos objetivos, a fonte de motivação e o suporte metacognitivo.
As baixas médias observadas para a dimensão orientação dos objetivos (2,94 para o "programa A' e 1,58 para o "programa B") indicam que os objetivos dos dois programas eram mais específicos do que genéricos.
Pela falta de uma definição formal acerca dos objetivos do "programa B", foi constatado nas entrevistas com cinco usuários do mesmo, que eles percebiam objetivos diferentes entre si, o que parece ter contribuído para o não-atingimento dos objetivos do programa. Por outro lado, no caso do "programa A', os objetivos estavam claramente definidos para os usuários, de modo que houve congruência de percepção pelos usuários.
Com média de 1,06, o "programa B" praticamente não implementa suporte metacognitivo, enquanto o "programa A', com média 3,00, apresenta um certo nível de implementação. Novamente recorrendo a dados coletados em entrevistas informais, usuários do "programa B" afirmaram que não existia uma ferramenta para o acompanhamento, pelo estudante, de seu progresso ao longo dos diferentes cursos oferecidos.
Ainda sobre o suporte metacognitivo, a própria descrição dos gestores das facilidades oferecidas aos usuários pelo "programa B" (que se resumiam ao acesso via intranet e a questionários de múltipla escolha) demonstra e atesta a falta de meios para que os usuários desse programa pudessem avaliar de forma contínua suas estratégias de aprendizado.
O "programa A", por outro lado, efetivamente oferecia algumas oportunidades para que os usuários realizassem esse tipo de avaliação. A ferramenta sobre a qual foi construído o programa de treinamento a distância permitia que os usuários acompanhassem os resultados obtidos em cada etapa do programa, o percentual já utilizado do tempo total estimado para completar o curso, e o tempo total estimado para a conclusão de cada etapa. Além disso, o "programa A' permitia que os próprios usuários marcassem os conteúdos recomendados como já utilizados, ajudando-os a manter o controle sobre o processo de aprendizado.
Por fim, a avaliação dos usuários do "programa B", com relação à dimensão fonte de motivação, apresentou média de 1,26, indicando que a motivação dos estudantes era eminentemente extrínseca. Ainda que os resultados do "programa A" também apontem para esse extremo do continuum (média 2,41) fica claro que, nesse último caso, existe ao menos alguma motivação intrínseca referente ao programa de treinamento em si. Também é fundamental recordar que existe uma motivação prévia de seus usuários, uma vez que estes haviam sido recentemente promovidos a um cargo gerencial. Dessa forma, pode-se considerar que os usuários do "programa A' estavam motivados, se não a partir do curso em si, ao menos com a empresa e com suas carreiras, informação confirmada pela entrevista realizada junto a cinco dos usuários desse programa de treinamento.
Os usuários do "programa B", por outro lado, pareciam não possuir qualquer motivação para participar do programa de treinamento, a não ser a sua natureza compulsória. Essa falta de motivação também foi confirmada nas entrevistas realizadas com os cinco usuários do programa, que atestaram, por exemplo, que "só participavam do curso porque eram obrigados a fazê-lo".
Assim, da análise do referencial teórico e da comparação dos dois casos estudados, podem ser considerados fatores-chave de sucesso para a implementação de programas de treinamento corporativos a distância via web:
- a definição clara do conteúdo, público-alvo e objetivos do programa de treinamento;
- a motivação dos usuários;
- a implementação no ambiente web de um nível adequado de suporte metacognitivo.
É interessante observar que os resultados corroboraram as idéias de Ertmer e Newby (1993) de que a seleção de uma abordagem de aprendizado específica não representa por si só um fator crítico de sucesso para o treinamento. Além disso, a verificação de que essa dimensão não influenciou diretamente o resultado obtido por cada um dos programas analisados (uma vez que os dois programas possuíam características behavioristas), é coerente com a proposição do modelo de Reeves e Reeves (1997), no sentido de que ele não pretende defender que programas mais behavioristas ou mais construtivistas sejam, necessariamente, melhores do que outros.
Também é relevante salientar que a comprovação da importância da orientação dos objetivos apontada na análise comparativa dos casos é coerente com o apresentado no referencial teórico deste artigo, que aponta a importância da definição clara dos objetivos para os programas de treinamento (Kay, Dodd e Sime, 1970; Mager, 1972; Dick e Carey, 1996; Sancho, 1998).
Por outro lado, a possibilidade de recapitulação das estratégias dos estudantes em qualquer ponto do processo de resolução de problemas é fundamental para que o suporte metacognitivo esteja presente em programas de treinamento baseados na web, como realmente atestam Campbell e outros (2000).
Adicionalmente, comprovou-se que a motivação é um fator primário em qualquer teoria ou modelo de aprendizado, com o qual também corroboram Carroll (1968) e Amabile (1993).
É importante salientar que não existe um modelo ou uma fórmula única para garantir o sucesso dos programas de treinamento corporativos a distância. Cada empresa e cada programa de treinamento é um problema único, com características específicas que devem ser observadas, para que seja possível adotar as estratégias corretas e atingir os objetivos desejados. No caso do "programa A", por exemplo, foi considerado imprescindível pelos idealizadores do programa a realização de uma classe presencial logo após a fase de treinamento a distância, como forma de consolidar os conceitos apresentados ao longo da primeira fase do curso.
Dessa forma, este artigo atingiu seu objetivo que foi identificar os critérios de sucesso na construção de programas de treinamento corporativos a distância via web, a partir dos dois estudos de casos analisados. A figura que ilustra o artigo demonstra, de forma resumida, a inter-relação e a influência dos fatores críticos de sucesso para a elaboração de programas de treinamento a distância via web, segundo os resultados obtidos nessa pesquisa.
Como sugere a figura, os três fatores de sucesso derivados das inferências das avaliações baseadas no modelo de Reeves e Reeves (1997) fornecem a base de sustentação para a seleção da teoria de aprendizado que será utilizada, para a determinação das estratégias de design instrucional e para a seleção de tecnologias para sua implementação. Esses fatores, por sua vez, são a base para o programa de treinamento em si. É também importante notar que o modelo todo possui retroalimentação, ou seja, os fatores interagem entre si ao longo do ciclo de vida do programa de treinamento.
Este artigo não pretendeu ser um tratado definitivo sobre o tema em questão. O assunto merece, certamente, mais estudos. Pesquisas envolvendo um número maior de empresas e focando em cada um dos aspectos específicos do processo de criação de programas de treinamento a distância via web poderiam, certamente, revelar outros fatores importantes e contribuir para que os programas de treinamento a distância via web das grandes empresas possam ser aprimorados e seus benefícios efetivamente medidos.
Além disso, permanece em aberto a trilha de pesquisa que visa avaliar o return on training (ROT) de treinamentos corporativos a distância na web, que, se medido, permitiria às empresas compreender a real eficácia e impacto de programas dessa natureza na sua performance corporativa.
Referências bibliográficas
ABUHEJLEH, A. New ways of thinking about multimedia and online teaching in higher education. 2002. University of Wisconsin. Disponível em: <www.cs.uni.edu/~ fienup/mics_2002/proceedings/papers/ABUHEJLE.pdf>. Acesso em: jul. 2005.
AMABILE, T. Motivating creativity in organizations. California Management Review, v. 40, n. 1, p. 39-58, Fall 1993.
BATES, A. W. Technology, open learning and distance education. London and New York: Routledge, 1995.
CAMPBELL, D. M. et al. Portfolio and performance assessment in teacher education. New York: Allyn & Bacon, 2000.
CAREY, T. et al. Effectiveness of learning technologies: the costs and effectiveness of technology-based approaches to teaching and learning. Ontario: University of Guelph, 1998.
CARROLL, J. B. On learning from being told. Educational Psychologist, n. 5, p. 4-10, 1968.
CLARK, R. E. Reconsidering research on learning from media. Review of Educational Research, v. 53, n. 4. p. 445-459, 1983.
COLE, E Constructivism revisited: a search for common ground. Educational Technology, v. 32, n. 2, p. 27-34, 1992.
DICK, W.; CAREY, L. The systematic design of instruction. New York: HarperCollins Publisher, 1996.
DUFFY, T.; JONASSEN, D. H. Constructivism and the technology of instruction: a conversation. Hillsdale, NJ: Lawrence Erlbaum, 1992.
EISENHARDT, K. M. Building theories from case study research. Academy of Management Review, v. 14, n. 4, p. 532-550, 1989.
ERTMER, E A.; NEWBY, T. J. Behaviorism, cognitivism, constructivism: comparing critical features from an instructional design perspective. 1993. Disponível em: <http://vcs.ccc.cccd.edu/crs/special/ertnewl.htm>. Acesso em: set. 2005.
HAIR JR., J. F. et al. Multivariate data analysis. 5. ed. Upper Saddle River, NJ: Prentice Hall, 1998.
JOIA, L. A. Evaluation of hybrid socio-construtivist model for teacher training. Journal of Technology and Teacher Education, v. 9, n. 4, p. 519-549, 2001.
KAY, H.; DODD, B.; SIME, M. Iniciação à instrução programada e às máquinas de ensinar. São Paulo: Ibrasa, 1970.
KLINE, R. B. Principles and practice of structural equation modeling. New York: The Guilford Press, 1998.
MAGER, R. F. Objetivos para o ensino efetivo. Rio de Janeiro: Senai, 1972.
MARTIN, K. WBI or not WBI? Issues of Teaching and Learning, v. 4, n. 7, Aug. 1998. Disponível em: <www.catl.uwa.edu.au/NEWSLETTER/issue0798/dimensions. html>. Acesso em: set. 2005.
MERRIAM, S. B. An update on adult learning theory. San Francisco: Jossey-Bass, 1993.
MORRA, L.; FRIEDLANDER, A. C. Case study evaluations. Operations Evaluation Department, Working Paper Series n. 2, World Bank, May 1999.
PAPERT, S. The children's machine: rethinking school in the age of the computer. New York: Basic Books, 1993.
PENUEL, B.; ROSCHELLE, J. Designing learning: cognitive science principles for the innovative organization. Menlo Park, CA: Center for Technology in Learning. SRI International, 1999.
PIAGET, J. The origins of intelligence in children. New York: International Universities Press, Inc., 1952.
POWELL, G. C. Are you ready for WBT? 2000. Wayne State University. Disponível em: <http://it.coe.uga.edu/itforum/paper39/paper39.html>. Acesso em: set. 2005.
REEVES, T. C. Evaluating what really matters in computer-based education. 1996. Georgia University. Disponível em: <www.educationau.edu.au/archives/cp/reeves. htm>. Acesso em: set. 2005.
_____. A model of the effective dimensions of interactive learning on the world wide web. 1997. Georgia Unversity. Disponível em: <http://it.coe.uga.edu/~treeves/ WebPaper.pdf>. Acesso em: set. 2005.
_____. A model to guide the integration of the WWW as a cognitive tool in the K-12 education. 1999. Georgia University. Disponível em: <http://it.coe.uga.edu/~ treeves/AERA99Web.pdf>. Acesso em: dez. 2005.
_____; REEVES, M. Effective dimensions of interactive learning on the world wide web. In: KHAN, B. (Ed.). Web-based instruction. Englewood Cliffs, NJ: Educational Technology Publications, 1997.
RIEBER, L. P. Computer-based microworlds: a bridge between constructivism and direct instruction. Educational Technology Research and Development, v. 40, n. 1, p. 93-106, 1992.
ROSEMBERG, M. J. E-learning — strategies for delivering knowledge in the Digital Age. New York: McGraw-Hill, 2001.
SANCHO, J. M. Para uma tecnologia educacional. Porto Alegre: ArtMed, 1998.
SKINNER, B. F. Technology of teaching. New York: Meredith Publishing, 1968.
SINCICH, T. Business statistics by example. New Jersey: Prentice Hall, 1995.
UNIVERSITY OF DAYTON. Beginning instructional design. 2003. Williams e-Learning Lab. Disponível em: <http://academic.udayton.edu/elearning/onlineTraining/ InstructionalDesign/>. Acesso em: fev. 2005.
WILHELMSEN, S.; ÅSMUL, S. I.; MEISTAD, Ø. Psychological theories; a brief survey of the changing views of learning. 1998. Disponível em: <www.uib.no/People/sinia /CSCL/web_struktur-4.htm>. Acesso em: fev. 2005.
YIN, R. K. Case study research: design and methods. 2. ed. California: Sage Publications, 1994.
___________________________________
Artigo gentilmente cedido pela Revista de Administração Pública - RAP da Fundação Getúlio Vargas - FGV.
Publicado originalmente em: Rev. Adm. Pública v.41 n.4 Rio de Janeiro jul./ago. 2007.
IDoutor em ciências em engenharia de produção e mestre em ciências em engenharia civil pela Coppe/UFRJ, mestre em management studies pela Oxford University e engenheiro de fortificação e construção pelo Instituto Militar de Engenharia (IME). Professor da Ebape/FGV e da Faculdade de Engenharia da Uerj.
IIMestre em administração pela Ebape/FGV Projetista de sistemas sênior na IBM.
.
Ler parte 2.
