Avaliação de resultados na educação internacional envolve planejamento e equipes intrainstitucionais

Devido à tendência crescente na prestação de contas do ensino superior, muitas instituições pós-secundárias estão agora mensurando os resultados de aprendizagem dos alunos relacionados com o aspecto global ou intercultural dessa aprendizagem. No entanto, é necessário um olhar mais atento em direção a esses esforços de avaliação, os quais, embora crescendo em popularidade, nem sempre são bem projetados, executados de forma eficaz ou alavancados até seu máximo efeito.

 

Muitas vezes, instituições envolvidas na avaliação de resultados no âmbito da educação internacional fazem o seguinte: incumbem uma pessoa ou gabinete para que "faça a avaliação"; usam apenas uma ferramenta de avaliação (geralmente do tipo pré/pós); usam uma ferramenta em particular porque outra universidade ou todas as universidades em um determinado grupo estão usando. Às vezes, podem até desenvolver sua própria ferramenta, mas com frequência abstendo-se de verificá-la quanto a confiabilidade ou validade.

 

Demasiadas vezes o esforço de avaliação é uma ideia que já chega atrasada ou um mero esforço ad hoc, sem trabalho suficiente na fase de planejamento, sem objetivos claramente articulados ou declarações de resultados esperados e sem um plano de avaliação em vigor. Além disso, a instituição ou curso pode simplesmente arquivar os dados que recolhe, alegando ter feito a avaliação, finalizando o processo nisso mesmo, e repetir esse ciclo nos anos seguintes, desde que haja financiamento ou pessoal disponível. Os dados de avaliação raramente são fornecidos de volta aos alunos para sua própria aprendizagem e desenvolvimento contínuos, cruciais na aprendizagem intercultural. Nós delineamos a seguir alguns princípios para assegurar a garantia da qualidade da prática de avaliação de resultados da aprendizagem dos alunos em educação internacional.

 

Um plano de avaliação descreve não só o que será medido e como os dados serão coletados, mas também detalhes sobre quem estará envolvido, cronograma, detalhes de implementação e como os dados serão utilizados e comunicados. Este último ponto é crucial: deve haver um uso para os dados. Um roteiro

Instituições de ensino superior que aderem a esforços de avaliação muitas vezes começam por perguntar: "Qual ferramenta devemos usar?" Embora isso possa parecer um ponto lógico de início, é importante primeiro questionar: "O que nós queremos medir?" Essa questão vai levar a um exame mais detalhado da declaração de missão institucional e dos objetivos. São eles que determinam os instrumentos de avaliação adequados. Ao considerar uma agenda de avaliação para um curso – ou qualquer iniciativa – de educação internacional, é útil dar um passo atrás e refletir sobre as três perguntas seguintes, para ajudar a criar um roteiro de avaliação (assessment road map): (1) Para onde vamos? (missão / objetivos); (2) Como é que vamos chegar lá? (objetivos / resultados); e (3) Como saberemos quando chegamos? (evidências). Possivelmente, a evidência de sucesso do aluno vai além dos números (os outputs), em direção às percepções de aprendizagem (evidências indiretas, como por meio de pesquisas ou levantamentos) e à aprendizagem real (evidência direta da aprendizagem, como os trabalhos que desenvolveu, disponíveis em portfólios online) . O alinhamento crucial de missão, metas e resultados naturalmente aponta para quais ferramentas / métodos são necessários para recolher evidências de que os resultados desejados foram alcançados.

 

A avaliação eficaz envolve uma equipe intrainstitutional de todas as partes interessadas, composta não só de especialistas internacionais de educação, mas também peritos em avaliação, alunos, professores e outras pessoas que têm uma participação nos resultados de educação internacional. Nenhuma ferramenta perfeita

Ferramentas de avaliação devem estar alinhadas com os objetivos declarados e selecionadas com base em "adequação à finalidade", e não por razões de conveniência ou familiaridade. Muitas vezes, as instituições ou cursos buscam a "ferramenta perfeita", que simplesmente não existe, principalmente para a aprendizagem intercultural. De fato, ao avaliar algo tão complexo como aprendizagem global ou o desenvolvimento de competências interculturais, uma rigorosa avaliação envolve o uso de uma abordagem multimétodo e multiperspectiva, que vai além do uso de uma única ferramenta. Além disso, é fundamental que as instituições explorem exaustivamente as ferramentas disponíveis em termos de exatamente o que medem (e não apenas o que dizem medir), a confiabilidade e validade dos instrumentos, a validade da ferramenta em um contexto institucional / programático particular, o embasamento teórico das ferramentas, incluindo quão adequadamente se alinham aos resultados específicos a serem avaliados. As prioridades variam de acordo com cada instituição, por isso não há uma abordagem “tamanho único” quando se trata de instrumentos de avaliação.

 

Quanto a decisões sobre a avaliação na etapa preliminar ("pré") versus fase conclusiva ("pós") de um programa ou curso, uma boa avaliação significa que esforços também estão idealmente integrados em uma programação contínua, evitando a dependência de retratos apenas no início ou somente no final de uma experiência de aprendizagem. Além disso, a avaliação mais significativa e útil de aprendizagem intercultural, sem dúvida, contém um componente longitudinal e fornece feedback aos alunos.

 

Trabalhando a partir do plano

Outro princípio fundamental da boa avaliação é de que os esforços precisam ser holisticamente desenvolvidos e documentados através de um plano. Um plano de avaliação descreve não só o que será medido e como os dados serão coletados, mas também detalhes sobre quem estará envolvido (que precisa ser mais de uma pessoa ou gabinete), cronograma, detalhes de implementação, e como os dados serão utilizados e comunicados. Este último ponto é crucial: deve haver um uso para os dados (ou seja, para feedback dos alunos, a melhoria do programa e em última instância sua justificativa institucional) ou não há necessidade de coletar os dados. Em particular, as equipes não devem coletar e então tentar determinar "o que fazer com eles". Gastar 10% do tempo no início para desenvolver um plano de avaliação e refletir sobre essas questões é tempo bem investido ante os 90% do esforço que vai para a avaliação em si.

 

Um esforço de equipe

Muitas vezes, a avaliação pode parecer muito ampla e difícil, especialmente se apenas uma pessoa ou gabinete/departamento é encarregado de fazê-lo. A avaliação eficaz realmente envolve uma equipe intrainstitutional de todas as partes interessadas, composta não só de especialistas internacionais de educação, mas também peritos em avaliação, alunos, professores e outras pessoas que têm uma participação nos resultados de educação internacional. A liderança sênior e apoio desempenham um papel crítico no sucesso dos esforços de avaliação. Depois de montada, a equipe intrainstitutional prioriza resultados a serem avaliados, realiza uma auditoria de esforços de avaliação já em curso, e adapta esforços de avaliação atuais para alinhá-los com as metas e resultados – não há necessidade de reinventá-los ou sair atrás de novas, e caras, ferramentas.

 

Conclusão

Existem outros princípios de avaliação eficaz que podem incluir a utilização de um grupo de controle, as melhores práticas em termos de amostragem, o uso de estudos longitudinais, e assim por diante. Este artigo delineou alguns princípios como um chamado para a reflexão e discussão sobre o que realmente faz acontecer a avaliação rigorosa de resultados em educação internacional. Ao mesmo tempo em que é recomendável o engajamento de instituições na avaliação de resultados, é sempre importante dar uma olhada mais de perto para a qualidade das avaliações em curso. Questões norteadoras podem incluir: O quão alinhadas estão as ferramentas de avaliação com a missão e os objetivos? (Exatamente o que os métodos medem e por que estão sendo usados?) Há mais que uma ferramenta sendo usada? Existe um plano de avaliação em vigor? Os esforços de avaliação são integrados ao longo de um curso ou programa, sem se restringir às fases pré e pós? Como os dados estão sendo usados​​? Há mais de uma pessoa ou escritório envolvido nos esforços de avaliação? O plano de avaliação em si está sendo revisto regularmente para aprimoramentos?

 

Se as instituições de ensino superior forem realmente sérias quando se trata de internacionalização, avaliação e aprendizagem de seus alunos, tais esforços serão eficazes, resultando em frutos significativos para todos os envolvidos.