04/07/2013

revista Ensino Superior nº 10 (julho-setembro)

Estudo europeu cobra mais transparência em rankings de universidades

Relatório da Associação Europeia de Universidades reconhece que rankings vieram para ficar, mas pede metodologias melhores e mais claras

Os principais rankings internacionais de universidades vêm estimulando as instituições a documentar e a quantificar melhor os resultados de seus esforços, mas não são ferramentas adequadas para avaliar os sistemas nacionais de ensino superior e precisam ter mais transparência. Além disso, a inclusão de critérios de reputação tende a criar um efeito de autoperpetuação no topo das listas de melhores escolas. Estas são algumas das conclusões do segundo relatório Global University Rankings and Their Impact, publicado pela Associação Europeia de Universidades (AEU) neste ano. O primeiro trabalho havia sido lançado em 2011.
 
O estudo da AEU avaliou a metodologia e o impacto de rankings como o ARWU, Times Higher Education (THE), QS e Webometrics, além dos produtos derivados dos dados coletados pela agência Thomson Reuters, como os Indicadores Essenciais de Ciência e o Projeto de Perfis Institucionais Globais.
 
O relatório comenta ainda os esforços da União Europeia em estabelecer uma ferramenta de classificação de instituições de educação superior, o projeto U-Map, e um ranking próprio, o U-Multirank, ambos em fase inicial, e a auditoria na metodologia dos principais rankings lançada pela Unesco e também ainda em fase de implantação.
 
Critérios de reputação tendem a criar um efeito de autoperpetuação no topo das listas de melhores escolas Foco na elite
O relatório destaca que a metodologia adotada pelos rankings mais populares é elitista e não tem o objetivo de cobrir um grande número de instituições. Por isso, não pode fornecer uma "base sólida" para a análise de sistemas nacionais de educação superior, que precisam contar não apenas com instituições de pesquisa de ponta na área de ciências exatas e biológicas, mas também com organizações mais voltadas para o ensino de graduação e para a pesquisa em humanidades, uma área especialmente prejudicada pela sistemática dos ranqueamentos.
 
Como exemplo, cita o ranking ARWU, que "basicamente seleciona universidades contando o número de ganhadores de Prêmios Nobel (...) e artigos publicados na Nature e na Science". Outros critérios que, segundo o relatório, contribuem para um recorte enviesado da amostra em favor das grandes universidades de pesquisa são a contagem de artigos altamente citados e a de artigos de alto impacto.
 
Os autores também chamam atenção para o caráter de "autoperpetuação" das primeiras posições nos rankings que assimilam indicadores de reputação: "O uso mais intensivo de indicadores e de rankings de reputação significa que as chances de se manter uma posição elevada nos rankings só vai crescer para as universidades já próximas ao topo."
 
Foco dos rankings em artigos de alto impacto prejudica as instituições mais fortes em Humanidades, já que o principal veículo da pesquisa, nessa área, são livros Distorções
O foco dos rankings em artigos de alto impacto prejudica as instituições mais fortes em Humanidades, já que o principal veículo da pesquisa, nessa área, são livros, diz o relatório.
 
"As artes, as humanidades e, em grande medida, as ciências sociais continuam mal representadas nos rankings", escrevem os autores, notando que as métricas baseadas em artigos publicados em periódicos altamente citados "favorecem os campos onde esses artigos se concentram, ou seja medicina, ciências naturais e engenharia. Esses constituem os campos mais proeminentes nas bases de dados da Thomson Reuters e Elsevier, e portanto determinam, em larga escala, a performance nos rankings globais" que se alimentam dessas bases. 
 
Texto dá especial destaque às declarações de Phil Baty, responsável pelo ranking THE, para quem as tabelas de rankings são inerentemente grosseiras, ao reduzir as universidades a um único número O relatório reconhece que os provedores de rankings demonstram ter consciência dos problemas e das limitações de seus produtos. O texto dá especial destaque às declarações de Phil Baty, responsável pelo ranking THE, que afirma que "as tabelas de rankings são inerentemente grosseiras, ao reduzir as universidades a um único número". Os autores do trabalho, no entanto, não perdem a oportunidade de ironizar essa autoflagelação: "Tamanha franqueza é bem-vinda", escrevem. "Mas a introdução de mudanças para compensar essas deficiências ajudaria mais."
 
Um ponto a que o relatório retorna diversas vezes é o da falta de transparência na elaboração dos rankings, com a descrição metodológica disponível nos websites das instituições provedoras sendo insuficiente para que especialistas independentes busquem uma replicação dos resultados. "Por exemplo, QS escreve, em sua descrição de metodologia, que (...) vários outros fatores são considerados, como performance doméstica, pesquisa de reputação, equilíbrio geográfico (...) mas não há explicação de como [esses fatores] são aplicados", acusa o texto.
 
Os autores do trabalho, no entanto, não perdem a oportunidade de ironizar a autoflagelação: Tamanha franqueza é bem-vinda, mas a introdução de mudanças para compensar essas deficiências ajudaria mais Impacto
Pesquisa da Thomson Reuters citada no trabalho, realizada com 350 pesquisadores de 30 países, detectou entre os acadêmicos a percepção de que os rankings estimulam as universidades a priorizar os indicadores numéricos em detrimento da educação dos estudantes (71% dos entrevistados), que algumas instituições manipulam dados para aparecer melhor nas listas (74%) e que as instituições ranqueadas em boas posições tendem a preservar essas posições (66%).
 
Universidades que aparecem bem posicionadas em rankings tendem a "investir enormes esforços apenas para manter suas posições (...) A considerável atenção dada aos rankings também submete as instituições que ainda não aparecem nas tabelas a uma pressão cada vez maior para que se esforcem para serem incluídas". Com isso, surge o risco de universidades se verem tentadas a investir apenas em áreas visíveis para os rankings – como publicações em áreas que geram grande número de citações – em detrimento de outras prioridades.
 
Os ranqueamentos podem afetar a política sistêmica de educação superior de alguns países; com os incentivos concentrados na busca por um grau de excelência internacional em pesquisa, a diversidade dos sistemas nacionais pode ser prejudicada "Os rankings também têm interferido fortemente na administração das instituições de educação superior", afirma o relatório, citando um estudo que constata que "há vários exemplos de casos em que salários ou cargos de altos funcionários de universidades foram ligados à performance das instituições em rankings". A pressão da mídia também leva as universidades a formular "estratégias de ranking" para repassar os dados pedidos pelos provedores e, também, para utilizar esses dados em seu planejamento estratégico.
 
Universidades bem ranqueadas têm mais facilidades para atrair investidores e estudantes, e os ranqueamentos podem afetar a política sistêmica de educação superior de alguns países, "com instituições de classe mundial sendo financiadas às custas de instituições que fazem avançar outros objetivos". Com os incentivos concentrados na busca por um grau de excelência internacional em pesquisa, a diversidade dos sistemas nacionais pode vir a sofrer. Para executar bem a tarefa de orientar os estudantes a escolher a melhor instituição para seus objetivos pessoais, os rankings ainda precisam "oferecer uma explicação melhor sobre o que seus indicadores querem dizer", acusa do trabalho.
 
Relatório termina discutindo a auditoria dos rankings internacionais lançada pela Unesco, com base nos Princípios de Berlim, estabelecidos em 2006 Benefícios
Na face positiva, o relatório reconhece que os rankings têm estimulado a coleta e publicação de dados confiáveis sobre educação superior, além de influenciar a formulação de políticas para o setor com base em dados mais objetivos. "Todas as instituições de educação superior estão sendo cada vez mais convocadas a usar dados para tomar decisões e a documentar o sucesso dos estudantes e da instituição", diz o texto.
 
Os rankings também estimulam a busca de critérios comuns e objetivos para a avaliação internacional das instituições. "Há quem argumente que os rankings podem promover uma discussão sobre como medir sucesso institucional e melhorar as práticas institucionais; fornecem um ponto de partida útil para análise interna das forças e fraquezas da universidade", registra o trabalho.
 
A Associação Europeia de Universidades também chama atenção para o fato de que as agências responsáveis pelos rankings começam a levantar dados cada vez mais detalhados, para além do estritamente necessário para a produção das listas classificatórias. Esses dados estão sendo usados na criação de novas ferramentas de visualização, com a possibilidade de que se atribuam diferentes pesos a diferentes dimensões do desempenho institucional, e também na elaboração de perfis e na oferta de produtos comerciais de consultoria. "É irônico que os dados fornecidos gratuitamente pelas universidades sejam, frequentemente, revendidos de volta a elas, sob forma processada", escrevem os autores.
 
Embora o trabalho de auditoria ainda não tenha começado, o texto aponta que seus efeitos já se fazem sentir preventivamente, com os provedores prestando mais atenção à transparência de suas metodologias Auditoria
O relatório conclui que "os rankings estão aqui para ficar", e termina discutindo a auditoria dos rankings internacionais lançada pela Unesco, com base nos 16 critérios dos Princípios de Berlim para o Ranqueamento de Instituições de Educação Superior, estabelecidos em 2006.
 
Embora o trabalho de auditoria ainda não tenha começado, o trabalho afirma que seus efeitos já se fazem sentir preventivamente, com os provedores "prestando mais atenção à transparência de suas metodologias" e uma "maior atenção aos critérios de Berlim".
 
Entre esses critérios, estão a exigência de que os rankings sejam claros quanto a seus objetivos e público-alvo; que levem em conta a diversidade de missões e objetivos das diferentes instituições; que sejam transparentes quanto a suas fontes e metodologia; que usem indicadores relevantes e válidos.