Classificar sistemas universitários é mais útil do que produzir rankings de instituições isoladas

Os rankings internacionais de universidades tornaram-se um elemento conhecido no cenário do ensino superior. Como seu impacto tem crescido, também crescem as repercussões, que vão da adesão entusiástica à resistência passiva, incluindo a crítica direta. Graças a esta última, metodologias estão sendo aprimoradas, diretrizes e ressalvas têm sido desenvolvidas (por exemplo, os Princípios de Berlim) e aplicadas (por exemplo, o International Ranking Expert Group). No entanto, críticas sérias dizem respeito ao fato de que, por definição, as classificações tratam exclusivamente de instituições consideradas isoladamente – as chamadas universidades de classe mundial –, concentradas em um pequeno grupo de países. Assim, os rankings universitários ignoram a grande maioria das instituições em todo o mundo, as quais não podem competir em igualdade de condições com as universidades de classe mundial. Por sua vez, formuladores de políticas públicas tendem a priorizar um pequeno número de instituições a fim de melhorar a posição de seu país em rankings, muitas vezes à custa do resto do sistema de ensino superior do país. Para se contrapor a esses efeitos inesperados e perversos, há tentativas de medir, classificar e comparar os sistemas nacionais de ensino superior, em vez de instituições individuais. Para descobrir se tais abordagens são bem-sucedidas, este breve artigo compara seus resultados com aqueles obtidos por rankings de universidades.

 

Os dois tipos de rankings

Como um primeiro passo para a comparação, é preciso selecionar rankings universitários e rankings de sistemas. O Academic Ranking of World Universities, conhecido como ranking de Xangai, o Times Higher Education e o QS foram selecionados por serem os mais populares e os mais consolidados. Por seu aspecto inovador, o Webometrics foi adicionado aos "três grandes". No que diz respeito a rankings de sistemas universitários, a escolha é limitada, e o Universitas 21 (o "U21", patrocinado pela Universidade de Melbourne, Austrália) destaca-se como uma escolha óbvia, sem nenhum concorrente real atualmente, ainda que trabalhos anteriores já tenham explorado meios de avaliar sistemas de ensino superior como um todo. O U21 usa 22 critérios ("atributos desejáveis​​") agrupados em quatro módulos ou categorias: recursos, ambiente, conectividade e resultados.

 

Essas categorias são ponderadas, respectivamente, em 25%, 20%, 15% e 40%. A maioria das medidas recorre a fontes convencionais e verificáveis ​​(OCDE, University Information Systems, SCImago etc.) e fornece uma visão abrangente das principais facetas dos sistemas de ensino superior. Particularmente interessante é a inclusão das taxas de desemprego de graduados para refletir a eficiência externa (mesmo que a medida necessite de alguns ajustes finos). Outra característica bem-vinda é a tentativa de refletir o ambiente regulatório dos sistemas de ensino superior. No entanto, as modalidades que sugerem um indicador para esta dimensão são furtivas e dependem de uma combinação de fontes – um levantamento entre as instituições do U21, dados de instituições de renome e de sites. Finalmente, o uso de um indicador "geral" erigido sobre os indicadores dos quatro módulos é altamente dependente dos pesos dos componentes e, portanto, permanece controversa em função da arbitrariedade dos pesos – uma armadilha compartilhada por rankings universitários.

 

Em seguida, os resultados dos quatro rankings universitários selecionados precisa ser ponderado no nível de cada país para que o efeito de suas distintas dimensões seja neutralizado. Mais especificamente, o número de universidades top em cada país é ponderado pela população em idade de matricular-se no ensino superior do país. Esse indicador pode ser visto como reflexo da "densidade" de universidades de classe mundial em cada país. Em primeiro lugar, não existe uma correlação significativa entre o número de universidades de topo em um país e sua densidade. Em segundo lugar, os resultados ponderados dos quatro rankings universitários selecionados são muito semelhantes; suas metodologias diferem substancialmente em alguns pontos mas também compartilham características. Em terceiro lugar, os países que podem ostentar pelo menos uma das 400 melhores universidades em cada um dos quatro rankings constituem um clube relativamente homogêneo de menos de 40 membros, na sua maioria economias de alta renda. Através das quatro classificações, a densidade das melhores universidades é mais alta em países menores e ricos – Dinamarca, Suíça, Suécia e Finlândia, seguidos por Irlanda, Holanda e a megalópole chinesa de Hong Kong.

 

Similaridade de resultados

Os quatro rankings universitários ponderados produzidos pela U21 (edição de 2012), leva a uma conclusão clara: uma correlação forte e positiva entre os dois conjuntos de resultados. Para uma dupla verificação dessa constatação, as correlações também são checadas nas edições 2013 de Xangai e do U21, e os resultados mostram uma associação ainda mais forte. Um outro teste é aplicado, correlacionando os resultados de cada uma das quatro categorias do U21 com aqueles das maiores ligas universitárias. As correlações são significativas, e a relação é muito positiva independentemente da liga considerada (Xangai) e a categoria U21 selecionada (recursos e resultados mais acentuadamente). A única exceção notável à convergência dos dois tipos de ranking são os Estados Unidos, primeiro no U21, mas ausente do topo dos clubes de excelência quando a análise é feita em termos de densidade.

 

A convergência dos resultados

Essas comparações podem levar à ideia de que uma alta densidade de universidades de classe mundial garante um país como um sistema de ensino superior de nível mundial. Também podem causar a impressão de que a similaridade de resultados entre o U21 e os rankings universitários significa que o primeiro não é mais informativo do que os últimos. Três tipos de comentários sugerem que tais conclusões não são garantidas. A primeira é que o U21 seleciona 50 países entre os membros do G20 e os que têm melhor desempenho no ranking internacional de instituições de pesquisa da National Science Foundation: assim, ainda que o pool de países do U21 seja um pouco maior do que o dos "três grandes" rankings universitários, o método de seleção desses países constitui um viés duplo na direção de países ricos e que investem pesadamente em pesquisa. Em segundo lugar, o U21 incorpora alguns dos indicadores dos rankings universitários (Xangai e Webometrics) e até conta o número de universidades de classe mundial em suas medidas de resultados, o que certamente explica a exceção norte-americana. Finalmente, uma reclassificação de todas as 22 medidas confirma o viés pesado para pesquisa. Portanto, a convergência dos dois tipos de rankings é quase inevitável e uma consequência lógica da metodologia utilizada pelo U21. Por fim, um elemento crítico para se manter em mente é que um sistema de ensino superior de nível mundial é um conceito fluido que envolve muitas dimensões, que vão de equidade no acesso à eficiência interna, do ensino e aprendizagem à relevância no tecido socioeconômico do país e eficiência externa. Na verdade, tais dimensões são difíceis de capturar, e apesar das tentativas louváveis ​​do U21 de refletir várias delas, ficam aquém de dar conta, integralmente, de toda complexidade e diversidade dos sistemas nacionais de ensino superior.

 

Espaço para aprimoramentos

Comparar os sistemas nacionais de ensino superior continua a ser uma prioridade. O U21 deu importantes passos nessa direção, mas precisa ir mais longe para demonstrar sua utilidade. Duas rotas são fundamentais: em primeiro lugar, perscrutar ainda mais a estrutura dos sistemas, de modo que os rankings sejam contextualizados melhor; segundo, ampliar o número e a diversidade dos países que devem ser classificados, com dados para que tal exercício seja mais includente. Seguir esses caminhos certamente levaria a resultados mais claramente diferenciados daqueles gerados pelos rankings universitários e contribuiriam para satisfazer as altas expectativas criadas pela iniciativa U21. O ranking U21 ilustra o vasto potencial dos rankings de sistema como complementos importantes para os rankings de instituições e como contribuintes para a tomada de decisões mais bem informadas por formuladores de políticas de ensino superior.