Peso do critério reputação foi corrigido para menos no ranking THE de universidades jovens

O ranking que o THE desenvolve para as universidades com até 50 anos de existência procura detectar as instituições e regiões mais dinâmicas no desenvolvimento de ensino superior voltado para pesquisa. No caso desta classificação do THE, os aspectos avaliados são, com os pesos para o escore final: Ensino – graduação e pós – 30%, Perfil Internacional – pessoal e pesquisa – 7,5%, Receita da Indústria – inovação – 2,5%, Pesquisa (30%) e Citações (30%). Está claro nessa distribuição de aspectos e pesos que pesquisa é o item mais relevante, pois o número das citações se refere ao impacto internacional da produção científica/cultural. Acrescentando-se os 2,5pp referentes à inovação, 62,5% do escore final está diretamente ligado ao item pesquisa.

 

Houve uma alteração na avaliação do item Pesquisa em relação ao ano anterior (que foi o primeiro desses rankings), que é composto dos sub-itens volume, receita e reputação: a reputação teve seu peso no escore final desse item reduzido de 1/3 para pouco mais de 1/5 (1/3 é o peso na classificação mais geral que o THE desenvolve). O argumento para essa mudança é que tais instituições ainda não desenvolveram plenamente uma reputação abrangente, na maioria dos casos. Nas palavras do site do THE, eles optaram por "se afastar da herança e do legado, optando por indicadores duros, objetivos, de desempenho (em pesquisa)".

 

Essa mudança teve algum efeito sobre o escore da Unicamp, única universidade da América Latina entre as 100 melhores, que passou da 44a para a 28a posição, de 2012 para 2013. O escore final evoluiu de 35,9 para 45,4, um dos maiores avanços entre todas as universidades incluídas. A Universidade de Maastrich também teve evolução importante, passando da 19a (escore 44,9) para a 6a (escore 61,7) posição. O quadro a seguir mostra os escores nos cinco aspectos e o escore geral, 2012 e 2013.

 

 

A evolução foi realmente significativa nos itens relacionados à pesquisa, que inclui citações. A qualidade da informação que as instituições fornecem a quem desenvolve tais sistemas é fundamental para o resultado, nos diversos itens avaliados. Um dos que mais afetam, negativamente, a avaliação da produção científica/cultural é a variedade de maneiras de se referir à universidade nos artigos e outras publicações. A Unicamp pode ser encontrada sob a forma "State University of Campinas", como está no THE, ou como "University of Campinas", como é a forma oficial em inglês escolhida pela Unicamp, ou como "Universidade Estadual de Campinas", em português, mesmo em publicações internacionais. Isso pode acarretar em perdas no registro da produção científica e cultural da universidade. 

 

A evolução notada, de 2012 para 2013, não pode ser resultado apenas da mudança metodológica mencionada acima, pois essa alteração teria afetado apenas o item "Pesquisa", e não o das citações. Também não se pode esperar que uma instituição do porte da Unicamp tenha mostrado mudanças significativas, de um ano para o outro, no volume de publicações ou de citações, que em geral vem da coleta de informações utilizando-se janelas de vários anos. Por exemplo, no caso das citações, o THE de 2013 utilizou a base da Thomson Reuters (Web of Science), de cerca de 12 mil revistas acadêmicas, durante os anos de 2006 a 2011. No ano anterior a base incluiu os anos de 2005 a 2010. Dificilmente as citações de artigos originados na Unicamp deram um grande salto entre esses dois períodos, que contém os anos de 2006 a 2010 na intersecção. Podemos concluir que o quadro da pesquisa produzida pela Unicamp, representado pelo escore do THE 2013, deve ser o mais próximo da realidade (relativa) do papel desempenhado pela Unicamp, nesse contexto de comparação internacional, e a evolução deve ter sido consequência da melhoria da qualidade da coleta da informação. 

 

Um aspecto muito negativo para o Brasil e para a América Latina é o fato de que apenas uma instituição dessa região consta da lista. Além do Brasil, que tem a Unicamp listada, apenas Estados Unidos e Canadá têm representantes nas Américas. A Ásia e mesmo a Europa têm peso muito grande na lista. A Coreia do Sul tem a instituição que lidera a lista e outra em 5o lugar. Taiwan tem 5,  e Hong Kong, 4 universidades incluídas. A Espanha tem destaque na Europa, com 6 instituições na lista, mas o Reino Unido lidera todos os países, com 18 (o que pode ser decorrente de escolhas na metodologia, já que o THE tem sede em Londres; mas, de fato, houve enorme esforço no RU durante a década de 1960 para expandir o sistema de forma qualificada, o que se reflete nessa lista). No artigo comentando a lista, disponível no site (clique aqui), não há menção à América Latina, nem mesmo para chamar atenção para o quadro desolador do ensino superior (em relação à pesquisa) numa região que tem pretensões de participar mais ativamente do jogo político e econômico internacional.

 

Finalizando, esse tipo de ranking não deve ser tomado como representando todos os aspectos de atuação da instituição, que deveriam incluir o impacto regional para a inovação, ou as  atividades de extensão e outras. Ele, como indicam as escolhas de aspectos e pesos, trata essencialmente do papel internacional que a universidade desempenha em relação à pesquisa acadêmica, e de um certo tipo, mais apropriado para se avaliar certas áreas do conhecimento, mas não todas. Entender isso ajuda a colocar esse tipo de informação numa perspectiva apropriada.