31/05/2012

THE e QS

Vale a pena prestar atenção nos rankings internacionais?

Não é razoável desconsiderá-los, pois baseiam-se em indicadores de desempenho próximos daquilo que acadêmicos, instituições e governos sempre utilizaram

Renato H. L. Pedrosa
Membro do Conselho Editorial da revista Ensino Superior Unicamp
Coordenador do GEES/CEAv
Dois rankings internacionais (THE e QS) para universidades fundadas nos últimos 50 anos indicam que o Brasil está mal, e a América Latina ainda pior, segundo os critérios adotados. Neles só aparecem a Unicamp (#44 no THE e #22 no QS) e a Unesp (#99 no THE), entre todas as instituições brasileiras ou da América Latina.
 
 
O que dizem os rankings? A resposta é muito simples, os escores utilizados são médias ponderadas de índices derivados de indicadores de desempenho bem conhecidos: número de alunos, relação alunos/docente, demanda em processos seletivos, número de artigos publicados, citações, número de teses produzidas, enquetes sobre prestígio, financiamento para pesquisa, satisfação de estudantes, prêmios recebidos por seus pesquisadores ou ex-alunos (Nobel, Medalha Fields etc.), prestação de serviços, transferência de tecnologia (patentes e licenciamentos), internacionalização e outros. Toda universidade usa esses itens nas suas brochuras de divulgação. Acadêmicos de muitas áreas utilizam critérios parecidos ao elaborarem pareceres em projetos de pesquisa, órgãos de fomento consideram essas informações relevantes, o Sinaes, sistema de avaliação do MEC para o ensino superior, também os leva em consideração.
 
+
 
A maioria das revistas de maior impacto tem sede em países de língua inglesa Uma análise mais detalhada mostrará que, em geral, indicadores de desempenho em pesquisa são bastante valorizados, depois vem ensino (graduação e pós-graduação). Menor impacto têm serviços à comunidade e transferência de tecnologia. Não é de espantar, portanto, que o resultado para universidades brasileiras e da AL seja decepcionante: a produção acadêmica divulgada em idiomas nacionais dificilmente terá algum impacto nos indicadores utilizados, pois nunca será lida pela comunidade internacional, quanto mais citada, já que a maioria das revistas de maior impacto tem sede em países de língua inglesa. Por exemplo, no caso do ranking do THE, a Unicamp, apesar de ter um conceito bom no item Pesquisa (36,4), vai bem mal em Citações (15,2). A Unesp tem conceitos 20,6 e 8,0, respectivamente. Cada um desses tem peso 30% no escore final.
 
Os resultados, lidos e interpretados apropriadamente, fornecem uma comparação internacional para um sistema: onde há deficiências, onde se poderia atuar para aprimorá-lo Mas esse não é um problema exclusivo dos rankings: também existe em avaliações desenvolvidas aqui no Brasil. O conceito Capes dos cursos de pós-graduação das nossas universidades utiliza uma avaliação da produção científica baseada em índices de impacto de periódicos (Qualis), que são gerados a partir do número de citações dos artigos ali publicados. É conhecido o debate sobre o sistema Qualis, mas nem por isso se desconsidera a avaliação realizada pela Capes. Universidades utilizam o conceito Capes em suas políticas internas, na divulgação de seus programas de pós-graduação (PG) e pesquisadores fazem o mesmo para convencer órgãos financiadores de que vale a pena investir em seus projetos de pesquisa. E, apesar das críticas, muitos especialistas consideram que a criação da avaliação da Capes foi fundamental para que a PG brasileira tenha chegado ao nível atual de boa qualidade, demonstrada pela relação direta entre o crescimento do número de teses e de artigos publicados em periódicos internacionais indexados.
 
Governança, carreira docente, atração de jovens talentos de nível internacional, políticas de incentivo à pesquisa, colaboração internacional em pesquisa (que aumenta significativamente a chance de um trabalho ser citado), internacionalização e outros precisam ser analisados em perspectiva comparada Portanto, não é razoável desconsiderar os resultados dos rankings, pois eles se baseiam em indicadores de desempenho próximos daquilo que acadêmicos, instituições e governos sempre utilizaram, aqui no Brasil e em outras partes do mundo. As limitações dos modelos utilizados podem ser facilmente detectadas. Os resultados, lidos e interpretados apropriadamente, fornecem comparações internacionais entre sistemas e instituições: onde há deficiências, onde se poderia atuar para aprimorá-los (naquilo que se considere relevante). Pode se dizer que a Unicamp, no cenário nacional e da América Latina, é uma das principais referências, pois está bem posicionada internacionalmente, considerando-se que é uma instituição bastante jovem. Porém, o Brasil e a América Latina têm um longo caminho a percorrer; temas como governança, carreira docente e atração de jovens talentos de nível internacional, políticas de incentivo à pesquisa, colaboração internacional em pesquisa (que aumenta significativamente a chance de um trabalho ser citado), internacionalização e outros aspectos da vida universitária precisam ser analisados em perspectiva comparada em relação a países e regiões (o Extremo Oriente, por exemplo, que mostra sinais de grandes avanços nas últimas décadas), para que pelo menos se entenda por que o Brasil e a AL vão tão mal nessas comparações. Os rankings são fontes de informação relevantes, indicando onde se deve buscar exemplos.