12/03/2014

revista Ensino Superior nº 12 (janeiro-março)

Rankings internacionais: A irresistível polêmica em torno de seus sentidos e metodologias

Edson Nunes
Bacharel em Ciências Sociais pela Universidade Federal Fluminense (1970), licenciado em Ciências Sociais pela Universidade Federal Fluminense (1971), graduado em Direito pela Universidade Federal Fluminense (1973), mestre em Ciência Política pelo Instituto Universitário de Pesquisas do Rio de Janeiro (1977) e Ph.D. em Political Science - University of California at Berkeley (1984). Integrou a Câmara de Ensino Superior do Conselho Nacional de Educação, tendo exercido a presidência da Câmara e do Conselho no período 2004/2008. Atualmente pró-reitor de Planejamento e Desenvolvimento da Universidade Cândido Mendes, presidente e membro do conselho administrativo do IBAM e do conselho editorial da revista de Administração Municipal, membro da Associação Brasileira de Educação e membro do conselho editorial da revista Inteligência.

Ivanildo Fernandes
Diretor de Avaliação e Regulação da Universidade Cândido Mendes, atuando, desde 2001, nos assuntos relativos à regulação e ao direito educacionais perante o MEC, CNE, Inep e Capes, entre outros; membro da CPA do Instituto A Vez do Mestre desde 2003-atual; pesquisador do Observatório Universitário, 2001-atual, núcleo de pesquisa dedicado ao desenvolvimento de estudos teóricos sobre temas de avaliação e regulação educacionais. Experiência na área de Direito Educacional e pós-graduação com ênfase em avaliação, regulação e políticas públicas. Consultor do Pnud/Unesco para realizar a meta-avaliação do Sistema Nacional de Avaliação da Educação Superior-Sinaes.
Anotações preliminares[1]
Instados pelo frenesi coletivo, decorrente da publicação anual dos rankings acadêmicos internacionais, procuramos melhor compreender sua metodologia. Contudo, rápida pesquisa na web retornou incontáveis modelos de classificação, com os mais variados propósitos, métricas e origens. De imediato, identificou-se que eles têm dois sentidos: o primeiro, que é lutar por sua própria sobrevivência e legitimidade perante os concorrentes; e, o segundo, que é conferir legitimidade e notoriedade às Instituições classificadas, a partir do que elegem como indicadores de excelência.
 
Detalhando a metodologia dos rankings
Recorremos à taxonomia feita pela European University Association-EUA, que apresenta as seguintes categorias: Rankings acadêmicos com o objetivo principal de produzir tabelas classificatórias das universidades (Academic Ranking of World Universities - ARWU; World University Ranking - WUR; World’s Best Universities Ranking; Global Universities Ranking); Rankings que se concentram somente no desempenho da pesquisa, com ou sem tabelas classificatórias (Leiden Ranking; Performance Rankings of Scientific Papers for World Universities; Assessment of University-Based Research); Multirankings que usam uma série de indicadores sem a intenção de produzir tabelas classificatórias (Centre for Higher Education - CHE University Ranking; European Multidimensional University Ranking System - U-Multirank, U-MAP); Web rankings (Webometrics Ranking of World Universities; G-factor do Google); Comparativos, com base em resultados de aprendizagem (Assessment of Higher Education Learning Outcomes Project - AHELO - da OECD).
 
Obviamente, não foram considerados nesta classificação muitos outros rankings, que ainda estão se estruturando ou que não têm notória credibilidade pública, além daqueles de caráter local/regional. Então, optamos por especificar as metodologias dos rankings mais destacados, com especial ênfase naqueles pertencentes ao primeiro grupo, sendo o Academic Ranking of World Universities -ARWU e o World University Ranking-WUR.
 
Os rankings criam o efeito de persistência, já que a reputação de uma IES depende, em parte, de suas classificações passadas. Por isso, não adianta querer disputar com as top 25. São e serão universidades que vão figurar, insistentemente, no cume do ranking. Academic Ranking of World Universities -ARWU
O ARWU é promovido desde 2003 pela Shanghai Jiao Tong University / Shanghai Rankings Consultancy, desde então publicado sempre no mês de agosto. Ele abarca 500 universidades que mais se destacaram em termos de desempenho acadêmico, nos critérios que leva em consideração. Seu propósito inicial era medir a distância entre as universidades chinesas e as de “classe mundial”. Foi citado pela Revista The Economist, como sendo “coerente e transparente”, contudo, em 2010, ministros da Educação da França, Noruega e Dinamarca foram à Jiaotong University a fim de discutir e encontrar formas de melhorar sua metodologia de ranking. Não obstante, o pesquisador Martin Andler[2] publicou artigo, comentado em seção própria, à frente, no qual esmiúça sua metodologia a aponta uma série de fragilidades. Entre outros critérios, o ARWU inclui números de artigos publicados pelas Revistas Nature ou Science e número de Prêmios Nobel, além de Fields Medals, em Matemática. Uma das principais críticas à metodologia deste ranking é que ele está inclinado às ciências naturais e revistas científicas de língua inglesa.
 
Segundo o Relatório nº 442[3] do Senado francês, o ranking em questão pode ser visto como um sintoma do gosto chinês pela ordenação e classificação, pois nele, “tudo está em um lugar definido, em uma hierarquia especial, inserida em outra hierarquia de nível superior”. Também reflete um desejo, mais político, para participar da definição de normas globais (pg 37). Nesse propósito, o relatório também enfatiza que pretende se tornar uma ferramenta universal de comparação, não só das instituições, mas entre países. O método de classificação da Universidade de Xangai é baseado na vontade de usar indicadores objetivos, a partir de fontes externas às universidades e verificáveis por todos, o que limita sua série de indicadores, que apenas dizem respeito à pesquisa, sem qualquer consideração sobre o ensino e as oportunidades profissionais.
 
As métricas adotadas em rankings são problemáticas em vários níveis, porque os pesos escolhidos não são objeto de qualquer justificação teórica. Os convidados a compartilhar suas escolhas nem sempre são bem informados sobre as metodologias que vão processar suas opiniões. World University Ranking-WUR
Publicado desde 2004[4], sempre no mês de outubro, é uma iniciativa da Times Higher Education – THE, com lista hierarquizada de 200 universidades classificadas em duas grandes categorias, por regiões continentais[5] e por cinco grandes áreas do saber[6]. Sua diferença em relação ao ranking da Universidade de Xangai é que este não é baseado somente na avaliação da pesquisa, mas também do ensino. Também não se fundamenta apenas em fatores objetivos, como o da Universidade de Xangai, pois considera as opiniões de profissionais sobre a reputação das IES.
 
Tendo por objetivo fomentar a credibilidade de seu ranking, que originalmente atribuía grande peso às avaliações de pares, a Times, a partir de 03/06/2010, trocou de parceiro (saiu a Quacquarelli Symonds - Q&S e entrou aThomson Reuters) e passou a adotar nova metodologia, com treze indicadores, projetados para capturar ampla gama de atividades, desde ensino e pesquisa até transferência de conhecimento. O método anterior, pautado na reputação das IES, equivalia a 40% da pontuação geral e mostrou-se falho, incluindo o painel muito pequeno de consultoria. Uma sequência de amplas consultas atualizou os seus critérios, e o novo parceiro, Thomson Reuters, que produz, entre outras coisas, o Science Citation Index, agregouao ranking da Times a reputação que usa em parte dos seus outros estudos, além de outros aspectos como bibliometria e a internacionalização do ensino. Assim, foram incorporadas seis medidas àquelas já empregadas entre 2004 e 2009, separados em cinco[7] categorias, desdobradas em 13 indicadores, a saber: Citaçõesinfluência da pesquisa, no valor de 32,5% [1 indicador: citation impact – normalised average citations per paper, 32,5%]. Ensino - o ambiente de aprendizagem, no valor de 30% da pontuação final do ranking [5 indicadores: reputational survey - teaching, 15%; PhD awards per academic, 6%; undergraduates admitted per academic, 4,5%; income per academic, 2,25%; PhD awards/bachelor’s awards, 2,25%]. Pesquisavolume, renda e reputação, no valor de 30% [4 indicadores: reputational survey research, 19,5%; research income – scaled, 5,25%; papers per academic and research staff, 4,5%; public research income/total research income, 0,75%]. Mix Internacional - funcionários e estudantes, no valor de 5% [2 indicadores: ratio of international to domestic staff, 3%; ratio of international to domestic students, 2%] e Inovação - transferência de conhecimento à indústria, no valor de apenas 2,5% [1 indicador: research income from industry – per academic staff, 2,5%]. O primeiro ranking publicado sob esta nova metodologia foi em 16 de setembro de 2010.
 
O método de classificação da Universidade de Xangai é baseado na vontade de usar indicadores objetivos, a partir de fontes externas às universidades e verificáveis por todos, o que limita sua série de indicadores, que apenas dizem respeito à pesquisa, sem qualquer consideração sobre ensino. As ponderações, tanto nas cinco categorias, quanto nos 13 indicadores, são atribuídas de duas formas distintas: (1) ponderações altas, quando o indicador mostrou, na consulta, aceitação e entusiasmo inconfundíveis por parte das IES consultadas, configurando-se como proxy valiosa e de confiança clara, em relação aos dados fornecidos pelos consultados; e, (2) ponderações baixas, onde a confiança nos dados, ou a utilidade do indicador, são menos evidenciadas. Em que pese a autodefesa, Phil Baty, um dos idealizadores do WUR, tenta explicar sua metodologia ressalvando não ser correto reduzir as Universidades a um número, tendo em vista que são organizações complexas e que muitos dos seus empreendimentos nem sequer podem ser mensurados quantitativamente. Considerando tais restrições, ele defende que a consulta com a comunidade acadêmica mundial produziu the most exact and relevant world rankings yet devised”. Na fase de elaboração, mais de 50 especialistas se empenharam no desenho do ranking, recebendo mais de 300 críticas através de ensaios da comunidade acadêmica.
 
O indicador de citações é o de maior peso (32,5%) e foca-se na influência da universidade de pesquisa, mensurada pelo número de vezes que suas publicações são citadas por acadêmicos. Esse valor elevado justifica-se pelo nível relativamente alto de confiança que a comunidade acadêmica global deposita no indicador, como parâmetro da qualidade da pesquisa. A propósito, Phil Baty adverte que usar as citações como métrica da qualidade é algo controverso, porém, há evidências de uma forte correlação entre a contagem de citações e o desempenho da pesquisa. Sua fonte são os 12.000 periódicos acadêmicos indexados pela Thomson Reuters Web of Science. Para o ranking de 2011, os valores recolhidos para cada universidade consideraram dados agregados entre 2004-2008, pois não houve tempo suficiente para o acúmulo desses dados para artigos publicados em 2009 e 2010.
 
A diferença do Performance Ranking of Scientific Papers for World Universities (Taiwan) em relação aos rankings da THE, da Q&S e de Xangai, é que se foca no desempenho de papers científicos. Argumenta-se que a ênfase no desempenho da pesquisa recente faz com que os indicadores sejam mais justos. Outra categoria, dentre as mais relevantes (30%), é a de ensino, que pretende fornecer um claro sentido do ensino e do ambiente de aprendizagem de cada IES, seja na perspectiva do aluno, seja institucional. Seu principal indicador considera resultados de uma pesquisa de reputação no ensino, num universo de 13.388 respostas, realizada em 2010 pela Thomson Reuters – uma sondagem mundial de experientes estudiosos, investigando o prestígio de instituições de pesquisa e ensino. Nessa categoria, mede-se a taxa de admissão de alunos na IES, confrontada ao quantitativo docente (undergraduates admitted per academic). É outra medida utilizada como sinal da qualidade do ensino – a lógica desse standard é que um grande volume de alunado irá demandar coerente medida docente/pessoal administrativo. Os próprios arquitetos do ranking consideram essa medida um tanto frágil, por isso seu peso é baixo no contexto de sua categoria (15%) e na ponderação geral (4,5%). Outro indicador dessa categoria é a proporção de PhD por bacharéis graduados. Salienta Phil Baty que IES com alta densidade de estudantes em Programas de Pós-Graduação são mais intensas em conhecimento e atrativas a alunos da graduação; que a presença de uma comunidade ativa de pós-graduação é um marcador de uma pesquisa eficaz, em termos de gestão, e de um ambiente de ensino valorizado pelos alunos da graduação e pós-graduação. Também nessa categoria se observam dados relativos ao número de doutores premiados, relacionado ao tamanho da IES e ao número total do pessoal docente.
 
A terceira categoria é a pesquisa, que equivale a 30% na pontuação geral do ranking. O alto peso dessa categoria resulta do grau de confiança que possui entre os acadêmicos, que tendem a ser mais bem informados sobre a reputação dos departamentos de pesquisa em seus campos de especialidade. Por essa razão, lhe é dada maior ponderação. Outro importante indicador é a receita disponível à pesquisa – fator crucial para o desenvolvimento de pesquisa de classe mundial – sendo confrontada ao tamanho de seu staff e a indicadores do purchasing power parity[8] dos próprios países, embora essa seja uma medida controversa, pois pode ser influenciada pela política nacional e por circunstâncias econômicas. Já o indicador ambiente da pesquisa também inclui uma medida simples: o volume de pesquisa relacionado ao número de funcionários. Conta-se o número de artigos publicados em revistas acadêmicas indexadas pela Thomson Reuters, dando uma ideia da capacidade de uma instituição para obter qualidade de artigos publicados em revistas. Por último, nessa categoria, se analisam o financiamento público à investigação e o financiamento total disponível à pesquisa. Isso tem um peso baixo, 0,75%, o que reflete uma preocupação dos classificadores quanto à comparabilidade dos dados auto-relatados, entre os países.
 
Com altos custos para manter um jovem na universidade, as famílias precisam saber para onde enviar seus filhos e se aquela IES é a mais gabaritada. Assim, a maioria dos rankings é orientada aos bacharelados, divulgando informações como possibilidades de emprego e valor de doações dos ex-alunos. Na categoria mix internacional de funcionários e estudantes observa-se a diversidade no campus – um sinal de como uma instituição coloca-se em perspectiva mundial; a capacidade de uma universidade atrair o melhor pessoal, de todo o mundo, é a chave para seu sucesso global. Essa categoria é ponderada na sua relação entre pessoal doméstico e internacional. O mercado de trabalho acadêmico e administrativo é de âmbito internacional, e esse indicador sugere a competitividade global. No entanto, como é uma proxy relativamente rudimentar, e tendo em vista questões geográficas que podem influenciar o desempenho, sua ponderação foi reduzida. Outro indicador dessa categoria é baseado na proporção de estudantes internacionais, comparada aos nacionais. Novamente, isso é um sinal da competitividade global de uma instituição e de seu compromisso com a globalização. Tal como acontece com o indicador de pessoal, a consulta revelou preocupações sobre a incapacidade de avaliar a qualidade dos estudantes e os problemas causados ​​pela geografia, assim como pelo regime da taxa de mensalidade. Ressalte-se que pela baixa confiabilidade nesse indicador, ele também recebe um pequeno peso.
 
Finalizando, a categoria Industry income – innovation é destinada a registrar a capacidade de uma IES transferir conhecimentos, através de um único indicador: a receita, demonstrativa da capacidade de financiamento de uma instituição de pesquisa vinculada à indústria, relacionada ao número de pessoal docente envolvido. A Times informa que pretende completar essa categoria com indicadores adicionais nos próximos anos, mas no momento – ressalta – “...this is the best available proxy for high-quality knowledge transfer”. O indicador sinaliza o quanto os usuários estão dispostos a pagar pela pesquisa, bem assim a capacidade de uma universidade atrair fundos no mercado comercial – indicadores significativos de qualidade. No entanto, considerando que os números fornecidos pelas instituições, para esse indicador, costumam ter acentuada desarmonia, confere-se à categoria um peso relativamente baixo, 2,5% da pontuação geral do ranking.
 
Vejamos, em adição, que nos sete anos do ranking promovido pela revista Times a nota de corte para ingressar no grupo das top 200 mostrou-se flutuante, saindo de 10 pontos, em 2004, para 46,2, em 2010, enquanto para ingressar nas top 100, em 2004, era necessário atingir 15,8 pontos, e, em 2010, 56,9. Observando o histórico nesse intervalo, vimos que 15 (quinze) instituições mantiveram-se no petit comité das top 10, quatro delas (California Institute of Technology, Harvard University, Massachusetts Institute of Technology, Yale University) submetidas ao ranking durante as sete edições, sendo consideradas como referência na metodologia do consórcio Times/Reuters. Na série, a média para o indicador “citações”, mais valorizado na metodologia do ranking (32%), ficou na casa dos 88 e a média das pontuações globais, 89,9.
 
Por sua vez, o grupo das top 25 é formado, além das 17 IES que se revezaram no grupo das top 10, desde 2004, por mais outras 24 IES, num total de 41, que se alternaram entre as top 25. Perceba-se que para esse grupo, a média nas citações já cai para 75,3 e da pontuação geral, para 80. Porém, se excluirmos desse grupo as top 10, e considerarmos apenas as 26 restantes, a média cai, respectivamente, para 66,1 e 77,4. Significa dizer que entre as top 10 e o excedente que constitui as top 25, a diferença de pontuação no indicador “citações” é de 21,9 e na pontuação geral, 12,5. Para efeitos de comparação, dentre as top 200, no estrato 151-200, a média de citações é de 40 e de pontuação geral, 41; entre as 101-150 essa média é de, respectivamente, 46,4 e 45,8. Já a base inferior das top 200, no estrato 191-200, estas médias despencam para 35,8 e 38,9. Portanto, a diferença entre a base inferior (191-200) e a base superior (top 10) é de 52,0 no indicador citações e 51 pontos na pontuação geral. Mais interessante é perceber que os 12,7 pontos, no indicador citações, que marcam a diferença entre figurar como top 10 ou top 25, equivalem à pontuação obtida por 179 instituições da base inferior.
 
Outro fato relevante, embora controverso, é a “quantidade das avaliações”. Joël Bourdin, no Relatório nº 442, retro citado, defende que ela é preponderante para que uma IES figure entre as top da cada ranking, especialmente os que consideram “reputação”, gerando o “efeito de persistência”. É inegável que isso vale para as top 10, pois, das 17 IES que se alternaram, 15 (quinze) IES passaram pela série completa das sete avaliações, desde o início, em 2004. Já entre as top 25, excluídas as top 10, 16 (dezesseis) foram avaliadas sete vezes; 3 (três) foram avaliadas por seis vezes; 2 (duas) por cinco vezes; 2 (duas) por três vezes e apenas uma, por duas vezes. Então é possível afirmar que a quantidade de avaliações[9] gera o efeito de persistência na camada superior, entre as 10 primeiras, mas vai tornando-se um critério relativo nas camadas intermediárias.
 
O simples noticiário sobre os rankings proporciona um aumento ou substancial diminuição dos indicadores de admissão logo no ano seguinte à notícia publicada. Webometrics
O webometrics, atualizado a cada janeiro e julho desde 2004, é um ranking de caráter mundial, que identifica as universidades mais presentes na internet. Sua principal função é promover publicações eletrônicas, mais acessíveis que as publicações impressas. É produzido pela Cybermetrics Lab (CCHS), unidade da Agencia Estatal Consejo Superior de Investigaciones Científicas (CSIC), principal organismo de fomento à pesquisa da Espanha. Ele oferece informações sobre mais de 12.000 universidades de acordo com a sua presença na web (uma avaliação do conteúdo acadêmico, visibilidade e impacto de universidades na web), sendo construído a partir de um banco de dados de mais de 20.000 IES. As top 12.000 são mostradas no ranking principal e as demais compõem listas regionais. Tem por base um indicador composto que inclui tanto o volume do conteúdo da Web, da visibilidade e impacto das publicações web de acordo com o número de links externos que foram referenciados. Seus idealizadores defendem que uma ampla gama de atividades científicas aparece exclusivamente em sites acadêmicos, sendo normalmente ignorada pelos indicadores bibliométricos dos demais rankings. No entanto, mesmo sendo esse seu diferencial, os resultados webométricos mostram uma alta correlação com outras classificações. As universidades norte-americanas são relativamente comuns entre as top 25, enquanto as pequenas e médias instituições alemãs, francesas, italianas e japonesas são menos presentes nos altos escalões do ranking. As possíveis razões dessa presença rarefeita incluem a publicação via conselhos de investigação independentes (CNRS, Max Planck, CNR) ou a grande quantidade de conteúdo nas línguas locais, não inglesas, o que torna esses artigos menos suscetíveis de serem captados pelos indicadores webométricos.
 
Performance Ranking of Scientific Papers for World Universities[10]
Este ranking é, desde 2008, uma iniciativa do Taiwan Higher Education Accreditation and Evaluation Council, objetivando avaliar e classificar o desempenho na pesquisa, empregando métodos bibliométricos para analisar e classificar a performance de 500 universidades[11] top em artigos científicos; 300 universidades top em seis campos, e outras 300 universidades top em dez temas das Ciências e Tecnologias. Ele utiliza dados extraídos do Science Citation Index (SCI) e Social Sciences Citation Index (SSCI) em seis campos: Agricultura, Ciências Ambientais, Clínica Médica, Engenharia de Computação e Tecnologia, Ciências da Vida, Ciências Naturais e Ciências Sociais. Segundo uma tendência de contemplar mais disciplinas, em 2010 ampliou seu levantamento nas áreas científico-tecnológicas por demanda das universidades asiáticas interessadas nos campos das Ciências, basicamente Física, Química, Matemática e Geociências. Já as áreas de tecnologia são divididas em Engenharia Elétrica, Ciência da Computação, Engenharia Mecânica, Engenharia Química (incluindo Energia e Combustíveis), Ciências dos Materiais e Engenharia Civil (inclusive Engenharia Ambiental).
 
Sua diferença em relação aos rankings da Times, da Q&S e de Xangai, é que se foca no desempenho de papers científicos. O ranking trabalha com oito indicadores em três categorias: 1ª – produtividade em pesquisa (20% do peso total), que avalia o número de artigos dos últimos 11 anos (ex. 1999-2010) e do número de artigos no ano em curso (ex. 2010); 2ª – impacto da investigação (30%), que avalia o número de citações dos últimos dez anos e de citações nos últimos dois anos; 3ª – pesquisa de excelência (50%), que avalia o h-index dos 2 últimos anos, o número de artigos altamente citados e o número de artigos do corrente ano, em periódicos de alta visibilidade. Cada um deles ponderados de 20%, 15% e 15%, respectivamente. Argumenta-se que a ênfase no desempenho da pesquisa atual (ou recente) faz com que os indicadores sejam mais justos, do que alguns indicadores dos demais rankings, que tendem a favorecer as universidades tradicionais, com história consolidada, e também as universidades dos países desenvolvidos.
 
Q&S World University Rankings
A Quacquarelli Symonds (Q&S) é a antiga parceira da Times no World University Ranking-WUR, companhia privada com sede em Londres que aconselha os estudantes de “alto potencial” para seus estudos e carreiras. Em setembro de 2010, após o rompimento da parceria, passou a produzir seu próprio ranking, divulgado em parceria com a US News & World Report de Washington, D.C., Chosun Ilbo, Jornal da Coreia do Sul, The Sunday Times do Reino Unido e o francês Nouvel Observateur. Dentre os questionamentos da QS havia uma frequente crítica a todos os sistemas de classificação do mundo universitário, no sentido de que eles continham material escasso sobre assuntos específicos. Então, sua classificação passou a considerar cinco "clusters"; engenharia; biomedicina; as ciências naturais; as ciências sociais e artes e humanidades. A Reputação responde por 40% no ranking de Q&S, sendo determinada por entrevistas com um grupo de acadêmicos (peer review), mas também gestores de recursos humanos de empresas ao redor do mundo, (10%): 15.000 acadêmicos e 5.000 RHs. Pede-se a cada perito para indicar até 30 IES que pareçam ser as maiores em cinco campos disciplinares: as ciências naturais, biomedicina, tecnologia, ciências sociais, humanidades e artes. Para o pessoal dos RHs, perguntam-se quais universidades têm mais egressos recrutados. A outra parte da avaliação é baseada em indicadores objetivos, citações por Faculdade (20%); Proporção de estudantes estrangeiros (5%). Além de proporção de faculdades internacionalizadas (5%) e proporção de estudantes da faculdade (20%). Ao todo, 2.500 IES são consultadas e 660 são consideradas em cada indicador.
 
O levantamento Q&S tem a vantagem, por assim dizer, de também incluir uma classificação especial para o campo da Matemática, além das demais áreas acima mencionadas. Tentando reproduzir um dos indicadores do ranking de Xangai, que considera Field Medals. Em contraste, a Times não publica rankings em Matemática, pois é inteiramente baseada em bibliometria. No resultado do ranking Q&S em matemática, que abrange 200 instituições, os dez primeiros são, pela ordem: Harvard, MIT, Cambridge, Stanford, Berkeley, Oxford, Yale, UCLA, Princeton, ETH.
 
Top Universities by Reputation – Times Higher Education
Em março de 2011, e paralelamente ao seu ranking principal, a Times inaugurou o Top Universities by Reputation[12], que embora possua uma classificação autônoma do WUR, alimenta aquele em cerca de 1/3 de sua pontuação geral. Trata-se de um sub-ranking estruturado sobre a opinião de 13.388 acadêmicos, de mais de 131 países, de sete distintas línguas. É solicitado a acadêmicos experientes destacar o que eles acreditavam ser mais relevante em universidades de ensino e em universidades de pesquisa. As seis melhores universidades do ranking são: Harvard University, Massachusetts Institute of Technology, Cambridge, University of California, Berkeley, Stanford University e Oxford. Foram consideradas como referência das demais IES, passando a ser classificadas como super brands”. Trata-se de uma resposta à classificação que a Q&S criou de forma independente após a ruptura com a Times.
 
Em análise comparativa, não é incomum que esses rankings mostrem resultados bem diferentes entre si, mesmo tendo como indicador principal a pesquisa. Tomando como referência o ARWU/Xangai, estudos mostram a posição das 15 primeiras universidades em relação aos cinco rankings mais destacados, ficando evidente o desalinhamento entre os resultados obtidos nesses rankings, para cada IES, salvo no caso das primeiríssimas, como Harvard e Stanford, com cadeira cativa no topo de todos os rankings, já que são instituições de referência da maioria dos classificadores. No caso do ranking da Q&S, cuja metodologia não privilegia instituições tradicionais, parece ilógico que mesmo assim ele se alinhe aos demais rankings no caso de Harvard, mantendo o “efeito de persistência” de que fala Joël Bourdin, no já citado Relatório nº 442, embora traga resultado bem distinto para Standford e Berkeley. Mas parece que, entre os cinco, a maior disparidade é a posição obtida pela University of California – San Francisco, relativamente bem colocada no ARWU e no Performance Ranking, que ostentou posição desprezível no Webometric, chegando mesmo a não ser classificada pela Q&S, que no seu site nem recomenda esta IES aos possíveis candidatos.
 
A visão de Especialistas em rankings internacionais
Dentre os especialistas, merece destaque a recente publicação de Ellen Hazelkorn[13], enfatizando a crescente obsessão com rankings universitários em todo o mundo, pois se tornaram onipresentes desde a década de 1990. Cita a revista US News & World Report, que tem uma edição especial sobre as melhores faculdades da América, publicada anualmente desde 1987 nos EUA, e continua sendo a mais popular publicação do tema naquele país. O que começou com um exercício acadêmico no início do século 20, nos EUA, converteu-se em um serviço de informação comercial para os estudantes na década de 1980 e veículo de uma corrida por reputação.
 
Em julho de 2008, a pedido do Senado francês, foi publicado o Relatório nº 442, denominado “Ensino Superior: o desafio das classificações”, conforme já citamos. Joël Bourdin, seu relator, já adotava ali o mesmo discurso de Ellen Hazelkorn, no sentido de que os rankings estão desfrutando de um sucesso considerável e que vários estudos, realizados no exterior, mostravam que eles têm uma influência sobre o comportamento das partes interessadas. Citou, por exemplo, que na França o [à época] presidente Sarkozy declarou a intenção de ter duas instituições classificadas entre as top 20 mundiais e 10 entre as top 100, atestando a legitimidade concedida aos rankings. Esse relatório pretendia esclarecer algumas questões: Qual é o propósito dos rankings? Para qual público se destinam e qual o contexto em que se produzem e estabelecem seus princípios, referenciais e indicadores? Qual deve ser a unidade de comparação? E qual seria o método “menos ruim” no desenvolvimento de um ranking?
 
No capítulo conclusivo, sob o revelador título “Como se livrar das armadilhas dos rankings”, conclui que cada ranking tem seus próprios limites, com base num número finito de indicadores para um número igualmente limitado de objetivos. Então, a primeira questão é se os indicadores escolhidos referem-se a objetivos claramente identificados como sendo aqueles que a sociedade entende como relevantes para melhorar o desempenho da Educação Superior, ou mesmo para sinalizar sua boa qualidade. Nesse ponto de vista, rankings têm foco em indicadores sobre a pesquisa, como um sinalizador a alunos ou candidatos que desejam saber onde estão os pesquisadores mais citados, e aqueles que obtiveram Prêmio Nobel. Nesse caso, os rankings não fazem justiça aos diferentes objetivos das instituições.
 
Quanto à relevância do método, concluiu o relator que as métricas adotadas em rankings são problemáticas em vários níveis, porque os pesos escolhidos não são objeto de qualquer justificação teórica. Os usuários do ranking, convidados a compartilhar suas escolhas, nem sempre são bem informados sobre as metodologias que irão processar suas opiniões. Em geral, a legitimidade de indicadores sintéticos é incerta, em parte por agregar dados díspares, e em segundo lugar porque resultam de escolhas que fazem com que o informante assuma a condição de ator do ranking, corresponsável por seu resultado.
 
Os indicadores, por vezes, usam "proxies" indiretas. Por exemplo, as pesquisas de reputação, tais como as realizadas sob a classificação da revista Times Higher Education, ora consorciada com a Reuters, medem a seletividade da instituição, a qualidade da sua pesquisa e o seu prestígio histórico. Contudo, essas medidas criam o “efeito de persistência”, sendo esse o caso daquelas IES que estão, insistentemente, no cume do ranking. Salienta Joël Bourdin, às fls. 68 de seu relatório, que ao considerar esses três indicadores os rankings criam o citado efeito de persistência, já que a reputação de uma IES depende, em parte, de suas classificações passadas. Por isso, não adianta querer disputar com as top 100 e com as top 25.
 
Não obstante, os indicadores estão interligados, provocando certa superficialidade, a exemplo do que acontece com a classificação de Xangai, que possui sobreposição de critérios bibliométricos (número de artigos referenciados a nível internacional e número de artigos publicados nas revistas Science e Nature ou a sobreposição indireta de outros critérios, tais como a obtenção de honras acadêmicas (Prêmio Nobel, Fields Medal). No caso do THE-QS ranking, a reputação também dependia do que é medido por outros indicadores, de maneira que os mesmos elementos são levados em conta várias vezes para conseguir uma classificação[14].
 
No ranking de Xangai, 60% da nota final de uma IES depende de indicadores bibliométricos, contra 20% naquele promovido pela Times (atualmente este indicador representa 32%). O ranking de Xangai baseava-se no Institute for Scientific Information (ISI) da Thomson-Reuters (em 2008), enquanto o ranking THE-QS utilizava, naquela data, os fundamentos da Elsevier publisher Scopus.
 
A esse respeito, Martin Ince[15], diretor da MI Communications e membro do Conselho Consultivo da Times Higher Education, analisa as diferenças entre os sistemas de classificação mais influentes, assinalando que as economias avançadas produzem, cada vez mais, variados e especializados postos de trabalho. Significa falar de novas demandas por formação universitária e da crescente necessidade de informações. Prestar informação – segundo ele – é o leitmotiv que autoriza os rankings acadêmicos, não só porque o universo de IES cresceu, mas também a massa de alunos e o leque de possibilidades de cursos superiores. Somem-se a isso os altos custos de manter um aluno na universidade, de modo que suas famílias precisam saber para onde enviar seus filhos e se aquela IES é a mais gabaritada. Assim, a maioria dos rankings é orientada aos bacharelados, divulgando informações tais como dimensão das turmas, gastos com biblioteca, taxas de conclusão, aproveitamento, possibilidades de emprego e montante de doação dos ex-alunos, este último sob o argumento de que egressos satisfeitos são gratos à IES formadora.
 
Essa seria a função aparente dos rankings – orientar os candidatos à Educação Superior. Porém, também assumem outra função: fomentar a competição entre as próprias IES, que passam a adotar um comportamento até então comum no mundo empresarial, qual seja, a concorrência pela produtividade, pela eficiência, e, sobretudo, pela legitimidade pública. Sobre isso, Jamil Salmi[16], [ex-]coordenador de ensino superior no Banco Mundial, ao comentar sobre os desafios de se criar universidades de classe mundial, fala de um “...growing desire to compete for a place at the top of a global hierarchy of tertiary education".
 
O fato é que neste momento, os rankings, realizados por Governos, Organizações Sociais, Revistas, Jornais e Academias, talvez sejam a forma mais disseminada de classificar a excelência institucional e, sobretudo, sua eficácia, sendo esse um critério importado dos meios produtivos, que revelaria a capacidade de gestão para alcançar metas estabelecidas ou os resultados propostos. Mas é verdade que também eles – os próprios rankings – são passíveis de classificação adjetiva de bom-ruim. Nesse cenário, os rankings assumem duas vertentes: (1) não trabalham com análises qualitativas; assim, muito do que chamamos rank é mera ordenação quantitativa de critérios que o classificador entende revelar excelência; (2) ao mesmo tempo em que objetivam legitimar ou desacreditar o classificado perante o público, ou entre seus pares, os próprios classificados legitimam seu carrasco ou bem-feitor. Trata-se, pois, de um sistema de mútua acreditação, em que classificado e classificador são interdependentes. E apesar dos rankings basearem-se, quase invariavelmente, nos mesmos dados e no mesmo quadro metodológico, são fortemente influenciadas pelo limite usado para definir o conjunto das entidades calculadas. Nesse caso, boas universidades, mas com menor projeção, que não estão presentes entre as top 100, podem ter melhor posição no ranking de impacto se o limite do universo for reduzido, já que o ranking trabalha com um elevado número de instituições que servem para ampliar o universo da amostra, da qual se extrai o pequeno grupo de elite; outras, com menor prestígio, serão privilegiadas quando esse limite for dilatado. Isso explica o fato, de alguns rankings darem ênfase às top 100, outras às top 200, outros avançam e contemplam as top 500.
 
Quanto aos efeitos colaterais, Bowman e Bastedo[17] empenharam-se em compreender as implicações dos rankings nas taxas de admissão de alunos nas IES classificadas e, também, demonstrar como os rankings se converteram em sinalizadores de excelência e prestígio institucional. Citando notável conjunto de especialistas no tema, os autores informam que, em 1995, mais de 40% dos estudantes do primeiro ano universitário indicaram que a classificação das universidades era levada em conta na eleição da IES que pretendiam cursar. Porém, na última década, a influência dos rankings universitários se intensificou. Desde 1995 – acrescentam os autores – a proporção de estudantes que descreve as classificações como “muito importantes” no seu processo de escolha da universidade foi incrementado em mais de 50%. Sustentam, ainda, que recentes estudos têm sugerido nexo de causalidade entre rankings e indicadores de admissão discente.
 
É inegável – salientam – que o simples noticiário sobre os rankings proporciona um aumento, ou substancial diminuição dos indicadores de admissão logo no ano seguinte à notícia publicada[18]. Mover-se para cima ou para baixo dentro da camada superior do ranking tem um forte impacto sobre as instituições classificadas entre as top 25, porém alguns autores são bastante seguros para afirmar que qualquer mudança no nível, entre os diferentes grupos (top 100; top 200 etc), tem implicações substanciais para uma instituição.
 
Como resultado, ser classificada como uma IES top (grupo das 100 mais; 200 mais etc.) tem um peso significativo maior que avançar um único ponto dentro da camada superior, como por exemplo, entre as 25 top e 50 top. Concluem que três fatores produzem impactos consideráveis sobre os indicadores de admissão. Primeiro: figurar no noticiário dos rankings melhora substancialmente os indicadores de admissão, no ano seguinte, embora para alunos altamente qualificados a divulgação das IES top pode servir, apenas, como uma lista potencial das escolas a considerar. Segundo: uma vez que as instituições tenham atingido a camada superior, isso traz benefícios notáveis ​​para aquelas que ocupam a camada das top 25, mas esse impacto é mais fraco, ou inexistente, entre a metade inferior do grupo das top. No terceiro fator apontado por Bowman e Bastedo, argumentam que os custos de matrícula (tuition) e despesas das famílias com ensino também servem como marcadores de qualidade e são catalisadores de prestígio, derivado, muitas vezes, da bagagem acadêmica dos ingressantes. Em suma, Bowman e Bastedo ressaltam que as melhorias de posição das IES nos rankings podem influenciar os resultados de admissão, mas esses efeitos ocorrem principalmente para as universidades classificadas entre as top 25 e para aquelas que se deslocam rumo à primeira página, isso é, entre as top 100. No entanto, para outras instituições de elite, medidas alternativas de prestígio, como os custos de mensalidades e outras despesas contribuem mais efetivamente nos indicadores de admissão que sua posição nos rankings. Assim, os rankings acadêmicos desempenham papel importante na tomada de decisão de alguns alunos, mas outros indicadores de reputação e prestígio influenciam consideravelmente os estudantes.
 
Posição de organismos internacionais sobre os efeitos dos rankings
Dentre as instituições que se dedicaram a entender a mecânica e os efeitos dos rankings, destacam-se os estudos promovidos pelo Diretório Geral de Investigação de Base Universitária da Comissão Europeia, pela European University Association- EUA, pelo Espaço Europeu do Ensino Superior - EEES e Espaço Europeu da Investigação -EEI, estes dois últimos integrados ao Processo de Bolonha, além do Center for Higher Education - CHE da Dinamarca e da própria OCDE, entre outros. Esses movimentos institucionalizados acontecem quase que unicamente na Europa, embora estudiosos das mais diversas nacionalidades já tenham se manifestado quanto aos efeitos deletérios dessas classificações.
 
A propósito, o Grupo de Peritos em Avaliação da Investigação de Base Universitária, do Diretório Geral para Pesquisa da Comissão Europeia, diante do impacto dos rankings na Educação Superior, foi instado a produzir um relatório[19] sobre a pertinência dessas classificações e a adequação de suas metodologias, com a incumbência de apresentar subsídios para um novo método de classificação, que seja mais coerente ao avaliar a investigação produzida por universidades europeias. Esse novo método deveria considerar a perspectiva multifuncional e diversa das universidades e das disciplinas. Além disso, ressalta que se o ensino superior é um dos motores da economia e um ponto-chave sobre o “knowledge triangle”, então a produtividade, qualidade e estado da arte da pesquisa produzida pelas universidades são indicadores vitais. Daí a importância de se projetar uma forma de avaliar adequada à finalidade institucional. Essa nova metodologia seria melhor aplicável através de uma ampla gama de disciplinas, incluindo a pesquisa interdisciplinar.
 
O relatório é profícuo em suas análises e conclusões, e dele poderemos extrair as recomendações gerais: primeira, que a avaliação da pesquisa de base universitária precisa ser concebida em relação aos objetivos da instituição e daquele programa, em particular, adotando metodologias que considerem sua finalidade; segunda, que essa avaliação deve combinar indicadores quantitativos e qualitativos; terceira, a avaliação da investigação deve ser realizada ao nível dos knowledge clusters”, em escala precisa e cuja natureza dependa da finalidade da pesquisa. Esses “clusters” podem se expressar em unidades administrativas, unidades da ciência nas universidades, ou redes inter-institucionais (faculdades, departamentos, escolas, equipes, centros, institutos interdisciplinares ou agregados etc). Devem permitir certa agregação ao nível institucional.
 
Outro órgão que se propôs a avaliar os desdobramentos dos rankings foi a European University Association-EUA[20] que produziu recente dossiê para demonstrar o impacto dos rankings internacionais sobre a Educação Superior, chegando à taxonomia dos cinco grupamentos, indicados na parte inicial do presente estudo. No documento, a associação alerta para dois relevantes fatos. Primeiro, que essas classificações lidam com apenas 1% – não mais que 3% – das universidades (200 a 500) de um total de 17.000 universidades do mundo, onde se incluem aquelas instituições inseridas nas tabelas com intenção classificatória, com atribuição de conceito (top 500); aquelas instituições consideradas pelos rankings, mas que não figuram da tabela classificatória, isto é, não recebem conceito (next 500); e destas, as top 20. Segundo, que rankings classificatórios utilizam metodologias limitadas em produzir resultados estáveis ​​para mais de 700/1.200 universidades, reduzindo-se para algo em torno de 300, no caso dos rankings que as classificam segundo áreas disciplinares. E que, devido ao caráter elitista, cerca de 16.500 universidades jamais obterão qualquer posição de prestígio.
 
O caráter mais destacado dos rankings é que a parcela de instituições consideradas não representa a totalidade do segmento da Educação Superior. Outra questão intrínseca é que cada ranking olha para certos aspectos da Universidade, sem que nenhum deles consiga enxergar o ser na totalidade. E disso surge um dos principais impactos negativos, já que tanto a sociedade quanto os policy makers são tentados a julgar todo o ensino superior pelos padrões que os rankings têm adotado para detectar as melhores universidades de pesquisa, ao invés de aplicar um dos princípios fundamentais da qualidade, a “adequação à finalidade institucional”.
 
Há, no Relatório da European University Association, relevantes críticas aplicáveis a todos os rankings[21]. Nele enfatiza-se, por exemplo, que a entrada dos rankings no meio educacional causou certo constrangimento, pois as universidades têm sido incapazes de evitar as comparações, causando-lhes mudanças funcionais. Esses rankings, e particularmente os que adotam tabelas classificatórias, têm endereço certo, que são as universidades do topo, todas com vocação de pesquisa, criando uma densa massa de população universitária marginal. E em que pese o objetivo de produzir uma lista das melhores universidades, o efeito colateral é que isso termina atingindo todo o sistema, que passa a ser julgado à luz de critérios destinados a mensurar a excelência das universidades de pesquisa.
 
É fato que os rankings, até o momento, cobrem apenas algumas das missões da universidade. Poucos contemplam a diversidade de tipos institucionais e das múltiplas missões das instituições de educação superior. Alega-se que os rankings tornam as universidades mais transparentes, contudo as próprias metodologias adotadas carecem de transparência. É difícil, senão impossível, acompanhar o cálculo das pontuações dos indicadores e, desses, para a pontuação geral, somente com as informações disponíveis publicamente. Também não existe, nessas metodologias, um “indicador objetivo”, sendo evidente a falta de indicadores adequados para medir o desempenho de uma instituição dedicada ao ensino. No caso, a situação é melhor quando avaliam o desempenho da universidade de pesquisa. E mesmo os indicadores bibliométricos adotados para medir o desempenho têm sérias falhas e preconceitos, como os assinalados por Van Raan[22].
 
Mais recentemente, observou-se um movimento dos classificadores para mudar suas metodologias, mas essas melhorias dizem respeito à memória de cálculo, enquanto permanece o verdadeiro problema que é o uso inadequado de proxies, ou a omissão de parte das informações devido a limitações metodológicas. As proxies podem ser melhoradas, mas elas ainda são medidas aproximadas.
 
Seria difícil argumentar que os benefícios das informações dos rankings e a almejada “transparência” são mais significativos que os problemas, as “consequências indesejáveis” dos rankings. Essas novas tentativas de desenvolver classificações, rankings e avaliações, abrangendo todas as IES, em suas variadas missões, como estão tentando fazer a Comissão Europeia, e outras tentativas como o método U-Map e U-Multirank, CHE rankings, ou ainda o modelo AHELO/OCDE, estão empenhados em melhorar a situação. É, contudo, cedo para dizer como funcionarão, pois ainda estão em estágio de desenvolvimento e implementação piloto, além de enfrentar sérios problemas para coleta de dados e desenvolvimento de novos indicadores.
 
Com efeito, segundo dados da Comissão Europeia, hoje 33 países adotam alguma forma de classificação operada pelo governo e/ou agências de acreditação do ensino superior e da pesquisa. No Brasil, versão [ainda que rústica] desse movimento é a classificação oficial advinda dos indicadores preliminares de qualidade, Enade, CPC e IGC[23]. Sua afinidade está em ser publicado anualmente e adotar pequeníssimo conjunto de indicadores, mas, sobretudo, porque as informações também são fornecidas pelas entidades classificadas, criando a mesma relação de dependência entre classificado e classificador, observada nos rankings internacionais.


[1] Este artigo é um versão resumida, gentilmente elaborada pelos autores, do Documento de Trabalho nº 97, com o mesmo título, publicado pelo Observatório Universitário (RJ) em setembro de 2011. A íntegra está disponível no endereço eletrônico http://www.observatoriouniversitario.org.br/documentos_de_trabalho/documentos_de_trabalho_97.pdf (28 páginas, com tabelas, gráficos e implicações adicionais)
 
[2] Andler, Martin. Les surprises du classement Q&S pour les mathématiques2011. Disponível em http://jfmela.free.fr/jfmblog/?p=226. Acesso em 19 ago 2011.
 
[3] BOURDIN M. Joël. Enseignement supérieur: le défi des classements. Rapport d'inform. n° 442 (2007-2008). 2008.
 
[4] Este ranking foi, entre 2004 e 2009, produzido pela Quacquarelli Symonds - Q&S, companhia privada com sede em Londres que aconselha os estudantes de "alto potencial" para seus estudos e carreiras, em parceria com a Times Higher Education, também sediada em Londres. Mas desde 2010, os rankings da Q&S e da THE tornaram-se distintos. A classificação Q&S 2010 foi divulgada com metodologia e resultados que surpreenderam a muitos especialistas.
 
[5] Europa, Ásia, América do Norte, América do Sul, Oceania e África.
 
[6] Engineering & Technology; Life Sciences; Clinical, Pre-Clinical e Health; Physical Sciences; Arts & Humanities.
 
[7] Os indicadores anteriores eram: atividade econômica/inovação; indicadores de pesquisa; diversidade internacional e indicadores institucionais.
 
[8] Segundo a OECD, “Purchasing Power Parities (PPP) are currency conversion rates that both convert to a common currency and equalise the purchasing power of different currencies. In other words, they eliminate the differences in price levels between countries in the process of conversion. Under the Joint OECD-Eurostat PPP Programme, the OECD and Eurostat share the responsibility for calculating PPPs”. Fonte: OECD - http://www.oecd.org
 
[9] Apenas para efeitos de comparação, vejamos que dentre as Top 200 as avaliações do ranking assim se distribuem: 53 IES foram avaliadas por 7 vezes; 23, 6 vezes; 18, 5 vezes; 55, 4 vezes; 93, 3 vezes; 65, 2 vezes; 175, uma única vez.
 
[11]  A seleção das universidades é baseada no número de citações dos artigos em revistas especializadas. Para produzir uma lista Top 500, 700 instituições são as primeiros selecionadas entre as instituições de pesquisa, dentre 4.000 listadas no Essential Science Indicators (ESI). Instituições não universitárias são então removidas, e as restantes são comparadas com os rankings da THE, ARWU e US News and World Report. Isto resulta em 725 universidades. (fonte: Relatório nº 442 do Senado francês. pg 40, acima citado)
 
[13] Hazelkorn, E. Rankings and the Reshaping of Higher Education: the Battle for World Wide Excellence. Palgrave Macmillian. NY. EUA. 2011.   Discussão adicional pode ser vista em abrengente volume: J. C. Shin et al. University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education (The Changing Academic Profession in International Comparative Perspective 3). Springer. London. 2011.
 
[14] Esse efeito também é verificado no IGC, aplicado pelo Ministério da Educação. Ver item “Associação entre a Avaliação Institucional Externa, o IGC e o modelo Capes de avaliação”.
 
[15] Ince. Martin. Comparing ranking systems. Times Higher Education. 2010. Citando Michael Porter. Martin se especializou em publicar artigos sobre os rankings e, em 2004, integrou-se ao consórcio Times / QS World University Rankings e foi seu editor até 2008. Para saber mais: http://www.martinince.eu
 
[16]Salmi, Jamil. The Challenge of Establishing World-Class Universities. The World Bank. 2009. Disponível em http://siteresources.worldbank.org/EDUCATION/Resources/278200-1099079877269/547664-1099079956815/547670-1237305262556/WCU.pdf. Acesso em 01 ago 2011.
 
[17]BOWMAN, Nicholas and BASTEDO, Michael. Getting on the Front Page: Organizational Reputation, Status Signals, and the Impact of U.S. News and World Report Rankings on Student Decisions. University of Michigan. 2010. Disponível em http://www-personal.umich.edu/~bastedo/papers/BowmanBastedo.ResHE2009.pdf. Acesso em 06 set. 2011.
 
[18] Segundo Bowman e Bastedo, estudos analisaram dados de 1987 a 1997 em 30 IES privadas dos Estados Unidos, quase todas classificadas como top. As notícias sobre rankings corresponderam a uma diminuição de 0,4% nas taxas de aceitação e a um incremento de 0,2% no rendimento. Em estudo posterior, foi utilizada amostra mais ampla que incluiu universidades públicas e privadas. Entre todas as IES que aparecem nas escalas 2-4 (em relação com a parte inferior dos mais prestigiosos de Nivel 1), resultaram taxas de maior aceitação e menor proporção de estudantes entre os top 10% de sua classe. Ademais, verificaram curiosa associação: subindo no ranking dentro das melhores universidades (no posto de 1 a 25) resultaram maiores taxas de aceitação, porém em menores proporções de estudantes entre os top 10% de sua classe do Ensino Médio; e, subindo na parte inferior das IES de nível 1 (no posto 26-50), foi associado com taxas de aceitação mais baixas. Além disso, subindo no ranking dentro das universidades do topo (1º ao 25º classificados) foi positivamente associado com a proporção de estudantes top10% no Ensino Médio, e movendo-se dentro da base (classificados entre 26-50) identificaram-se menores taxas de aceitação.
 
[19] European Commission; European Research Area; Science&Society. Expert Group on Assessment of University-Based Research. Assessing Europe’s University-Based Research. Relatório. Bruxelas. Bélgica. 2010. Disponível em http://ec.europa.eu/research/science-society/document_library/pdf_06/assessing-europe-university-based-research_en.pdf [acessado em 11/03/2014]
 
[20] European University Association – EUA. Global university rankings and their impact. 2011. Bruxelas. Bélgica. Disponível em www.eua.be. Acesso em 24 ago 2011.
 
[21] Às fls 120, ao dissertar sobre “a quantidade de informações disponíveis sobre os dados e métodos”, destaca-se que, quanto mais global o ranking, mais a descrição de suas metodologias é simplificada, dificultando o acesso à memória de cálculo.
 
[22] Van Raan, Anthony F. (2005). Fatal Attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics. Vol. 62, No. 1 2011. Disponível em: http://www.cwts.nl/TvR/TvRpublications.html [acessado em 11/03/2014]
 
[23] Não é possível considerar os resultados das demais avaliações do Sinaes (avaliação institucional e de cursos), ou mesmo aquelas promovidas pela Capes, como classificações à moda dos rankings, haja vista que os ciclos do Sinaes e do CTC/Capes são trienais, não acompanhando a dinâmica dos rankings.