10/09/2013

blog Cultura Científica

O que mudou da 1ª para a 2ª edição do ranking de universidades da Folha de S.Paulo

Mercado e Internacionalização são indicadores problemáticos. No primeiro, uma pesquisa de opinião feita com RH de empresas não pode trazer resultados confiáveis. No segundo, faltou considerar a presença de estudantes estrangeiros e o percentual de alunos da instituição em intercâmbio no exterior

Leandro R. Tessler
Físico (UFRGS), mestre em Física (Unicamp), Ph.D. (Tel Aviv University).
Professor associado do Instituto de Física Gleb Wataghin da Unicamp. Pesquisa luminescência de elementos das terras raras em semicondutores. Também pesquisa ensino superior, internacionalização do ensino superior, inclusão social, ação afirmativa e divulgação científica
Nesta segunda-feira (9) foi publicada a edição 2013 do Ranking Universitário da Folha, o RUF. Como no ano passado, não posso deixar de elogiar a iniciativa de termos um ranking independente das avaliações oficiais (apesar de considerá-las na sua receita no indicador Ensino) no Brasil. Isso ocorre em muitos países e tem sido um indutor de uma busca por qualidade. Não se pode desprezar nesses países a importância dos rankings na escolha da instituição por parte dos estudantes. Ao contrário do Brasil, com raríssimas exceções o ensino superior público cobra taxas dos estudantes e há uma saudável competição por talento e por recursos. Isso fica explícito no caso da Forbes, que indica junto com o resultado de seu ranking o custo anual de estudar nas instituições. Com uma média próxima a US$ 60 mil por ano entre os Top 20, trata-se de um serviço com um custo que pode ser pesado para as famílias de classe média. Os americanos economizam um dinheiro durante toda a vida para garantir uma educação de qualidade a seus filhos.
 
 
Clique aqui para ler o blog Cultura Científica, do prof. Leandro Tessler
 
Leia também:
 
 
Mais do que ser um ranking fortemente voltado para os resultados em pesquisa como o ARWU (que desencadeou em 2003 a febre mundial por rankings), o RUF busca ser útil para o estudante brasileiro: onde é melhor estudar No Brasil a Folha escolheu indicadores que me parecem bem adequados à realidade brasileira: Ensino, Pesquisa, Mercado, Inovação e Internacionalização. Esse último indicador foi aplicado pela primeira vez neste ano, seguindo as tendências mundiais de considerar internacionalização um elemento indispensável na formação com qualidade. Os indicadores escolhidos deixam claro que mais do que ser um ranking fortemente voltado para os resultados em pesquisa como o ARWU (que desencadeou em 2003 a febre mundial por rankings), o RUF busca ser a exemplo do US News e do Forbes um indicador para o estudante brasileiro: onde é melhor estudar?
 
O indicador Inovação é um pouco injusto com as instituições menores, dado que não foi ponderado pelo número de docentes Um ranking que se preza precisa ser minimamente estável, ou seja, não mudar radicalmente as posições de um ano para o outro. Nesse sentido, o RUF é bem coerente: algumas top 20 mudaram um pouco de posição, mas apenas uma não estava entre as top 20 do ano passado. Poucos rankings internacionais conseguem essa façanha.
 
Mas será que o RUF está avaliando consistentemente todos os indicadores? Uma rápida análise gráfica pode ajudar a responder a essa pergunta. Eu representei cada um dos parâmetros em função da colocação geral no ranking.
 
O indicador Pesquisa é o que tem a melhor correlação com a classificação geral. Isso é um pouco óbvio se levamos em consideração que pesquisa corresponde a 40% do ranking (menos que os 55% de 2012).
 
 
A segunda melhor correlação é para o Ensino, que corresponde a 32% (era 20% em 2012). Metade das instituições não pontuaram em Inovação, mas mesmo assim a correlação é boa até a centésima colocação, e a partir daí fica tudo empatado.
 
 
Mesmo valendo apenas 4%, é de se esperar que a inovação esteja nas instituições onde há pesquisa. Pesquisa foi avaliada a partir do número de patentes depositadas no INPI, ou seja, devem ser resultado de atividades de pesquisa aplicada. Esse indicador é um pouco injusto com as instituições menores, dado que não foi ponderado pelo número de docentes. Que é melhor para o estudante? Estar numa instituição onde poucos professores de um universo extenso submetem patentes ou onde quase todos os poucos professores submetem patentes?
 
 
No indicador Mercado, o problema não está no indicador, mas na metodologia incrivelmente frágil que a Folha adotou (perguntar para RH's). A Forbes avalia esse indicador considerando o grau de sucesso dos egressos em suas profissões escolhidas (salário médio, posição de liderança etc.) E aí aparecem os indicadores problemáticos: Mercado e Internacionalização. Já na versão anterior eu havia chamado atenção para a fragilidade do indicador Mercado: uma pesquisa de opinião feita junto a 1681 responsáveis pela área de recursos humanos de empresas que atuam na área dos 30 cursos de graduação avaliados pelo RUF. Como argumentei no ano passado, essa metodologia não pode trazer resultados confiáveis. Basta olhar o gráfico que mostra a total ausência de correlação entre a avaliação do Mercado e a classificação no ranking, mesmo com esse indicador valendo 18% do total. Mais que isso, aqui sim ocorrem instabilidades importantes: A Unicamp estava em 42º no ano passado; pulou para 11º nesse ano. A UNESA saltou de 56 para 16 no mesmo período. É pouco provável que de um ano para o outro o mercado tenha mudado tanto. O problema não está no indicador, mas na metodologia incrivelmente frágil que a Folha adotou. Por exemplo, a Forbes avalia esse indicador considerando o grau de sucesso dos egressos em suas profissões escolhidas. Para isso ela avalia o salário médio dos formados, o número de egressos em posições de direção em empresas selecionadas e em listas do tipo Who's Who (tenho dúvidas sobre essa última, já me pediram autorização para me colocar nela várias vezes...). De qualquer forma são indicadores de sucesso no mercado muito mais robustos do que perguntar para responsáveis por RH.
 
É mais importante formar o diretor de uma empresa ou ser lembrado pelo responsável por RH?
 
No indicador Internacionalização, faltou o mais importante e relevante para os estudantes, que é a presença de estrangeiros. Várias universidades estão há anos fazendo um esforço enorme para atrair estudantes estrangeiros em graduação e pós, mas isso foi ignorado pela Folha O novo indicador de Internacionalização padece de problemas similares (mas por razões distintas) e como consequência apresenta também baixa correlação com o resultado do RUF. Ele considerou as citações internacionais por docente (essencialmente um resultado de pesquisa de qualidade), as publicações em coautoria internacional (interessante, mas restrito às universidades que publicam e sujeito a efeitos do tamanho da instituição) e o percentual de docentes estrangeiros (esse é usado no mundo todo). Faltou o indicador mais importante e relevante para os estudantes, que é a presença de estudantes estrangeiros. Várias universidades estão há anos fazendo um esforço enorme para atrair estudantes estrangeiros em graduação e pós, mas isso foi ignorado pela Folha. Da mesma forma, especialmente depois do Ciência sem Fronteiras, é importante considerar o percentual de estudantes da instituição em intercâmbio no exterior. Tendo participado de vários eventos de internacionalização do ensino superior nos últimos anos, tenho claro quais as universidades mais internacionalizadas do Brasil. Várias não figuram entre as Top 20 do RUF neste indicador.
 
A Folha tem dado uma atenção especial à qualificação e à internacionalização do ensino superior brasileiro, inclusive tendo proposto o RUF. É muito importante que ela preste atenção a detalhes que, por menores que pareçam, podem ter uma forte influência no resultado.