A excelência da pesquisa do Reino Unido: cada vez melhor?

A cada cinco anos, o sistema do ensino superior do Reino Unido submete-se a exercícios intensos conduzidos pelo órgão regulador nacional do ensino superior, com o objetivo de catalogar, computar e apreciar a pesquisa universitária. Desta vez processos intensamente competitivos e desgastantes, antes conhecidos por Exercício de Avaliação da Pesquisa, tornou-se a Estrutura de Excelência da Pesquisa (REF) sigla em inglês para Research Excellence Framework. Os resultados do primeiro REF foram publicados um pouco antes do natal.

 

Objetivos da avaliação da pesquisa

Nem sempre consistentes entre si, o REF tem vários objetivos, usado para alocar o apoio ao financiamento especifico e para concentrar os recursos nas instituições de alta performance e disciplinas, aumentando o valor do dólar nacional da pesquisa ao máximo possível. A avaliação da pesquisa molda o mercado de trabalho acadêmico, encorajando os pesquisadores a mudarem para unidades de alta performance, e as universidades na busca pelos melhores pesquisadores. Também se destina a fortalecer o enfoque no trabalho de alta qualidade — pesquisadores submetem suas quatro melhores publicações para avaliação —comparação da pesquisa do Reino Unido com os padrões globais, apresentando esta pesquisa ao mundo. De igual modo encoraja os pesquisadores a centrarem-se nos impactos sociais e econômicos da pesquisa, assim como as universidades que deverão submeter evidências de tais impactos.

 

Qualquer sistema de avaliação de pesquisa, com seu um caráter duplo, é apenas parcialmente confiável como um indicador da qualidade real. Por um lado está enraizado em fatos materiais e métodos objetivos, mas por outro favorece também algumas normas, atividades, e interesses em detrimento de outros — nenhuma avaliação pode cobrir tudo da mesma forma, cada avaliação utiliza procedimentos específicos e parciais, e os atores experientes e de status elevado são os melhores para desvendar o sistema.

 

Alguns aspectos da pesquisa, tais como as citações nos melhores periódicos são de mais fácil padronização que outros, como, por exemplo, os impactos de longo prazo da pesquisa nas políticas e profissões. Comparações entre disciplinas, universidades com diferentes missões, entre professores experientes e pesquisadores em inicio de carreira, ideias estabelecidas e as novas, todos estes aspectos estão em jogo.

 

O resultado do REF do Reino Unido foi parcialmente moldado pelas universidades que selecionaram e deram forma aos dados para fins competitivos, e os próprios painéis de disciplinas dos REFs que definiram a pesquisa considerada para ser excelente em escala global. As posições precisas nas tabelas de classificação do REF devem ser encaradas com cautela.

 

Avaliação do impacto da pesquisa?

No REF do Reino Unido, os indicadores de “impacto,” novos, no que tange a avaliação de 2014, são os mais vulneráveis na manipulação. Isso se deve parcialmente ao fato da dificuldade intrínseca de se mensurar as mudanças para a sociedade, economia, política, estas induzidas pelo conhecimento, especialmente em longo prazo e também por conta dos tipos de dados elaborados com “base em impactos” que foram coletados durante o processo de avaliação do REF. Uma sofisticada indústria tem emergido na fabricação de exemplos de “evidência” relevante de impacto; simulações do REF do impacto da pesquisa, invés do impacto real.

 

No melhor dos casos, a avaliação do impacto da pesquisa fez com que todos refletissem sobre a real conectividade com os usuários da pesquisa, o que representou um dos pontos iniciais quando na produção da documentação relacionada aos impactos. Na pior perspectiva, as avaliações dos “impactos” ruíram em um exercício de espelhos e fumaça, produzindo dados que correspondem tanto à realidade quanto as demonstrações dos resultados criados por fabricas soviéticas em resposta as metas oficiais. 

 

Inevitavelmente, tais universidades, bastantes adeptas do controle de suas respostas às avaliações da performance de todos os tipos, desempenharam bem, especialmente no que diz respeito à criação da documentação relacionada aos impactos. Pode-se suspeitar que houvesse também o efeito “halo,” sempre associado com todas as avaliações contaminadas pela reputação anterior. Assim, a pesquisa na Universidade de Cambridge estava mais propensa a apresentar impacto, precisamente por ser de Cambridge.

 

Avaliação da qualidade dos resultados

No REF a qualidade dos resultados foi avaliada usando-se um sistema de quatro estrelas, produzindo-se um ranking com base no nível de estrela médio dos pesquisadores de uma instituição (o “ponto Médio de Classificação”), e outro ranking com base na proporção em um nível de 4 estrelas. Tais avaliações do resultado da qualidade foram fundamentadas em apreciações consideradas de trabalho de pesquisa real por painéis competentes. Contudo, o valor relativo dos indicadores de resultado, em especial as avaliações da qualidade comparativa estão sujeitas a duas advertências.  

 

Entre o Exercício da Avaliação da Pesquisa de 2008 e 2014, do REF, houve uma inflação marcante da proporção dos resultados de pesquisa do Reino Unido apreciadas como “líderes mundiais” (classificadas com 4 estrelas) e “internacionalmente excelentes” (classificadas com 3 estrelas). As universidades puderam desvendar a avaliação ao serem seletivas com relação às autorias dos trabalhos que foram incluídos em suas apresentações ao REF. A inclusão dos melhores pesquisadores apenas eleva o ponto médio de classificação e a proporção da pesquisa classificada com 4 estrelas. As universidades que assim procedem pagam um preço financeiro, nisso, seus volumes aparentes de pesquisa são reduzido e seus fundos subsequentes caem. Mesmo assim, é bom para reputação, com muitos destaques duradouros, incluindo os benefícios financeiros.

 

Em 2008, 14 por cento dos resultados da pesquisa foram apreciados como de 4 estrelas, e 37 por cento como de 3 estrelas, o que significa que 51 por cento do trabalho se encontrava nas duas principais categorias. Seis anos mais tarde em 2014, a proporção de trabalho apreciado como líderes mundiais ou excelentes havia de certo modo pulado para 72 por cento, com 22 por cento considerados como de 4 estrelas e 50 por cento como de 3 estrelas. Esta melhoria fenomenal aconteceu em um momento em que os recursos no ensino superior foram limitados por padrões históricos. “Está melhorando sempre” conforme expressa a canção dos Beatles. Mas a pesquisa do Reino Unido está melhorando mesmo?

 

Embora melhorias reais sem sombra de duvidas tenham ocorrido em pelo menos alguns campos, a escala e a velocidade desta melhoria custam a acreditar. Pode-se suspeitar que refletisse a cominação de fatores que geram o excesso de promoção. As universidades têm um interesse próprio em maximizar suas qualidades aparentes. Os painéis de disciplinas têm um amplo interesse próprio em maximizar a natureza de classe mundial de suas áreas. O ensino superior do Reino Unido está competindo com outras nações, especialmente os Estados Unidos, por rankings de pesquisa, estudantes de doutorado, e rendimento offshore. O sistema como um todo, se beneficia do jargão de “estar cada vez melhor.”.

 

Os objetivos de marketing do REF parecem ter subjugado seus objetivos como uma avaliação da posição global da pesquisa do Reino Unido. Isso não prejudica os outros objetivos do REF, incluindo seus papeis na alocação de fundos e concentração da pesquisa, mediando o mercado de trabalho interno e os pesquisadores, e impulsionando a performance através da competitividade. Porém, se a competitividade for intensificada ao mesmo tempo em que o padrão estiver muito baixo, é a competitividade propriamente dita que está propensa a ser recompensada e não a excelência da pesquisa global. 

 

Para a pesquisa do Reino Unido, a inflação da classificação é um sinal preocupante do sistema estar se tornando complacente sobre sua própria definição de excelência. Esta não é a melhor forma de se impulsionar as melhorias de longo prazo. Menos arrogância e mais realismo no estilo chinês ajudaria melhor o Reino Unido. O próximo REF deverá acentuar o papel da opinião internacional nos painéis de disciplinas e colocar mais ênfase naquelas áreas onde as melhorias são mais necessárias. 

 

A próxima avaliação deverá também requerer que as universidades incluam todos os seus pesquisadores ou, alternativamente uma proporção fixada, tais como os principais 75 ou 90 por cento. Com instituições individuais na busca de uma variedade de estratégias em inclusão, o REF não comparou os elementos comparáveis. Isso prejudica a validade do REF, um painel de classificação de performance comparativa, embora todos o tratem desta forma.

 

Por exemplo, o líder no volume de pesquisa de alta qualidade foi a University College London, uma grande instituição que incluiu 91 por cento de seus pesquisadores. Oxford foi a segunda no volume de trabalho de alta qualidade e se saiu especialmente bem nas avaliações da qualidade média do pesquisador, incluindo 87 por cento de seus pesquisadores na contagem. O grande rival de Oxford, Cambridge incluiu 95 por cento de seus pesquisadores, gerando assim um ponto médio de classificação pouco abaixo de Oxford. 

 

Quase certamente, os 87 por cento dos pesquisadores de Cambridge ultrapassou aqueles de Oxford, porém o REF permitiu que Oxford ficasse à frente no processo, no sentido de apresentá-la como a melhor universidade de pesquisa no Reino Unido. Enquanto isso, a Universidade de Cardiff chegou ao sétimo lugar no país, inserindo apenas 61 por cento de seus pesquisadores na contagem.

 

Este texto foi traduzido e revisado sob a coordenação de
Sergio Azevedo Pereira
Diretor da San Ives International Language Center
Rua Roberto Simonsen, 421
Parque Taquaral
13076-416 Campinas SP
(19) 3365 -1035

Ordem de Fornecimento 116799-14/1 emitida em 15 de outubro de 2014 pela Funcamp,
após indicação do Gabinete da Reitoria