Uma idéia para tornar a avaliação da produção científica no Brasil JUSTA!

Tenho lido diversos artigos sobre a forma de avaliação da pesquisa científica no Brasil. A forma atual utiliza um conjunto de procedimentos chamado Qualis, que não avalia o mérito e afeta diretamenta as atividades de docência e de pesquisa por todo país. Como resultado, o Qualis se torna um obstáculo para a expansão do ensino superior de qualidade em regiões distantes dos grandes centros urbanos e promove uma verdadeira exclusão social. Neste post, eu apresento de forma breve algumas consequências da adoção do Qualis-CAPES e uma proposta para suportar a avaliação do mérito entre estudantes e pesquisadores de forma JUSTA. 

O Qualis constitui-se num sistema de avaliação de periódicos, mantido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), no Brasil. Relaciona e classifica os veículos utilizados para a divulgação da produção intelectual dos programas de pós-graduação "stricto sensu" (mestrado e doutorado), quanto ao âmbito da circulação (local, nacional ou internacional) e à qualidade (A, B, C), por área de avaliação. A classificação possui atualização anual e segue uma série de critérios definidos pela CAPES, como número de exemplares circulantes, número de bases de dados em que está indexado, número de instituições que publicam na revista, etc.

Foi observado que muitos programas de pós-graduação tinham mais de 50% de sua produção científica publicada em periódicos dos estratos mais elevados, alguns mais de 80% . A CAPES então decidiu reclassificar os periódicos usando uma nova escala para aumentar a dificuldade de publicação nos estratos superiores, visando melhorar a qualidade da produção científica brasileira. 

A nova escala é decrescente e tem base no valor do fator de impacto: A1, A2, B1, B2, B3, B4, B5 e C (onde C = 0). Além disso, criou-se um fator de equivalência que soma as publicações em revistas de estratos inferiores para comparar a uma equivalente dos estratos superiores. Por exemplo, para uma determinada área, dois artigos B1 equivaleriam a 1,2 artigo A1; 1 artigo B1 + 1 artigo A2 equivaleriam a 1,4 artigo A1; três artigos B2 equivalem a 1,2 A1.  

A nova classificação foi elaborada com base na mediana do fator de impacto das revistas, obtida junto ao Journal Citation Reports (JCR) e calculada anualmente pelo ISI Web of Knowledge. Para o cálculo da mediana foi criada uma lista das revistas de cada área que a CAPES publica. De posse dessa lista, bem como dos respectivos fatores de impacto, foi calculada a mediana para cada área e construída a nova estratificação, que varia entre A1, A2, B1 até B5 e C.

Dessa forma, o Qualis é utilizado para avaliar a qualidade da produção científica nacional desde a entrada em curso de pós-graduação até a produção científica de um pesquisador.

Ainda nessa perspectiva, a produtividade visa avaliar o trabalho de um pesquisador para fornecer-lhes: bolsas de produtividades, liberar recursos em seus projetos, bolsas para alunos de pós-graduação, viagens para apresentação de resultados em congressos e seminários, enfim...

A avaliação de produtividade considera então: o mérito científico do projeto; relevância, originalidade e repercussão da produção científica do proponente; formação de recursos humanos em pesquisa; contribuição científica, tecnológica e de inovação, incluindo patentes; coordenação ou participação em projetos e/ou redes de pesquisa; inserção internacional do proponente; participação como editor científico; gestão científica e acadêmica. Também, avaliar os projetos do pesquisador com: foco nos grandes problemas nacionais; abordagens multi e transdisciplinares; impacto social; comunicação com a sociedade; interação com o parque produtivo; conservação ambiental e sustentabilidade.

Em termos práticos, todos os processos de seleção e editais das agências de fomento utilizam a avaliação da produção científica de um estudante ou pesquisador, principalmente, pelos seus artigos publicados em periódicos ou eventos para liberação de bolsas e recursos. A questão é que nem todos os anais dos eventos estão classificados no  JCR, principalmente os nacionais. 

Pensando nisso, existe uma proposta para calcular o fator de impacto com base no número de citações no ano corrente (obtidas através dos artigos publicados em determinado anal nos dois anos anteriores), dividido pelo número de artigos publicados no anal nos dois anos de referência. Por exemplo, o fator de impacto para 2014 de um determinado anal utiliza o número de citações de artigos publicados em 2013 e 2012 dos anais brasileiros uma determinada área de conhecimento recebidos em 2014, divido pelos número de artigos publicados nos anais de 2013 e 2014.

Voltando a utilização da avaliação, é justo definir uma pontuação para valorizar as publicações de melhor qualidade. Entretanto, como definir a qualidade das publicações entre os pares? Exatamente por isso que existe o Qualis, já que cada universidade, agência de fomento ou instituição de pesquisa poderia avaliar a produção acadêmica a sua revelia e seria difícil comparar a qualidade da produção científica entre estudantes e pesquisadores brasileiros de diversas áreas, regiões e até países. 

O problema é que para produzir algo é preciso conhecimento, recursos e pessoas. A avaliação de um estudante ou pesquisador deveria determinar maiores pesos em critérios individuais, porque nem todos tem acesso aos mesmos recursos. Uma vez que a avaliação não se preocupa com as dificuldades para se produzir uma pesquisa, apenas os que possuem acessos aos recursos serão sempre melhores avaliados.

Outro problema é que toda avaliação de qualidade precisa definir um modelo para avaliar um processo e o produto de acordo com o propósito. O processo de avaliação atual, além de não ser transparente, apresenta muitos critérios subjetivos. Assim, é impossível para um estudante ou pesquisador comparar resultados entre os seus pares, bem como conhecer as suas deficiências para tentar as próximas avaliações. Como resultado, a avaliação da produção científica no Brasil, utilizada em diversas etapas da inovação do país, promove uma grande exclusão social. 

Por conta da exclusão social, é possível encontrar pesquisadores com uma produtividade científica imcompatível com o tempo de dedicação a pesquisa, pois é comum a prática deles emprestarem o nome para que jovens pesquisadores solicitem recursos as agências de fomento através de "parcerias" em projetos. Assim, como forma de agradecimento, eles são coautores em diversos trabalhos, representando uma forma de corrupção já aceita pela comunidade científica no Brasil. A consequência, mais uma vez, é o aumento da quantidade de publicações dos maiores, mantendo-os como detentores dos recursos e das bolsas de produtividade em pesquisa no país.

A partir dessa constatação, eu acredito que duas ações precisam ser tomadas para mudar esse cenário:

a) Determinar um modelo de avaliação de produto e processo; e

b) Determinar critérios de avaliação para diferentes propósitos a partir do modelo (e.g. avaliação das agências de fomento, qualidade das publicações de docentes em universidades, bolsa produtividade).

Hoje temos critérios de avaliação isolados servindo a diferentes propósitos e o modelo objetiva, principalmente, avaliar a publicação. A questão nem é tanto estabelecer a qualidade de uma publicação, mas toda a confusão se dá quando se avalia os pares, justamente, porque não há relação do modelo com um processo comum e as dificuldades encontradas são proporcionais aos recursos, tempo e quantidade de pessoas envolvidas durante a condução de uma pesquisa.

A determinação de um processo de avaliação de acordo com um modelo de qualidade pode ajudar a diminuir os problemas citados. Porém, há de se incluir no modelo alguns aspectos que impactam na produção científica que não estão comtemplados nem no Qualis e tão pouco no modelo de avaliação da produtividade. 

É preciso comparar primeiro o rendimento do pesquisador com ele mesmo e depois com os outros. Ao comparar a produção do próprio pesquisador têm-se a sua produtividade com os recursos próprios. Assim, é possível determinar um fator de ajuste para comparar depois entre os pares. Avaliar a qualidade da publicação pode-se utilizar índices aceitos pela comunidade internacional e não o Qualis que é nacional. Dessa forma, o processo começa a ganhar contornos transparentes e facilita comparar a qualidade da pesquisa nacional com a internacional.

Outra mudança importante é comparar os pares com as suas notas individuas e coletivas, porém a nota coletiva deve levar em consideração critérios com fatores e pesos que podem aumentar ou diminuir a produtividade do pesquisador. É preciso pesquisar as principais barreiras que podem afetar a produtividade de um pesquisador. Conversando com muitos, eu sugiro incluir: ano de obtenção do doutorado, tempo de dedicação à docência e pesquisa, quantidade de coautores em suas produções científicas, recursos em R$ obtidos para as publicações, qualidade da infraestrutura para pesquisa e nota do programa de pós-graduação ao qual está vinculado.

Avaliar os pares de forma justa requer comparar corretamente esses critérios, porque somente dessa forma podemos evitar a concentração de recursos em grandes instituições e poucas cidades, o que em longo prazo poderá dificultar ainda mais o acesso a uma educação de qualidade nas regiões mais remotas do país. Também, a ausência de justiça gera insatisfação e diminui a qualidade das aulas e pesquisas conduzidas pelos docentes. Uma vez que não é possível dissociar o papel docente do pesquisador no Brasil e ele já não é avaliado de forma justa, por que melhorar a qualidade das suas aulas, da sua orientação e da sua pesquisa?

Outras fontes de leitura sobre o assunto:

1. Observatório da Universidade
2. Democracia e Transparência em C&T 
3. Dados oficiais da pesquisa brasileira atualizados (SJR)  
4. Variáveis de perfil (social) que impactam na utilização efetiva de tecnologias digitais
5. Desigualdades Regionais em Ciência, Tecnologia e Inovação (CT&I) no Brasil: Uma Análise de sua Evolução Recente (estudo do IPEA feito em 2011) 
6. Para que serve a avaliação trienal da CAPES?
7. Classificação dos periódicos no sistema QUALIS da CAPES - Mudança nos critérios é urgente! 
8. O fator de impacto dos Anais e sua inserção no universo científico nacional
9. Brazilian citation scheme outed (O caso do cartel de citações para elevar o fator de impacto em 2013 na Nature)
10. Resposta da SBPC sobre a Nota da Revista Nature sobre o QUALIS-CAPES
11. Ferramentas e livros para suportar a avaliação por propósitos e importação de dados.  
12. QUALIS-CAPES não avalia o mérito científico. É a conclusão do artigo: "Avaliação Bibliométrica de Periódicos Brasileiros: Contrastando a Metodologia Qualis-CAPES com o Modelo de Krzyzanowski e Ferreira (1998)" 
13. Validating research performance metrics against peer rankings
14. Autoria, direitos autorais e produção científica: aspectos éticos e Legais
15. How Should Peer-review Panels Behave?
16. Performance-based Research Fund 
17. Bibliometric Evaluation vs. Informed Peer Review: Evidence from Italy 
      

O pesquisador Gilson Volpato discute a avaliação QUALIS-CAPES relatando que existem revistas nacionais que não possuem a mesma qualidade quando comparadas as do mesmo extrato.

O pesquisador Otávio Carpinteiro discute os critérios de avaliação da qualidade e produtivismo e relata os principais problemas na avaliação QUALIS-CAPES no programa Interconexão Brasil.

 

Read More