quinta-feira, 24 de abril de 2014


Tenho lido diversos artigos sobre a forma de avaliação da pesquisa científica no Brasil. A forma atual utiliza um conjunto de procedimentos chamado Qualis, que não avalia o mérito e afeta diretamenta as atividades de docência e de pesquisa por todo país. Como resultado, o Qualis se torna um obstáculo para a expansão do ensino superior de qualidade em regiões distantes dos grandes centros urbanos e promove uma verdadeira exclusão social. Neste post, eu apresento de forma breve algumas consequências da adoção do Qualis-CAPES e uma proposta para suportar a avaliação do mérito entre estudantes e pesquisadores de forma JUSTA. 

O Qualis constitui-se num sistema de avaliação de periódicos, mantido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), no Brasil. Relaciona e classifica os veículos utilizados para a divulgação da produção intelectual dos programas de pós-graduação "stricto sensu" (mestrado e doutorado), quanto ao âmbito da circulação (local, nacional ou internacional) e à qualidade (A, B, C), por área de avaliação. A classificação possui atualização anual e segue uma série de critérios definidos pela CAPES, como número de exemplares circulantes, número de bases de dados em que está indexado, número de instituições que publicam na revista, etc.

Foi observado que muitos programas de pós-graduação tinham mais de 50% de sua produção científica publicada em periódicos dos estratos mais elevados, alguns mais de 80% . A CAPES então decidiu reclassificar os periódicos usando uma nova escala para aumentar a dificuldade de publicação nos estratos superiores, visando melhorar a qualidade da produção científica brasileira. 

A nova escala é decrescente e tem base no valor do fator de impacto: A1, A2, B1, B2, B3, B4, B5 e C (onde C = 0). Além disso, criou-se um fator de equivalência que soma as publicações em revistas de estratos inferiores para comparar a uma equivalente dos estratos superiores. Por exemplo, para uma determinada área, dois artigos B1 equivaleriam a 1,2 artigo A1; 1 artigo B1 + 1 artigo A2 equivaleriam a 1,4 artigo A1; três artigos B2 equivalem a 1,2 A1.  

A nova classificação foi elaborada com base na mediana do fator de impacto das revistas, obtida junto ao Journal Citation Reports (JCR) e calculada anualmente pelo ISI Web of Knowledge. Para o cálculo da mediana foi criada uma lista das revistas de cada área que a CAPES publica. De posse dessa lista, bem como dos respectivos fatores de impacto, foi calculada a mediana para cada área e construída a nova estratificação, que varia entre A1, A2, B1 até B5 e C.

Dessa forma, o Qualis é utilizado para avaliar a qualidade da produção científica nacional desde a entrada em curso de pós-graduação até a produção científica de um pesquisador.

Ainda nessa perspectiva, a produtividade visa avaliar o trabalho de um pesquisador para fornecer-lhes: bolsas de produtividades, liberar recursos em seus projetos, bolsas para alunos de pós-graduação, viagens para apresentação de resultados em congressos e seminários, enfim...

A avaliação de produtividade considera então: o mérito científico do projeto; relevância, originalidade e repercussão da produção científica do proponente; formação de recursos humanos em pesquisa; contribuição científica, tecnológica e de inovação, incluindo patentes; coordenação ou participação em projetos e/ou redes de pesquisa; inserção internacional do proponente; participação como editor científico; gestão científica e acadêmica. Também, avaliar os projetos do pesquisador com: foco nos grandes problemas nacionais; abordagens multi e transdisciplinares; impacto social; comunicação com a sociedade; interação com o parque produtivo; conservação ambiental e sustentabilidade.

Em termos práticos, todos os processos de seleção e editais das agências de fomento utilizam a avaliação da produção científica de um estudante ou pesquisador, principalmente, pelos seus artigos publicados em periódicos ou eventos para liberação de bolsas e recursos. A questão é que nem todos os anais dos eventos estão classificados no  JCR, principalmente os nacionais. 

Pensando nisso, existe uma proposta para calcular o fator de impacto com base no número de citações no ano corrente (obtidas através dos artigos publicados em determinado anal nos dois anos anteriores), dividido pelo número de artigos publicados no anal nos dois anos de referência. Por exemplo, o fator de impacto para 2014 de um determinado anal utiliza o número de citações de artigos publicados em 2013 e 2012 dos anais brasileiros uma determinada área de conhecimento recebidos em 2014, divido pelos número de artigos publicados nos anais de 2013 e 2014.

Voltando a utilização da avaliação, é justo definir uma pontuação para valorizar as publicações de melhor qualidade. Entretanto, como definir a qualidade das publicações entre os pares? Exatamente por isso que existe o Qualis, já que cada universidade, agência de fomento ou instituição de pesquisa poderia avaliar a produção acadêmica a sua revelia e seria difícil comparar a qualidade da produção científica entre estudantes e pesquisadores brasileiros de diversas áreas, regiões e até países. 

O problema é que para produzir algo é preciso conhecimento, recursos e pessoas. A avaliação de um estudante ou pesquisador deveria determinar maiores pesos em critérios individuais, porque nem todos tem acesso aos mesmos recursos. Uma vez que a avaliação não se preocupa com as dificuldades para se produzir uma pesquisa, apenas os que possuem acessos aos recursos serão sempre melhores avaliados.

Outro problema é que toda avaliação de qualidade precisa definir um modelo para avaliar um processo e o produto de acordo com o propósito. O processo de avaliação atual, além de não ser transparente, apresenta muitos critérios subjetivos. Assim, é impossível para um estudante ou pesquisador comparar resultados entre os seus pares, bem como conhecer as suas deficiências para tentar as próximas avaliações. Como resultado, a avaliação da produção científica no Brasil, utilizada em diversas etapas da inovação do país, promove uma grande exclusão social. 

Por conta da exclusão social, é possível encontrar pesquisadores com uma produtividade científica imcompatível com o tempo de dedicação a pesquisa, pois é comum a prática deles emprestarem o nome para que jovens pesquisadores solicitem recursos as agências de fomento através de "parcerias" em projetos. Assim, como forma de agradecimento, eles são coautores em diversos trabalhos, representando uma forma de corrupção já aceita pela comunidade científica no Brasil. A consequência, mais uma vez, é o aumento da quantidade de publicações dos maiores, mantendo-os como detentores dos recursos e das bolsas de produtividade em pesquisa no país.


A partir dessa constatação, eu acredito que duas ações precisam ser tomadas para mudar esse cenário:
a) Determinar um modelo de avaliação de produto e processo; e
b) Determinar critérios de avaliação para diferentes propósitos a partir do modelo (e.g. avaliação das agências de fomento, qualidade das publicações de docentes em universidades, bolsa produtividade).

Hoje temos critérios de avaliação isolados servindo a diferentes propósitos e o modelo objetiva, principalmente, avaliar a publicação. A questão nem é tanto estabelecer a qualidade de uma publicação, mas toda a confusão se dá quando se avalia os pares, justamente, porque não há relação do modelo com um processo comum e as dificuldades encontradas são proporcionais aos recursos, tempo e quantidade de pessoas envolvidas durante a condução de uma pesquisa.

A determinação de um processo de avaliação de acordo com um modelo de qualidade pode ajudar a diminuir os problemas citados. Porém, há de se incluir no modelo alguns aspectos que impactam na produção científica que não estão comtemplados nem no Qualis e tão pouco no modelo de avaliação da produtividade. 

É preciso comparar primeiro o rendimento do pesquisador com ele mesmo e depois com os outros. Ao comparar a produção do próprio pesquisador têm-se a sua produtividade com os recursos próprios. Assim, é possível determinar um fator de ajuste para comparar depois entre os pares. Avaliar a qualidade da publicação pode-se utilizar índices aceitos pela comunidade internacional e não o Qualis que é nacional. Dessa forma, o processo começa a ganhar contornos transparentes e facilita comparar a qualidade da pesquisa nacional com a internacional.

Outra mudança importante é comparar os pares com as suas notas individuas e coletivas, porém a nota coletiva deve levar em consideração critérios com fatores e pesos que podem aumentar ou diminuir a produtividade do pesquisador. É preciso pesquisar as principais barreiras que podem afetar a produtividade de um pesquisador. Conversando com muitos, eu sugiro incluir: ano de obtenção do doutorado, tempo de dedicação à docência e pesquisa, quantidade de coautores em suas produções científicas, recursos em R$ obtidos para as publicações, qualidade da infraestrutura para pesquisa e nota do programa de pós-graduação ao qual está vinculado.

Avaliar os pares de forma justa requer comparar corretamente esses critérios, porque somente dessa forma podemos evitar a concentração de recursos em grandes instituições e poucas cidades, o que em longo prazo poderá dificultar ainda mais o acesso a uma educação de qualidade nas regiões mais remotas do país. Também, a ausência de justiça gera insatisfação e diminui a qualidade das aulas e pesquisas conduzidas pelos docentes. Uma vez que não é possível dissociar o papel docente do pesquisador no Brasil e ele já não é avaliado de forma justa, por que melhorar a qualidade das suas aulas, da sua orientação e da sua pesquisa?

Outras fontes de leitura sobre o assunto:
  1. Observatório da Universidade
  2. Democracia e Transparência em C&T 
  3. Dados oficiais da pesquisa brasileira atualizados (SJR)  
  4. Variáveis de perfil (social) que impactam na utilização efetiva de tecnologias digitais
  5. Desigualdades Regionais em Ciência, Tecnologia e Inovação (CT&I) no Brasil: Uma Análise de sua Evolução Recente (estudo do IPEA feito em 2011) 
  6. Para que serve a avaliação trienal da CAPES?
  7. Classificação dos periódicos no sistema QUALIS da CAPES - Mudança nos critérios é urgente! 
  8. O fator de impacto dos Anais e sua inserção no universo científico nacional
  9. Brazilian citation scheme outed (O caso do cartel de citações para elevar o fator de impacto em 2013 na Nature)
  10. Resposta da SBPC sobre a Nota da Revista Nature sobre o QUALIS-CAPES
  11. Ferramentas e livros para suportar a avaliação por propósitos e importação de dados.  
  12. QUALIS-CAPES não avalia o mérito científico. É a conclusão do artigo: "Avaliação Bibliométrica de Periódicos Brasileiros: Contrastando a Metodologia Qualis-CAPES com o Modelo de Krzyzanowski e Ferreira (1998)
  13. Validating research performance metrics against peer rankings
  14. Autoria, direitos autorais e produção científica: aspectos éticos e Legais
  15. How Should Peer-review Panels Behave?
  16. Performance-based Research Fund 
  17.   
O pesquisador Gilson Volpato discute a avaliação QUALIS-CAPES relatando que existem revistas nacionais que não possuem a mesma qualidade quando comparadas as do mesmo extrato.



O pesquisador Otávio Carpinteiro discute os critérios de avaliação da qualidade e produtivismo e relata os principais problemas na avaliação QUALIS-CAPES no programa Interconexão Brasil.



 

4 comentários:

  1. E para piorar:
    1)Publica-se em determinada revista que tem boa avaliação; mas, depois de algum tempo a avaliação da revista piora. O que transparece não é a avaliação no momento da publicação.
    2) Pesquisadores de institutos não ligados a programas de pós-graduação são avaliados com a estética do ensino-pesquisa.

    Mara M. de Andréa

    ResponderExcluir
  2. Prezada Mara,

    os dois pontos são relevantes. O QUALIS-CAPES foi criado com o objetivo de suportar a avaliação dos programas de pós-graduação.

    No princípio, o sistema tinha como limitação a classificação dos veículos utilizados para a divulgação da produção científica de docentes e alunos dos programas de pós-graduação. Porém, na prática, tem a finalidade de indicar os veículos de maior relevância para a área, estimulando sua utilização para a divulgação da produção acadêmica. Então os veículos dos estratos superiores (A) são os mais visados e os da base média (B) e inferior (C) correm o risco de desaparecer.

    O que venho acompanhando é um crescimento dos veículos de acesso aberto como forma de sobreviver a nova forma de avaliação, o que realmente tem dado resultado, pelo aumento do fator de impacto.

    ResponderExcluir
  3. Acredito que o principal problema nos procedimentos de avaliação QUALIS-CAPES, é a ausência de critérios objetivos e que possam avaliar com justiça aqueles com poucos recursos. Nesse sentido, o modelo abaixo pode inspirar uma possível solução para o problema.

    The Government’s main aims for the PBRF are to:
    • increase the average quality of research;
    • ensure that research continues to support degree and postgraduate teaching;
    • ensure that funding is available for postgraduate students and new researchers;
    • improve the quality of public information about research output;
    • prevent undue concentration of funding that would undermine research support for all; degrees or prevent access to the system by new researchers;
    • underpin the existing research strengths in the tertiary education sector;

    Muito interessante esse modelo -> http://www.tec.govt.nz/Funding/Fund-finder/Performance-Based-Research-Fund-PBRF-/Publications/

    ResponderExcluir
  4. A impressão é que há muito mais malefícios que benefícios nessa forma de avaliação.

    Por que não utilizam um modelo de avaliação e membros externos?

    Por que não avaliam a qualidade de duas formas:

    1 – Individual, através de critérios de qualidade para este tipo de avaliação. Comparando o restaurante com ele mesmo, evitando comparações desiguais, a exemplo dos grandes restaurantes com maiores recursos e pessoas.

    2 – Coletiva, criando uma relação de grupos por região, tamanho médio dos restaurantes, recursos e pessoas. Avaliando os restaurantes conforme os seus pares e incluindo um fator de ajuste para + ou - de acordo com a avaliação individual.

    O maior malefício é que a inovação dependerá de poucos e o país todo perde com isso. Com poucas chances de inovação, perderemos competitividade no cenário internacional e as consequências todos sabem: inflação, perda de investimento, mão-de-obra subutilizada, aumento das exportações, desequilíbrio na balança comercial, etc...

    Enquanto isso os EUA, EU e Ásia lançam novos cursos e produtos atraindo os bons pesquisadores que nos restam, diminuindo ainda mais a competitividade no cenário internacional.

    Vale lembra que o Brasil é um país subdesenvolvido e a política de avaliação parece mais adequada para países muito mais desenvolvidos, onde todos possuem acesso aos recursos básicos, principalmente a partir das instituições privadas.

    Será que o problema do QUALIS-CAPES não está na ausência de um modelo estratégico que suporte avaliação a com base em recursos públicos?

    ResponderExcluir

Inscreva-se

Creative Commons 3.0. Tecnologia do Blogger.

Teste a Velocidade da Internet

Siga-me

Curta