ID173 O impacto de um curso online sobre a metodologia GRADE para a avaliação da certeza da evidência: um estudo antes e depois

• Main Authors: Gilson Dorneles (Author), Cintia Pereira de Araujo (Author), Suena Parahiba (Author), Bruna da Rosa (Author), Debora Gräf (Author), Karlyse Belli (Author), Marta Maior (Author), Ávila Vidal (Author), Verônica Colpani (Author), Cinara Stein (Author), Maicon Falavigna (Author)
• Format: Book
• Published: Instituto Nacional de Assistência Farmacêutica e Farmacoeconomia, 2024-11-01T00:00:00Z.
• Subjects: article
• Online Access: Connect to this object online.
• Notes: 10.22563/2525-7323.2024.v9.s1.p.127; 2525-5010; 2525-7323
• Keywords: Pharmacy and materia medica; RS1-441; Pharmaceutical industry; HD9665-9675
• Source: Jornal de Assistência Farmacêutica e Farmacoeconomia, Vol 9, Iss s. 1 (2024)

Introdução O sistema GRADE (Grading of Recommendations Assessment, Development and Evaluation) apresenta uma metodologia transparente para a avaliação da certeza da evidência em revisões sistemáticas (RS) e diretrizes clínicas, sendo um requisito formal no processo de síntese de evidências adotado pelo Ministério da Saúde (MS). No entanto, uma crítica comum ao método GRADE está voltada a potencial heterogeneidade e subjetividade no processo de avaliação, porém um treinamento formal sobre a metodologia pode aumentar a sua confiabilidade e reprodutibilidade. O objetivo deste trabalho foi verificar os efeitos de um curso GRADE online sobre a concordância na avaliação da certeza da evidência de questões de intervenção. Métodos Sessenta e cinco profissionais vinculados a Núcleos de Avaliação de Tecnologias em Saúde participaram de um curso GRADE online com duração de oito semanas. O curso abordou os domínios que rebaixam (risco de viés, inconsistência, evidência indireta, imprecisão e viés de publicação) ou elevam (gradiente dose-resposta, magnitude de efeito; confundidores residuais) a certeza da evidência conforme o sistema GRADE através de aulas assíncronas e encontros síncronos semanais. As publicações foram aleatoriamente distribuídas aos participantes, para a avaliação da certeza da evidência antes (A) e depois (D) do curso, totalizando quatro questões avaliadas por participante. O teste de Gwet AC1 foi utilizado para verificar a concordância multi-avaliador entre as respostas dos participantes e uma resposta padrão para cada SR. A concordância entre os avaliadores (inter-avaliadores) foi analisada através do teste de Kappa de Fleiss. Os domínios do GRADE foram dicotomizados para a avaliação de modificações na proporção de respostas antes e depois do curso e comparados através do teste de McNemar. Aprovação no CEP-HMV (64836122.9.0000.5330). Resultados A frequência média na tutoria online foi de 86,1%. Um aumento na concordância multi-avaliador (%) de evidência indireta (A: 82,8; D: 86,8), imprecisão (A: 68,7; D: 79,5) e a certeza geral da evidência (A: 34,3; D: 42,5) foi observado após o curso. Alterações discretas foram observadas na taxa de concordância do risco de viés (A: 62,7; D: 69,1), inconsistência (A: 76,0; D: 76,0) e viés de publicação (A: 69,8; D: 74,4). A proporção (%) de avaliadores que rebaixaram a certeza geral da evidência foi maior após o curso (A: 55,4; D: 78,4; p=0,008), ocorrendo também uma maior proporção de explicações para o julgamento dos domínios de risco de viés (p=0,006), inconsistência (p=0,005), imprecisão (p=0,01). A concordância inter-avaliadores (%) aumentou nos domínios de risco de viés (A: 23,8; D: 65), inconsistência (A: 39,1; D: 55), evidência indireta (A: 38,1; D: 80), imprecisão (A: 38,1; D: 47,8) e para a certeza geral da evidência (A: 31,8; D: 50) após o curso. Discussão e conclusões No momento pré-curso, foi observada baixa concordância de avaliação sobretudo para os domínios de risco de viés, inconsistência, imprecisão e para a certeza geral da evidência. O curso GRADE online melhorou a consistência e a concordância da avaliação da certeza da evidência. Os cursos online de GRADE possuem potencial para melhorar as habilidades no desenvolvimento metodológico para diretrizes clínicas e para a tomada de decisão em avaliações de tecnologia em saúde noo sistema de saúde brasileiro. Financiamento: PROADI-SUS, Ministério da Saúde do Brasil.