ORIGINAL BREVE

Guías de práctica clínica en el Perú: evaluación de su calidad usando el instrumento AGREE II

Clinical practice guidelines in Peru: evaluation of its quality using the AGREE II instrument

Carlos Canelo-Aybar^1,2,a, Graciela Balbin^1,3,b, Ángela Perez-Gomez^4,c, Iván D. Florez^5,6,d

¹ Unidad de Análisis y Generación de Evidencias en Salud Pública (UNAGESP). Instituto Nacional de Salud. Lima, Perú.
² Universidad Peruana de Ciencias Aplicadas. Facultad de Ciencias de la Salud. Lima, Perú.
³ Hospital de Emergencias José Casimiro Ulloa. Departamento de Medicina. Lima, Perú.
⁴ Instituto de Evaluación Tecnológica en Salud. Subdirección de Producción de Guías de Práctica Clínica. Bogotá, Colombia.
⁵ McMaster University. Department of Clinical Epidemiology and Biostatistics. Hamilton, Canadá.
⁶ Universidad de Antioquia. Departamento de Pediatría y Puericultura. Medellín, Colombia.
^a Médico internista, magíster en Epidemiología Clínica; ^b médico internista, magíster en Salud Pública; ^c médico, magíster en Epidemiología Clínica; ^d médico pediatra, magíster en Epidemiología Clínica.

Este estudio fue expuesto como presentación oral en la 11.^a Conferencia del Guidelines International Network (G-I-N) del 20-23 de agosto del 2014 en la ciudad de Melbourne-Australia.

RESUMEN

Con el fin de evaluar la calidad metodológica de las guías de práctica clínica (GPC) desarrolladas por el Ministerio de Salud (MINSA) de Perú, se evaluaron 17 GPC del MINSA publicadas entre 2009-2014, por tres expertos metodológicos, de forma independiente, usando el instrumento AGREE II. La puntuación de los dominios del AGREE II fue baja y muy baja en todas las GPC: alcance y propósito (mediana, 44%), claridad de la presentación (mediana, 47%), participación de decisores (mediana, 8%), rigor metodológico (mediana 5%), aplicabilidad (mediana, 5%), e independencia editorial (mediana, 8%). Se concluye que la calidad metodológica de las GPC del MINSA es baja. Como consecuencia, no es posible recomendar su uso. Urge la incorporación de metodología estandarizada para el desarrollo de GPC de calidad en el Perú.

Palabras clave: Guías de práctica clínica; Perú; Calidad de la atención de salud (fuente: DeCS BIREME).

ABSTRACT

To evaluate the methodological quality of clinical practice guidelines (CPGs) put into practice by the Peruvian Ministry of Health (MINSA), 17 CPGs from the ministry, published between 2009 and 2014, were independently evaluated by three methodologic experts using the AGREE II instrument. The score of AGREE II domains was low and very low in all CPGs: scope and purpose (medium, 44%), clarity of presentation (medium, 47%), participation of decision-makers (medium, 8%), methodological rigor (medium, 5%), applicability (medium, 5%), and editorial independence (medium, 8%). In conclusion, the methodological quality of CPGs implemented by the MINSA is low. Consequently, its use could not be recommended. The implementation of the methodology for the development of CPGs described in the recently-published CPG methodological preparation manual in Peru is a pressing need.

Keywords: Practice guidelines; Peru; Quality of health care (source: MeSH NLM).

INTRODUCCIÓN

Las guías de práctica clínica (GPC) se definen como declaraciones que incluyen recomendaciones, con la intención de optimizar el cuidado de los pacientes, que están basados en revisiones sistemáticas de la evidencia y en la evaluación de los beneficios y riesgos de las alternativas de cuidado ⁽¹⁾. Dicha definición hace énfasis en la distinción de guías metodológicamente rigurosas, transparentes y basadas en evidencia de otros documentos como consensos u opiniones de expertos ⁽¹⁾.

Las GPC que son desarrolladas rigurosamente son capaces de trasladar el conocimiento en recomendaciones aplicables a la práctica clínica, lo que se asocia con mejor calidad de la atención de salud y un impacto positivo sobre desenlaces clínicos ⁽²⁾. Igualmente, formular recomendaciones mal elaboradas puede afectar la credibilidad de las GPC entre los profesionales de salud y comprometer su adherencia. En consecuencia, la calidad metodológica puede ser la diferencia entre el éxito y el fracaso de las GPC para lograr un impacto en salud.

En la literatura se ha documentado la heterogeneidad en la calidad de GPC. Shaneyfelt et al. encontraron que la mayoría de 279 guías evaluadas no cumplieron requerimientos de calidad preestablecidos ⁽³⁾. Por otro lado, las GPC de prevención de enfermedad cardiovascular en Reino Unido mostraron deficiencias metodológicas importantes ⁽⁴⁾, mientras que las GPC de diabetes mellitus publicadas en el National Clearing House de Estados Unidos, tuvieron calidad moderada en cuanto al rigor metodológico ⁽⁵⁾.

En el Perú, el Ministerio de Salud (MINSA) a través de la Norma Técnica para La Elaboración de Guías de Práctica Clínica ⁽⁶⁾, reguló la estructura de desarrollo de GPC y, con base en ella, se han desarrollado GPC de condiciones prioritarias para el país. Nuestro objetivo fue evaluar la calidad metodológica de las GPC publicadas por el MINSA entre 2009-2014 con el instrumento AGREE ⁽⁷⁾, con la finalidad de definir si pueden ser recomendadas para su uso. Esta información será útil para evaluar el impacto de los recientemente publicados lineamientos metodológicos para la elaboración de guías por parte del MINSA ⁽⁸⁾.

EL ESTUDIO

Este es un análisis metodológico descriptivo de la calidad de las GPC. Se identificaron todos los documentos catalogados como GPC disponibles en la página web de la Dirección de Calidad del MINSA (http://www.minsa.gob.pe/dgsp/direc_cs.asp) de 2009- 2014.

INSTRUMENTO Y MÉTODO DE EVALUACIÓN

El instrumento AGREE II ⁽⁷⁾ está ampliamente aceptado como una herramienta para evaluar la calidad de elaboración y en el reporte de GPC. Este instrumento consta de 23 ítems agrupados en seis dominios metodológicos: ámbito y objetivo, participación de decisores claves, rigor metodológico, claridad en la presentación, aplicabilidad, y la independencia editorial. A cada ítem se le asigna un puntaje en una escala tipo Likert desde 1 (fuertemente en desacuerdo) a 7 (fuertemente de acuerdo). El puntaje final para cada dominio se calcula en porcentajes siendo 0 y 100% el mínimo y máximo, para cada dominio, respectivamente ⁽⁷⁾.

Cada guía fue evaluada por dos revisores independientes (dos médicos internistas y un médico pediatra, con masters en epidemiologia clínica o salud pública, y experiencia con el instrumento). Los desacuerdos fueron resueltos por un tercer revisor. Se utilizó la herramienta de la colaboración AGREE (http://www.agreetrust.org/agree-research-projects/completed-research-projects/my-agree-plus-platform/).

ANÁLISIS ESTADÍSTICO

Se realizó una descripción usando proporciones por dominio y en general para cada GPC, según recomendaciones de colaboración AGREE. Calculamos medianas y rangos intercuartílicos (RIC) para resumir los datos. Se construyó una hoja de cálculo en Microsoft Excel 2008®. se calcularon coeficientes de correlación para cada GPC para evaluar la concordancia entre evaluadores, con el programa Stata. V.12.1.

RESULTADOS

Se identificaron 17 GPC: influenza, dengue, tuberculosis, hipertensión, envenenamiento por arsénico, y enfermedades obstétricas (Tabla 1). Ninguna de las GPC reportó el método usado para formular recomendaciones, el periodo de vigencia de estas y/o un plan de actualización de la evidencia identificada.

En la evaluación específica por dominios del AGREE (Tabla 2), encontramos:

Ámbito y objetivos. La puntuación fue moderada (mediana 44%; RIC: 39-64). Solo una GPC obtuvo menos de 25%. En general, las GPC tienen una descripción aceptable del ámbito de aplicación en el sistema sanitario y la población objetivo, siendo en algunos casos muy general. La descripción de las preguntas clínicas fue considerada deficiente

Participación de decisores. La calificación de este dominio fue muy baja (mediana 8%; RIC 6-11). Ninguna GPC describió se conformó el grupo desarrollador, quienes fueron sus integrantes, ni describió un proceso para incluir perspectivas de pacientes.

Rigor metodológico. La evaluación de este dominio fue muy pobre (mediana 5%; RIC 3-6). Ninguna GPC supero 8%. Las GPC no reportaron búsquedas sistemáticas de evidencia, ni calificación de la calidad de la evidencia. No se precisó el lapso de vigencia de las recomendaciones, ni revisión externa de las GPC.

Claridad de presentación. En este dominio, la evaluación fue moderada (mediana 47%; RIC: 44-50). Cuatro guías obtuvieron más de 50% de puntuación. Muchas recomendaciones eran claras, fáciles de identificar y estuvieron acompañadas de diagramas de manejo. No obstante, en algunos casos fueron ambiguas o muy generales.

Aplicabilidad. Este dominio tuvo muy baja puntuación (mediana 8%; RIC 4-8). Todas las guías fueron deficientes en considerar el uso de recursos y no se reportaron análisis formales de costos. Adicionalmente, no se encontraron indicadores de monitorización o impacto de la implementación de las recomendaciones.

Independencia editorial. La evaluación de este dominio fue muy baja (mediana 8%; RIC: 0-8). No se reportó que hubiese existido declaración de conflicto de interés por los integrantes del grupo. Por ende, se desconoce si hubo participación de individuos con conflictos de interés o si estos fueron manejados de alguna manera.

Dada la baja puntuación obtenida ninguna GPC fue recomendada para su uso. (Figura 1). Se obtuvieron los coeficientes intraclase de los evaluadores para cada GPC analizada, obteniéndose una concordancia moderada en la evaluación global (mediana 0,59, RIC: 0,51-0,76).

DISCUSIÓN

En el presente estudio encontramos que las GPC aprobadas hasta el 2014 por el MINSA, Perú, son de baja calidad metodológica y no pueden ser recomendadas para su uso. El dominio de rigor metodológico fue el que mostró mayor deficiencia, ya que no se reportó la forma de identificación de la evidencia, los métodos de evaluación de su calidad, ni como, a partir de la evidencia, se desarrollaron las recomendaciones. Adicionalmente, la información sobre los miembros del grupo elaborador, sus áreas de experticia, y probables conflictos de interés fue nula. Recientemente, se reportaron resultados en relación con las GPC de hipertensión arterial y diabetes mellitus, publicadas por el MINSA en el 2015 ⁽⁹⁾.

En general, en la región se han reportado limitaciones semejantes a las encontradas por nosotros en el desarrollo de GPC. Un estudio evaluó las GPC del ministerio de salud chileno, encontrando que el rigor metodológico obtuvo un puntaje 45,7% (rango 4,8%-90,5%) ⁽¹⁰⁾ . En Argentina, se evaluaron las guías producidas entre 1994-2004, encontrando que el rigor metodológico obtuvo solo 10% de puntuación ⁽¹¹⁾. En Brasil de 28 GPC evaluadas, el rigor metodológico obtuvo un 48% de puntuación ⁽¹²⁾. Una excepción a esto ha sido lo reportado por Delgado-Noguera et al. ⁽¹³⁾ quienes evaluaron las GPC colombianas sobre enfermedades pediátricas, encontrando puntuaciones en todos los dominios entre moderados y altos (puntajes entre 90 y 97%), esto como resultado un proceso de estructuración del desarrollo de GPC en dicho país, donde el Ministerio de Salud de Colombia financió la elaboración de GPC por alianzas entre universidades y, posteriormente, coordinadas por el Instituto de Evaluación Tecnológica en Salud (IETS), con base en los métodos establecidos en una Guía metodológica de elaboración de GPC, con énfasis el sistema GRADE para la evaluación de calidad de la evidencia ⁽¹⁴⁾.

A nivel internacional, uno de los casos más destacables de mejora de la calidad de GPC es el de la Organización Mundial de Salud (OMS). En el 2003, la OMS publicó nuevos lineamientos en la elaboración de guías, recomendando explícitamente la utilización de revisiones sistemáticas en el proceso ⁽¹⁵⁾. Una evaluación en el 2007, encontró que la formulación de recomendaciones se basaba principalmente en criterios de expertos sin análisis crítico profundo de la evidencia y sin inclusión de revisiones sistemáticas ⁽¹⁶⁾. En respuesta a esta situación la OMS estableció un "Comité de Revisión de Guías" con el objetivo de mejorar la calidad en la elaboración de GPC. Posteriormente, se observó una mejoría significativa: el dominio de rigor metodológico de las GPC incrementó de 30,7 a 68,3%, mientras que en la independencia editorial de 20,9 a 73,6% ⁽¹⁷⁾.

Perú no puede estar ajeno a estos procesos de mejora. En un trabajo conjunto entre el Instituto Nacional de Salud, la Dirección de Calidad del MINSA y otras instituciones, se aprobó en julio del 2015 el Documento técnico: metodología para la elaboración de guías de práctica clínica ⁽⁸⁾. Este documento introduce modificaciones importantes: establece una metodología diferenciada para el desarrollo de GPC de novo así como la adaptación de GPC que obtengan una buena evaluación metodológica con el instrumento AGREE. Así mismo, establece el uso del sistema GRADE para la evaluar la calidad de la evidencia y formulación de recomendaciones, el cual es utilizado por las más importantes instituciones desarrolladoras de GPC ⁽¹⁸⁾. La existencia del documento metodológico en el país, es un paso clave para homogenizar los procesos y mejorar la calidad de las futuras guías, en este sentido, los resultados reportados en este estudio, así como los publicados por Neyra y Málaga ⁽⁹⁾, constituyen una evaluación del estado de calidad de las GPC previo a la introducción de dicho manual, y servirá para evaluar el proceso de mejora iniciado. Sin embargo, la implementación de este proceso se deberá dar de forma paulatina con la cooperación de grupos académicos e instituciones de salud a fin de incrementar la capacidad técnica y las redes de colaboración en el país.

Impulsar el desarrollo de GPC de alta calidad es fundamental para lograr un impacto positivo en salud, particularmente en sistemas de salud con pocos recursos. La implementación de GPC se ha asociado con mejorías en resultados clínicos, tales como reducción de mortalidad, menor riesgo de infecciones y menor estancia hospitalaria ^(2,19,20). Newton et al. reportaron que la implementación de un programa en pacientes diabéticos basado en GPC resultó en la reducción de la estancia hospitalaria, en un ahorro de 2 millones de dólares al año, y un 47% de retorno de inversión ⁽²⁴⁾. En otro estudio, la introducción de una GPC de uso de hemoderivados en neonatos conllevó a un ahorro de 31 mil dólares en seis meses ⁽²¹⁾. Por último, Kosimbei et al. encontraron que en 10 de 11 estudios sobre implementación de GPC, estas fueron efectivas en reducir los costos financieros hospitalarios ⁽²²⁾. Sin embargo, estos potenciales beneficios dependen de la adherencia del personal de salud a las GPC, un aspecto que depende de varios factores, incluyendo la credibilidad metodológica.

El presente estudio tiene varias limitaciones. Primero, la evaluación depende del tipo de información reportada en cada GPC, la cual está a sujeta a la estructura de presentación aprobada en la norma técnica del MINSA, la cual no contemplaba en su momento una estructura metodológica mínima. Segundo, la herramienta AGREE II evalúa aspectos metodológicos en la elaboración, mas no la validez clínica ni la implementabilidad de las recomendaciones. Este es un tema que debe evaluarse en futuras evaluaciones de GPC en el Perú. Finalmente, solo incluimos las guías aprobadas por el MINSA, por ende, las conclusiones no son representativas de las GPC producidas por otros grupos en el país.

En conclusión, las GPC del MINSA carecen de las características necesarias para recomendar su uso. Fallas como la ausencia de revisiones sistemáticas de literatura, de conformación de un grupo desarrollador multidisciplinario, de inclusión de perspectivas de los pacientes, y de declaración y manejo de conflictos de interés, fueron encontradas en todas las guías. Una de las razones para la deficiente evaluación de las GPC fue la ausencia de un documento referente metodológico, en el momento en que dichas guías fueron desarrolladas. Por ello, estos resultados podrán ser usados como punto de referencia para la evaluación del proceso de mejora de la calidad de GPC posterior a la publicación y aplicación del "Documento Técnico: Metodología para la elaboración de Guías de Práctica Clínica" en el desarrollo de GPC en el país.

Contribución de autoría: CCA y GB contribuyeron en el diseño original del estudio, evaluación de GPC, análisis de resultados y redacción del manuscrito; IDF contribuyó en evaluación de GPC, análisis de resultados y redacción del manuscrito; APG contribuyó en análisis de resultados y redacción del manuscrito.

Fuente de financiamiento: el presente estudio fue autofinanciado; por tanto, los resultados o conclusiones vertidas en el desarrollo del artículo no representan una posición oficial de ninguna de las Instituciones con los cuales los autores mantienen vínculo laboral o académico.

Conflictos de interés: el Dr Carlos Canelo-Aybar y la Dra Graciela Balbín, participaron como investigadores de UNAGESP-Instituto Nacional de Salud en: la elaboración del "Documento técnico: metodología para la elaboración de guías de práctica clínica (RM 414-2015/MINSA)" asimismo como coordinadores en el desarrollo del documento "Versión extendida de la guía práctica de dengue –documento basado en evidencias- (2016)". El Dr. Ivan D Florez es investigador de la Colaboración AGREE, instrumento utilizado para evaluar la calidad de las GPC.

REFERENCIAS BIBLIOGRÁFICAS

1. IOM (Institute of Medicine). 2011. Clinical Practice Guidelines We Can Trust. Washington, DC: The National Academies Press.

2. Allen LA, O’Donnell CJ, Giugliano RP, Camargo CA, Jr., Lloyd-Jones DM. Care concordant with guidelines predicts decreased long-term mortality in patients with unstable angina pectoris and non-ST-elevation myocardial infarction. Am J Cardiol. 2004; 93(10):1218-22.

3. Shaneyfelt TM, Mayo-Smith MF, Rothwangl J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer-reviewed medical literature. Jama. 1999 ;281(20):1900-5.

4. Minhas R. Eminence-based guidelines: a quality assessment of the second Joint British Societies’ guidelines on the prevention of cardiovascular disease. Int J Clin Pract. 2007 61(7):1137-44.

5. Holmer HK, Ogden LA, Burda BU, Norris SL. Quality of clinical practice guidelines for glycemic control in type 2 diabetes mellitus. PloS one. 2013;8(4):e58625.

6. Ministerio de Salud. Norma técnica para la elaboración de guías de práctica clínica, RM Nº 422-2005/MINSA (2005).

7. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. AGREE II: advancing guideline development, reporting, and evaluation in health care. Preventive medicine. 2010;51(5):421-4.

8. Ministerio de Salud. Metodología para la elaboración de Guías de Practica Clínica. 2015. Disponible en http://www.minsa.gob.pe/dgsp/documentos/Guias/M-GPC1.pdf.

9. Neira-Sanchez ER, Málaga G. Are the MINSA clinical practice guidelines for hypertension and type2 diabetes mellitus reliable?. Rev Peru Med Exp Salud Publica. 2016;33(2):377-79.

10. Pantoja T, Valenzuela L, Leniz J, Castanon C. Clinical practice guidelines in the Chilean health sector reform: a critical assessment of their quality. Rev med Chil. 2012;140(11):1391-400.

11. Esandi ME, Ortiz Z, Chapman E, Dieguez MG, Mejia R, Bernztein R. Production and quality of clinical practice guidelines in Argentina (1994-2004): a cross-sectional study. Implement Sci. 2008;3:43.

12. Nobre M, Bernardo W, Jatane F. Critical Appraisal of 28 Guidelines developed by the Brazilian Medical Association. 2nd International Conference of Evidence-Based Health Care Teachers & Developers-Italy. 2003.

13. Delgado-Noguera MF, Merchan-Galvis AM, Mera-Mamian AY, Muñoz-Manquillo DM, Calvache JA. Evaluation of the quality of colombian pediatrics clinical practice guidelines. Pediatria. 2015;48(4):87-93.

14. Carrasquilla G, Pulido A, Mieth K, Muñoz O, Hoz A, R G. Guía metodológica para la elaboración de guías de práctica clínica con evaluación económica en el Sistema General de Seguridad Social en Salud Colombiano.Ministerio de Salud y Protección Social. Bogotá, Colombia, 2014.

15. World Health Organization, Global Programme on Evidence for Health Policy. 2003. Guidelines for WHO Guidelines. Geneva. World Health Organization press.

16. Oxman AD, Lavis JN, Fretheim A. Use of evidence in WHO recommendations.World Hosp Health Serv. 2007;43(2):14-20.

17. Sinclair D, Isba R, Kredo T, Zani B, Smith H, Garner P. World Health Organization guideline development: an evaluation. PloS one. 2013;8(5):e63715.

18. Brozek JL, Akl EA, Alonso-Coello P, Lang D, Jaeschke R, Williams JW, et al. Grading quality of evidence and strength of recommendations in clinical practice guidelines. Part 1 of 3. An overview of the GRADE approach and grading quality of evidence about interventions. Allergy. 2009;64(5):669-77.

19. Frei CR, Attridge RT, Mortensen EM, Restrepo MI, Yu Y, Oramasionwu CU, et al. Guideline-concordant antibiotic use and survival among patients with community-acquired pneumonia admitted to the intensive care unit. Clin Ther. 2010;32(2):293-9.

20. Newton CA, Young S. Financial implications of glycemic control: results of an inpatient diabetes management program. Endocrine Prac. 2006;12 Suppl 3:43-8.

21. Beniwal LA, Kleven KL, Moody LT, Molin BM, Kantola SJ, Carlson ML, et al. Outcomes of a quality improvement initiative to prevent unnecessary packed red blood cell transfusions among extremely low birth-weight neonates. Adv Neonatal Care. 2016;16(1):E3-9.

22. Kosimbei G, Hanson K, English M. Do clinical guidelines reduce clinician dependent costs? Health research policy and systems. Health Res Policy Syst. 2011;16(9):24.

Correspondencia: Carlos Canelo-Aybar
Correo electrónico: carlos.canelo@hotmail.com

Recibido: 05/04/2016
Aprobado: 26/10/2016