ARTÍCULOS ORIGINALES
Evaluación crítica de la Guía de Práctica Clínica para malaria de la OMS utilizando el instrumento AGREE II
Claudia Reytor-González[1], Daniel Simancas-Racines[1], Andrés Viteri-García[1], Juan Marcos Parise-Vasco[1]
1. Centro de Investigación en Salud Pública y Epidemiología Clínica (CISPEC), Facultad de Ciencias de la Salud Eugenio Espejo. Universidad UTE, Quito 170129, Ecuador.
Doi: https://doi.org/10.16921/pfr.v9i1.310
PRÁCTICA FAMILIAR RURAL│Vol.9│No.1│Marzo 2024│Recibido: 11/11/2023│Aprobado: 21/03/2024
Cómo citar este artículoReytor-González C, Simancas-Racines D, Viteri-García A, Parise-Vasco JM. Evaluación crítica de la Guía de Práctica Clínica para malaria de la OMS utilizando el instrumento AGREE II. PFR [Internet]. 9(1). Disponible en: https://practicafamiliarrural.org/index.php/pfr/article/view/310 |
Compartir en:
Resumen
Objetivo: Evaluar críticamente la calidad metodológica de la Guía de Práctica Clínica para malaria de la Organización Mundial de la Salud.
Metodología: Tres revisores de forma independiente utilizaron el instrumento AGREE II para evaluar la calidad metodológica de la Guía de Práctica Clínica para malaria. Las calificaciones fueron recogidas y analizadas en una matriz de EXCEL. Se utilizó el coeficiente de concordancia de Fleiss Kappa para determinar la medida de acuerdo entre los evaluadores.
Resultados: La Guía de Práctica Clínica (GPC) destacó en claridad, objetivos, y participación de los implicados, pero identificó áreas de mejora en rigor de elaboración y aplicabilidad. Con puntuaciones altas en la mayoría de los dominios y una buena gestión de la independencia editorial, se recomienda su uso a pesar de los desafíos en implementación práctica.
Conclusiones: La evaluación AGREE II de la Guía de la OMS para malaria 2022 destaca su calidad y claridad, pero señala áreas de mejora en metodología y aplicabilidad. Subraya la necesidad de adaptación local y colaboración para actualizar continuamente las recomendaciones.Palabras clave: malaria, guía de práctica clínica, Appraisal of Guidelines for Research, AGREE II
Critical appraisal of the WHO Malaria Clinical Practice Guideline using the AGREE II instrument.
Abstract
Aim: To critically assess the methodological quality of the World Health Organization's Clinical Practice Guideline for malaria.
Methodology: Three reviewers independently used the AGREE II instrument to assess the methodological quality of the Clinical Practice Guideline for malaria. Ratings were collected and analyzed in an EXCEL matrix. The Fleiss Kappa coefficient of concordance was used to determine the measure of inter-rater agreement.
Results: The Clinical Practice Guideline (CPG) excelled in clarity, objectives, and participation of those involved, but identified areas for improvement in rigor of elaboration and applicability. With high scores in most domains and good management of editorial independence, its use is recommended despite challenges in practical implementation.
Conclusions: The AGREE II assessment of the WHO Malaria 2022 Guideline highlights its quality and clarity, but notes areas for improvement in methodology and applicability. It underlines the need for local adaptation and collaboration to continuously update the recommendations.Keywords: Arbovirusmalaria, clinical practice guideline, Appraisal of Guidelines for Research, AGREE II
Introducción
La malaria sigue siendo uno de los desafíos más grandes para la salud pública a nivel mundial, afectando especialmente a las regiones de África Subsahariana y el Sudeste Asiático (1). Con estimaciones de 249 millones de casos y 608,000 muertes en 2022, la enfermedad impacta desproporcionadamente a niños menores de cinco años y mujeres embarazadas (1,2). La lucha contra la malaria ha avanzado significativamente mediante estrategias de control integradas, incluyendo la distribución de mosquiteros tratados con insecticida y la administración de terapias combinadas basadas en artemisinina. Sin embargo, la resistencia a los medicamentos (3–5) y a los insecticidas (6), junto con los desafíos impuestos por las fluctuaciones climáticas (1,7,8) y los conflictos sociales, ponen en riesgo los logros alcanzados en esta lucha.
El análisis de la efectividad de las intervenciones de control de la malaria, así como el monitoreo de la resistencia a los medicamentos y la vigilancia epidemiológica (9,10), son componentes esenciales para adaptar las estrategias de control a los cambios en el panorama de la enfermedad. La propagación del vector Anopheles stephensi en el Cuerno de África (11,12), por ejemplo, introduce nuevos desafíos para el control de la malaria en entornos urbanos, resaltando la importancia de adaptar las recomendaciones de las GPC a las condiciones locales (13,14).
En este contexto, las guías de práctica clínica (GPC) emitidas por la Organización Mundial de la Salud (OMS) representan un pilar fundamental para estandarizar el manejo de la malaria a nivel global, ofreciendo recomendaciones basadas en la evidencia más reciente para su prevención, diagnóstico y tratamiento.
La calidad metodológica de estas guías es fundamental para su efectividad y aplicabilidad en diferentes contextos, lo cual subraya la importancia de herramientas de evaluación como AGREE II (Appraisal of Guidelines for Research & Evaluation II). AGREE II proporciona un marco estructurado para la evaluación de la calidad, enfocándose en aspectos como la rigurosidad del desarrollo, claridad de presentación, aplicabilidad, y la independencia editorial, asegurando así que las recomendaciones sean confiables y relevantes para la práctica clínica.
Proporcionar una evaluación crítica de una GPC de alto uso, permite al usuario confiar en sus recomendaciones o definitivamente descartarla con base a los resultados de la evaluación. Además, los equipos responsables de la creación y difusión de las GPC pueden aplicar estos hallazgos para asegurar la calidad del documento. Los sistemas sanitarios de salud y sus gestores tienen la necesidad de evaluar aquellas GPC de interés para su adaptación o adopción según el propósito y con la subsecuente implementación y adopción de recomendaciones, partiendo de GPC de calidad.
Por lo tanto el objetivo de este estudio es evaluar críticamente la guía de práctica clínica de la OMS para la malaria de 2022 utilizando la herramienta AGREE II.
Metodología
El objetivo de este estudio fue evaluar la calidad metodológica de la Guía de Práctica Clínica (GPC) para la Malaria de la Organización Mundial de la Salud (OMS) del año 2022. Para lograrlo, se utilizó la herramienta Appraisal of Guidelines for Research & Evaluation II (AGREE II), la cual es reconocida internacionalmente por su capacidad para evaluar la calidad y rigurosidad metodológica de las guías de práctica clínica.
Selección de la Guía de Práctica Clínica
Se seleccionó la Guía de Práctica Clínica para la Malaria de la OMS 2022 (15) para su evaluación. Esta guía fue elegida por ser la más reciente publicación de la OMS destinada a orientar a los profesionales de la salud en la prevención, diagnóstico y tratamiento de la malaria.
Herramienta de Evaluación: AGREE II
La herramienta AGREE II (16) consta de 23 ítems agrupados en seis dominios: 1) Alcance y propósito, 2) Participación de los interesados, 3) Rigor en la elaboración, 4) Claridad de presentación, 5) Aplicabilidad y 6) Independencia editorial. Cada ítem se evalúa en una escala de 7 puntos, donde 1 indica "totalmente en desacuerdo" y 7 "totalmente de acuerdo".
Proceso de Evaluación
Utilizamos el instrumento AGREE para evaluar la calidad de las GPC incluidas (17–20). Este fue desarrollado principalmente para investigadores y desarrolladores de guías, para delinear y medir los elementos centrales del desarrollo e implementación de guías. El instrumento AGREE (inicialmente AGREE I, ahora AGREE II) contiene 23 ítems (17), repartidos en seis dominios: alcance y propósito, participación de las partes interesadas, rigor del desarrollo, claridad y presentación, aplicabilidad e independencia editorial, además de un ítem general final. que evalúa en qué medida se puede recomendar el uso de la directriz en la práctica. Para evaluar los ítems dentro de los seis dominios, se utilizó una escala Likert de 7 puntos, que iba desde “muy en desacuerdo” hasta “muy de acuerdo”. Para la evaluación general, utilizamos una escala de 3 puntos que va desde "no recomendado" hasta "muy recomendable". Tres revisores (CR-G, DS-R, AV-G), realizaron de forma independiente la evaluación de la guía utilizando la herramienta AGREE II. Un cuarto revisor (JMP-V) solventó las dudas y discrepancias entre los autores. Antes de iniciar el proceso, se constató que los evaluadores tengan experiencia previa en el uso del instrumento (http://www.agreetrust.org.) (16) para asegurar una interpretación y aplicación homogénea de la herramienta.
Análisis de Datos
Las calificaciones fueron recogidas y analizadas en una matriz de EXCEL elaborada para este propósito. Se utilizó la siguiente fórmula para obtener la puntuación de cada dominio en porcentaje: (puntuación otorgada - puntuación mínima posible)/(puntuación máxima posible - puntuación mínima posible) × 100. Las valoraciones y puntuaciones se llevaron a cabo según las instrucciones detalladas en el manual de usuario de AGREE II.
En casos donde existía discrepancias entre las puntuaciones se programaría una reunión con los tres evaluadores para discutir y revisar dichos dominios, sin importar las calificaciones individuales. Este proceso de discusión y consenso garantizó una evaluación objetiva y equilibrada de la guía.
Resultados
Se analizó la Guía de Práctica Clínica para malaria de la Organización Mundial de la Salud utilizando el instrumento AGREE II. Tres calificadores realizaron la evaluación de forma independiente y las discrepancias se resolvieron mediante un cuarto revisor.
La tabla 1 ofrece un resumen general de la Guía de la OMS para la malaria", destacando su propósito de servir como una guía exhaustiva y basada en la evidencia para la lucha global contra la malaria.
Tabla 1. Características generales de la Guía
Autor (Organización) | Alcance | Título | Año de publicación | Objetivo | Usuarios | Implementación |
Organización mundial de la Salud (OMS) | Global | WHO Guidelines for malaria | 2022 | Proveer recomendaciones basadas en la evidencia para la prevención, diagnóstico y tratamiento de la malaria, así como estrategias para su eliminación y vigilancia. | Políticos de salud, gestores de programas nacionales de malaria, profesionales de la salud y otros actores involucrados en la prevención y control de la malaria. | Basada en el contexto epidemiológico y ecológico local de cada país, promoviendo el uso de datos locales para la toma de decisiones estratégicas. |
Fuente: WHO Guidelines for malaria, 2022.
En la tabla 2 se muestra un resumen de las directrices clave ofrecidas en el documento, destinadas a guiar las acciones de prevención, diagnóstico, tratamiento y eliminación de la malaria a nivel global, con un enfoque en la adaptación y aplicación basadas en el contexto local específico de cada país.
Tabla 2. Mapeo de las recomendaciones de la GPC evaluada
Área de Enfoque | Recomendaciones Principales |
Prevención (Control de Vectores) | - Despliegue de redes tratadas con insecticida (ITNs), incluyendo redes tratadas con piretroides y piretroides-PBO. - Implementación de fumigación de interiores con insecticidas de acción residual (IRS). |
Prevención (Quimioterapias Preventivas) | - Tratamiento preventivo intermitente durante el embarazo (IPTp) con sulfadoxina-pirimetamina (SP). - Tratamiento preventivo intermitente en infantes (IPTi) con SP. - Quimioprevención de la malaria estacional (SMC) con amodiaquina más SP en niños menores de 5 años en áreas de transmisión estacional. |
Vacunación | - Uso de la vacuna RTS,S/AS01 para la prevención de P. falciparum en niños que viven en regiones de transmisión moderada a alta. |
Manejo de Casos | - Confirmación diagnóstica de todos los casos sospechosos de malaria mediante microscopía o pruebas rápidas de diagnóstico (RDT). - Tratamiento de la malaria no complicada con terapia de combinación basada en artemisinina (ACT). - Tratamiento de la malaria grave, preferentemente con Artesunato por vía intravenosa. |
Grupos de Riesgo Especial | - Consideraciones especiales en el tratamiento de la malaria en mujeres embarazadas, lactantes, niños pequeños e infantes, y pacientes coinfectados con VIH. |
Eliminación y Vigilancia | - Estrategias adaptadas al contexto local para la eliminación de la malaria, incluyendo la vigilancia mejorada y respuesta rápida a los brotes. |
Fuente: WHO Guidelines for malaria, 2022.
Los resultados de la evaluación de la guía de práctica clínica (GPC) única utilizando el instrumento AGREE II se presentan en la Figura 1.
Dominio 1: alcance y objetivos (ítems 1-3)
La GPC alcanzó una puntuación destacada de 96%. Esto refleja la claridad y relevancia de sus objetivos, las preguntas de salud abordadas y la definición precisa de la población de pacientes a la que se dirige la guía.
Dominio 2: participación de los implicados (ítems 4-6)
La puntuación en este dominio fue de 93%, lo que indica una excelente participación de las partes interesadas en el desarrollo de la GPC. Sugiere la inclusión adecuada de un equipo multidisciplinario representativo de todas las especialidades pertinentes.
Dominio 3: rigor en la elaboración (ítems 7-14)
Se obtuvo un 75% en este dominio, lo cual señala que hay un buen grado de rigor en el desarrollo de la guía, aunque se identificaron oportunidades de mejora en cuanto a la transparencia y claridad de los métodos de búsqueda y selección de la evidencia.
Dominio 4: claridad de la presentación (ítems 15-17)
Con una puntuación del 93%, la guía muestra un desempeño excepcional en la claridad con la que presenta sus recomendaciones. Las opciones de tratamiento son específicas y las recomendaciones clave son fácilmente identificables, lo que facilita su interpretación y aplicación.
Dominio 5: aplicabilidad (ítems 18-21)
En este dominio, la GPC obtuvo una puntuación más baja de 54%, señalando que la guía podría beneficiarse de proporcionar más herramientas y recursos para ayudar en la implementación de sus recomendaciones en la práctica clínica diaria.
Dominio 6: independencia editorial (ítems 22-23)
Con una puntuación del 83%, la GPC muestra un buen grado de independencia editorial, indicando que ha documentado claramente los conflictos de interés y las fuentes de financiamiento, lo cual es esencial para garantizar la objetividad y credibilidad de la guía.
La evaluación global reveló un consenso entre los evaluadores al recomendar el uso de la GPC.
Discusión
Esta evaluación buscó no solo medir la calidad metodológica de la guía sino también identificar áreas de mejora que podrían maximizar su impacto en el manejo global de la malaria, contribuyendo así al esfuerzo continuo para reducir la incidencia y mortalidad de esta enfermedad devastadora. Este esfuerzo es vital para asegurar que los avances en el control de la malaria sean sostenibles y se adapten a las necesidades de las poblaciones más afectadas, moviéndonos hacia la eliminación de la malaria como una amenaza de salud pública global.
La Guía de Práctica Clínica para la malaria de la OMS presenta un enfoque integral y basado en evidencia para combatir la malaria, destacando estrategias de prevención que incluyen el control de vectores mediante mosquiteros tratados con insecticida y la aspersión residual intradomiciliaria, junto con quimioterapias preventivas y la vacunación RTS,S/AS01 en niños. Para el manejo de casos, se recomienda la confirmación diagnóstica parasitológica antes del tratamiento, el uso de terapias de combinación basadas en artemisinina para la malaria no complicada en diversos grupos de riesgo, y el artesunato por vía intravenosa para casos graves, seguido de ACTs. La guía también aboga por estrategias adaptadas al contexto local para la eliminación de la malaria, enfatizando la importancia de la vigilancia y respuesta rápida a brotes, subrayando la necesidad de adaptar las recomendaciones a las condiciones específicas de cada país para una implementación efectiva (15).
La evaluación mediante el instrumento AGREE II reveló fortalezas significativas en la guía, particularmente en los dominios de alcance y propósito, participación de los interesados y claridad de presentación, con puntuaciones superiores al 90%. Estos resultados son similares a otras evaluaciones de GPC en otras áreas clínicas, donde los mismos dominios alcanzaron los puntajes más altos (21–25). Sin embargo, se identificaron áreas de mejora en el rigor del desarrollo debido a que la guía no describió de forma clara los criterios de elegibilidad, periodos de búsqueda o estrategias de búsquedas utilizadas, Estas deficiencias son similares a lo reportado en otras evaluaciones, donde la mayoría de las guías incluidas presentaron deficiencias en los mismos dominios por la falta de claridad en sus métodos (21).
El dominio con el puntaje más bajo fue el de aplicabilidad, lo que es similar a otros resultados encontrados (21,26). Esto se debió a la falta de detalles específicos sobre cómo se identificaron los factores facilitadores y las barreras, la omisión de los métodos empleados para recolectar información sobre costos, y la ausencia de explicaciones sobre el impacto de dicha información en el desarrollo y formulación de las recomendaciones. Las calificaciones inferiores en este dominio podrían deberse a la percepción de que la tarea de crear recomendaciones estaba desconectada de los procedimientos de ejecución (21), por lo que la guía podría beneficiarse de proporcionar herramientas adicionales para facilitar su implementación en la práctica clínica.
La independencia editorial fue evaluada positivamente, destacando el manejo adecuado de los conflictos de interés.
En el contexto de las fortalezas, esta revisión representa la primera evaluación crítica de la Guía de Práctica Clínica para la malaria de la OMS mediante el instrumento AGREE II. Su riguroso enfoque metodológico, evaluación integral a través de múltiples dominios, participación de revisores independientes y la identificación detallada de áreas de mejora, subraya la solidez y la objetividad de la evaluación. Sin embargo, también se enfrentó limitaciones como la falta de claridad en el puntaje de la herramienta AGREE II (17–20) que utiliza una escala de 7 puntos en lugar de una escala de 4 puntos, donde solo los extremos de la escala, 1 y 7, están claramente especificados, dificultando así la calificación.
En cuanto a las implicaciones de esta evaluación para la práctica clínica, vale recalcar que las recomendaciones de la guía tienen el potencial de influir significativamente en la lucha global contra la malaria, especialmente en regiones con alta transmisión. La implementación efectiva de estas recomendaciones puede conducir a una reducción en la incidencia y mortalidad de la enfermedad, beneficiando así a las poblaciones más vulnerables. No obstante, la efectividad de la guía en diferentes contextos depende de su adaptabilidad y la capacidad de los sistemas de salud para integrar sus recomendaciones, resaltando la importancia de abordar las barreras para su aplicación. Para asegurar que se sigan las recomendaciones sobre la malaria y reducir la variabilidad en la práctica clínica, es esencial que los investigadores, interesados en descubrir áreas de conocimiento deficientes, colaboren estrechamente con quienes elaboran las políticas y buscan promover el desarrollo adecuado de las guías de práctica clínica
La evaluación expone la necesidad de investigaciones futuras que se enfoquen en cerrar las brechas de evidencia identificadas, particularmente en lo que respecta a la aplicabilidad de las recomendaciones en diversos entornos. También se subraya la importancia de desarrollar métodos de implementación innovadores que puedan superar las barreras existentes. Además, los hallazgos del AGREE II sugieren la necesidad de investigar cómo mejorar los procesos de desarrollo de las guías para incrementar la transparencia y el rigor metodológico, asegurando que las recomendaciones sean relevantes y basadas en la mejor evidencia disponible.
Conclusión
La Guía de Práctica Clínica de la OMS para malaria 2022 ha sido evaluada meticulosamente mediante el instrumento AGREE II, revelando una alta calidad en su metodología y en la claridad de sus recomendaciones, con puntuaciones sobresalientes en los dominios de alcance y propósito, participación de los interesados y claridad de presentación. Estos resultados resaltan el esfuerzo de la OMS por desarrollar una guía basada en evidencia, clara y accesible, dirigida a una amplia gama de usuarios, incluidos responsables políticos, profesionales de la salud y gestores de programas de malaria.
No obstante, se identificaron áreas con potencial de mejora, particularmente en lo que respecta al rigor en la elaboración y la aplicabilidad de la guía. La falta de descripción detallada sobre los métodos de búsqueda de evidencia y la selección de esta, así como la insuficiente información sobre la implementación de las recomendaciones y su impacto en recursos, sugieren que hay margen para aumentar la transparencia y facilitar la aplicación práctica de la guía en diversos contextos clínicos y geográficos.
Esta evaluación subraya la importancia de la adaptabilidad de las guías de práctica clínica para satisfacer las necesidades específicas de los entornos locales y superar las barreras para su implementación. Además, resalta la necesidad de una colaboración continua entre investigadores y responsables de políticas para refinar y actualizar las recomendaciones basadas en la evidencia emergente y en la retroalimentación de su uso en el terreno.
Referencias
1. World Health Organization. World malaria report 2023. Geneva; 2023.
2. Varo R, Chaccour C, Bassat Q. Update on malaria. Med Clin (Barc). 2020 Nov;155(9):395–402.
3. Menard D, Dondorp A. Antimalarial Drug Resistance: A Threat to Malaria Elimination. Cold Spring Harb Perspect Med. 2017 Jul;7(7):a025619.
4. World Health Organization. Artemisinin resistance and artemisinin-based combination therapy efficacy. Geneva; 2018.
5. Ariey F, Witkowski B, Amaratunga C, Beghain J, Langlois AC, Khim N, et al. A molecular marker of artemisinin-resistant Plasmodium falciparum malaria. Nature. 2014 Jan 18;505(7481):50–5.
6. Ranson H, Lissenden N. Insecticide Resistance in African Anopheles Mosquitoes: A Worsening Situation that Needs Urgent Action to Maintain Malaria Control. Trends Parasitol. 2016 Mar;32(3):187–96.
7. Lubinda J, Haque U, Bi Y, Shad MY, Keellings D, Hamainza B, et al. Climate change and the dynamics of age-related malaria incidence in Southern Africa. Environ Res. 2021 Jun;197:111017.
8. Kulkarni MA, Duguay C, Ost K. Charting the evidence for climate change impacts on the global spread of malaria and dengue and adaptive responses: a scoping review of reviews. Global Health. 2022 Dec 3;18(1):1.
9. Kelly GC, Tanner M, Vallely A, Clements A. Malaria elimination: moving forward with spatial decision support systems. Trends Parasitol. 2012 Jul;28(7):297–304.
10. Barclay VC, Smith RA, Findeis JL. Surveillance considerations for malaria elimination. Malar J. 2012 Dec 31;11(1):304.
11. Takken W, Lindsay S. Increased Threat of Urban Malaria from Anopheles stephensi Mosquitoes, Africa. Emerg Infect Dis. 2019 Jul;25(7):1431–3.
12. Abubakr M, Sami H, Mahdi I, Altahir O, Abdelbagi H, Mohamed NS, et al. The Phylodynamic and Spread of the Invasive Asian Malaria Vectors, Anopheles stephensi, in Sudan. Biology (Basel). 2022 Mar 7;11(3):409.
13. Russell TL, Farlow R, Min M, Espino E, Mnzava A, Burkot TR. Capacity of National Malaria Control Programmes to implement vector surveillance: a global analysis. Malar J. 2020 Dec 23;19(1):422.
14. Mnzava A, Monroe AC, Okumu F. Anopheles stephensi in Africa requires a more integrated response. Malar J. 2022 Dec 31;21(1):156.
15.WHO Guidelines for malaria, 31 March 2022. Geneva; 2022.
16. AGREE Next Steps Consortium. The AGREE II Instrument [Electronic version]. 2017.
17. AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care. 2003 Feb 1;12(1):18–23.
18. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. AGREE II: advancing guideline development, reporting and evaluation in health care. Can Med Assoc J. 2010 Dec 14;182(18):E839–42.
19. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. Development of the AGREE II, part 1: performance, usefulness and areas for improvement. Can Med Assoc J. 2010 Jul 13;182(10):1045–52.
20. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. Development of the AGREE II, part 2: assessment of validity of items and tools to support application. Can Med Assoc J. 2010 Jul 13;182(10):E472–8.
21. Simancas‐Racines D, Montero‐Oleas N, Vernooij RWM, Arevalo‐Rodriguez I, Fuentes P, Gich I, et al. Quality of clinical practice guidelines about red blood cell transfusion. J Evid Based Med. 2019 May 3;12(2):113–24.
22. Delgado-Noguera M, Tort S, Bonfill X, Gich I, Alonso-Coello P. Quality assessment of clinical practice guidelines for the prevention and treatment of childhood overweight and obesity. Eur J Pediatr. 2009 Jul 25;168(7):789–99.
23. Barajas-Nava L, Sola I, Delgado-Noguera M, Gich I, Villagran CO, Bonfill X, et al. Quality assessment of clinical practice guidelines in perioperative care: a systematic appraisal. BMJ Qual Saf. 2010 Dec 1;19(6):e50–e50.
24. Acuña-Izcaray A, Sánchez-Angarita E, Plaza V, Rodrigo G, de Oca MM, Gich I, et al. Quality Assessment of Asthma Clinical Practice Guidelines. Chest. 2013 Aug;144(2):390–7.
25. Serón P, Lanas F, Ríos E, Bonfill X, Alonso-Coello P. Evaluation of the Quality of Clinical Guidelines for Cardiac Rehabilitation. J Cardiopulm Rehabil Prev. 2015 Jan;35(1):1–12.
26. Alonso-Coello P, Irfan A, Solà I, Gich I, Delgado-Noguera M, Rigau D, et al. The quality of clinical practice guidelines over the last two decades: a systematic review of guideline appraisal studies. Qual Saf Health Care. 2010 Dec;19(6):e58.