Seguimiento y evaluación (M&E), recopilación y gestión de datos, incluida la digitalización.
Orientación operativa sobre la planificación del seguimiento y la evaluación, la definición del alcance de las actividades, los formularios de seguimiento rutinario, las consideraciones para la digitalización, el uso de encuestas, etc.
Consideraciones clave sobre el SBD
El objetivo de este paso es desarrollar un plan de seguimiento y evaluación (M&E), incluyendo las herramientas necesarias para la recopilación y gestión de datos y la elaboración de informes.
- La planificación de las actividades de seguimiento y evaluación (M&E) variará dependiendo de si el SBD se está probando o implementando a gran escala. Si el SBD se está probando, es posible que se requieran actividades de evaluación más detalladas para evaluar los indicadores de proceso y resultados con el fin de informar el aprendizaje antes de la ampliación.
- En todos los casos, los planes de seguimiento y evaluación deben diseñarse cuidadosamente desde el principio.
- El seguimiento del programa es esencial para todas las actividades de distribución de mosquiteros tratados con insecticida, incluida la distribución de mosquiteros tratados con insecticida de baja densidad. El seguimiento de cada paso de la implementación permite al equipo de coordinación supervisar el progreso con respecto a los planes y tomar medidas correctivas cuando sea necesario.
- Se debe planificar una evaluación adicional mediante encuestas a los hogares para comprender cómo las ITN suministradas a través del SBD contribuyen a mantener los niveles de acceso a las ITN en los hogares.
- El seguimiento y la evaluación de la SBD deben incluir el seguimiento de la eficiencia de los procesos, el seguimiento de las pistas de auditoría de los productos básicos y la evaluación de los resultados.
- RBM definido los indicadores de las encuestas de población y hogares que los países deben seguir como parte de su estrategia general de seguimiento y evaluación de los ITN, pero unos indicadores más detallados específicos para cada programa ayudarían a determinar la contribución de los SBD a los objetivos de cobertura y a tomar decisiones de diseño en los próximos años.
- El seguimiento rutinario puede respaldarse con evaluaciones basadas en encuestas de hogares para estimar los indicadores de cobertura pertinentes recomendados por RBM.
Las siguientes actividades pueden ser útiles para realizar un seguimiento rutinario:
- Calidad de las formaciones.
- Procesos de la cadena de suministro: Los programas pueden optar por financiar un proceso de auditoría para revisar el cumplimiento adecuado de los procesos y la calidad del seguimiento de la auditoría de los productos básicos.
- Evaluación de las actividades de SBC: Lo ideal es que la promoción de la salud en las escuelas y comunidades se lleve a cabo durante todo el año. Los eventos previos a la distribución pueden incluir debates en clase, asambleas escolares, anuncios de radio, actividades comunitarias, etc. El cuidado y mantenimiento de los mosquiteros tratados con insecticida será un aspecto importante.
- Los datos sobre la solidez de la implementación deben recopilarse de forma rutinaria, por ejemplo, el número de actividades realizadas, las zonas geográficas o el público destinatario, los canales de comunicación utilizados y los mensajes transmitidos.
- Revisión de los datos de distribución: Los datos sobre los mosquiteros tratados con insecticida distribuidos a los estudiantes deben recopilarse y comunicarse a la cadena de supervisión (por ejemplo, desde la escuela hasta el grupo, y desde el grupo hasta los niveles subnacional y nacional). Las métricas clave que deben medirse son:
- Número de mosquiteros tratados con insecticida entregados
- Porcentaje de alumnos destinatarios registrados como beneficiarios de una ITN (por nivel, según el diseño del SBD: grado, escuela, agrupación, zona subnacional (por ejemplo, distrito, región) y a nivel nacional).
- Convocar al grupo de coordinación del SBD para desarrollar o revisar un plan y herramientas de seguimiento y evaluación. Si los miembros de los equipos de seguimiento y evaluación del NMP y del MoE no suelen participar en el grupo de coordinación del SBD, se les debe invitar a la(s) reunión(es) para desarrollar o revisar el plan y las herramientas de seguimiento y evaluación.
- Considerar sistemas de seguimiento y evaluación adecuados: Determinar si la recopilación y presentación de datos se realizará utilizando un sistema de recopilación y presentación de datos ya existente o uno creado específicamente para la distribución de ITN en las escuelas.
- Determinar si la recopilación y presentación de datos se realizará en papel o en formato digital. Se prefieren y recomiendan encarecidamente los enfoques digitales.
- Se deben desarrollar herramientas de recopilación de datos y presentación de informes en consecuencia.
- Considerar las plataformas nacionales de información sanitaria existentes: cuando sea posible, los datos deben integrarse en plataformas nacionales como DHIS2 para mejorar la interoperabilidad y el seguimiento en tiempo real.
- Elabore el presupuesto en consecuencia: un sistema de recopilación de datos y presentación de informes específico para la distribución de mosquiteros tratados con insecticida en las escuelas puede requerir formación adicional o adquisiciones si aún no se dispone de los sistemas adecuados.
- Del mismo modo, los recursos para la recopilación de datos digitales y los sistemas de presentación de informes pueden requerir formación adicional o la adquisición de dispositivos electrónicos.
Tenga en cuenta los siguientes puntos:
- Los requisitos de datos para el seguimiento rutinario deben centrarse en los datos que es necesario conocer (basados en indicadores definidos) y excluir los datos que sería conveniente conocer. Es importante simplificar los requisitos de datos para mejorar la precisión, la exhaustividad y la puntualidad de la información recopilada.
- Lo ideal sería que los datos de seguimiento fluyeran a través de los sistemas existentes. Sin embargo, es posible que no exista una estructura de notificación sanitaria adecuada para informar sobre la DCS, por lo que se necesitarán sistemas de notificación paralelos. Se pueden obtener orientaciones a partir del seguimiento tipo campaña (véaseel manual de la Alianza para la Prevención de la Malaria [AMP], capítulo 8, para obtener orientación).
- Las actividades de seguimiento pueden requerir mucho tiempo y ser costosas. Sin embargo, los resultados son fundamentales para comprender el rendimiento del programa y determinar dónde se pueden introducir mejoras para atender mejor a las poblaciones en riesgo de contraer paludismo. Crear una cultura de recopilación y uso de datos de calidad para la toma de decisiones lleva tiempo, pero es una inversión que se amortiza con el aumento de la transparencia, la eficiencia y los resultados. Siempre que sea posible, la revisión de datos y la toma de decisiones deben integrarse en los sistemas y actividades sanitarios existentes, a fin de evitar añadir actividades paralelas o onerosas.
Ejemplo de país: Seguimiento específico del Programa School Net de Tanzania
- El Programa de Redes Escolares de Tanzania (SNP) realiza un seguimiento del progreso en relación con los objetivos utilizando múltiples fuentes de datos para informar los indicadores clave de rendimiento (KPI). Se recopilan datos sobre una serie de actividades de planificación de SBD, además de la distribución de mosquiteros tratados con insecticida.
- El SNP de Tanzania supervisa los KPI que se muestran en la tabla siguiente.
- Los informes sobre la distribución del SNP para los KPI5 y KPI6 proceden del Sistema de Información Escolar (SIS) gestionado por el Ministerio de Educación. Los datos se recogen en el momento de la entrega mediante formularios rutinarios, tal y como se describe en la Guía de implementación del SNP: Las escuelas deben utilizar la emisión a nivel de clase para registrar a los alumnos a los que se les han expedido ITN e informar utilizando el «Formulario A». El formulario resumen de la escuela (Formulario B) se compilará a nivel escolar. Los datos serán introducidos a nivel escolar tanto por el profesor de la clase como por el director de la escuela.
Fuente: Programa Nacional de Control del Paludismo de Tanzania (2023). Directrices para la implementación de la distribución de mosquiteros tratados con insecticida en las escuelas.
Ejemplo de país: flujo de ITN y flujo de datos para SBD en Zambia
- En lo que respecta al Ministerio de Educación (MoE):
Los datos fluyen desde los profesores y directores de escuela hasta los responsables zonales y, a continuación, hasta la estructura educativa del distrito. El distrito consolida los datos y los comparte con la provincia, que a su vez los comparte con el MoE nacional. El MoE comparte los datos con el NMEP (a través de/incluyendo cualquier equipo de trabajo del SBD o subgrupo del TWG de Control de Vectores (VC)). - Teniendo en cuenta la estructura sanitaria:
Los datos sobre la distribución de mosquiteros tratados con insecticida se reciben y revisan primero a nivel de distrito, por parte del equipo educativo del distrito. Desde aquí, los datos se transmiten al nivel provincial.
Fuente: Informe final de la campaña NMEC ITN SBD 2021 de Zambia.
Ejemplo de país: herramientas de presentación de informes periódicos de Zambia para el SBD
- Zambia utiliza un sistema de notificación específico para la malaria con el fin de comunicar y recopilar datos sobre la distribución de SBD (denominado Sistema de Notificación Rápida de la Malaria, MRRS).
- Los datos introducidos en el sistema proceden de varias herramientas, tal y como se describe a continuación.
- Aquí se pueden encontrar versiones adaptables de estos formularios de recopilación de datos y de la lista de verificación para el seguimiento, que se pueden descargar y modificar para su uso en otros entornos.
- Formulario de distribución de ITN de la clase
Rellenado por el profesor de la clase. Registra la entrega de un ITN a un estudiante que cumple los requisitos, con la firma o la huella digital como prueba de la recepción del ITN. - Formulario resumen de la escuela sobre los mosquiteros tratados con insecticida (ITN) del distrito
Resume los totales a nivel escolar del número de mosquiteros tratados con insecticida (ITN) distribuidos a los alumnos (desglosados por sexo y curso) y el número de mosquiteros devueltos. - Formulario resumen provincial de escuelas ITN
Resume los totales a nivel de distrito para las métricas anteriores. - Lista de verificación para el seguimiento de la distribución de mosquiteros tratados con insecticida en las escuelas
Verificación de los datos de distribución en las clases e investigación sobre el uso y el cuidado de los mosquiteros tratados con insecticida, así como su promoción.
Ejemplo de país: la aplicación digital Net4Schs de Ghana
- Ghana ha utilizado la aplicación Net4Schs para supervisar y controlar el SBD desde 2020.
- La recopilación de datos en papel solo se realiza una vez durante el proceso del SBD, cuando el profesor de la clase rellena el Formulario de distribución escolar A para enumerar los nombres de los alumnos incluidos en el registro de la clase, indicar si cada alumno ha recibido una mosquitera a través del SBD y resumir los resultados de la clase.
- Los datos resumidos de las clases del Formulario de distribución escolar A son introducidos en la aplicación Net4Schs por los supervisores escolares del circuito, tras validar el formulario en papel con el registro de clases durante las visitas a cada escuela de su jurisdicción.
- La aplicación resume automáticamente los datos a nivel distrital, regional y nacional, poniendo los resultados a disposición de los diferentes usuarios en función de sus derechos de acceso.
Fuente: Adaptado de los materiales de formación de formadores sobre la distribución de mosquiteros tratados con insecticida en las escuelas primarias de Ghana.
- El seguimiento rutinario puede complementarse con encuestas comunitarias sobre la cobertura realizadas con un retraso adecuado tras el evento de DNB.
- El momento en que se realizan las encuestas comunitarias es fundamental:
- El sesgo de recuerdo de los encuestados aumentará a medida que pase el tiempo desde la distribución. Sin embargo, realizar una encuesta inmediatamente después de la distribución puede no dar tiempo suficiente a los hogares para integrar los ITN SBD en sus prácticas domésticas relacionadas con los ITN.
- Las encuestas pueden utilizarse para estimar:
- Porcentaje de hogares con niños en edad escolar que cumplen los requisitos y que recibieron un mosquitero tratados con insecticida de larga duración.
- Características de los hogares con escolares elegibles que no recibieron mosquiteros tratados con insecticida de larga duración (SBD ITN)
- Porcentaje de mosquiteros tratados con insecticida de larga duración (SBD ITN) conservados por los hogares.
- Razones por las que los hogares no conservaron los mosquiteros tratados con insecticida de larga duración (SBD ITN)
- Cobertura de los hogares y la población con mosquiteros tratados con insecticida
- Contribución de los ITN SBD al acceso de los hogares y la población a los ITN (requiere datos sobre otros ITN en el hogar y la composición del hogar)
- Uso de mosquiteros tratados con insecticida de larga duración (SBD ITN), por quién y cuántas personas.
- Percepciones y experiencias de los miembros de la comunidad sobre el programa SBD (por ejemplo, alcance y recuerdo de las actividades de SBC).
Para mejorar la planificación y la implementación de la SBD, es fundamental analizar los datos de seguimiento y evaluación, e interpretar y utilizar los resultados. Tras el análisis realizado por el equipo de seguimiento y evaluación, el equipo de coordinación de la SBD debe identificar y documentar los éxitos, los retos y las lecciones aprendidas para informar las futuras actividades de la SBD.
- Los planes elaborados al inicio de una estrategia de SBD suelen ser pragmáticos, pero pueden resultar excesivamente optimistas. La revisión formal periódica de los datos de seguimiento y supervisión, mediante reuniones de gestión periódicas a los niveles adecuados, permitirá extraer lecciones aprendidas y mejorar el rendimiento futuro.
- Es muy probable que se necesiten modificaciones y mejoras, pero estas deben considerarse oportunidades bienvenidas para fortalecer el sistema, especialmente durante los primeros años de implementación de un nuevo enfoque de SBD.
- El rendimiento de un sistema SBD puede variar con el tiempo y según el contexto. Es posible que sea necesario ajustar los planes que funcionaron bien en un momento y en un lugar determinados. Incluso después de que un sistema haya estado funcionando durante varios años, probablemente será necesario realizar un seguimiento continuo, revisarlo periódicamente y ajustarlo.
¿Quién debe revisar los datos, con qué fin y en qué niveles?
Profesores y directores de escuela
Revisar el rendimiento de su clase y escuela, teniendo en cuenta el número de mosquiteros tratados con insecticida distribuidos frente al número que se esperaba distribuir según los datos de matriculación y el número de niños presentes el día del SBD.
Directores de escuela
Reflexionar sobre el flujo del proceso de SBD dentro de la escuela, con aportaciones de los profesores, para informar sobre futuros ajustes.
Estructuras a nivel subnacional
Un punto clave para revisar los datos subnacionales, incluida la identificación de escuelas o grupos atípicos con resultados inferiores a los esperados. Los equipos subnacionales del Ministerio de Educación pueden tener cierto margen de maniobra para modificar los enfoques operativos utilizados en su zona, según proceda, basándose en los resultados. Es posible que algunas recomendaciones se comuniquen mejor a la cadena de supervisión a un nivel superior o nacional para ver si se introducen modificaciones en el modelo a nivel nacional si se comunican resultados similares en todo el país.
Celebrar una reunión (anual) de revisión del proceso
Dado que la distribución suele realizarse una vez al año, es fundamental garantizar que se programe una reunión anual de revisión posterior a la distribución para evaluar el rendimiento y permitir una revisión oportuna de los planes para el año siguiente.
- La revisión debe basarse en las experiencias de los participantes y no solo en datos numéricos, es decir, debe ser tanto cualitativa como cuantitativa. Deben participar las partes interesadas, desde los estudiantes y las comunidades, las escuelas, las divisiones subnacionales y el nivel nacional, e incluir todos los departamentos u organizaciones involucrados.
- Se deben recopilar y analizar los datos sobre formación, seguimiento, supervisión y distribución, y sintetizar los éxitos, los retos y las lecciones aprendidas.
- Se deben celebrar reuniones de revisión de procesos subnacionales para difundir las conclusiones y recabar las experiencias personales de las partes interesadas. Las ideas que surjan de las reuniones subnacionales pueden incorporarse a una reunión nacional.
- Se debe preparar y difundir un informe final que incluya una lista clara de recomendaciones y medidas presupuestadas que se implementarán para el próximo SBD, con plazos realistas y puntos focales para cada medida.
Las siguientes lagunas de conocimiento en torno al SBD pueden ser de interés para los programas, los socios ejecutores y los financiadores del SBD.
- Destino de los mosquiteros tratados con insecticida recibidos por los estudiantes: quantification de los mosquiteros tratados con insecticida asumen que estos se redistribuyen dentro y fuera de los hogares. Comprender la redistribución de los mosquiteros tratados con insecticida es importante para verificar el quantification . La información también podría ser útil para que los países comprendan si la combinación de canales que han elegido podría dejar a algunos subgrupos de la población sin acceso a mosquiteros tratados con insecticida.
- ¿Pueden las escuelas desempeñar un papel como punto de distribución continua de mosquiteros tratados con insecticida para los hogares sin niños en edad escolar, con el fin de aumentar el acceso a estos mosquiteros para un mayor porcentaje de la población?
- ¿Cuál es la viabilidad de distribuir mosquiteros tratados con insecticida de forma continua a través de las escuelas, en lugar de hacerlo durante un evento de distribución anual o semestral?
- Investigar la estrategia más eficaz para combinar diferentes canales de distribución de CD con el fin de llegar al mayor número de personas de la manera más equitativa posible debería ser un tema prioritario a tener en cuenta.