Étape 8: Élaborer un plan et des outils de S&E et les mettre en œuvre

Objectifs

  • Élaborer un plan de suivi et d’évaluation (S&E)
  • Développer et imprimer les outils de S&E
  • Assurer la conduite continue d’activités de suivi
  • Planifier et mener les activités d’évaluation

Réalisations

  • Plan de S&E
  • Activités de suivi entreprises :
    • Supervision régulière
    • Suivi du système d’information pour la gestion sanitaire (HMIS)
    • Suivi logistique
    • Évaluations de la gestion des produits
  • Outils d’évaluation de l’accès aux MII
  • Analyse des coûts

  • Convoquer une réunion du comité de coordination pour élaborer le plan et les outils de S&E.
  • Soumettre le plan à l’examen de l’ensemble des parties prenantes.
  • Finaliser et distribuer le plan à l’ensemble des intéressés.
  • Veiller à ce que les outils d’évaluation soient imprimés et mis en place dans des délais opportuns.
  • Veiller à la collecte continue de données aux fins d’analyse des coûts.
  • Veiller à la conduite continue des activités de suivi, y compris la supervision régulière, le suivi HMIS, le suivi logistique et les évaluations de la gestion des produits.

  • La planification des activités de S&E variera selon qu’une phase pilote de mise en œuvre est prévue ou non. Si la mise en œuvre d’un nouveau canal a été entreprise dans le cadre d’un projet pilote à petite échelle, des activités d’évaluation plus détaillées devront probablement être planifiées.
  • La collecte d’informations précises sur les indicateurs d’avancement du programme est un élément clé de la gestion et de l’amélioration de sa qualité. La plupart du temps, cette activité est exigée par les organismes donateurs.
  • Les critères relatifs à la collecte des données de suivi doivent mettre l’accent sur les informations qu’il est « essentiel » de connaître (selon les indicateurs définis) et exclure les informations qu’il est « bon » de connaître. La simplification des critères en matière de données est importante afin d’améliorer l’exactitude, l’exhaustivité et l’actualité des informations collectées.
  • Dans l’idéal, les données de suivi doivent montrer le flux par le biais de systèmes standards. Par exemple, les données relatives aux distributions par l’intermédiaire des établissements de santé doivent être communiquées par le biais des canaux HMIS, si possible (voir les orientations propres à chaque canal pour plus d’informations à ce sujet). Pour les distributions scolaires, en revanche, il n’existe en général pas de structure de reporting établie en matière de santé et des systèmes de reporting parallèles devront donc être mis en place. Des orientations tangibles peuvent être tirées des expériences de suivi issues de campagnes de distribution (voir la boîte à outils de l’Alliance pour la prévention du paludisme [APP]). Le processus de suivi HMIS est décrit à l’étape 5.
  • Voici quelques activités pouvant être utiles dans le cadre du suivi et de l’évaluation de routine d’une démarche de distribution continue de MII :
    • Suivi logistique en compilant la documentation de la piste d’audit des MII (utiliser la documentation de suivi logistique, comme décrit à l’étape 4).
    • Activités de supervision par rapport à certains critères précis tels que l’adhésion aux activités de communication et la qualité de la formation. Compilation des rapports et des résultats des supervisions pour informer la planification des cycles suivants. Voir l’étape 5.
    • Évaluation de la gestion des produits pour le contrôle de la responsabilité. Ce guide fournit un complément d’information.
    • Compilation et analyse des données sur les distributions afin de déterminer :
      • Le nombre de MII livrées.
      • L’efficacité de la distribution (par ex. la proportion de bénéficiaires potentiels enregistrés comme recevant une MII).
      • Pour la distribution communautaire, la proportion de coupons échangés contre des MII.
    • Les indicateurs utiles pour informer la planification tiennent compte de la proportion de :
      • Personnes ciblées ayant reçu des MII.
      • MII distribuées effectivement reçues par le ménage.
      • MII conservées par les ménages.
      • MII transmises à d’autres ménages.
      • MII utilisées la nuit précédente, par qui et par combien de personnes.
    • Enquêtes auprès des membres de la communauté pour estimer :
      • La proportion de MII reçues qu’ils ont ramenées dans leur foyer.
      • La proportion de MII reçues sous lesquelles une personne a dormi la nuit précédente. Pour comprendre le contexte, les données relatives à d’autres MII et à la structure du ménage seront également nécessaires.
      • L’accès aux MII aux niveaux de la population (accès) et des ménages pour fournir des données étayant le fait que l’accès universel est effectivement maintenu, assorties d’une analyse secondaire visant à identifier la contribution des différents canaux.
      • La proportion de ménages éligibles ayant reçu la MII par le biais d’un canal particulier.
      • Les caractéristiques des ménages ayant reçu ou non des moustiquaires par le biais des canaux, toutes catégories confondues.
      • La perception et l’expérience des membres de la communauté par rapport au programme.
  • Les activités de suivi peuvent être coûteuses et chronophages et il n’existe aucune donnée probante quant à l’étendue du suivi nécessaire pour améliorer la performance ou les pratiques en matière de responsabilité. Il est parfois acceptable de recourir aux données issues d’enquêtes représentatives à l’échelle nationale pour répondre à certaines questions de suivi. D’autres options peuvent aussi être envisagées. Par exemple, le suivi téléphonique permet, dans certains contextes, d’assurer un suivi de la gestion logistique et un contrôle des responsabilités tout aussi performant et plus efficace. Examinez toutefois attentivement les avantages de ces options, par rapport aux activités contraignantes ou parallèles supplémentaires qu’elles sont susceptibles d’engendrer.
  • La difficulté d’évaluer les performances des canaux de distribution continue réside principalement dans le fait que, idéalement, les pays utiliseront plusieurs canaux de distribution, y compris des campagnes de distribution massive, ainsi qu’un grand nombre de canaux de DC. Cela explique pourquoi il peut être difficile d’évaluer séparément l’impact de la distribution de MII par le biais de canaux spécifiques. Cependant, la source de chaque moustiquaire faisant désormais l’objet d’une question standard dans les enquêtes démographiques et sanitaires (EDS) et les enquêtes sur les indicateurs du paludisme (MIS), cela devrait faciliter ce type d’analyse à l’avenir. Un plan d’analyse et un fichier-do Stata sont proposés à cette fin pour permettre d’évaluer :
    • Le pourcentage de femmes enceintes ayant reçu une MII dans le cadre d’une consultation prénatale
    • Le pourcentage d’enfants ayant reçu une MII dans le cadre d’une consultation dans une clinique PEV
    • Le pourcentage de ménages comptant des enfants scolarisés dans la tranche d’âge ciblée ayant reçu une MII
    • Le pourcentage de MII reçues de différentes sources
  • Il est recommandé de contrôler la durabilité des MII si celles-ci sont distribuées dans le cadre d’un plan de déploiement à pleine échelle. Cela nécessite notamment de mesurer la durabilité physique et de l’effet insecticide des MII, ainsi que les taux d’usure. Une série d’orientations est disponible à l’appui du contrôle de la durabilité.
  • Collectez des données continues sur les coûts afin de mener une analyse des coûts dans le cadre de l’évaluation.

  • Dans la mesure du possible, les données de suivi doivent être recueillies au sein du système HMIS. Cela peut toutefois s’avérer difficile si les fonctionnalités et l’accessibilité du système HMIS ne permettent pas un accès suffisant, complet et en temps voulu, aux données nécessaires pour étayer le reporting à l’intention des bailleurs de fonds. Évitez la duplication des systèmes mis en place (par ex. en déployant une équipe sur les points de distribution pour collecter des données à temps aux fins de reporting), mais veillez plutôt à garantir la disponibilité des ressources de programme soutenant le flux des données dans l’ensemble du système HMIS.
  • Les programmes PNLP et leurs partenaires devront travailler en étroite collaboration avec les responsables du MdS pour examiner la capacité du système HMIS à recueillir les données de routine sur la distribution des MII via les services de santé. Cette analyse implique un dialogue au niveau national, mené par le MdS et faisant intervenir les divisions PNLP, Santé reproductive (SR), PEV, Santé maternelle et infantile (SMI) et autres participants à la planification générale, ainsi que la division du MdS en charge du système HMIS. Lors de ces discussions, il est important d’examiner le niveau de fonctionnalité du système actuel, les possibilités d’intégration des informations relatives à la distribution de routine des MII dans le système de gestion HMIS existant, ainsi que la possibilité de mettre en place des structures parallèles temporaires tout en s’efforçant de renforcer le système HMIS national. Dans un pays, une colonne réservée aux MII distribuées a été ajoutée au registre des CPN, mais l’impression des nouveaux registres et formulaires de synthèse a été retardée. Dans ce cas, les personnels de santé ont été avisés de tracer une ligne (pour créer cette colonne) dans leurs registres actuels. Dans un autre pays, ces chiffres ont été collectés et communiqués dans des rapports réalisés lors de visites de supervision. Les organismes donateurs et autres partenaires doivent être présents pour enrichir la discussion, mais aussi pour en tirer des enseignements. Il appartient toutefois au MdS de prendre la décision finale.

Lors de cette analyse, il convient de répondre aux questions essentielles suivantes :

  • Quel système est actuellement utilisé pour la collecte de données HMIS et est-il facilement modifiable (par ex. DHIS2) ?
  • Quel est le niveau actuel de reporting assuré par les établissements de santé/districts au niveau national ?
  • Quel est le niveau de précision des rapports reçus (résultats d’audits de données) ?
  • Quel est le délai de réception des informations issues du système HMIS pouvant être transmises aux responsables de programmes, bailleurs de fonds et autres partenaires ?
  • Les lignes de reporting identifient-elles clairement qui reçoit les données relatives au paludisme et qui est en mesure de superviser la qualité, l’exhaustivité, l’exactitude et la rapidité de transmission de ces données ?
  • Des activités de renforcement du système HMIS sont-elles en cours ? Qui sont les partenaires impliqués dans le processus ? Quelles sont leurs recommandations ?
  • Ces questions sont examinées plus en détail dans le document VectorWorks Guide pour les systèmes de distribution des MILD par l’intermédiaire des établissements de santé.

  • Le suivi s’intéresse essentiellement à la qualité d’évaluation et au respect des critères d’éligibilité, au nombre de membres éligibles au sein de la communauté ayant effectivement accès aux coupons et aux taux d’échange de ces coupons. Ces aspects seront particulièrement essentiels pour garantir une refonte du processus, si nécessaire.
  • Les informations suivantes doivent être transmises aux personnes intervenant dans les programmes de distribution communautaire :
Superviseurs Distributeurs de coupons Magasiniers des points d’échange Transporteurs
Nombre de carnets de coupons distribués
Nombre de visites de supervision réalisées

Principales conclusions des visites de supervision

 Nombre de coupons distribués

Synthèse des motifs de distribution de coupons

 Nombre de coupons échangés

Nombre de MII distribuées

Nombre de jours de rupture de stock

Niveau de stock

 Nombre de MII livrées aux dépôts centraux, centres régionaux et points d’échange

Pourcentage de commandes livrées à temps

Taux de couverture (pourcentage de MII commandées qui ont été livrées)

Pourcentage de livraisons accompagnées de formulaires d’attestation de livraison

Supports de S&E :