3A1 La pensée systémique, un terrain fertile pour l’évaluation

La pensée systémique est une approche et un ensemble d’outils qui permettent de penser et d’agir dans la complexité. Elle nous invite à examiner les enjeux sous l’angle des systèmes et à nous concentrer sur les interdépendances. La pensée systémique rejette la fragmentation, se concentre sur les relations, embrasse les contradictions et incite à des questions plus profondes et plus transformatrices (et à l’action).

Cette présentation de 15 minutes proposera la pensée systémique comme cadre pour améliorer la délimitation et la planification des évaluations. En 2023-2024, j’ai travaillé en tant qu’analyste à la Maison de l’innovation sociale à Montréal, une organisation à but non lucratif qui place la pensée systémique au cœur de son travail pour améliorer les communautés. Je partagerai avec d’autres évaluateurs quelques réflexions et références qui peuvent faire partie d’une stratégie fondamentale pour travailler dans la complexité et aligner les évaluations avec le bien commun.

La présentation couvrira :

• Brièvement : Qu’est-ce que la pensée systémique et quelques concepts clés
• Idées pour appliquer la pensée systémique à la délimitation des évaluations, au développement des questions et à la recherche de fond pour semer les graines du changement
• Compétences en pensée systémique que les évaluateurs peuvent développer et autres références à consulter 

Marie-Philippe Lemoine, Évaluatrice, Agriculture et Agroalimentaire Canada
Marie-Philippe est une évaluatrice accréditée chez Agriculture et Agroalimentaire Canada. Elle vit à Montréal et a précédemment travaillé à La Maison de l’innovation sociale (MIS) ainsi qu’au sein de la firme de conseil privé Goss Gilroy Inc. Elle a une préférence pour les biscuits, la fiction spéculative et l’observation des étoiles sans télescope.

 

3A2 Appliquer les approches autochtones dans l’évaluation fédérale : Défis et leçons apprises

Dans le cadre des engagements fédéraux visant à faire progresser la réconciliation avec les peuples autochtones, la Direction de l’évaluation des Services aux Autochtones du Canada cherche de nouvelles façons d’implémenter des méthodes et approches d’évaluation centrées sur les visions du monde et les systèmes de connaissances autochtones. En prenant l’évaluation en cours du Programme de développement économique et de préparation comme site d’enquête, cette présentation explore une méthodologie d’évaluation hybride qui respecte la Politique sur les résultats du Conseil du Trésor du Canada tout en centrant les manières autochtones de savoir et d’être.

Cette présentation abordera :

1. Fournir un contexte fondamental et une compréhension de la méthodologie, y compris la manière dont elle fusionne les exigences du Secrétariat du Conseil du Trésor du Canada avec les approches autochtones. Cette section inclura des exemples tels que : un aperçu du cadre fondamental développé par l’Indigenomics Institute ; le rôle d’une cérémonie d’ouverture pour « témoigner » du lancement de l’évaluation ; les approches utilisées pour garantir que les peuples et communautés autochtones aient un rôle directeur dans toutes les phases de l’évaluation ; et l’accent mis sur les mesures de succès définies par la communauté.
2. Discuter des défis et des leçons apprises lors de la mise en œuvre de ce cadre dans les limites du système fédéral, tel que le respect des délais et des processus du gouvernement fédéral, tout en respectant les délais, les processus et les souhaits des communautés, ainsi qu’honorer nos erreurs et faux pas.
3. Présenter une discussion réflexive « et alors ? », qui analysera comment ce projet pilote incarne l’objectif de la Direction de l’évaluation de ISC de transformer sa pratique, le bénéfice perçu que cette approche innovante a apporté, et comment les apprentissages du projet pilote pourraient être adaptés pour de futurs travaux.

Alexis Gilmer, Agente principale d’évaluation, Services aux Autochtones du Canada
Alexis Gilmer (elle/her/elle) est agente principale d’évaluation aux Services aux Autochtones du Canada, où elle travaille depuis septembre 2020. Avant d’entrer dans la fonction publique, Alexis a obtenu sa maîtrise en psychologie de l’Université Wilfrid Laurier, où elle a été initiée au monde de l’évaluation de programmes. Elle est honorée de travailler et de vivre sur le territoire traditionnel des peuples Anishinaabek, aujourd’hui connu sous le nom de Tri-Council Chippewa, avec son partenaire et son chien de sauvetage âgé.

 

3A3 Exploiter la récolte des effets et l’intelligence artificielle (IA) pour élaborer des plans d’évaluation plus efficaces

Cette présentation vise à démontrer comment une approche innovante d’évaluation, comme la récolte de résultats, peut être associée à l’IA pour créer des plans d’évaluation plus efficaces et solides.

La récolte de résultats est une méthode d’évaluation flexible qui capture et vérifie les résultats réels, éliminant ainsi le besoin d’un modèle logique prédéfini. En utilisant l’IA, les évaluateurs peuvent analyser rapidement de grandes quantités de données, identifier des motifs et automatiser les tâches chronophages, bien que la précision des données demeure une préoccupation majeure. La récolte de résultats offre une protection critique grâce à ses mécanismes de vérification des données intégrés, garantissant que les éventuelles erreurs introduites par l’IA sont détectées et corrigées. Cela en fait une approche sécurisée pour tirer parti de l’IA dans l’évaluation, permettant aux évaluateurs de se fier à l’IA pour gagner en efficacité tout en maintenant la confiance dans l’exactitude de leurs résultats. Grâce à une étude de cas, les participants comprendront ce qu’est la récolte de résultats, les étapes du processus où l’IA peut être utilisée efficacement, et comment les résultats de la récolte peuvent être utilisés pour créer un plan d’évaluation plus efficace.

La session fournira des exemples concrets de l’application de la récolte de résultats dans des évaluations de programmes sans feuille de route claire et démontrera comment l’IA peut compléter cela en identifiant rapidement les tendances, en gérant de grandes bases de données et en synthétisant des données qualitatives et quantitatives. À la fin de la présentation, les participants disposeront d’outils pratiques pour intégrer l’IA et la récolte de résultats de manière responsable et efficace, leur permettant de créer des plans d’évaluation solides même lorsqu’un programme manque de structure formelle.

Chinyere Amadi Dufour, Chef de projet en évaluation, Conseil national de recherches du Canada
Chinyere Aamadi Dufour est une experte chevronnée en suivi et évaluation, basée à Ottawa, avec une expérience dans les secteurs privé, non lucratif et public. Elle possède une expérience professionnelle en Amérique du Nord, dans les Caraïbes, en Afrique, au Moyen-Orient et en Asie. Chinyere conseille les cadres supérieurs sur les priorités en matière de performance, la mesure des résultats et la gestion adaptative, et soutient les évaluateurs en développement pour améliorer leurs compétences.

Elle s’intéresse particulièrement à la conception d’outils de gestion axée sur les résultats, au développement de plans d’évaluation et à la réalisation d’audits de systèmes SEAR (suivi, évaluation, apprentissage et recherche). Chinyere détient une maîtrise en administration publique de l’Université Carleton et un baccalauréat (avec distinction) en politique et économie internationales du Middlebury College.

 

3A4 Exploiter l’IA dans l’évaluation des programmes : naviguer entre innovation et considérations éthiques

L’intelligence artificielle (IA) semble presque magique, offrant des réponses instantanées à toutes les questions. L’enthousiasme autour de l’IA et de ses utilisations potentielles est contagieux. Lorsqu’elle est utilisée correctement, l’IA est un outil puissant. Par exemple, nous avons utilisé Copilot (IA) pour améliorer la clarté de ce résumé. Cependant, avant d’utiliser l’IA dans les évaluations, il est essentiel de comprendre ses limitations.Cette présentation explorera les limitations de l’IA et discutera de la manière dont l’IA s’aligne avec et remet en question les valeurs fondamentales de la Société canadienne d’évaluation et de la fonction publique canadienne. En explorant ces aspects, nous visons à fournir une compréhension approfondie du rôle de l’IA dans l’amélioration de l’évaluation des programmes tout en respectant ses valeurs fondamentales.

Cette présentation abordera :

1. Examen des avantages et limitations de l’IA : Fournir une vision équilibrée de la manière dont l’IA peut améliorer l’évaluation des programmes tout en reconnaissant ses limitations actuelles.
2. Alignement de l’IA avec les valeurs fondamentales de l’évaluation : Discuter des stratégies pour garantir que les applications de l’IA respectent les valeurs de la Société canadienne d’évaluation et de la fonction publique canadienne.
3. Introduction de l’acronyme PRETES : Présenter le cadre PRETES comme guide pour une utilisation éthique de l’IA dans les évaluations.
4. Promotion des considérations éthiques : Souligner l’importance des considérations éthiques dans l’intégration de l’IA dans les pratiques d’évaluation.
5. Encourager le dialogue et l’innovation : favoriser une conversation sur l’avenir de l’IA dans l’évaluation, encourageant une utilisation innovante, mais responsable de la technologie.

Cette présentation est particulièrement pertinente pour cette conférence, car elle aborde l’intersection des technologies émergentes et des pratiques d’évaluation éthiques, un thème central de nos discussions.

Megan Vincent, Analyste junior en évaluation, Commission de la fonction publique
Megan Vincent est analyste junior en évaluation à la Commission de la fonction publique, avec plus de 4 ans d’expérience en ressources humaines. Son parcours en psychologie cognitive alimente son intérêt pour les biais inconscients et leur impact sur la prise de décision. Passionnée par l’accessibilité, la diversité, l’équité et l’inclusion, elle utilise des analyses basées sur les données pour développer des solutions fondées sur des preuves.

Lys Granier, Évaluatrice de programme, Commission de la fonction publique
Lys Granier est évaluatrice de programme à la Commission de la fonction publique, où elle soutient la prise de décision fondée sur des preuves avec passion. Elle possède un parcours en recherche en sciences sociales, se concentrant sur l’exclusion sociale, l’embourgeoisement et les problèmes de logement. Son travail de chercheuse a permis d’informer les décideurs politiques et le public sur les inégalités, en plaidant pour des solutions basées sur des preuves. Elle a un intérêt particulier pour la philosophie morale, qui imprègne son travail.