L’évaluation du programme de financement communautaire ÉcoAction a été réalisée à l’aide de plusieurs méthodes de recherche. Ces méthodes comprennent notamment un étude des documents et des dossiers, une analyse des données secondaires, des entrevues auprès des informateurs clés et un sondage réalisé auprès des demandeurs qui se sont vu refuser le financement. La présente section décrit l’objectif et la portée de l’évaluation et de chacune de ces activités.
Cette évaluation du programme de financement communautaire ÉcoAction était axée sur les exercices de 2004-2005 jusqu’à 2008-2009 et sur les quatre thèmes appuyés par le programme : qualité de l’air, changements climatiques, qualité de l’eau et milieu naturel.
L’évaluation était fondée sur les travaux préliminaires réalisés par Environnement Canada, par exemple, le modèle logique existant, les questions d’évaluation proposées, les questions, les indicateurs et les sources de données énumérés dans le cadre de référence de l’évaluation. L’annexe 1 du présent rapport présente le tableau d’évaluation utilisé pour guider l’évaluation.
L’évaluation a porté sur la pertinence, le succès, le rapport coût-efficacité, la conception et la mise en œuvre du programme ÉcoAction. L’évaluation a été conçue pour déterminer si le programme :
3.2.1 Examen de la documentation du programme
L’équipe d’évaluation a réalisé un examen complet de la documentation du programme et des autres documents pertinents (se reporter à la liste à l’annexe 2). Plus précisément, les documents suivants ont été fournis à cette fin :
En plus d’examiner la documentation du programme, nous avons a adopté une approche aléatoire mais représentative pour sélectionner douze projets afin d’effectuer une analyse plus approfondie des résultats. Les rapports finaux de ces projets ont été examinés à cette fin, mais n’ont ajouté qu’une faible valeur à l’évaluation.
3.2.2 Examen des données du Système d’information de gestion (SIG)
En collaboration avec le personnel de programme, on a sélectionné des champs de données pertinents dans le SIG, et des données sur les résultats des demandes, des partenariats et des projets (c.-à-d., indicateurs de projet) ont été fournis à des fins d’examen.
Les données sur les demandes comprenaient l’information sur le projet et sur l’organisation qui avait présenté la demande de financement, la contribution d’ÉcoAction et la valeur du projet, de même que la décision de financement et l’état d’avancement du projet. Au total, des données portant sur 1 878 demandes ont été fournies, dont 750 ont été approuvées et 486 projets ont été achevés.
Les données relatives aux partenariats contenaient l’information sur les organisations qui avaient fourni des fonds obtenus d’autres sources, comme il est exigé pour bénéficier du soutien financier du programme ÉcoAction. Ces données comprenaient le nom des partenaires et le type d’organisation, le type de contribution (en espèces ou en nature) et indiquaient si la contribution avait été confirmée. Sur les 486 projets terminés, 3 443 partenaires étaient indiqués, ce qui représente environ 60 % des contributions entrées comme confirmées dans le SIG 4.
Les données relatives aux indicateurs comprenaient des cibles (c.-à-d., objectifs) et des résultats (c.-à-d., chiffres réels) pour chaque projet. Ces indicateurs servent à mesurer les objectifs de projet, tant voulus (c.-à-d., cibles ou objectifs) qu’atteints (c.-à-d., résultats ou réels). Au moment de présenter une demande, les demandeurs désignaient les indicateurs pertinents à partir d’une liste de 56 indicateurs et cibles fixés. Par exemple, parmi les 56 indicateurs à partir desquels les demandeurs pouvaient faire une sélection, on trouvait le nombre d’emplois créés, le nombre de partenariats établis, la quantité d’émissions de GES réduites, le nombre de kilomètres de berge de lac protégée ou stabilisée ou le nombre de plantes indigènes, d’arbres et d’arbustes plantés. Au terme du projet, les demandeurs ont effectué le compte rendu des résultats pour chacun des indicateurs sélectionnés au départ afin d’indiquer si le projet avait réussi ou non à atteindre ses objectifs. Étant donné que les indicateurs ne sont pas tous pertinents pour bon nombre de projets, les données relatives à certains résultats (c.-à-d., résultats réels) sont fondées uniquement sur une poignée de projets alors que les données relatives à d’autres résultats sont fondées sur un plus grand nombre de projets 5.
3.2.3 Entrevues auprès des informateurs clés
Afin de recueillir de l’information plus précise sur lles questions d’évaluation cruciales et d’enrichir l’information rassemblée grâce à d’autres sources de données, l’équipe d’évaluation a réalisé 18 entrevues auprès d’informateurs clés parmi les demandeurs ayant obtenu du financement et les représentants liés au programme ÉcoAction (annexe 4). Ces entrevues ont été distribuées de la façon suivante :
Les entrevues ont été réalisées en personne ou par téléphone, selon l’emplacement et la préférence du répondant. Les entrevues ont été réalisées en utilisant un guide d’entrevue semi-dirigé, adapté à l’auditoire (c.-à-d., cadre supérieur, personnel/gestion de programme à l’échelle régionale et nationale et demandeurs ayant reçu du financement), et dans la langue officielle de préférence du répondant.
3.2.4 Analyse des données du sondage auprès de la clientèle
Outre l’exercice d’étude des documents et des dossiers mentionnés ci-dessus, l’équipe d’évaluation a également réalisé des analyses des données obtenues des sondages réalisés auprès de la clientèle en 2002 et 2008.
Le sondage auprès de la clientèle de 2002 a pris la forme d’une enquête téléphonique administrée par le Groupe de recherche corporative. L’échantillon du sondage comprenait 252 clients du programme ÉcoAction dont les projets avaient été entrepris et avaient pris fin au cours de la période s’échelonnant entre 1998 et 2001. Au total, 196 clients ont répondu à un sondage téléphonique, ce qui représente un taux de réponse de 78 %. Dans l’ensemble, les résultats du sondage sont considérés comme exacts selon une marge d’erreur de ±3,3 %, 19 fois sur 20. Il est impossible de déterminer les biais dans les réponses par rapport à la distribution des répondants du sondage car il n’y a pas suffisamment de renseignements à cet égard.
Le sondage auprès de la clientèle de 2008 a pris la forme d’un sondage en ligne administré à l’étape 5. L’échantillon du sondage comprenait 307 clients du programme ÉcoAction dont les projets avaient été entrepris et avaient pris fin entre la période allant de 2004 à 2008. Au total, 126 clients ont répondu au sondage en ligne, ce qui représente un taux de réponse de 41 %. Dans l’ensemble, les résultats du sondage sont considérés comme exacts selon une marge d’erreur de ±6,7 %, 19 fois sur 20. Il y avait peu sinon aucun biais dans les réponses par rapport à la distribution régionale des répondants à l’enquête comparativement à la population en général.
Les données issues de ces deux sondages auprès de la clientèle ont été analysées afin de recueillir l’information relative à la pertinence, à la réussite et au rapport coût-efficacité. Néanmoins, il importe de mentionner que l’analyse a été limitée par l’accès à aux données non traitées et par la comparabilité des questions du sondage entre ces deux sondages.
3.2.5 Sondage auprès des demandeurs s’étant vu refuser du financement
Afin de compléter les sondages auprès de la clientèle, on a réalisé un sondage en ligne auprès des représentants de projets qui étaient admissibles au programme mais qui se sont vu refuser le financement. Ce sondage visait à mieux cerner l’impact différentiel du programme ÉcoAction en présentant une comparaison par rapport aux projets ayant obtenu un soutien financier.
Environnement Canada a dressé un échantillon des demandeurs s’étant vu refuser le financement, qui comprenait 737 demandes refusées. Cette liste a été peaufinée afin d’exclure les demandes qui ne contenaient aucune adresse de courriel de même que les demandes multiples présentées par une même entité. Seules les demandes les plus récentes présentées par les demandeurs énumérés plusieurs fois ont été incluses dans l’échantillon afin que celui-ci comporte les coordonnées les plus à jour possible. L’échantillon final était constitué de 511 demandes comportant un nom de personne-ressource, une adresse et un numéro de téléphone uniques.
Environnement Canada a expédié un préavis par courriel aux personnes dont le nom figurait dans l’échantillon. Cet avis était suivi d’une invitation à participer à un sondage expédié par l’équipe d’évaluation quelques jours plus tard et comprenant un lien renvoyant au sondage en ligne. Au cours de la période du sondage, des courriels de rappel ont été envoyés afin d’encourager la participation des personnes qui n’avaient pas encore rempli le questionnaire.
La collecte des données s’est déroulée du 12 au 29 décembre 2008. Le sondage a par la suite été prolongé jusqu’au 16 janvier 2009. Au total, 154 demandeurs s’étant vu refuser du financement ont rempli le questionnaire en ligne, ce qui représente un taux de réponse de 30 % (si l’on exclut les courriels non livrés du nombre, le taux de réponse est de 40 %). Les résultats globaux du sondage sont considérés exacts selon une marge d’erreur de ±7,0 %, 19 fois sur 20, fondés sur un échantillon de 737 répondants (n = 737).
Le tableau 3-1 ci-dessous montre qu’il y avait peu sinon aucun biais dans les réponses, ce qui signifie que les personnes qui ont répondu au questionnaire sont une juste représentation des personnes admissibles au financement au titre du programme ÉcoAction mais qui ne l’ont pas reçu.
Questionnaires remplis |
Échantillon |
Population |
|
Pourcentage |
Pourcentage |
Pourcentage |
|
Régions |
|||
Pacifique et Yukon |
14 % |
14 % |
12 % |
Prairies et Nord |
15 % |
12 % |
11 % |
Ontario |
18 % |
19 % |
19 % |
Québec |
27 % |
31 % |
35 % |
Atlantique |
27 % |
24 % |
24 % |
Catégorie |
|||
Salubrité de l’air |
1 % |
2 % |
3 % |
Propreté des eaux |
21 % |
26 % |
24 % |
Changement climatique |
44 % |
37 % |
40 % |
Conservation de la nature |
33 % |
33 % |
32 % |
Non indiquée |
1 % |
2 % |
2 % |
Source : Questionnaire auprès des demandeurs s’étant vu refuser le financement.
Malgré ses points forts, (p. ex., utilisation de plusieurs sources de données, interrogation des demandeurs s’étant vu refuser du financement pour déterminer l’impact différentiel, etc.), l’évaluation a connu certains problèmes et limites.
Il est difficile de mesurer l’incidence du programme.
Dans le scénario idéal, on pourrait mesurer l’incidence du programme ÉcoAction de façon efficace en sélectionnant des demandeurs présentant des caractéristiques identiques, ou du moins, dont les caractéristiques principales sont analogues, pour ensuite comparer les résultats du projet des demandeurs qui ont reçu du financement à ceux des demandeurs qui se sont vu refuser le financement. Les différences dans les résultats pourraient ainsi être attribuées à la présence ou à l’absence du financement. Toutefois, cette approche nécessite l’utilisation d’une méthode quasi-expérimentale car elle comporte un exercice de planification et de surveillance préalable qui n’entre pas dans la portée de la présente évaluation.
Il existe aussi une méthode plus simple mais moins efficace pour bien cerner l’incidence d’un programme. Celle-ci consiste à examiner un échantillon de demandeurs s’étant vu refuser du financement pour ensuite le comparer aux demandeurs ayant reçu du financement, sans tenir compte des différences entre les projets financés et non financés. Étant donné que le programme avait les résultats des sondages auprès de la clientèle (en 2002 et en 2008) qui avaient recueilli des données sur les demandeurs ayant reçu du financement, un sondage auprès des demandeurs s’étant vu refuser du financement a été élaboré à des fins de comparaison. Cependant, comme le type de renseignement qu’il est possible de recueillir grâce à cette méthode de sondage est limité, ces deux groupes ne peuvent être comparés de façon détaillée. Une comparaison des demandeurs ayant reçu du financement et s’étant vu refuser du financement permet quand même d’avoir une idée de l’incidence du refus du financement, ce qui peut permettre de cerner l’effet du programme.
Il est aussi possible que surviennent des erreurs qui n’ont rien à voir avec l’échantillonnage, par exemple, des erreurs relatives au niveau de compréhension des questions du sondage et des erreurs relatives aux données auto-déclarées.
Même si les sondages sont conçus de façon à être représentatifs de la population à l’étude, leurs résultats sont sujets à des erreurs qui n’ont rien à voir avec l’échantillonnage. Ces erreurs peuvent prendre plusieurs formes, par exemple, une compréhension erronée des questions de la part du répondant, une inexactitude dans le récit de l’expérience ou l’introduction d’un biais dans les réponses, qui sont toutes des erreurs intrinsèquement liées aux résultats de sondage. Voilà pourquoi l’utilisation de données administratives peut fournir des résultats plus fiables.
Cependant, pour les besoins de la présente évaluation, aucune information administrative n’était disponible sur les participants au sondage auprès des demandeurs ayant reçu du financement. Par exemple, l’analyse a dû compter sur les répondants au sondage pour calculer la valeur de la contribution du programme ÉcoAction en dépit du fait que 20 % des réponses manquaient ou ont dû être exclues des analyses en raison d’inconséquences dans les données. On a demandé aux répondants au sondage quelle était la valeur du projet le plus récemment réalisé et quelle proportion de cette valeur provenait du programme ÉcoAction. Quatorze répondants n’ont répondu ni à l’une de ces ces questions ni aux deux. En outre, 15 autres répondants ont été considérés comme des cas particuliers parce qu’ils ont répondu que la valeur de leur projet était inférieure à 1 000 $ (les valeurs variaient de 39 $ à 268 $) ou que la proportion de la valeur du projet provenant du financement d’ÉcoAction était supérieure à 50 % (les pourcentages variaient de 55 % à 100 %) 6. Ces cas particuliers ont été exclus des analyses. Dans ce cas, les données administratives auraient fourni des renseignements plus fiables.
Les données brutes du sondage de 2009 n’étaient pas disponibles pour l’analyse.
Le programme ÉcoAction a recueilli des données sur les demandeurs ayant reçu du financement en 2002 et de nouveau en 2008 au moyen de sondages auprès de la clientèle. Même si un rapport présentant les résultats quantitatifs et certains tableaux étaient disponibles, les données brutes du sondage de 2002 sur les demandeurs ayant reçu du financement n’étaient pas disponibles. En outre, l’instrument de sondage utilisé en 2002 était différent de celui utilisé en 2008. Par conséquent, il n’a été possible d’effectuer des comparaisons entre les sondages de 2002 et de 2008 que dans une mesure limitée.
Incohérences dans les données du SIG
Il semble que les données relatives au programme n’ont pas été systématiquement mises à jour dans le SIG. Par exemple, les données relatives à l’état d’avancement du projet n’étaient pas uniformes et, par conséquent, le nombre de projets approuvés et terminés variaient selon les sources consultées. En outre, les contributions promises qui ont par la suite été confirmées ne semblent pas avoir été mises à jour dans la base de données. Certains problèmes relatifs aux 56 indicateurs enregistrés dans le SIG ont aussi posé des difficultés : il n’y avait aucune donnée relative à l’indicateur lié à 218 projets même si ces projets étaient terminés. De plus, certaines données étaient accompagnées de commentaires généraux au sujet des résultats du projet. Ces problèmes dans les données montrent que les données du SIG ne sont pas une source d’information fiable pour le programme.
L’analyse du rapport coût-efficacité est limitée.
Les dépenses de programme et les données relatives à l’utilisation des ressources humaines n’ont pas été enregistrées précisément pour le programme ÉcoAction. Elles portent aussi sur des programmes connexes. Même si le personnel de programme a été en mesure de fournir des données se rapportant précisément au programme ÉcoAction, il ne s’agit que d’estimations.
Certains résultats sont fondés uniquement sur des données non scientifiques.
Même si l’on a fait preuve de diligence en s’efforçant d’appuyer les résultats au moyen d’autres méthodes utilisées dans cette évaluation, dans certains cas, on a répondu à des questions d’évaluation en se fiant essentiellement à quelques sources de données, dont certaines sont en grande partie non scientifiques. Les constatations relatives à la gouvernance du programme et à l’obligation redditionnelle sont, pour la plupart, fondées sont les entrevues auprès des informateurs clés. Par conséquent, dans le cadre de la présente évaluation, la mesure dans laquelle les constatations peuvent être validées est limitée. En outre, les constatations relatives aux incidences du programme sont fondées sur des données déclarées sur une base volontaire qui n’ont pas été validées par le personnel de programme et n’ont pu être validées dans le cadre de la présente évaluation. Certes, des entrevues auprès de personnes de l’extérieur du programme auraient permis d’obtenir un point de vue objectif sur les retombées éventuelles de même que sur la pertinence du programme. Cependant, il n’a pas été possible de trouver quelqu’un à l’extérieur du programme ÉcoAction qui possédait des connaissances suffisantes pour formuler des commentaires pertinents.
Le rapport indique les sources de données sur lesquelles se fondent les constatations présentées dans chacune des sections, de manière à ce que le lecteur puisse se rappeler les limites appropriées décrites ci-dessus.
Il importe de tenir compte des facteurs suivants en examinant le présent rapport :
4 La proportion des contributions promises mais non confirmées porte à croire que les données du SIG ne sont pas à jour. Cette question est soulevée à la section 4.2.2 b) Effet de levier du soutien aux activités environnementalistes de même qu’à l’annexe 2 – Évaluation des contributions obtenues par effet de levier.
5 Les constatations présentées dans cette section ne portent que sur les indicateurs relatifs à des données concernant au moins 5 % des projets. Les constatations pour l’ensemble des indicateurs sont présentées à l’annexe 3.
6 Il importe de signaler que la part de financement d’ÉcoAction doit être égale ou inférieure à 50 % de la valeur du projet, étant donné que l’un des critères d’admissibilité veut que le demandeur trouve par ses propres moyens au moins la moitié de la valeur du projet à partir d’autres sources.