Accueil > Divulgation proactive > Vérification et évaluation > Rapports de V&E > 2009-2010 >Vérification de l'efficacité des opérations de dotation

Évaluation du programme de financement communautaire ÉcoAction

Mai 2009

4.0 CONSTATATIONS

Les constatations de cette évaluation sont présentées ci-dessous par question d’évaluation (pertinence, succès, rapport coût-efficacité, conception et prestation) et selon les questions d’évaluation connexes présentées à l’annexe 1. Les constatations au niveau de la question globale sont présentées en premier et sont suivies des constatations issues de chacune des questions d’évaluation. 

Une notation est aussi indiquée pour chaque question d’évaluation. Ces notations sont fondées sur l’exercice du jugement afin de déterminer si les constatations indiquent ce qui suit :  

• Les résultats ou objectifs voulus ont été atteints ou réalisés – ils portent la mention Atteint. Ces résultats sont qualifiés dans les cas où les constatations sont en grande partie fondées sur de l’information auto-déclarée; 
• Des progrès remarquables ont été réalisés pour atteindre les résultats ou objectifs voulus, cependant, une attention demeure requise – mention Progrès réalisé, Attention requise; 
• Peu de progrès ont été réalisés pour atteindre les résultats voulus et une attention est requise de façon prioritaire – mention Peu de progrès, Attention en priorité; 
• Le symbole « s.o. » indique qu’aucune notation n’est applicable. 

L’annexe 5 présente un sommaire des notations pour les questions et problèmes d’évaluation. 

4.1 Pertinence

Les questions d’évaluation suivantes ont permis de mesurer la pertinence du programme ÉcoAction :

• Le gouvernement joue-t-il un rôle légitime et nécessaire dans ce secteur ou cette activité de programme?
• Le programme est-il lié à des besoins environnementaux/sociétaux? Dans quelle mesure le programme ÉcoAction répond-t-il à ces besoins?

Question d’évaluation 1 : Pertinence

Constatations globales : 

Le programme ÉcoAction est pertinent car il s’inscrit dans les priorités du gouvernement fédéral, il contribue au bien collectif et il y a un besoin continu pour le programme. Le programme est en harmonie avec les priorités du gouvernement fédéral car il est axé sur le financement de projets qui doivent produire des résultats directs au chapitre de la diminution de la pollution de l’air et des émissions de GES, en plus de la conservation de l’habitat, de l’éducation et du développement des capacités. Le programme ÉcoAction offre un bien collectif en encourageant et en favorisant l’action communautaire qui entraînera des retombées positives pour l’environnement et la vie des Canadiens. Ces résultats indiquent que le programme répond à un besoin financier des groupes communautaires. Près de 75 % des demandeurs ayant reçu du financement indiquent que leur projet n’aurait pas été exécuté ou qu’il aurait été exécuté dans une portée et une taille considérablement moindre si ce n’avait été du financement reçu au titre du programme ÉcoAction.

a) Harmonisation avec les priorités du gouvernement fédéral 

À la lumière des documents examinés pour les besoins de la présente évaluation, la participation d’Environnement Canada aux efforts de restauration et de protection de l’environnement s’inscrit dans les priorités du gouvernement fédéral. Le gouvernement du Canada a exprimé son engagement à réduire les émissions totales de GES du Canada de 20 % d’ici 2020 dans le discours du Trône de 2007 et a réitéré cet engagement dans le discours du Trône de 2008. Le programme ÉcoAction d’Environnement Canada est en harmonie avec cette priorité du gouvernement fédéral car il est axé sur le financement de projets qui doivent entraîner des résultats directs au chapitre de la réduction de la pollution de l’air et des émissions de gaz à effet de serre. Les autres résultats escomptés du programme ÉcoAction concernent la conservation de l’habitat, l’éducation et le renforcement des capacités. 

Au lieu d’être axé sur un seul enjeu environnemental prioritaire, le programme ÉcoAction adopte plutôt une approche horizontale en permettant aux collectivités de déterminer les enjeux prioritaires à l’échelle locale et d’y donner suite afin de créer des collectivités plus saines et plus durables. Cette approche horizontale leur offre la souplesse nécessaire pour s’adapter à l’évolution des priorités fédérales et ministérielles tout en appuyant les priorités à plus long terme de manière uniforme. Par exemple, le programme ÉcoAction a été recentré de manière à appuyer la composante du Défi d’une tonne du Plan du Canada sur les changements climatiques jusqu’à ce que le programme du Défi d’une tonne prenne fin en 2006, ce qui démontre sa souplesse d’adaptation aux priorités importantes du gouvernement du Canada.

b) Démonstration du bien collectif 

Environnement Canda est responsable de la mise en œuvre du programme de l’environnement du gouvernement fédéral de par de son mandat, qui vise notamment la préservation et l’amélioration de la qualité de l’environnement naturel, la conservation des ressources renouvelables du Canada et la conservation et la protection des ressources en eau du Canada. Le programme ÉcoAction s’inscrit surtout dans le mandat d’Environnement Canada, qui consiste à préserver et à améliorer la qualité de l’environnement naturel, par ses initiatives de financement de projets au niveau communautaire. Selon les documents afférents au programme, le programme ÉcoAction encourage les projets qui protègent, réhabilitent ou améliorent le milieu naturel, et renforcent la capacité des collectivités à soutenir ces activités dans l’avenir. Les résultats découlant du sondage de 2002 réalisé auprès des demandeurs ayant reçu du financement montrent que l’objectif principal de la plupart des projets terminés récemment chez une majorité de répondants visait la sensibilisation aux questions environnementales. Le second objectif des projets était de permettre aux collectivités de répondre aux préoccupations environnementales, de restaurer/réhabiliter/remettre en état l’habitat, de réduire la consommation d’énergie/d’émissions de GES et d’améliorer la qualité de l’eau. Ainsi, le programme offre un bien collectif, en encourageant l’action communautaire qui entraînera des retombées positives pour l’environnement et la vie des Canadiens, et en y participant. 

c) Participation à l’échelle fédérale

Comme le programme ÉcoAction vise les projets de niveau communautaire axés sur le bien-être des citoyens et que ses exigences prévoient que les promoteurs de projets trouvent un financement correspondant auprès d’autres sources, y compris d’autres ordres de gouvernement, le secteur privé, les fondations, les organismes sans but lucratif et les bénévoles, il permet de s’assurer que l’on établisse des partenariats communautaires et il encourage la durabilité de ces projets. À elle seule, la perspective communautaire risquerait de limiter l’impact des projets aux régions locales sans des efforts plus coordonnés visant à produire des résultats environnementaux plus vastes rendus possibles grâce à la participation du gouvernement. La fonction de coordination à l’échelle nationale que joue le gouvernement fédéral, jumelée à son réseau régional de bureaux de programme disséminés partout au Canada, permet d’adapter les priorités de programme à l’échelle nationale, de manière à appuyer les priorités régionales et à offrir un service à la fois pertinent, efficace et axé sur le client. Selon la documentation afférente au programme, le programme ÉcoAction est bien connu dans le secteur des organismes sans but lucratif et a assuré pendant longtemps une importante visibilité au  gouvernement du Canada, à l’appui des actions environnementales à l’échelle communautaire. 

Les personnes interrogées reconnaissent qu’il est toujours nécessaire que le gouvernement fédéral appuie les projets communautaires qui entraînent des retombées positives pour l’environnement. Parmi les raisons évoquées par les répondants, mentionnons les suivantes : les projets communautaires viennent faire le contrepoids des activités de réglementation et d’application de la loi; le financement du gouvernement fédéral aide les groupes à obtenir d’autres fonds; les projets communautaires contribuent à sensibiliser la population aux questions environnementales, à accroître la capacité des communautés, et des projets analogues ne pourraient être entrepris autrement. On a aussi mentionné que le programme adoptait une approche issue de la base populaire et axée sur le citoyen.

En outre, les résultats du sondage portent à croire que l’on a besoin que le gouvernement fédéral appuie les projets communautaires qui entraînent des retombées positives pour l’environnement. Les répondants au sondage de 2008 et au sondage réalisé auprès des demandeurs s’étant vu refuser du financement ont été interrogés au sujet de ce qu’est ou serait devenu leur projet à défaut d’obtenir du financement au titre du programme ÉcoAction. Les clients qui avaient reçu du financement ont répondu de façon hypothétique (c.-à-d., « Que serait devenu le projet sans le financement d’ÉcoAction? ») alors que les demandeurs qui se sont vu refuser du financement ont expliqué ce qu’il était réellement advenu de leur projet (c.-à-d., « Qu’est devenu votre projet sans le financement d’ÉcoAction »). Une grande majorité auraient réduit la taille ou la portée de leur projet ou n’auraient tout simplement pas été en mesure de mener à bien leur projet uniquement en comptant sur le financement provenant de sources autres que ce programme fédéral. Leurs réponses sont présentées à la figure 4-1.

Étant donné que l’on dispose de peu d’information au sujet des demandeurs, ces constatations doivent être interprétées avec prudence. Par exemple, les demandeurs s’étant vu refuser du financement, bien qu’admissibles, risquent d’avoir moins d’expérience ou de disposer de moins de ressources pour mener à bien les projets sans le financement d’ÉcoAction. En outre, on a demandé aux demandeurs d’exprimer leurs opinions quant à ce que serait devenu leur projet sans le financement d’ÉcoAction, en formulant des situations hypothétiques susceptibles de dépendre de nombreux facteurs imprévus. Néanmoins, les résultats révèlent un point commun entre les deux groupes, soit le rôle important que le programme ÉcoAction semble jouer quant à l’état de réalisation d’un projet.

Figure 4-1 : Réponse du sondage à l’énoncé « Sans le financement d’ÉcoAction, le projet aurait été/était… »

n = 126 (sondage auprès des demandeurs ayant reçu du financement, Q14)
n = 154 (sondage auprès des demandeurs s’étant vu refuser le financement, QB1a)

Les résultats du sondage font état de l’impact différentiel du programme ÉcoAction.

Ils indiquent que 70 % des projets non financés et 86 % des projets financés n’auraient pas été exécutés ou auraient été exécutés en réduisant considérablement la taille ou la portée sans le financement d’ÉcoAction. Ces résultats démontrent les avantages du financement d’ÉcoAction quant au maintien de la taille et de la portée des projets et de la capacité de les exécuter.

À titre de comparaison, environ deux projets non financés sur dix ont été exécutés sans le financement d’ÉcoAction ou ont été exécutés en réduisant légèrement la taille ou la portée, ce qui porte à croire que la présence ou l’absence du financement d’ÉcoAction n’a que peu sinon aucune influence sur l’exécution de ces projets. Environ 7 % des autres projets devaient être exécutés à une date ultérieure.

a) Utilité et bien-fondé du programme ÉcoAction

La réponse aux concours sur l’obtention de l’aide du programme ÉcoAction porte à croire qu’il y a un besoin et un intérêt à l’égard du programme. Chaque année, le programme génère environ 400 demandes de financement, dont près de 40 % sont approuvées (tableau 4-2). Ces chiffres concordent avec ceux des activités de programme antérieures compilés dans le document Rapport sur le rendement 2002 - Programme de financement communautaire ÉcoAction. Bien que la demande pour le programme ait diminué en 2007, il est encore trop tôt pour déterminer s’il s’agit d’une tendance. 

¹ Chiffres portant sur une partie de l’année seulement
² Le pourcentage du nombre total de demandes est indiqué entre parenthèses.
Source : Données du SIG (exercice et décision finale)

Les demandes n’ont pas été distribuées uniformément entre les divers secteurs prioritaires, soit la qualité de l’air (3 %), la qualité de l’eau (22 %), les changements climatiques (39 %) et le milieu naturel (35 %). Cependant, il semble que l’harmonisation du programme avec les priorités locales et le programme Défi d’une tonne ⁸ (p. ex., les projets d’assainissement de l’eau ont tendance à se trouver dans les régions de l’Atlantique et du Québec) ait affecté la distribution des projets. 

En outre, les participants à l’entrevue, les demandeurs ayant reçu du financement et les demandeurs s’étant vu refuser du financement font état d’un lien fort avec les besoins sociétaux et environnementaux.

• On a interrogé les demandeurs ayant reçu du financement au sujet des objectifs du programme ÉcoAction et des projets les plus récents qu’ils avaient terminés. Les réponses au sondage ont montré que tant les objectifs du programme ÉcoAction que les projets financés étaient cohérents et pertinents;
• De même, les participants à l’entrevue étaient d’avis que les quatre secteurs prioritaires actuels demeuraient pertinents car, à leur avis, ils sont suffisamment généraux pour couvrir tous les types de projets environnementaux. Néanmoins, certaines personnes interrogées estimaient justement qu’ils risquaient d’être trop généraux et que le programme aurait avantage à définir clairement les secteurs prioritaires;
• Même s’ils n’avaient pas reçu de financement, plus de la moitié (57 %) des demandeurs interrogés qui n’avaient pas reçu de soutien financier étaient fortement en accord avec l’affirmation voulant que le programme ÉcoAction est une source de soutien financier importante pour les groupes communautaires, et 78 % étaient en accord avec l’énoncé voulant que le programme ÉcoAction est toujours nécessaire. Même s’il n’existe aucune donnée semblable en ce qui concerne les demandeurs ayant reçu du financement, il n’en demeure pas moins que cela montre qu’il existe bel et bien un besoin pour le programme.

Comme ce programme est axés sur les collectivités, ces constatations portent à croire que le programme, tout comme les projets qu’il soutient, réponde aux besoins sociétaux et environnementaux des collectivités dans lesquelles les projets sont mis en œuvre. 

b) Soutien aux petits groupes ou projets

Les constatations de la présente évaluation portent à croire que le programme ÉcoAction comble les lacunes en matière de financement de certains organismes communautaires de plus petite taille qui autrement ne disposeraient pas des ressources nécessaires pour mener à bien leurs projets. Selon les entrevues menées auprès du personnel de programme et la documentation de programme consultée, le programme ÉcoAction est conçu pour financer les petits groupes communautaires ou les petits projets. C’est du moins ce qui se dégage de l’information budgétaire relative aux projets financés dans le cadre de ce programme. En moyenne, la valeur totale estimée des projets approuvés (valeur moyenne de 114 481 $) et la valeur des contributions demandées au titre du programme ÉcoAction (demande moyenne de 36 625 $) étaient inférieures à celle des projets qui n’ont pas été approuvés (valeur moyenne et montant demandés respectivement de 154 617 $ et 45 203 $). Le sondage auprès des clients montre aussi que le programme ÉcoAction les a aidés à obtenir un financement de contrepartie pour leurs projets. C’est ce que semblent démontrer les entrevues effectuées auprès des informateurs clés qui révèlent que le programme a donné de la crédibilité aux projets. En effet, le programme a permis aux promoteurs de projets d’obtenir des fonds de contrepartie ou un appui non financier car ils pouvaient démontrer qu’ils avaient accès à un appui du gouvernement fédéral. Ces résultats portent à croire que les plus petits groupes ou projets qui auraient autrement eu un accès plus difficile à des ressources profitent du financement offert par le programme ÉcoAction. Certains membres du personnel estiment qu’il s’agit d’une composante importante du programme, qui met en relief le besoin d’appuyer les plus petits groupes communautaires susceptibles d’être confrontés à des difficultés de plus en plus nombreuses pour obtenir une aide financière par rapport aux groupes plus importants qui ont plus de ressources.

4.1.3 Sommaire : Pertinence

ÉcoAction soutient les projets environnementaux au niveau de la collectivité qui s’inscrivent dans les priorités d’EC, tels que la réduction des gaz à effet de serre, l’amélioration de la qualité de l’air et de l’eau et la protection des espèces et de leur habitat. Les participants au programme ou aux projets signalent que le financement obtenu dans le cadre du programme ÉcoAction a permis la concrétisation de divers projets qui autrement n’auraient jamais pu voir le jour. Voici quelques-unes des principales constatations de l’évaluation : 

• Rôle du gouvernement fédéral : La participation du gouvernement fédéral en matière de protection et de restauration environnementales correspond à ses priorités. Les objectifs du gouvernement pour l’environnement et la mise en œuvre du programme ÉcoAction sont administrés par Environnement Canada, qui est le ministère compétent à cet égard, compte tenu de son mandat, qui est de préserver et d’améliorer la qualité de l’environnement naturel. 
• Besoin continu du programme : Le programme ÉcoAction et le financement qui l’accompagne sont essentiels pour environ les trois quarts des groupes, qu’ils reçoivent du financement ou non. De façon plus particulière, le sondage effectué auprès des demandeurs ayant obtenu du financement révèle qu’entre 70 % et 86 % des projets n’auraient pas vu le jour ou auraient été nettement moins importants et plus limités en l’absence du financement accompagnant le programme ÉcoAction. C’est ce qui se dégage des résultats du sondage réalisé auprès des demandeurs s’étant vu refuser du financement qui montre que 78 % d’entre eux sont fortement en accord avec l’énoncé voulant qu’il existe un besoin continu pour le programme. Ces résultats montrent que le programme répond à un besoin financier des groupes communautaires. Ce besoin se reflète aussi dans le nombre élevé de demandes reçues par rapport au nombre de projets dont le financement a finalement été approuvé : environ 400 demandes de financement par année, dont 40 % à peu près sont approuvées, sont présentées au titre du programme ÉcoAction.

4.2 Succès

Les questions d’évaluation suivantes permettent de mesurer le succès du programme ÉcoAction :

• Dans quelle mesure le programme ÉcoAction rejoint-il les groupes cibles? 
• Dans quelle mesure le programme a-t-il réalisé des progrès par rapport aux résultats immédiats, intermédiaires et ultimes indiqués dans son modèle logique? Quels sont les obstacles au succès? 

Les deux sous-sections ci-dessous présentent les réponses à chacune de ces questions :

Question d’évaluation 2 : Succès

Constatations globales

Les constatations montrent que le programme a réussi à rejoindre les groupes cibles. Cependant, il a été plus difficile de déterminer l’atteinte des résultats car il a été difficile d’obtenir de l’information exacte et complète sur le rendement. Les données disponibles dans le système d’information de gestion (SIG), le principal dépôt de données sur les projets financés, n’ont pas été mises à jour sur une base régulière et certaines données sont absentes. Il a donc été difficile de déterminer si le programme avait atteint les résultats visés ou non. Les entrevues réalisées auprès des informateurs clés et les sondages auprès des clients réalisés en 2002 et en 2008 ont permis de se faire une idée sur la réalisation de ces résultats; cependant, ces sources ne fournissaient que des données aut-déclarées et n’ont pas été validées par le personnel de programme. Ces limites relatives à la disponibilité des données ont fait en sorte qu’il est difficile de dresser le portrait complet du rendement du programme et de déterminer si celui-ci est une réussite ou non.

a) Cibles du programmes et liens avec les objectifs environnementaux

Le programme cible les organismes sans but lucratif. Lorsqu’on a interrogé le personnel de programme sur les méthodes utilisées pour renseigner les groupes communautaires au sujet du programme ÉcoAction, il a énuméré plusieurs activités : 

• Le site Web du programme ÉcoAction, les communications par courriel, les trousses d’information et les brochures qui ont été distribuées aux groupes communautaires et aux réseaux à vocation environnementale;
• Les communiqués de presse et les activités médiatiques qui font la promotion des activités de lancement et les réussites des projets;
• Les réunions et les présentations qui ont lieu en collaboration avec les groupes communautaires ou à leur intention;
• Les activités de sensibilisation qui ciblent des populations particulières (p. ex., Premières nations, jeunes et groupes de collectivités éloignées);
• La promotion du programme dans les listes figurant dans les guides de financement comme Green Source;
• Les webinaires qui facilitent l’accès aux groupes communautaires éloignés; 
• Les publicités ponctuelles;
• Le bouche à oreille.

Dans l’ensemble, les participants interrogés estiment que ces méthodes fonctionnent correctement, comme le montre le nombre élevé de demandes soumises chaque année (environ 400 demandes par année). Étant donné que le programme et les projets sont axés sur le l’environnement, il n’est pas surprenant de constater que la majorité des demandes (et la majorité des projets approuvés) relèvent de groupes environnementalistes (84 % des demandes). Les ONG de secteurs autres que celui de l’environnement soumettent 10 % des demandes. Les autres demandes étaient réparties entre des groupes représentant divers intérêts, ceux des Autochtones, d’autres ethnies, des aînés, des femmes et des jeunes (6 % des demandes).

Le document Examen d’ÉcoAction 2000, préparé par la Direction générale d’examen des programmes (aujourd’hui appelée Direction générale de la vérification et de l’évaluation) d’Environnement Canada, faisait état de la difficulté qu’avait le programme à rejoindre certains groupes et certaines collectivités. À cette époque, l’équipe du programme apportait des changements au guide du demandeur et au manuel du bénéficiaire afin de joindre les communautés rurales et autochtones. Si l’on compare la répartition des projets financés par organismes bénéficiaires déclarés dans le Rapport sur le rendement de 2002 à celle obtenue à partir des données du SIG pour les besoins de la présente évaluation, il ne semble pas y avoir de changements majeurs quant à la répartition des demandes selon le type de groupe. Au cours des entrevues réalisées, l’une des personnes interrogées a indiqué que le nombre de demandes provenant des groupes ciblés avaient augmenté en raison des efforts de communication déployés spécialement en vue de joindre ces groupes particuliers. Cela porte à penser que les efforts ciblés peuvent porter fruits si le programme désire augmenter le nombre de demandes qu’il génère auprès de certains groupes particuliers pour des raisons spécifiques. 

Le bassin de demandeurs de financement au titre du programme réunit d’anciens et de nouveaux demandeurs. Les données du sondage montrent que la majorité des demandeurs ayant reçu du financement avaient déjà reçu une aide financière du programme ÉcoAction suite à une demande antérieure (54 % en 2008 et 53 % en 2002) ⁹ . Pour 38 % des demandeurs s’étant vu refuser du financement, il s’agissait de la première demande. On a demandé à ceux qui n’avaient pas reçu le soutien financier du programme s’ils avaient déposé une nouvelle demande ou s’ils prévoyaient le faire : 43 % ont répondu « oui », 33 % ont répondu « non » et 24 % ont répondu « ne sais pas ».

• Les demandeurs qui avaient déposé une demande ou prévoyaient déposer une nouvelle demande ont indiqué, de façon générale, que leurs projets étaient importants pour leur collectivité et que le programme ÉcoAction représentait l’une des rares sources de financement auxquelles ils avaient accès ou ont répondu qu’ils estimaient que leurs projets ou d’autres projets pourraient recevoir de l’aide financière dans le cadre de ce programme;
• Les répondants qui n’avaient pas déposé de demande ou ne prévoyaient pas le faire estimaient, pour la plupart, que le processus était trop lourd, que leur projet/organisation n’entrait pas dans le champ d’application du programme ou qu’ils n’étaient pas heureux de la réponse reçue à leur demande.

Tous les auteurs d’une demande non retenue ont reçu une lettre précisant les motifs du refus de financement. On a demandé à ces personnes s’ils avaient reçu une explication précisant les motifs de refus de financement de leur projet. Environ la moitié a affirmé qu’ils avaient reçu une explication (54 %). Les autres répondants ont indiqué qu’ils n’avaient reçu aucune explication (23 %) ou qu’ils ne le savaient pas (23 %). On a demandé aux répondants qui ont indiqué qu’ils avaient reçu une lettre si on leur avait fourni suffisamment de précisions par rapport au motif de refus de leur demande. Environ la moitié (46 %) estimait que les précisions fournies étaient suffisantes, environ le tiers (32 %) étaient ni en accord ni en désaccord et les autres (22 %) estimaient qu’ils n’avaient pas reçu suffisamment de précisions. Même si 28 % des répondants qui ont reçu une explication estimaient que la décision était fondée, 40 % étaient d’avis contraire ¹⁰. 

Le personnel de programme estime qu’il serait possible d’accroître la sensibilisation au programme en communiquant davantage les témoignages de réussite dans les médias, en augmentant le nombre d’heures consacrées à la promotion du programme sur le terrain et en ciblant des groupes qui ne connaissent peut-être pas encore le programme. Certains membres du personnel ont aussi soulevé la question de fournir des possibilités aux petits groupes communautaires, qui trouvent sans doute de plus en plus difficile de livrer concurrence à des groupes plus importants disposant de plus de ressources. Étant donné que le nombre de réponses aux concours de financement est toujours élevé, il n’est pas justifié de sensibiliser davantage au programme à moins que l’objectif ne soit d’accroître la participation de certains groupes ou collectivités. 

Étant donné le manque de données obtenues des projets financés, il a été difficile de déterminer si l’on avait bel et bien atteint les résultats immédiats, intermédiaires et ultimes fixés. En ce qui a trait à certains indicateurs, le nombre de projets financés concernant un résultat de programme spécifique est trop petit pour constituer une mesure valide de l’atteinte du résultat. Par exemple, il est difficile de conclure que le programme ÉcoAction a vraiment contribué à une diminution de l’utilisation des substances dangereuses compromettant la qualité de l’eau puisqu’il n’y avait qu’un petit nombre de projets visant cet objectif. Une partie du problème est que les résultats des projets ne sont pas toujours inscrits dans le SIG, ou les données ne sont pas mises à jour de façon régulière. Même si les données du SIG présentent une utilité limitée quant à l’obtention de données pertinentes sur la réalisation des résultats visés, d’autres sources de données utilisées pour les besoins de la présente évaluation peuvent s’avérer utiles. Ces constatations doivent être interprétées avec prudence parce qu’elles sont en grande partie fondées sur de l’information auto-déclarée ¹¹.

La réalisation des résultats a été examinée à la lumière des trois objectifs du programme ÉcoAction :

1. Permettre aux groupes communautaires d’atteindre des résultats pour l’environnement;
2. Obtenir des fonds de contrepartie, sous forme financière ou non financière, de sources autres que le gouvernement fédéral;
3. Générer des retombées positives pour l’environnement.

Cette section présente les résultats pertinents par rapport à chacun de ces objectifs. 

a) Développement de la capacité communautaire

Le programme ÉcoAction prévoit d’offrir du financement aux projets qui comportent une composante relative au développement des capacités. Le développement des capacités est défini dans les lignes directrices opérationnelles du programme comme étant une augmentation des connaissances et des habiletés ou des changements de comportement d’un groupe ou d’une collectivité qui permettent d’accomplir les travaux de planification et d’organisation nécessaires pour prendre des mesures dans le domaine de l’environnement.

On a demandé aux répondants du sondage auprès des clients de 2008 dans quelle mesure ils estimaient que le projet le plus récemment terminé avait eu une incidence dans leur collectivité. À l’échelle de cinq points, où 1 signifie « fortement en désaccord » et 5 signifie « fortement en accord », la plupart des répondants ont choisi une évaluation de 4 ou 5, comme le montre la figure 4-3.

Figure 4-3 : Effet sur la collectivité du projet ÉcoAction le plus récemment terminé 

Les répondants de huit projets financés sur dix ont indiqué que le projet avait contribué à sensibiliser davantage la collectivité aux enjeux environnementaux locaux (85 %), qu’il avait contribué à éduquer la collectivité sur les enjeux environnementaux (84 %), facilité l’échange d’information et de connaissances dans la collectivité (83 %) ou contribué à accroître les connaissances et les habiletés dans la collectivité pour préserver et protéger l’environnement (81 %). Ces pourcentages montrent que les demandeurs ayant reçu du financement estiment que leur projet a entraîné des retombées positives sur la collectivité. De plus, les demandeurs qui ont obtenu du financement pour un projet dont la valeur était de 75 000 $ ou plus ou une subvention ÉcoAction de 25 000 $ ou plus étaient plus susceptibles d’estimer que leur projet avait contribué à créer une collectivité plus saine et plus durable que les demandeurs dont la valeur du projet était moindre ou qui ont reçu une subvention inférieure.

En plus d’aider les collectivités, le programme ÉcoAction vise à financer les projets durables (c.-à-d., qui se poursuivront au terme du financement ÉcoAction). Comme la plupart des projets n’auraient pas été menés à bien ou la taille des projets aurait considérablement été réduite sans le financement ÉcoAction, la capacité d’un groupe de poursuivre le projet une fois que prend fin le financement au titre du programme ÉcoAction porte à croire que celui-ci a bel et bien augmenté ou perfectionné ses connaissances et ses habiletés. Même si le financement peut venir à échéance, les connaissances et les habiletés sont des éléments durables et ils sont habituellement transférables et applicables aux différentes situations dont s’occupe un groupe. En appuyant des projets qui comportent une certaine longévité, l’objectif est de favoriser des résultats positifs à plus long terme pour l’environnement au sein de la collectivité, même après l’expiration du financement au titre du programme ÉcoAction.

Afin de déterminer s’il en est ainsi, on a demandé aux demandeurs ayant reçu du financement si le projet le plus récemment terminé se poursuivrait après l’expiration du financement d’ÉcoAction. Environ trois-quarts des demandeurs (77 %) ont indiqué que leur projet se poursuivra. Ce résultat est semblable au résultat du sondage auprès des clients de 2002, dans le cadre duquel 81 % des répondants avaient affirmé que leur projet se poursuivrait. Ces résultats montrent qu’il est possible de prévoir que les projets qui ont bénéficié du financement ÉcoAction soient des projets durables.

n = 126 (sondage de 2008 auprès des demandeurs ayant reçu du financement, Q28, 29 et Q30)

Ces constatations semblent cadrer avec ce qui se dégage des entrevues réalisées auprès des demandeurs, qui ont aussi indiqué que le projet pour lequel ils avaient reçu du financement s’était poursuivi même après l’expiration du financement du programme ÉcoAction. L’un des demandeurs a indiqué qu’il avait trouvé de nouveaux partenaires de financement et qu’il avait augmenté le nombre de bénévoles pour poursuivre le projet. Un autre a indiqué que des partenaires lui avaient demandé que le projet se poursuive puisque ses objectifs n’avaient été atteints que partiellement au moment où le financement du programme ÉcoAction a pris fin.

Cependant, près de la moitié (48 %) des répondants au sondage dont les projets ne se poursuivront pas ont indiqué qu’ils n’avaient pas réussi à obtenir du financement, et 10 % ont mentionné que le projet prenait fin en raison du manque d’appui de la part de la collectivité. Il se pourrait que l’établissement de partenariats continus (c.-à-d., l’obtention de financement et d’autre forme d’appui non financier) soit un facteur déterminant de la pérennité d’un projet ou de l’entreprise de projets dans l’avenir. La figure 4-5 montre dans quelle mesure les demandeurs ayant reçu du financement estiment que le financement du programme ÉcoAction a facilité le maintien de partenariats avec d’autres organisations.

Figure 4-5 : Mesure dans laquelle le financement du programme ÉcoAction a facilité le maintien des partenariats avec d’autres organisations

Sur une échelle variant de 1 « pas du tout » à 5 « beaucoup », un peu plus de la moitié des répondants (55 %) ont choisi 4 ou 5, ce qui porte à croire qu’ils estimaient que le financement reçu était utile à cette fin. Par comparaison, 13 % des répondants ont estimé que le financement du programme ÉcoAction n’a pas facilité l’établissement de partenariats avec d’autres organisations.

On a demandé aux répondants, qui avaient indiqué que le financement reçu du programme ÉcoAction avait facilité le maintien de partenariats au moins dans une certaine mesure, de qualifier la nature de ces partenariats. Les répondants pouvaient choisir parmi différentes réponses, selon ce qu’ils désiraient exprimer, de sorte que la somme de leur réponse dépasse 100 % :

• Maintien des relations avec des promoteurs/partenaires de projet (84 %);
• Activités subséquentes ou « prochaine phase » (53 %);
• Soutien ou capacités accrus de l’organisation grâce à d’autres partenaires (38 %);
• Adoption de la cause de votre organisation par un autre groupe (37 %);
• Autres (3 %).

On n’a relevé aucune différence entre les répondants qui ont indiqué que leur projet se poursuivrait comparativement aux répondants qui ont indiqué que leur projet prendrait fin au terme du financement du programme ÉcoAction (hormis l’exécution d’activités subséquentes ou dans le cadre d’une « prochaine phase »). Ainsi, les répondants ont estimé que le projet continuerait d’avoir une incidence sur les partenaires communautaires que le projet prenne fin ou non. Cette constatation permet de conclure que les relations et les mécanismes de soutien établis dans le cadre du projet survivent à la période de financement.

En outre, il semble que les projets achevés ont eu une incidence qui n’a pas seulement touché les partenaires comme le montrent les données du SIG. Les responsables des projets terminés ont évalué la mesure dans laquelle ils avaient atteint certains de leurs objectifs. Ils ont donc réalisé une analyse des indicateurs sociaux et économiques à l’aide des données du SIG pour lesquels au moins 25 des 486 projets terminés avaient produit des résultats. Il ressort de cette analyse, comme en font foi les rapports finaux, que les coordonnateurs de projet ont estimé que les retombées suivantes étaient attribuables aux projets  ¹²:

• 600 emplois ont été créés (fondés sur 161 projets) dont 90 emplois permanents (fondés sur 26 projets);
• 34 988 bénévoles ont participé directement aux projets (fondés sur 206 projets);
• 1 980 811 ont été directement touchés par les projets (fondés sur 189 projets);
• 2 693 groupes de jeunes ont participé directement aux projets (fondés sur 31 projets);
• 8 964 activités publiques ont été organisées (fondées sur 184 projets) et 1 806 comptes-rendus médiatiques ont été produits (fondés sur 175 projets).

Les projets dont la valeur était de 75 000 $ ou plus ont eu recours à un plus grand nombre de bénévoles et ont produit plus de reportages dans les médias que les projets de valeur moindre (283 par rapport à 80 bénévoles en moyenne; 17 comptes-rendus médiatiques par rapport à 5 en moyenne).

Dans l’ensemble, les résultats du sondage montrent que les projets financés ont entraîné des retombées positives sur les collectivités, et environ les trois-quarts des projets financés par l’entremise du programme ÉcoAction devraient être durables. Les partenariats au niveau de la collectivité semblent être un facteur déterminant de la longévité du projet et il semble que le programme ait contribué à mettre en place ces partenariats dans le cas de plus de la moitié des projets financés parmi les demandeurs interrogés. Cependant, il y a peu de données pour démontrer les résultats du projet à la fin du financement du programme ÉcoAction. Étant donné la durabilité indiquée de ces projets, il manque une composante clé au suivi du rendement du programme par rapport aux retombées à plus long terme pour l’environnement que le programme ÉcoAction est susceptible de procurer aux Canadiens.

b) Accroître le soutien aux activités environnementales par effet de levier

La conception du programme exige que les demandeurs obtiennent un soutien financier et non financier d’au moins 50 % de la valeur totale de leur projet auprès de promoteurs autres que le gouvernement fédéral pour être admissibles à du financement. Ces critères d’admissibilité permettent de s’assurer que les promoteurs du projet obtiennent du soutien dans les collectivités où les projets doivent être exécutés.

Les rapports finaux de plusieurs projets terminés décrivent la mesure dans laquelle les partenariats ont été établis. Même si ces partenariats ne sont pas décrits avec précision dans les rapports finaux, l’examen des renseignements à ce sujet permet de constater combien d’aide a été obtenue des partenaires. Les renseignements relatifs à ces partenariats sont appuyés par les données entrées dans le SIG. L’analyse des données du SIG montre qu’entre 130 et 160 projets terminés s’étaient fixé un objectif relativement à l’établissement de partenariats en vue d’obtenir des fonds de contrepartie et d’autres appuis non financiers. Il semble qu’un plus grand nombre de partenariats aient été établis dans le cas des projets dont la valeur était de 75 000 $ ou plus que les projets de valeur moindre (en moyenne 7 partenariats par rapport à 24). Dans leurs rapports finaux ¹³, les coordonnateurs de projet ont estimé ce qui suit : 

• 2 200 partenariats ont été établis (fondés sur 152 projets);
• 391 partenariats à l’échelle municipale ont été indiqués pour 157 projets, 241 partenariats avec des ministères provinciaux/territoriaux ont été indiqués pour 131 projets, et 212 initiatives de collaboration avec un ministère fédéral ont été indiquées pour 142 projets ¹⁴

Les analyses des données du SIG portent à croire que les projets achevés ont bénéficié du soutien de bon nombre d’organisations, y compris des gouvernements municipaux, provinciaux/territoriaux et fédéral.

L’analyse des constatations du sondage montre que les projets financés et non financés ont réussi à établir des partenariats diversifiés quant aux types d’organisations et aux types d’appuis reçus. On a demandé aux participants au sondage à l’intention des demandeurs ayant reçu du financement quels étaient les organismes qui leur ont offert un appui financier et non financier pour les projets les plus récemment terminés. Les groupes les plus fréquemment cités étaient les individus et les bénévoles (70 %), les gouvernements municipaux (61 %), les gouvernements provinciaux et territoriaux (60 %), les organismes non gouvernementaux à vocation écologique (56 %) et le secteur privé (55 %). Le gouvernement fédéral (excluant Environnement Canada) a été mentionné seulement par le quart des répondants (28 %). Les demandeurs interrogés ont indiqué qu’ils avaient habituellement sollicité des partenaires avec lesquels ils avaient déjà collaboré de même que de nouveaux partenaires, directement ou par l’entremise d’un autre partenaire ou simplement par bouche à oreille.

On a aussi demandé aux bénéficiaires du financement de qualifier le type d’aide qu’ils avaient reçue de l’organisation qui a parrainé leur projet. Comme on pouvait s’y attendre, les différentws organisations qui ont contribué aux projets les plus récemment terminés l’ont fait de différentes façons. Le tableau 4-6 présente les principaux moyens par lesquels les organismes ont contribué au projet (c.-à-d., cette méthode a été choisie par 50 % ou plus des répondants).

n = 17 sur 88 pour le type de partenaire (sondage auprès des demandeurs ayant reçu du financement de 2008, Q9 et Q10)
¹ En raison des multiples réponses, le pourcentage total de l’aide fournie par chacun des types de partenaires est supérieur à 100 %.
² Deux répondants ont indiqué qu’ils avaient établi des partenariats avec le secteur privé mais n’ont pas indiqué la nature de l’aide reçue.

Les types d’aide des partenaires de projets les plus fréquemment mentionnés étaient le prêt de bénévoles ou d’employés et le financement. Les gouvernements provinciaux/territoriaux et fédéral, de même que les fondations, ont essentiellement fourni du financement alors que le secteur privé, les établissements universitaires, les associations d’affaires/de l’industrie ont essentiellement prêté des bénévoles ou des employés. De façon générale, les gouvernements municipaux et les sociétés d’aménagement sont venus en aide aux projets par le truchement d’une vaste gamme d’activités.

Les répondants ont également perçu que le financement du programme ÉcoAction avait été utile pour obtenir d’autres sources de financement pour les projets :

• Plus de la moitié (58 %) des demandeurs ayant reçu du financement du programme ÉcoAction et qui avaient reçu du financement ou d’autres formes de soutien financier de sources autres que le programme ÉcoAction ont indiqué que le programme les avait aidés à obtenir cet appui supplémentaire.
• Deux demandeurs interrogés ont mentionné que le financement du programme ÉcoAction avait donné de la crédibilité à leur projet, de sorte qu’ils ont été en mesure d’obtenir d’autres formes d’appui (financier ou non financier) car ils ont démontré qu’ils bénéficiaient de l’appui du gouvernement fédéral.

Pour leur part, on a demandé aux demandeurs s’étant vu refuser du financement mais dont les projets avaient été réalisés, avec ou sans modification, s’ils avaient réussi à obtenir un soutien supplémentaire pour leur projet pour compenser l’absence du financement du programme ÉcoAction. Il a été constaté que :

• un peu moins de la moitié des répondants ont indiqué qu’ils avaient obtenu du financement supplémentaire (46 % ou 37 répondants) ou un appui non financier (41 % ou 33 répondants); 
• un financement supplémentaire avait été fourni tant par les nouveaux partenaires que par les partenaires actuels; 
• même si la plupart des répondants ont obtenu 50 % ou moins du montant demandé au titre du programme ÉcoAction (43 % ou 16 répondants), six répondants ont indiqué qu’ils avaient obtenu un montant supérieur à celui qu’ils avaient demandé au titre du programme ÉcoAction;
• de façon générale, le nouveau financement provenait d’un jusqu’à trois partenaires réunissant dans la plupart des cas les gouvernements provinciaux/territoriaux (43 %), le secteur privé et les individus/bénévoles (32 % chacun) ou le gouvernement fédéral (excluant le financement du programme ÉcoAction) et les fondations (24 % chacun).

Selon le personnel interrogé et les demandeurs ayant reçu du financement, de même qu’à la lumière des rapports d’évaluation de projet examinés, il semble que l’un des résultats positifs inattendus attribuables au financement du programme ÉcoAction est l’établissement de partenariats et le niveau d’engagement des partenaires. Par exemple, deux des trois demandeurs interrogés ont indiqué que la participation de bénévoles a dépassé de loin leur objectif : l’un des groupes avait prévu 250 heures de travail bénévole mais a profité de 1 600 heures de travail bénévole. Ces demandeurs ont également estimé que les partenaires avaient été agréablement surpris par les retombées du projet, ce qui s’est traduit par une participation accrue.

Le tableau 4-7 présente les résultats de tous les projets terminés pour lesquels les contributions totales reflétaient exactement la valeur réelle du projet (148 projets) ¹⁵. Dans le cas de ces projets, il a été constaté que 69 % de la valeur totale du projet avait été financée par effet de levier grâce à des contributions financières ou non financières de partenaires. Il semble en effet que les promoteurs de projet aient réussi, en moyenne, à financer 65 % de la valeur de leur projet grâce à cette contribution communautaire. 

Source : Données du SIG (contribution du programme ÉcoAction, état du projet, contribution financière du partenaire, contribution non financière du partenaire)

Même s’il y a des doutes concernant les données sur les contributions, les projets financés ont dépassé l’exigence minimale du gouvernement fédéral de 50 % de fonds obtenus de contributions financières ou non financières des partenaires. 

c) Création de résultats positifs pour l’environnement

Le programme ÉcoAction est conçu pour financer les projets qui entraînent des résultats positifs pour l’environnement. Cependant, il peut être difficile de quantifier les retombées pour l’environnement et les projets n’ont pas tous produit des résultats mesurables. Le programme ÉcoAction a pris appui sur des données aut-déclarées sur l’incidence des projets. Il a été constaté que les projets financés ont réussi à sensibiliser la communauté aux problèmes environnementaux à l’échelle locale et qu’ils ont contribué à enrichir les connaissances et les habiletés au sein de la collectivité pour préserver et protéger l’environnement. En outre, certains projets financés ont entraîné des résultats mesurables pour l’environnement comme en font foi les données du SIG. En ce qui a trait aux indicateurs par rapport auxquels des résultats ont été fournis dans le cas d’au moins 25 des 486 projets achevés, les coordonnateurs de projets ont estimé ce qui suit ¹⁶ dans leurs rapports finaux : 

• Les émissions de GES ont été réduites de 170 806 tonnes (selon 71 projets);
• 188 km de berges de ruisseaux ou de lacs ont été protégées ou stabilisées (selon 26 projets); 
• 553 832 plantes indigènes, arbres et arbustes ont été plantés sur une superficie de 2 056 513m² (selon 88 projets);
• 2 693 hectares d’habitat faunique ont été améliorés ou restaurés (selon 39 projets);
• 386 hectares d’habitat riverain ou d’écosystème ont été préservés ou protégés (selon 25 projets);
• 745 structures de nidification ont été créées (selon 28 projets).

On a aussi demandé aux répondants au sondage auprès des clients de 2008 dans quelle mesure ils estimaient que le projet le plus récemment terminé avait entraîné une incidence notable sur l’environnement et contribué à la réalisation d’autres objectifs visés par le projet. Étant donné que chaque projet visait des objectifs différents, les répondants ont uniquement donné une réponse par rapport aux objectifs qu’ils visaient. Ainsi, le nombre de répondants varie de 13 à 48 demandeurs ¹⁷.

Dans l’ensemble, les répondants au sondage affirment que le projet le plus récemment achevé grâce au programme ÉcoAction avait entraîné des retombées positives notables sur l’environnement, et au moins la moitié des répondants ont choisi la notation 4 ou 5 sur une échelle comportant cinq points et ce, dans presque tous les secteurs.

Tableau 4-8 : Mesure dans laquelle les projets financés par le programme ÉcoAction ont entraîné une incidence positive notable sur l’environnement selon les objectifs du projet

Source : Sondage auprès des demandeurs ayant reçu du financement, 2008, Q25i

Le personnel de programme estime en très grande majorité que le programme ÉcoAction était sur la bonne voie pour atteindre ses résultats ultimes soit de créer des collectivités plus saines et plus durables et de motiver les Canadiens, sur une base individuelle, à prendre des décisions plus responsables pour l’environnement, même si un certain nombre des personnes interrogées mettent émettent des réserves en indiquant que certains gains sont modestes et qu’il reste encore beaucoup à accomplir. Presque la totalité des membres du personnel estiment que les Canadiens sont aujourd’hui beaucoup plus renseignés et sensibilisés qu’ils ne l’étaient auparavant au sujet des problèmes environnementaux, de la façon dont leur comportement influe sur l’environnement et de leurs responsabilités à l’égard de l’environnement. Cependant, il se pourrait que d’autres facteurs contribuent à la réussite du programme, par exemple, le fait que le grand public soit plus sensibilisé aux problèmes environnementaux.

4.2.3 Obstacles à la mesure des résultats visés

Les facteurs qui empêchent de déterminer si le programme a atteint les résultats visés semblent relever davantage de problèmes de mesure de rendement que de problèmes réels quant à la réussite du programme. Il s’est avéré au cours de l’évaluation que les données du SIG étaient limitées parce que celui-ci n’est pas mis à jour sur une base régulière et que certaines données sont absentes. Les autres sources de données portent à croire que le programme est sur la bonne voie et qu’il réussira à produire les résultats visés; cependant, ces constatations sont fondées sur des données aut-déclarées et devraient être étayées par les résultats de projet dont devrait faire état le SIG. Ces problèmes dans les données limitent la capacité de mesurer le rendement du programme. 

Par exemple, les données du SIG ont été utilisées pour déterminer quelle part du financement a été obtenue par effet de levier auprès de partenaires. Dans le cas des 486 projets achevés, le SIG fait état de contributions financières de 1 382 partenaires, de contributions non financières de 2 452 partenaires, pour un total de 34,1 millions de dollars. Une grande proportion des contributions (10,5 M$) a été promise mais non confirmée ¹⁸. Étant donné que l’ensemble des contributions doivent être confirmées par le personnel du programme ÉcoAction au moment de la signature de l’accord de contribution, la présence de contributions non confirmées indique que les données du SIG ne sont pas mises à jour. Par conséquent, il a été impossible pour l’équipe d’évaluation de déterminer si les contributions prévues dans le SIG avaient bel et bien été versées ou si de nouvelles contributions étaient versées par des partenaires différents. En conséquence, les analyses n’ont été possibles que dans une mesure limitée. L’annexe 6 présente une ventilation de ces problèmes. 

Afin de déterminer dans quelle mesure les partenaires ont contribué à la valeur du projet, l’équipe d’évaluation a répertorié les projets figurant dans le SIG pour lesquels la somme de la contribution au titre du programme ÉcoAction et du financement de contrepartie obtenu (contributions financières et non financières) totalisait la valeur du projet.

Valeur réelle du projet = Contribution du programme ÉcoAction + Contribution obtenue auprès de partenaires (Contribution financière du partenaire + contribution non financière du partenaire)

Sur les 486 projets terminés, la contribution du programme ÉcoAction et la contribution de partenaires ne totalisaient exactement la valeur réelle du projet que dans le cas de 148 projets (comme le montre le tableau 4-7). Cela signifie que la somme de la contribution du programme ÉcoAction et du financement trouvé auprès de partenaires, dans le cas de tous les autres projets achevés, était supérieure ou inférieure à la valeur réelle du projet indiquée dans le SIG, ce qui met au jour des problèmes par rapport à l’exactitude des données contenues dans ce système.

En outre, on a constaté certains problèmes par rapport à la diversité des indicateurs sociaux, économiques et environnementaux utilisés pour mesurer les cibles et les résultats du projet. Les coordonnateurs de projet devaient sélectionner les résultats cibles à partir d’une liste de 56 indicateurs au commencement du financement. Au terme du projet, ils devaient indiquer, parmi les 56 indicateurs choisis au départ, lesquels ils avaient été réalisés. Ces données visent à indiquer si les projets ont réussi ou non à produire les résultats visés.

Cependant, ces mesures sont limitées étant donné la petite taille de l’échantillon de chaque indicateur environnemental utilisé dans le sondage de même que dans les données du SIG. Sur les 486 projets terminés, au moins un indicateur a été sélectionné dans 268 cas (55,1 %), et entre cinq et onze indicateurs ont été sélectionnés dans le cas de 69 % de ces projets. En ce qui a trait aux 218 projets terminés (44,8 %), il n’y avait aucune donnée relative aux indicateurs même si le dossier de certains de ces projets contenait des commentaires généraux par rapport aux résultats. De plus, même si des indicateurs avaient été sélectionnés pour certains projets, les résultats de tous les projets n’ont pas nécessairement été consignés dans le SIG. En fait, 25 projets au moins présentaient des résultats à 39 des 56 indicateurs. Cela signifie qu’aucun indicateur unique n’est représentatif de l’ensemble des projets ÉcoAction et la plupart des indicateurs reflètent un-vingtième des projets terminés. Ces constats limitent grandement la capacité de mesurer le rendement du programme.

4.2.3 Sommaire : Succès

L’information relative au rendement des projets financés par le programme ÉcoAction devrait permettre d’indiquer clairement si le programme a contribué à produire les résultats visés ou non. Cependant, l’analyse effectuée pour les besoins de la présente évaluation s’est butée à certaines limites, notamment la qualité des données disponibles, qui sont en grande partie aut-déclarées, et qui ne sont bien souvent pas quantifiées par rapport aux résultats pour l’environnement et ne sont pas validées. Les principales conclusions comprennent :

• Atteinte des groupes cibles : Le programme réussit à rejoindre les groupes cibles. Le programme étant essentiellement axé sur l’environnement, la majorité des demandes (84 %) provient de groupes à vocation environnementale. Même si les personnes interrogées estiment qu’il est possible d’améliorer les activités de sensibilisation, cet aspect n’est pas essentiel, sauf si l’objectif est d’augmenter la participation de groupes ou de collectivités spécifiques, car le nombre de réponses aux concours de financement est invariablement élevé.
• Progrès par rapport à l’atteinte des résultats immédiats, intermédiaires et ultimes : Les résultats ont été examinés à la lumière de trois thèmes : développer les capacités à l’échelle communautaire, obtenir un appui financier ou non financier de contrepartie et obtenir des résultats positifs pour l’environnement. Des résultats positifs ont été signalés dans tous les secteurs en ce qui a trait aux projets financés, et le personnel de programme interrogé estime que le programme était sur la bonne voie pour atteindre le résultat ultime soit, de créer des collectivités plus saines et plus durables et que les Canadiens, sur une base individuelle, prennent des décisions plus responsables en matière d’environnement.
• Obstacles à la mesure des résultats visés : Les données relatives aux projets financés sont limitées et ne permettent pas de déterminer si l’on a atteint les résultats visés ou non. Les résultats indiquent que le nombre de projets financés mettant l’accent sur un objectif particulier du programme sont en fait trop peu nombreux pour permettre d’évaluer avec certitude si les objectifs sont atteints ou non. Une autre partie du problème est que les résultats des projets n’ont pas toujours été consignés dans le SIG. En outre, peu de données brutes permettant de cerner l’incidence à plus long terme de ces projets durables sont disponibles, en dépit des résultats qui montrent la longévité d’une majorité de projets financés par le programme ÉcoAction. Ces facteurs limitent la capacité de mesurer le rendement du programme.

4.3 Rapport coût-efficacité

La réponse à trois questions d’évaluation permet d’évaluer le rapport coût-efficacité du programme :

• Le programme a-t-il optimisé l’utilisation de l’investissement du gouvernement fédéral?
• Est-ce que d’autres programmes interviennent dans les mêmes secteurs d’activités ou partagent des objectifs analogues? Comment évite-t-on le dédoublement et assure-t-on la complémentarité?
• Existe-t-il des solutions de rechange ou des façons plus efficaces d’atteindre les résultats visés?

Question d’évaluation 3 : Rapport coût-efficacité

Constatations globales

Il a été difficile d’évaluer le rapport coût-efficacité du programme ÉcoAction parce qu’il n’était possible de déterminer les dépenses de programme et de mesurer l’incidence du programme que dans une mesure limitée. Par conséquent, le rapport coût-efficacité a été examiné de façon indirecte, en évaluant l’efficience du programme. Les constatations montrent que les projets qui ont reçu du financement au titre du programme ÉcoAction optimisaient l’utilisation des ressources en trouvant des fonds de contrepartie représentant en moyenne 2,26 $ pour chaque dollar investi par le programme, auprès de partenaires communautaires, ce qui dépasse l’exigence minimale du programme. Le ratides frais administratifs du programme ÉcoAction est élevé (0,39 $ en dépenses salariales et en F et E pour chaque dollar de S et C), conformément aux estimations établies lors de sa conception initiale. Les documents relatifs au programme portent à penser que le programme nécessite des dépenses administratives supérieures car il est axé sur le service à la clientèle et s’articule autour d’une approche de base populaire. Dans l’ensemble, les personnes interrogées estiment que les fonds versés au titre du programme ÉcoAction sont utilisés de façon efficiente et efficace, en raison des exigences en matière de rapport et des processus d’évaluation de projet actuellement en place pour assurer une gestion responsable. Plusieurs suggestions ont été formulées pour améliorer le rapport coût-efficacité du programme, notamment, en encourageant les projets pluriannuels de plus longue durée, en simplifiant les processus d’approbation des demandes et en étudiant des façons de réduire les frais administratifs.

Dans le scénario idéal, la valeur d’un programme par rapport à l’investissement du gouvernement fédéral est évaluée par l’examen des coûts du programme comparativement à l’atteinte des résultats du programme. Dans le cadre de la présente évaluation, cependant, il a été difficile d’effectuer ces analyses parce qu’il n’a été possible de déterminer les dépenses exactes du programme et de mesurer les résultats visés que dans une mesure limitée. Les données financières relatives au programme ÉcoAction liées à l’exploitation du programme et aux dépenses salariales comprennent également celles d’autres programmes d’Environnement Canada comme le Fonds pour dommages à l’environnement (FDE) et les Initiatives sur les écosystèmes (se reporter au tableau 2-1 pour une répartition des ETP). En outre, les données ne donnent pas d’information complète et détaillée sur le rendement du programme (se reporter à la section 4.2.3, Obstacles à la mesure des résultats visés). Par conséquent, la valeur de l’investissement du gouvernement fédéral a été examinée à la lumière des estimations des coûts du programme ÉcoAction fournies par le personnel de programme et en examinant les résultats de façon générale. 

a) Coûts du programme

Au cours de la période qui s’échelonne de 2004-2005 jusqu’à 2007-2008, les dépenses au titre du programme ÉcoAction se sont élevées à 21,3 millions de dollars. De ce montant, 15,3 millions de dollars ont servi à couvrir les dépenses en S et C. Le reste de l’enveloppe a servi à couvrir les dépenses salariales (4,8 millions de dollars) et les dépenses de F et E du programme (1,2 million de dollars). Cela signifie que pour chaque dollar dépensé en S et C, un montant de 0,39 $ est dépensé en salaires et en F et E (soit l’équivalent de 28 % des dépenses totales du programme). Ces chiffres s’approche de près des estimations établies à la conception initiale du programme.

Les données relatives au programme indiquent que 1 694 demandes de financement ont été présentées et que le financement de 672 projets a été approuvé au cours de la même période, soit les rondes 21 (approuvée en 2004-2005) jusqu’à 28 (approuvée en 2007-2008). Certains de ces projets approuvés ont été abandonnés ou abolis par la suite. Comme le présente le tableau 4-9, la contribution moyenne par projet approuvé s’est élevée à 22 762 $ selon les données budgétaires ¹⁹. En moyenne, 8 907 $ ont été dépensés en salaires et en frais de F et E pour chaque projet approuvé, ce qui comprend l’ensemble des dépenses ayant mené à l’approbation du projet, y compris l’examen de la proposition. 

¹ Les dépenses du programme ÉcoAction ont été établies par le personnel de programme.
Source : Sommaire du budget du programme ÉcoAction (préparé par le personnel de programme) et les données du SIG (décision finale)

Les données du SIG ont été utilisées pour déterminer le nombre moyen de demandes reçues et approuvées, de 2004-2005 jusqu’à 2007-2008, et l’information relative au programme a été utilisée pour établir le nombre moyen d’équivalents temps plein (ETP) pour tous les postes combinés (c.-à-d., gestionnaire, agent de programme et personnel administratif). Comme le montre le tableau 4-10, ces analyses indiquent qu’environ 25 ETP ont traité 424 demandes et ont géré 168 projets approuvés chaque année. Cependant, ces moyennes comprennent les gestionnaires et le personnel administratif qui ne sont pas nécessairement responsables des activités quotidiennes liées à la gestion des projets approuvés pour le programme ÉcoAction. En supposant qu’environ 20 ETP sont des agents de programme, chaque agent de programme gère une moyenne de 21 demandes et de huit projets approuvés par année. Même si les projets peuvent recevoir un financement s’échelonnant sur une période pouvant atteindre deux ans, la durée moyenne du financement des projets achevés au titre du programme ÉcoAction est d’un an, comme le montrent les dates de début et de fin indiquées dans le SIG. 

¹ La moyenne nationale comprend les ETP de l’UNC.
Source : ETP relevés dans la correspondance par courriel avec le personnel de programme, autres données relevées dans les données du SIG (décision finale)

Ces analyses montrent que l’exploitation du programme ÉcoAction nécessite l’engagement de frais administratifs élevés comparativement à d’autres programmes de S et C d’Environnement Canada ²⁰. Selon la documentation relative au programme, le modèle de gestion du programme ÉcoAction est différent comparativement à la plupart des autres programmes de financement d’Environnement Canada parce qu’il est axé sur l’action communautaire locale par l’entremise des bureaux régionaux du Ministère. La présence du programme à l’échelle locale et sa proximité aux groupes sans but lucratif permettent au programme ÉcoAction de bien cerner le besoin de prendre des mesures réelles pour l’environnement à l’échelle locale et d’y répondre. Cette approche axée sur le service à la clientèle, de base populaire, fait en sorte que l’on doit soutenir les demandeurs de financement, ce qui entraîne des frais généraux supérieurs comparativement à d’autres programmes de financement. 

Les entrevues auprès des informateurs clés et la documentation relative au programme révèlent que les services offerts par le personnel de programme aux demandeurs comprennent des activités relatives à la sensibilisation à des groupes clients éventuellement bénéficiaires de financement, la surveillance des projets financés, la gestion des exigences en matière de rapport pour chaque projet approuvé et le maintien de communications constantes avec les partenaires et les groupes intéressés. Au cours du processus de traitement des demandes, on encourage les demandeurs à communiquer avec le bureau régional approprié du programme ÉcoAction pour discuter de l’idée du projet avant de présenter une demande. En outre, le personnel de programme offre aux demandeurs d’autres formes d’aide, par exemple, l’interprétation des critères d’admissibilité et aide les clients potentiels à élaborer de bonnes propositions. Comme seulement un certain nombre des demandes sont approuvées, beaucoup d’efforts sont consacrés à aider des demandeurs qui sont susceptibles, en bout de ligne, de ne pas recevoir de financement. Il pourrait être possible d’alléger la charge du personnel de programme à l’autre bout du processus de traitement des demandes en réduisant la confusion chez les demandeurs potentiels, en améliorant la clarté des outils et des formulaires de demande disponibles (voir la section 4.4, Conception et prestation). L’importance de la charge de travail assumée par le personnel de programme dépasse la portée de la présente évaluation, mais les analyses portent à croire qu’un examen des rôles et des responsabilités du personnel de programme et des secteurs d’amélioration pourrait accroître le rapport coût-efficacité du programme.

b) Résultats des projets

Quatre cent quatre-vingt-six (486) projets ont été achevés au cours de la période examinée, y compris la ronde de financement 29 (février 2008). 13,4 millions de dollars ont été versés pour les projets terminés par le programme ÉcoAction, qui représentaient une valeur totale de 49,1 millions de dollars ²¹. Tout écart entre les données financières fournies par le personnel de programme et les données relatives au financement du programme ÉcoAction disponibles dans le SIG s’explique probablement par le fait que le programme n’a pas compilé de données relatives aux ressources spécifiquement pour le programme ÉcoAction, de même que par des irrégularités dans la saisie des données dans le SIG.

Comme le montre le tableau 4-7, les promoteurs de projets terminés ont obtenu en moyenne 65 % de leur financement auprès d’autres partenaires. En d’autres termes, ils ont réussi à amasser 2,26 $ dans la collectivité ou par l’entremise d’autres programmes de financement pour chaque dollar obtenu au titre du programme ÉcoAction. Cette moyenne dépasse l’exigence minimale du programme voulant que 50 % du financement du projet soit obtenu auprès de partenaires sous forme d’aide financière ou non financière de contrepartie.

Les projets financés ont aussi généré des résultats sociaux, économiques et environnementaux dont il est difficile d’établir la valeur monétaire. Cependant, les répondants au sondage qui ont déclaré des valeurs de projet supérieures (c.-à-d., 75 000 $ ou plus) ou une contribution supérieure du programme ÉcoAction (c.-à-d., 25 000 $ ou plus) étaient plus susceptibles de déclarer des résultats positifs au chapitre du développement des capacités et de l’établissement de partenariats que les promoteurs de plus petits projets ou de projets dont la contribution du programme ÉcoAction était inférieure. 

Dans les documents de programme, il est mentionné que le programme ÉcoAction se distingue des autres programmes de financement d’Environnement Canada en raison de son approche horizontale, qui permet aux collectivités de cerner les priorités locales et d’y répondre, contrairement à d’autres programmes qui sont souvent axés sur une seule priorité.

Même si les personnes interrogées savaient que d’autres programmes de financement appuient des projets communautaires, ils ont estimé que ces programmes ne faisaient pas double emploi avec le programme ÉcoAction. Ils ont cité à titre d’exemple des programmes des gouvernements fédéral, provinciaux et municipaux, de même que des programmes dirigés par des sociétés et des organismes sans but lucratif indépendants. Il s’agit notamment du programme Sur la route du transport durable de Transports Canada, de la Fondation Trillium de l’Ontario, du Toronto Atmospheric Fund, de la Fédération du saumon Atlantique et de l’Alberta Ecotrust Foundation.

Selon les dires du personnel de programme, ce sont les caractéristiques suivantes qui rendent le programme ÉcoAction aussi unique :

• Le programme ÉcoAction est axé sur la sensibilisation et sur les changements de comportement de même que sur le développement des compétences dans une mesure qui dépasse probablement celle d’autres programmes.
• Les priorités visées par le programme ÉcoAction sont plus générales, et il offre plus de souplesse que d’autres programmes de sorte que le financement peut être destiné à un plus grand panier de projet.
• Le personnel établit des relations avec les clients, et offre beaucoup d’aide pour la rédaction des propositions, la production de rapports et, de façon générale, les consultations.

En exigeant que les promoteurs de projets obtiennent un financement auprès de partenaires, le programme ÉcoAction offre une source de soutien financier et non financier complémentaire pour les organismes communautaires susceptibles d’avoir besoin de ressources additionnelles pour mener à bien leurs projets. Par exemple, le programme ÉcoAction couvre une diversité de dépenses, y compris les frais liés aux ressources humaines et les dépenses susceptibles de ne pas être autorisées par les critères de financement de l’organisme partenaire. Les dépenses admissibles reconnues par le programme ÉcoAction sont différentes de celles d’autres programmes communautaires et peuvent être utilisées pour rembourser des dépenses qui ne seraient pas couvertes autrement. 

Les mesures actuellement prises afin de réduire le dédoublement consistent notamment à s’assurer que le personnel du programme ÉcoAction connaît les autres programmes de financement d’Environnement Canada. De cette façon, il est mieux à même d’aiguiller les demandeurs vers la source de financement la plus appropriée et il est ainsi possible d’assurer un meilleur soutien mutuel entre les divers programmes ministériels. 

Parmi les façons possibles de réduire encore davantage les chevauchements entre les mandats des bureaux du programme ÉcoAction, aux dires du personnel de programme, mentionnons le souci d’assurer la cohérence des décisions de financement afin que des projets analogues ne soient pas financés dans une région lorsqu’ils sont rejetés dans une autre, et de s’assurer que les groupes ne demandent pas du financement dans plusieurs régions de façon inappropriée, par exemple, en soumettant plusieurs demandes visant un même projet mais dans différentes régions.

Dans l’ensemble, les participants à l’entrevue estimaient que les fonds étaient utilisés de manière efficace et efficiente grâce aux exigences en matière de rapport mis en place et aux processus d’évaluation de projet qui assurent la responsabilisation. Ils ont aussi estimé que le financement du programme ÉcoAction obtenait amplement de fonds de contrepartie auprès des groupes environnementalistes et ils ont constaté que les organisations financées réussissaient aussi avec brià mettre à contribution les bénévoles. Les participants à l’entrevue ont estimé que les coûts du programme auraient été considérablement supérieurs pour le gouvernement du Canada si Environnement Canada avait tenté d’entreprendre à l’interne les projets actuellement financés par l’entremise du programme.

Cela étant dit, les personnes interrogées ont formulé plusieurs suggestions pour accroître le rapport coût-efficacité du programme. Elles estiment qu’il serait possible d’accroître le rapport coût-efficacité si le programme ÉcoAction :

• approuvait des projets en utilisant un système de notation national ²², afin que ce soit les meilleurs projets au pays qui soient financés au cours d’une année donnée plutôt que les meilleurs projets d’une région en particulier qui ne sont peut-être pas les meilleurs projets dans l’ensemble;
• encourageait des accords pluriannuels de plus longue durée plutôt que des projets à plus court terme;
• simplifiait le processus d’approbation des accords de contribution; 
• envisageait des façons de réduire les frais administratifs, plus particulièrement en réduisant le nombre d’ETP tout en assurant la présence du programme à l’échelle régionale.

Bien que les données relatives aux ETP aient été estimées par chaque région couverte par le programme ÉcoAction, il ne semble y avoir qu’une faible corrélation entre le nombre d’ETP et le nombre de demandes reçues/approuvées par région. Comme le montre le tableau 4-10 ci-dessus, le ratid’employé par demande variait considérablement de 1 pour 30 dans la région du Québec à 1 pour 10 dans la région des Prairies et du Nord. Même si ces différences peuvent être attribuables en partie à d’éventuelles inexactitudes dans le rapport des estimations quant au nombre d’ETP par région (les régions fournissaient une estimation des ETP affectés au programme ÉcoAction), les importantes différences entre ces ratios selon les régions portent à croire que d’autres facteurs entrent en ligne de compte. Un examen plus approfondi permettrait d’accroître la compréhension des rôles et des responsabilités du personnel régional de même que les différences constatées entre les régions.

4.3.4 Sommaire : Rapport coût-efficacité

Il a été difficile d’évaluer le rapport coût-efficacité du programme ÉcoAction parce qu’il était difficile d’établir les dépenses exactes du programme (dépenses d’exploitation et salariales) et en raison des limites inhérentes à la mesure des résultats atteints. Par conséquent, le rapport coût-efficacité a été examiné de façon indirecte en évaluant l’efficience du programme ÉcoAction. Les résultats montrent que même si la conception du programme exige des frais administratifs élevés, la mise en œuvre du programme ÉcoAction n’est pas assurée de la façon la plus efficace qui soit par rapport à son coût et il reste encore place à amélioration.

• Rendement sur les sommes investies par le gouvernement fédéral : Les projets financés grâce au programme ÉcoAction offraient de la valeur par rapport à l’investissement car ils ont réussi à obtenir 2,26 $, en moyenne, auprès de partenaires communautaires pour chaque dollar investi par le programme, ce qui dépasse l’exigence minimale du programme voulant que les projets obtiennent au moins 50 % de leur financement auprès d’autres sources. Pour chaque dollar investi, 0,39 $ a été consacré aux dépenses salariales et de F et E du programme, une proportion élevée par rapport à des programmes de financement comparables, mais qui correspond de près au ratiprévu à l’étape de conception du programme ÉcoAction. Même si le programme a été conçu sachant pertinemment qu’il faudrait plusieurs ETP pour assurer le service à la clientèle prévu, il n’en demeure pas moins qu’il s’en est suivi des coûts importants pour le traitement de chaque demande présentée, de même que pour chaque projet financé. 
• Absence de double emploi : Même si elles connaissaient l’existence de programmes de financement analogues, les personnes interrogées ont estimé que le programme ÉcoAction ne faisait pas double emploi avec ces programmes. Le personnel de programme rapporte que contrairement à d’autres programmes, les priorités générales du programme ÉcoAction et sa souplesse permettent le financement d’une vaste gamme de projets, comparativement à d’autres programmes de financement plus ciblés dont les critères d’admissibilité sont plus contraignants. Ainsi, le programme ÉcoAction offre des possibilités de financement qui ne seraient autrement pas accessibles à certains groupes communautaires. En mettant en application l’exigence voulant que les promoteurs de projet trouvent un financement de contrepartie auprès de partenaires, le programme ÉcoAction offre une source d’appui financier et non financier complémentaire aux organismes communautaires susceptibles d’avoir besoin de ressources additionnelles pour mener à bien leurs projets. Par exemple, le programme ÉcoAction couvre une diversité de dépenses, comme les dépenses liées aux ressources humaines qui ne sont pas admises selon les critères de financement de l’organisme partenaire. 
• Amélioration du rapport coût-efficacité : Dans l’ensemble, les personnes interrogées ont estimé que le financement du programme ÉcoAction était utilisé de manière efficiente et efficace grâce aux exigences en matière de rapport et des processus d’évaluation de projet actuellement en place pour en assurer la responsabilisation. Toutefois, certaines ont formulé des suggestions pour améliorer le rapport coût-efficacité du programme, notamment en simplifiant les processus d’approbation des demandes et en étudiant des façons de réduire les frais administratifs. 

4.4 Conception et mise en œuvre

Même si le programme ÉcoAction est exploité depuis plusieurs années, on s’est intéressé, au cours de l’évaluation, à la conception et à la mise en œuvre du programme. On a tenté de répondre aux questions d’évaluation suivantes : 

• Dans quelle mesure les divers groupes ciblés sont-ils satisfaits à l’égard du programme et des changements apportés au programme?
• La structure de gouvernance du programme est-elle efficace?
• A-t-on recueilli des données relatives au rendement par rapport aux activités/résultats du programme? Si oui, est-ce que l’information recueillie est utilisée pour éclairer le processus décisionnel des hauts dirigeants/décisionnaires?
• Quels changements pourraient être apportés pour accroître le rendement et les chances de réussite du programme ÉcoAction?
• Quelles sont les pratiques exemplaires et les leçons retenues de ce programme?

Question d’évaluation 4 : Conception et mise en œuvre

Constatations globales : 

De façon générale, les groupes ciblés par le programme ÉcoAction se sont dits satisfaits du programme. Cependant, les retards dans le processus d’approbation et la facilité d’utilisation et de compréhension des formulaires et des outils de demande ont été mentionnés comme des points à améliorer par les clients. Le personnel de programme indique que les processus décisionnels du programme prêtent à confusion, en particulier en ce qui concerne le rôle de l’UNC. De plus, il pourrait être possible de faciliter la démonstration des résultats du programme si l’on améliorait les activités de suivi du programme, par exemple, en améliorant l’exactitude, la fiabilité et l’intégralité des données du SIG et en réduisant le nombre d’indicateurs de mesure des résultats de projet.

De façon générale, les clients du programme ÉcoAction sont satisfaits du programme. Lorsqu’on leur a demandé s’ils étaient satisfaits ou insatisfaits, dans l’ensemble, à l’égard du programme, 64 % des répondants au sondage ont évalué le programme sur une échelle en cinq points à 4 « satisfait » ou à 5 « très satisfait ». Voici l’ordre dans lequel seront présentées les constatations de l’évaluation par rapport à la satisfaction à l’égard du programme dans les prochaines sous-sections :

1. Soutien pour la préparation de la demande;
2. Examen de la demande;
3. Formulaire et outils de demande et services reçus.

a) Soutien pour la préparation de la demande

Des données du sondage de 2002 et de 2008 indiquent que 75 % des demandeurs ayant reçu du financement ou plus ont communiqué avec le bureau d’ÉcoAction pour discuter de leur idée de projet avant de présenter une demande. De même, le sondage effectué auprès des demandeurs s’étant vu refuser du financement montre que 73 % des demandeurs déçus ont aussi communiqué avec le bureau d’ÉcoAction avant de présenter une demande. Cela signifie que sur une moyenne de 424 demandes présentées pendant l’exécution de la présente évaluation, environ 318 communications, en moyenne, ont été faites avec les agents du programme ÉcoAction, par année.

Parmi les demandeurs qui ont communiqué avec le bureau d’ÉcoAction, environ la moitié (56 % des demandeurs ayant reçu du financement et 50 % des demandeurs s’étant vu refuser du financement) avait communiqué avec un bureau plus d’un mois avant l’échéance, quel que soit le résultat de la demande. Suite à une communication avec le bureau ÉcoAction, environ 80 % des demandeurs ont dû modifier leur demande. Il semble que les demandeurs s’étant vu refuser du financement avaient plus de chance de devoir apporter plus de modifications à leur projet que les demandeurs ayant reçu du financement (notation de 2,71 par rapport à 2,34 sur une échelle de cinq points, où 1 indique aucune modification à la demande et 5 indique l’apport de modifications importantes). 

On a demandé aux répondants qui ont communiqué avec le bureau d’ÉcoAction d’évaluer sur une échelle en cinq points l’utilité de l’aide reçue lorsqu’ils ont rempli la demande de financement (voir la figure 4-11). Les résultats montrent qu’un pourcentage plus élevé de demandeurs ayant reçu du financement ont trouvé que les services reçus par le personnel du bureau du programme ÉcoAction étaient utiles ou très utiles comparativement aux demandeurs s’étant vu refuser du financement et ce, par rapport à tous les aspects du service fourni. 

Figure 4-11 : Utilité des services reçus au bureau d’ÉcoAction

Plusieurs facteurs peuvent expliquer les différences dans les réponses. Par exemple, il est possible que les demandeurs s’étant vu refuser du financement estiment que s’ils avaient reçu de meilleurs services, ils auraient obtenu du financement. Il arrive aussi qu’ils sont simplement mécontents du refus de leur demande. Par conséquent, ils sont plus susceptibles de donner une notation inférieure que les demandeurs ayant reçu du financement. 

En outre, la méthode de collecte de données pour répondre à cette question différait légèrement. Le sondage auprès des demandeurs ayant reçu du financement était conçu de manière à ce que les répondants évaluent uniquement les services qu’ils avaient mentionnés alors que les demandeurs s’étant vu refuser du financement devaient évaluer l’ensemble des services, et avaient la possibilité de choisir la réponse « ne sais pas/sans objet » pour les services qu’ils n’avaient pas reçus ou qu’ils ne pouvaient évaluer Cette différence dans les modalités d’administration de la question des sondages en ligne a été constatée après coup. Les demandeurs s’étant vu refuser du financement avaient donc la possibilité d’évaluer l’un ou l’autre des services qu’ils pouvaient avoir reçus ou non alors que les demandeurs ayant reçu du financement n’avaient la possibilité d’évaluer que les services qu’ils avaient mentionnés précédemment. Par conséquent, il est possible que les pourcentages de demandeurs s’étant vu refuser du financement qui ont déclaré que les services étaient utiles ou très utiles aient été surestimés parce qu’ils se sont prononcés sur des services qu’ils n’avaient même pas reçus. Comme ces pourcentages sont inférieurs aux pourcentages obtenus chez les demandeurs ayant reçu du financement, dans toutes les catégories, la différence entre les demandeurs ayant reçu du financement et ceux s’étant vu refuser le financement est d’autant plus éloquente. 

b) Examen de la demande

Auparavant, le programme ÉcoAction avait recours à un processus de sélection comportant trois étapes, qui comprenaient un examen administratif effectué par le personnel régional, un examen technique effectué par des spécialistes d’Environnement Canada, d’autres ministères gouvernementaux ou d’autres instances gouvernementales, et un examen final effectué par des comités de consultation publique régionaux (CCP). Le programme tenait aussi deux rondes de financement par année dont les échéances de présentation des propositions étaient fixées en février et en octobre.

En janvier 2008, on a modifié le processus de sélection du programme ÉcoAction par la dissolution du CCP. Bien que le programme continue d’avoir recours à un processus de sélection en trois étapes, celui-ci comprend désormais un examen administratif effectué par le personnel de la région où la proposition a été soumise, un examen technique réalisé par les spécialistes d’Environnement Canada, d’autres ministères gouvernementaux et d’autres instances gouvernementales, et un examen final réalisé par un comité d’examen composé de membres du personnel de l’UNC et des régions. Les décisions de financement final sont prises par les directeur généraux régionaux des régions où la demande a été soumise. Le programme a aussi opté pour une seule ronde de financement par année. La nouvelle échéance de présentation des propositions a été fixée au 1^er novembre de chaque année. 

Même si l’adoption d’une échéance unique, fixée en novembre, entraîne des avantages du point de vue administratif, les demandeurs ont massivement soumis plus de propositions en février. Chaque année, en moyenne, 264 propositions sont présentées en février/mars comparativement à 140 propositions en octobre. De même, les répondants au sondage ont indiqué une préférence pour la présentation des propositions pendant les mois d’automne/d’hiver (de décembre jusqu’à février) lorsqu’on leur a demandé pendant quels mois ils préfèreraient soumettre une éventuelle demande (voir la figure 4-12) tout en gardant à l’esprit que le programme nécessite au moins trois mois avant de rendre une décision finale. Les mois de préférence les plus fréquemment évoqués étaient décembre (15 % des répondants au sondage), novembre (14 %), janvier (13 %) et octobre (12 %). 

Figure 4-12 : Mois de préférence pour la présentation des éventuelles demandes de financement au titre du programme ÉcoAction

Ces constatations cadrent avec ce qui ressort des entrevues réalisées auprès des demandeurs ayant reçu du financement et du personnel de programme : la plupart des projets sont conçus pour être exécutés au printemps/à l’été et pour prendre fin à l’automne. La période de la fin de l’automne/début de l’hiver est donc, de façon générale, la période préférée pour l’élaboration des propositions.

On a aussi demandé aux demandeurs ayant reçu du financement dans quelle mesure ils estimaient que leur demande a été examinée en temps opportun, en utilisant une échelle en cinq points. Les réponses étaient diverses, environ la moitié (49 %) des demandeurs ayant reçu du financement estimant que l’examen avait été réalisé en temps opportun et environ un tiers (32 %) étant en désaccord avec cette proposition. Le sondage auprès des demandeurs s’étant vu refuser du financement dégage des résultats analogues comparativement aux demandeurs ayant reçu du financement par rapport à l’examen des demandes en temps opportun. 

Figure 4-13 : Mesure dans laquelle la demande a été examinée en temps opportun

On a demandé aux demandeurs ayant reçu du financement qui ont estimé que leur demande n’avait pas été examinée en temps opportun (c.-à-d., ils ont attribué une notation de « 3 » ou moins) de formuler des commentaires sur la mesure dans laquelle ces retards ont entraîné des répercussions négatives sur la période d’exécution de leur projet. L’échelle de réponse à cette question était fondée sur cinq points et variait de 1 « aucune incidence » jusqu’à 5 « grande incidence ». Plus de la moitié des répondants (53 %) ont choisi « 4 » ou « 5 » ce qui porte à croire que les retards dans l’examen des demandes ont entraîné des répercussions négatives sur la période d’exécution de leurs projets.

Un examen de la documentation relative au programme révèle que le processus d’examen des demandes a été caractérisé par certains retards au cours des dernières années. Selon le Plan de travail ÉcoAction 2006-2007, les projets dont le financement a été approuvé en février 2006 ont été annoncés en juillet 2006. De même, l’approbation des projets reçus et examinés en novembre 2006 a été donnée en avril 2007, et l’on a communiqué avec les demandeurs retenus qu’au début de mai 2007. Ces constations montrent que le financement des projets a été retardé de cinq ou six mois. Certains de ces retards sont attribuables à des facteurs indépendants du programme, par exemple, le processus d’attribution ministériel. Cependant, certaines des personnes interrogées ont indiqué que même si les régions avaient été en mesure d’assurer un délai de traitement des demandes raisonnable, des retards ont eu lieu aux dernières étapes du processus de traitement des demandes.

Tous les membres du personnel de programme et d’autres personnes interrogées ont mentionné que les retards dans le processus d’approbation ministérielle du financement étaient des obstacles à l’atteinte des objectifs des projets. Les personnes interrogées ont estimé que les retards de financement ont fait en sorte que certains groupes :

• ont été incapables d’amorcer leurs projets;
• ont dû éliminer certaines activités de leurs programmes;
• ont dû mettre à pied du personnel;
• n’entendent pas présenter une nouvelle demande de financement au titre du programme ÉcoAction.

c) Formulaire et outils de demande et services reçus

On a demandé aux répondants du sondage d’évaluer la facilité de compréhension des outils et des formulaires d’ÉcoAction. Dans l’ensemble, plus de la moitié des demandeurs ayant reçu du financement estiment que les critères d’admissibilité et le guide de présentation des demandes étaient faciles à comprendre (respectivement 67 % et 53 %) alors que moins de la moitié des demandeurs s’étant vu refuser du financement estiment qu’ils étaient faciles à comprendre (46 % pour les deux outils). Cependant, moins de 45 % des demandeurs ayant obtenu du financement ou non rapportent que leurs formulaires de demande étaient faciles à remplir et qu’il était facile de naviguer dans le site Web du programme ÉcoAction. Parmi les demandeurs ayant reçu du financement, 39 % indiquent que les formulaires de rapport étaient faciles à utiliser. Ces résultats portent à croire que les demandeurs, autant ceux qui ont reçu du financement que ceux qui n’en n’ont pas reçu, ont eu de la difficulté à comprendre et à utiliser les formulaires et les outils de demande de financement du programme ÉcoAction.

Nota : Les réponses « ne sais pas/sans objet » qui représentent 1 % jusqu’à 14 % des répondants ne figurent pas dans le tableau.
n =126 (sondage de 2008 auprès des demandeurs ayant reçu du financement, Q22 a, b, d, e, h)
n = 154 (sondage de 2008 auprès des demandeurs s’étant vu refuser du financement, QC5a, b, d, e)

Dans l’ensemble, le personnel de programme interrogé s’est dit satisfait à l’égard du formulaire de demande et du soutien fourni aux demandeurs. Le formulaire de demande semble avoir fait l’objet récemment d’importantes améliorations et les personnes interrogées ont estimé en grande proportion que le personnel de programme avait offert un niveau élevé de soutien aux groupes tout au long du processus de demande. Cela étant dit, la suggestion la plus fréquemment mise de l’avant pour améliorer le programme à ce chapitre est la mise en place d’un formulaire de demande accessible en ligne directement lié au SIG. Parmi les autres suggestions formulées, notons un encadrement plus serré auprès des groupes demandant du financement par rapport à la façon d’élaborer des plans de travail et des stratégies de communication, de même que la mise à la disposition des groupes d’outils de mesure des résultats, afin d’accroître l’uniformité des demandes.

Les demandeurs qui avaient reçu du financement se sont dits plus satisfaits de la qualité globale du niveau de service reçu de la part des agents de projet comparativement aux demandeurs s’étant vu refuser du financement (moyenne de 4,30 comparativement à 3,18 sur une échelle de cinq points). Cependant, il est possible que cette différence s’explique par le fait que les demandeurs ayant reçu du financement ont établi une relation avec le personnel de programme pendant l’exécution du projet alors que les demandeurs s’étant vu refuser du financement étaient peut-être plus susceptibles d’être insatisfaits à l’égard du programme dans l’ensemble. Il est aussi possible que les demandeurs s’étant vu refuser du financement expriment encore plus de déception s’ils ont reçu de l’appui de la part du personnel ÉcoAction pour la préparation de leur demande, pour ensuite constater que celle-ci est refusée.

L’évaluation visait surtout à déterminer dans quelle mesure le personnel comprenait ses rôles et ses responsabilités de même que la structure de gouvernance générale du programme ÉcoAction, et dans quelle mesure ils estimaient que cette structure de gouvernance serait efficace. 

Comme il est décrit dans la section sur les rôles et les responsabilités (section 2.2), différentes entités prennent part à la mise en œuvre du programme ÉcoAction. Les bureaux du programme ÉcoAction des régions assurent une présence régionale alors que l’UNC assure des services de gestion et de soutien pour la conception et la planification des activités, et la reddition de comptes sur celles-ci au cabinet du ministre. La combinaison de cette forte présence régionale, et de la composante nationale exige un certain niveau de coordination et de collaboration, de même qu’une définition claire des rôles et des responsabilités des différents intervenants dans le programme.

De façon générale, le personnel de programme estimait que celui-ci cadrait avec les pratiques de saine gestion. Le personnel de programme a estimé que celui-ci :

• favorisait la participation (c.-à-d., permettait l’expression de plusieurs points de vue pour éclairer la prise de décision) : La majorité des personnes interrogées estimaient que le programme ÉcoAction favorisait la participation et que le processus d’évaluation permettait l’expression d’opinions de plusieurs sources.
• était transparent (c.-à-d., prenait appui sur la libre communication de l’information) : La plupart des membres du personnel de programme interrogés estimaient que de façon générale, le programme ÉcoAction favorisait le libre échange de l’information, même si l’on a remis en question la transparence de certaines décisions prises par l’UNC ou le cabinet du ministre. Ce manque de transparence a fait en sorte qu’il était difficile pour le personnel régional d’appuyer les demandeurs car ils étaient incertains des critères décisionnels à utiliser. 
• était axé sur le consensus (c.-à-d., différents intérêts ont été reliés afin de parvenir à un consensus sur ce qu’était l’intérêt général) : La majorité du personnel de programme interrogé estimait que le programme ÉcoAction est axé sur le consensus puisque les intérêts de diverses parties entrent en ligne de compte dans toutes les décisions. 
• était équitable et inclusif (c.-à-d., les intervenants ne se sont pas sentis exclus de la structure de gouvernance/de prise de décision) : De façon générale, le programme ÉcoAction a été perçu comme un programme équitable et inclusif, même si certains membres du personnel interrogés ont dénoncé le fait que certains bureaux régionaux et partenaires communautaires avaient été exclus du processus décisionnel par l’abolition des comités de consultation publique.
• était efficace et efficient (c.-à-d., les processus ont produit des résultats qui ont répondu aux besoins tout en optimisant l’utilisation des ressources) : Dans l’ensemble, le personnel de programme interrogé estimait que le programme optimisait l’utilisation des ressources même si certains ont allégué qu’il serait possible de simplifier encore davantage certains processus (p. ex., processus décisionnel, dédoublement entre les programmes/bureaux).
• favorisait la responsabilisation (c.-à-d., de ses décisions et actions) : Le personnel de programme interrogé estimait que le programme ÉcoAction exerçait une gestion rigoureusement responsable de ses ressources financières. Cependant, il était d’avis qu’il aurait été possible d’améliorer la responsabilisation par rapport à la prise de décision ²³.

La plupart du personnel de programme estimait que celui-ci n’avait pas réussi à montrer une bonne gouvernance au chapitre de l’adaptabilité du programme car les membres du personnel étaient incapables de répondre aux demandes des intervenants et des organismes dans un délai raisonnable. Par exemple, les procédures internes mises en œuvre dans le cadre du processus d’approbation des résultats de projet des groupes communautaires nécessitaient un délai de 12 semaines pour que la demande chemine dans le système ministériel. On estime que ces délais d’exécution sont désormais de six à huit mois. 

Le personnel de programme interrogé estimait aussi que les décisions prises par l’UNC ne reflétaient pas toujours avec exactitude ce qui se passe sur le terrain. Certains ont exprimé des préoccupations par rapport au fait que les décisions prises à l’UNC ou au cabinet du ministre étaient parfois contraires aux recommandations du bureau régional. Certains étaient déçus parce qu’ils percevaient comme un changement de cap pour un processus décisionnel national et estimaient que les bureaux régionaux auraient dû être en mesure de prêter conseils et orientation dans ce processus.

Les membres du personnel interrogés étaient d’avis que les rôles du personnel régional étaient mieux définis que le rôle de l’UNC, en particulier depuis les changements apportés en 2006 où la structure du programme a été recentrée pour être axée sur une structure de gestion axée sur les résultats (SGR). Avant ce changement de cap, le programme était géré au moyen d’une structure de gestion traditionnelle selon laquelle les régions étaient en charge de la gestion de leur propre enveloppe de financement régional alors que l’UNC assurait le soutien en offrant une capacité supplémentaire, des outils et une plateforme de réseautage. Comme le programme a adopté une structure de gestion axée sur les résultats, la responsabilité de l’approbation des projets ÉcoAction a été transférée des directeurs généraux régionaux (DGR) aux chefs de regroupements de projets axés sur les résultats (RPAR) à la lumière des recommandations des gestionnaires régionaux et des comités de consultation publique. De cette façon, c’est le chef du regroupement de projet axé sur les résultats qui signait l’approbation du financement du projet au lieu du directeur régional approprié. Cette structure de gouvernance est par la suite revenue au modèle d’approbation par l’organisation hiérarchique (ou la structure traditionnelle), réinvestissant les pouvoirs délégués d’autorisation des projets ÉcoAction aux DGR. Le personnel de programme a expliqué que ces changements dans les responsabilités et la structure de gestion au fil du temps ont créé un sentiment d’incertitude à savoir qui est responsable de quelle décision et quel est ou quel devrait être le rôle de l’UNC. 

Ces constatations portent à croire que l’évaluation des processus décisionnels et des rôles et des responsabilités du personnel au niveau de l’UNC et dans les régions pourrait s’avérer utile pour le programme. 

Les activités de suivi du rendement sont conçues pour s’assurer que le personnel de programme est responsable de ses décisions et de ses actions. Les demandeurs ayant reçu du financement et le personnel de programme partagent la responsabilité de faire preuve de responsabilité tout au long du suivi du projet et du programme. En ce qui a trait au programme ÉcoAction, le système d’information de gestion (SIG) est le principal dépôt de données centralisé sur les projets. Cependant, le SIG ne fournit pas de données exactes, fiables ou complètes car il n’est pas mis à jour sur une base régulière et certaines données relatives au projet sont manquantes. Ces lacunes exercent une incidence notable sur la capacité du programme de démontrer son rendement de même que de fournir des données pour éclairer la prise de décisions. 

Les deux sous-sections suivantes décrivent les modalités de suivi des projets ÉcoAction et du programme lui-même.

a) Suivi des projets

Il incombe aux demandeurs ayant reçu du financement de démontrer que les fonds reçus sont utilisés de façon appropriée. Les demandeurs ayant reçu du financement doivent présenter des rapports d’étape trimestriels et des rapports financiers, afin de produire un rapport final qui renferme un rapport financier final, un sommaire des états financiers détaillés ainsi qu’un document d’évaluation de projet. De plus, les promoteurs de projet qui reçoivent un financement supérieur à 25 000 $ doivent soumettre des états financiers vérifiés de façon indépendante. Le personnel de programme effectue aussi parfois des visites des lieux pour s’assurer que les fonds sont utilisés de manière adéquate, même si la fréquence et la régularité de ces visites varient selon les différentes régions en raison de la logistique et des coûts qui y sont rattachés.

On a demandé au personnel de programme interrogé si ces pratiques étaient insuffisantes, suffisantes ou exagérément lourdes pour les demandeurs ayant reçu du financement. De façon générale, les personnes interrogées ont indiqué que les pratiques étaient de suffisantes à exagérément lourdes. Les personnes qui ont estimé que ces pratiques étaient suffisantes ont évoqué comme raison première du niveau de suivi actuel l’obligation de rendre compte au public. De plus, ces mêmes personnes ont estimé que le suivi trimestriel permettait de s’assurer que les projets demeurent sur la bonne voie. De même, les demandeurs ayant reçu du financement interrogés ont aussi indiqué que les exigences étaient appropriées et importantes en raison de l’obligatoin de rendre compte.

Néanmoins, la plupart des personnes interrogées ont aussi estimé que les groupes, en particulier les petits groupes, n’avaient ni les ressources ni l’expérience nécessaires pour satisfaire aux exigences en matière de rapport. L’aspect le plus difficile relativement à la production de rapport concerne le volet financier. Le personnel du programme ÉcoAction a indiqué qu’il avait dû consacrer du temps pour aider ces groupes à satisfaire à ces exigences. Les exigences relatives à la vérification ont aussi été considérées comme exagérément contraignantes, en particulier dans le cas des plus petits projets. Le personnel de programme a proposé de modifier les exigences relatives à la vérification afin de les appliquer aux projets qui reçoivent un montant égal ou supérieur à 50 000 $ car il estime que les frais rattachés à la vérification (environ 6 000 $ ²⁴) représentent une proportion considérable des sommes reçues.

Ces problèmes ont aussi été levés dans le sondage auprès des demandeurs ayant reçu du financement. À l’aide d’une question ouverte, on a demandé aux demandeurs ce qui pourrait être fait, le cas échéant, pour améliorer le programme. Parmi les demandeurs ayant reçu du financement qui ont répondu à cette question, 37 % ont recommandé de réduire la fréquence et la complexité des exigences en matière de rapport; 7 % ont recommandé de réduire l’exigence relative à la mesure des résultats et 5 % ont recommandé d’examiner ou d’éliminer tout simplement le processus de vérification.

Finalement, l’un des problèmes relatifs au suivi soulevés dans l’Examen d’ÉcoAction 2000 et qui ne semble pas avoir été réglé est le manque d’information sur ce qu’il advient des projets au terme du financement d’ÉcoAction. Bien que le programme encourage les organisations à mettre en place des projets autonomes, peu de mesures de suivi sont prises hormis de demander aux demandeurs si le projet se poursuivra. Le personnel interrogé estime que le programme progresse par rapport à l’atteinte de son objectif ultime, cependant, les données à l’appui de ces observations sont limitées. Étant donné la longévité du programme ÉcoAction, il se trouve dans une position de choix pour démontrer clairement en s’appuyant sur des faits l’incidence à plus long terme de ces initiatives de financement.

b) Suivi du programme

Il incombe au personnel de programme de démontrer que celui-ci est administré correctement et qu’il permet d’atteindre les résultats visés. Ces résultats sont essentiellement atteints par la mise en œuvre du programme et la compilation de données dans le SIG. 

On a demandé au personnel de programme interrogé de décrire et de commenter la stratégie actuelle de suivi du rendement. La plupart des membres du personnel ont estimé que la stratégie de mesure du rendement répondait de façon adéquate aux besoins du programme Cependant, certaines personnes interrogées ont laissé entendre que l’on compilait plus de données que le nombre réellement utilisées. Il semble aussi y avoir beaucoup d’incertitude par rapport à l’utilisation d’une grande partie des données par le personnel de programme. Ces observations portent à croire qu’il existe un fossé entre les personnes responsables de compiler les données et les personnes qui les utilisent, et cet écart de communication peut être l’une des raisons expliquant le manque d’uniformité par rapport à la mise à jour et au maintien des données dans le SIG. Le manque d’information sur l’utilisation de l’information risque de réduire la rigueur avec laquelle ces données sont tenues à jour. Peu importe la cause, la source de données la plus exacte sur les projets semblent la communication avec les régions, en raison du manque de régularité avec laquelle le SIG est mis à jour. Ces facteurs limitent la capacité de l’UNC d’accéder rapidement et de façon efficace à des données relatives au programme. De plus, cela affecte la mesure dans laquelle il est possible d’évaluer le programme de façon efficiente et précise.

En outre, les constatations montrent qu’un nombre important d’indicateurs ont été sélectionnés par les promoteurs de projet, mais aucun résultat n’a été rapporté par rapport à ceux-ci (se reporter à l’annexe 3 pour les constatations relatives à l’ensemble des indicateurs). Le SIG compile des données relatives aux résultats et aux objectifs de projet par rapport à un certain nombre d’indicateurs économiques et environnementaux (jusqu’à 56), dont certains comprennent également des sous-indicateurs. Sur les 486 projets terminés, 268 (55,1 %) ont sélectionné au moins un indicateur, et 69 % de ces projets ont sélectionné entre cinq et onze indicateurs. Sur les 218 projets terminés (44,8 %), il n’y avait aucune donné relative aux indicateurs même si les dossiers de ces projets renfermaient des commentaires relatifs aux résultats. Cela porte à croire que le nombre et le niveau de détail des indicateurs de programme ne conviennent peut-être pas aux groupes communautaires. De plus, même si des indicateurs avaient été sélectionnés dans le cas de certains projets, ce ne sont pas tous les projets qui ont rapporté des résultats dans le SIG. En fait, dans le cas de 39 des 56 indicateurs, des données avaient été rapportées uniquement pour 25 projets ou moins. Cela signifie qu’il n’y a aucun indicateur unique représentatif de tous les projets ÉcoAction et que la plupart des indicateurs reflètent seulement un vingtième des projets achevés. 

Dans l’ensemble, on a répertorié cinq indicateurs pour lesquels il ne manquait aucune donné, ce qui signifie que tous les demandeurs ayant reçu du financement ayant affirmé qu’ils utiliseraient cet indicateur en particulier à des fins de mesure dès le commencement du projet l’ont en effet utilisé à l’achèvement du projet : vérifications de véhicules, cliniques d’émission et d’ajustement, conversion à des techniques de jardinage biologique, restauration ou création de l’habitat ou de l’écosystème riverain, élimination des sites d’enfouissement représentant un danger pour les écosystèmes. Tous ces indicateurs sauf un comportaient le dénombrement d’éléments concrets (véhicules, cliniques, techniques, lieux). Les autres indicateurs qui mesuraient des éléments semblables (bénévoles, partenariats, structures, visites) comprenaient également un moins grand nombre de résultats manquants. Cela signifie qu’il est probablement plus facile d’évaluer le résultat d’un projet si ces résultats peuvent aisément être dénombrés, par exemple, le nombre de vérifications de véhicules. D’autres résultats sont plus difficiles à évaluer comme ceux mesurés en kilogrammes ou en litres, unité/100 ml d’eau, ou tonnes (p. ex., réduction des émissions de GES en tonnes).

Une autre suggestion découlant de quelques-unes des entrevues réalisées auprès des informateurs clés était de doter les groupes d’outils d’évaluation des résultats de projet afin d’accroître l’uniformité des rapports. Ainsi, en mesurant les résultats du projet par rapport aux indicateurs du SIG, il se peut que différents projets utilisent différentes stratégies ou différentes données de référence. Par exemple, il est possible que l’objectif établi pour plusieurs projets soit une réduction du temps de régime au ralenti des véhicules. Pour évaluer la réduction des émissions de GES en éteignant le moteur, les projets devraient prévoir, notamment, la quantité d’émission de GES produite par minute de régime au ralenti. Si différents projets utilisent différentes normes, les données globales en sont affectées.

a) Points forts et points faibles fondamentaux

On a demandé au personnel de programme interrogé si la conception ou la mise en œuvre du programme comportait des faiblesses fondamentales, et quels étaient ses atouts.

Les personnes interrogées ont mentionné que le programme ÉcoAction avait les atouts suivants. Le programme :

• est rigoureusement responsable de l’utilisation de ses ressources; 
• tient lieu de modèle de financement communautaire pour d’autres programmes de financement gouvernementaux;
• offre un financement qui est accessible à une vaste gamme de groupes de différentes tailles et d’intérêts diversifiés;
• est souple et répond aux priorités gouvernementales et environnementales;
• est exécuté à l’échelle régionale ce qui signifie que les besoins des collectivités individuelles entrent en ligne de compte dans le processus décisionnel; 
• bénéficie d’un personnel hautement dévoué, résolu à appuyer les groupes communautaires et leurs projets.

Voici les faiblesses fondamentales mentionnées par les personnes interrogées par rapport au programme ÉcoAction :

• Le délai d’approbation des demandes de financement et l’échéance de soumission des demandes. Cette faiblesse limite grandement la capacité des groupes de mettre en œuvre leurs projets et entraîne l’élimination de certaines activités et la mise à pied d’employés. De plus, les personnes interrogées estiment que les groupes sont de moins en moins enclins à demander du financement au titre du programme ÉcoAction dans l’avenir;
• Manque de clarté quant aux responsables ultimes des décisions finales de financement de projet;
• La distribution du financement entre les cinq régions fait en sorte que certains projets de meilleure qualité ne reçoivent pas de financement si la concurrence est supérieure dans leur région spécifique;
• Le type de projet sélectionné dépend de ce qui est proposé par les groupes communautaires. Le programme ÉcoAction pourrait avoir davantage de pouvoirs quant aux types de projets à financer en établissant une orientation et des priorités plus claires.

b) Pratiques exemplaires

On a invité les personnes interrogées à partager les pratiques exemplaires ou les leçons retenues liées au programme ÉcoAction. Voici les points soulevés :

• L’une des caractéristiques qui distinguent le programme ÉcoAction est l’attention marquée pour le soutien des clients. Le personnel régional consacre beaucoup de temps à soutenir les clients pour l’élaboration de la proposition, la production de rapports et l’achèvement des projets;
• Les fonds versés aux groupes génère un financement de contrepartie à l’échelle communautaire;
• Le programme ÉcoAction est perçu comme un programme hautement adaptable. Les objectifs du programme varient en fonction de l’évolution des priorités gouvernementales et environnementales;
• L’échange d’information entre les bureaux régionaux est perçu comme une force du programme ÉcoAction; 
• Le processus d’examen des propositions de groupes communautaires est perçu comme un processus qui encourage une grande contribution de la part des groupes intéressés ce qui résulte en une grande responsabilisation. 

De même, on a demandé aux répondants au sondage auprès des clients d’indiquer quels étaient les trois principaux services offerts par le programme ÉcoAction, en plus du financement, les plus utiles pour leur organisation ou projet. La figure 4-15 présente les réponses à cette question.

Figure 4-15 : Services les plus utiles offerts par le programme ÉcoAction aux organisations/projets

La réponse « fournir des connaissances, de l’expertise, de l’information, des outils et des conseils » a été choisie par 62 % des répondants, suivie de la réponse « encourager les idées de projets novateurs » (41 %). La réponse « autres » a été sélectionnée par le quart ou moins des répondants. Ces résultats montrent l’utilité et la qualité des services offerts par le personnel de programme.

4.4.5 Sommaire : Conception et mise en œuvre

Il est à noter que cette évaluation n’est que sommative (impact) et que seule une analyse limitée a été entreprise en ce qui a trait aux problèmes liés à la conception et à la prestation.

• Satisfaction des clients à l’égard du programme : Les clients du programme ÉcoAction sont généralement satisfaits du programme et des services reçus. Les secteurs où les demandeurs sont moins satisfaits comprennent le délai d’étude des demandes et la facilité de compréhension des différents formulaires et outils. Plus exactement :

  • Moins de la moitié, c’est-à-dire 49 % des demandeurs ayant obtenu un financement sont d’accord, alors que 20 % sont en désaccord avec l’énoncé selon lequel l’étude de leur demande a été faite à temps. Les réponses des demandeurs n’ayant pas obtenu de financement sont analogues. Ces constatations mettent au jour des problèmes de retard dans le processus d’étude des demandes adressées au programme ÉcoAction. Le personnel de programme et d’autres personnes interrogées ont également indiqué que les retards dans le processus d’approbation ministériel du financement étaient aussi un obstacle à l’atteinte des objectifs en ce qui concerne les promoteurs de projets financés;

  • De façon générale, par rapport au nombre de demandeurs n’ayant pas obtenu une aide financière, un pourcentage plus élevé de demandeurs ayant obtenu une aide financière estime que les services du personnel de programme sont utiles ou très utiles pendant le processus de demande. Par exemple, 83 % des demandeurs ayant obtenu un financement indiquent que les services du personnel de programme ont été utiles ou très utiles pour les aider à déterminer si leur projet satisfaisait aux critères d’admissibilité, alors que seulement 59 % des demandeurs n’ayant pas obtenu de financement les ont trouvé utiles. De la même façon, 76 % des demandeurs ayant obtenu un financement signalent que le personnel du programme les a aidés à remplir la demande de façon adéquate, par opposition à seulement 53 % des demandeurs n’ayant pas obtenu de financement;

  • Les constatations montrent que tous les demandeurs ont trouvé les formulaires et outils de demande difficiles à comprendre et ce, qu’il aient ou non obtenu du financement. Un pourcentage plus élevé des demandeurs ayant obtenu du financement a trouvé les critères d’admissibilité (67 %) et le guide de la demande (53 %) faciles à comprendre par opposition aux demandeurs n’ayant pas obtenu de financement (46 % tant pour les critères d’admissibilité que le guide de la demande). Cependant, moins de 45 % des demandeurs ayant obtenu du financement ou non indiquent que leurs formulaires de demande étaient faciles à remplir et qu’il était facile de naviguer dans le site Web du programme ÉcoAction.

• Efficacité de la structure de gouvernance : Les changements survenus au niveau de la structure de gestion du programme ces dernières années sont sources de confusion lorsque vient le temps de savoir qui est responsable de quoi exactement. Ce manque de clarté a été mentionné par le personnel du programme interrogé, tant dans les régions qu’à l’Unité nationale de coordination (UNC). Dans l’ensemble, le personnel de programme a estimé que celuici souscrivait à plusieurs pratiques de bonne gestion. Par exemple, les personnes interrogées ont l’impression que le programme ÉcoAction est axé sur la participation et qu’il permet l’intervention de nombreuses voix, qu’il est transparent et permet le libre échange de l’information et qu’il utilise ses ressources de façon efficiente.
  
  
• Suivi du rendement : Les résultats de l’évaluation indiquent que les méthodes de suivi de projet sont suffisantes pour assurer une utilisation responsable de l’aide fournie. Les activités de suivi du programme, par contre, peuvent être améliorées. Les données du programme enregistré dans le SIG n’étaient pas à jour. De plus, l’absence d’outils d’évaluation communs et le nombre important d’indicateurs de rendement de projets pour lesquels aucune donnée n’a été compilée laissent à penser que les indicateurs environnementaux, économiques et sociaux du programme ne sont pas les indicateurs les plus appropriés pour recueillir des résultats mesurables et fiables.

⁷ Pour l’année 2008, les plus récents chiffres montrent que l’on a reçu 254 demandes au total, dont 148 ont été approuvées. Cependant, ces demandes n’ont pas été incluses dans les analyses parce qu’elles n’étaient pas disponibles au moment où l’évaluation a été effectuée.

⁸ En 2003, le programme ÉcoAction a été rajusté de façon volontaire pour qu’il augmente son appui aux projets liés au changement climatique jusqu’à 50 % de son enveloppe de financement globale en raison du programme Défi d’une tonne, qui fait partie du Plan du Canada sur les changements climatiques. Le financement a été attribué de cette façon de 2003 jusqu’à 2005.

⁹ Dans le sondage de 2008, on a demandé aux répondants à combien de reprises ils avaient reçu du financement au titre d’EcoAction depuis 2004; dans le sondage de 2002, on a demandé aux répondants d’indiquer à combien de reprises ils avaient reçu du financement au titre d’ÉcoAction tout simplement.

¹⁰ Cette question a été ajoutée au sondage après environ une semaine de sorte que ce ne sont pas tous les participants qui ont répondu à cette question.

¹¹ L’information auto-déclarée a été obtenue à partir des entrevues réalisées auprès des informateurs clés. En outre, les données du sondage et les rapports finaux pour les projets ÉcoAction constituent de l’information auto-déclarée qui n’a pas été validée par le personnel de programme ou l’équipe d’évaluation.

¹² Ces résultats n’ont pas été validés.

¹³ Ces résultats n’ont pas été validés.

¹⁴ Ministères des gouvernements fédéral, provinciaux/territoriaux et municipaux susceptibles d’avoir pris part à diverses initiatives de collaboration et projets.

¹⁵ Se reporter à la section 4.2.3, Obstacles à la mesure des résultats voulus pour les besoins de la discussion sur les limites des données du SIG.

¹⁶ Ces résultats n’ont pas été validés.

¹⁷ Les réponses « remplacement de l’équipement dans ma collectivité » et « réduction du smog dans ma collectivité » ont été choisies par un et trois répondants respectivement. Étant donné la petite taille de l’échantillon, elles ont été exclues du tableau.

¹⁸ Une « contribution promise » est une promesse informelle formulée par une organisation qui s’engage à fournir un appui financier ou non financier. Une « contribution confirmée » est une promesse formelle d’une organisation qui s’engage à fournir un appui financier ou non financier. Une contribution promise peut devenir officielle si, par exemple, on en fait mention dans une lettre d’appui. Le personnel du programme ÉcoAction s’assure que les contributions sont confirmées (c.-à-d., que des promesses formelles ont été formulées) avant de signer l’accord de contribution (AC).

¹⁹ Les données du SIG indiquent que la contribution moyenne par projet approuvé s’élevait à 27 836 $. On rapport la moyenne calculée en utilisant les données budgétaire parce que le personnel de programme ÉcoAction a estimé que l’information budgétaire était plus exacte.

²⁰ Par exemple, on estime que l’on dépense 0,15 $ et 0,13 $ en salaires et en F et E pour chaque dollar dépensé en S et C, pour ce qui est des programmes Partenariats des espèces exotiques envahissantes et Programme de conservation et de gérance de l’habitat d’Environnement Canada si l’on en croit les données comptabilisées.

²¹ Aucune donnée relative à la « valeur réelle du projet » du SIG n’était disponible dans le cas de 18 projets achevés (c.‑à‑d., 0,00 $). Dans ces cas, on a plutôt utilisé la variable « valeur du projet approuvé ».

²² En 2008, on a élaboré une feuille de notation nationale pour l'étude des propositions soumises pour la ronde de novembre. Celle-ci sera adaptée. Cependant,  cette feuille de notation n’est pas utilisée pour comparer les projets entre les régions.

²³ Les sections 4.3.1 Coût du programme, 4.4.3 Suivi du rendement et 6.0 Recommandations indiquent de quelle façon il serait possible d’améliorer la tenue de livres à des fins de responsabilisation au niveau du programme.

²⁴ Selon les participants interrogés.