En avril 2007, la Direction générale de la vérification et de l'évaluation d'Environnement Canada (EC) terminait l'évaluation du Plan d'action du bassin de Georgia (PABG). Ce projet d'évaluation avait été choisi en novembre 2005 par le Comité ministériel de vérification et d'évaluation (CMVE) d'Environnement Canada, qui avait demandé qu'un cadre d'évaluation approuvé soit appliqué au PABG, un des programmes regroupés sous les Écosystèmes prioritaires.
Le PABG, version évoluée de l'ancienne Initiative sur l'écosystème du bassin de Georgia, a été lancé le 1er avril 2003 pour établir des priorités et entreprendre des initiatives cherchant à avoir un effet positif sur l'état de l'environnement, la croissance économique et le capital social dans la région du bassin de Georgia et de Puget Sound. Le PABG représente la seconde phase quinquennale (2003-2008) des programmes concertés mis en place pour le bassin de Georgia.
L'évaluation s'articulait autour de quatre grands enjeux, à savoir :
Pertinence du programme — Le degré de concordance et la clarté de l'objectif du PABG par rapport aux orientations et aux priorités d'Environnement Canada, ainsi que le bien-fondé continu du programme eu égard aux besoins actuels et au potentiel de chevauchement avec d'autres initiatives.
Succès — Résultats perçus du PABG, tant prévus qu'imprévus, dans les secteurs soutenant le mandat du programme.
Rentabilité — Possibilité pour le PABG d'utiliser les ressources de manière plus efficace dans l'exécution de son mandat.
Conception et prestation — Clarté des activités, des responsabilités, des produits livrables attendus et des résultats prévus du PABG. En outre, on s'est penché sur les processus liés à l'affectation des ressources, à la gestion du risque, à la surveillance et à la production de rapports et sur la mobilisation des partenariats.
La présente évaluation du PABG est de nature sommative. On y applique rigoureusement les 30 questions du cadre d'évaluation et on y examine les quatre enjeux précédents aux fins d'évaluation.
Pour mettre à l'épreuve et étayer le cadre approuvé, nous avons eu recours aux méthodes suivantes de collecte des données :
revues documentaires visant à déterminer si l'évolution du PABG de même que les problèmes de gestion ont été clairement compris et fidèlement rapportés, et à recenser l'information sur le programme et ses activités;
entrevues téléphoniques et personnelles menées à l'aide de guides structurés auprès de membres du personnel interne d'Environnement Canada et d'intervenants et partenaires externes;
formation d'un groupe de discussion dirigé par un animateur;
sondage auprès des responsables des équipes de projet.
Vous trouverez ci-après une vue d'ensemble, sous forme de résumé, des résultats issus des quatre enjeux principaux relatifs à la pertinence, au succès, à la rentabilité ainsi qu'à la conception et prestation.
Les éléments de conception fondamentaux qui doivent traduire les principes d'une approche écosystémique en une structure de programme bien définie présentent des lacunes (ils sont insuffisamment définis aussi bien dans les documents touchant les Écosystèmes prioritaires (EP) que dans ceux concernant le PABG).
Des informations probantes révèlent que le gouvernement a un rôle à jouer dans ce secteur de programme.
Les documents et les entrevues font état d'un rôle valide pour le gouvernement fédéral.
Le programme sert l'intérêt public; cependant, la portée du programme ne semble pas avoir fait l'objet d'un examen exhaustif et analytique, même si le partenariat est un des principes du programme. Le processus de dégroupage embrouille la clarté et les rôles d'un programme tel que le PABG, qui est une initiative écosystémique visant un secteur particulier.
Théoriquement, il y a un lien qui associe ce programme avec les résultats ministériels depuis le niveau des PPAR jusqu'à celui du RPAR, ainsi qu'avec les résultats et les priorités du Conseil.
Tant la documentation examinée que les entrevues effectuées auprès du personnel révèlent qu'il existe un lien entre ce programme et les grands résultats stratégiques du Ministère.
Les opinions sont très partagées sur l'opportunité de remanier le programme pour l'harmoniser avec les priorités ministérielles.
Faute de documentation pertinente, nous ne pouvons commenter outre mesure le bien-fondé de l'existence de tous les PPAR compris dans un RPAR.
En ce qui concerne la question de savoir si le programme fait double emploi, le personnel d'EC répond unanimement par la négative. Nous n'avons pas eu recours délibérément à d'autres méthodes pour examiner cet aspect.
Puisque la documentation sur les résultats du programme et sur les produits livrables des projets était difficilement accessible et incomplète, il existe peu ou pas d'information probante sur les résultats. Nous avons trouvé des informations anecdotiques sur l'atteinte fructueuse de certains résultats au niveau des projets.
Le programme ne produit pas de données rigoureuses ni systématiques sur la mesure du rendement; il est donc difficile de commenter l'attribution entre les extrants du programme et ses résultats.
Il y a un effet potentiel sur la croissance économique et la compétitivité du Canada; ce lien est encore à l'état embryonnaire et l'on ne peut encore établir de corrélation ou tirer de conclusion avec certitude. La difficulté de démontrer facilement les résultats environnementaux du PABG complique d'autant l'établissement de liens avec la performance économique.
Selon les commentaires formulés durant les entrevues, le programme engendre une grande diversité de résultats inattendus.
La question des autres méthodes de prestation n'a pas été explicitement abordée dans la méthodologie d'évaluation, et il n'existe pas de documentation à ce sujet.
Étant donné que nous voulions calculer le rendement d'un programme selon le montant des extrants générés par chaque dollar d'intrants et que nous n'avons pas pu faire ce calcul, nous sommes dans l'impossibilité de poser un jugement sur la rentabilité du PABG, ce qui est problématique. Il n'existait pas de liste cohérente ou complète des projets (avec leurs extrants) relevant du PABG. Nous avons également constaté une tendance croissante à la sous-utilisation des ressources disponibles, entre l'année financière 2003-2004 et celle de 2005-2006. Faute de rapports de rendement, il est impossible de démontrer le succès/l'efficacité du programme, ce qui soulève des questions sur sa rentabilité et sur l'optimisation des ressources investies.
La question du recouvrement des coûts n'est pas pertinente dans cette évaluation, car aucun client particulier ne reçoit d'avantages personnalisés.
Étant donné l'impossibilité d'établir des liens entre les activités/extrants du programme et de ses résultats et dans l'absence de rapports de rendement, nous sommes dans l'incapacité de démontrer le succès/l'efficacité du programme. Par conséquent, sa rentabilité et l'optimisation des ressources investies est mise en doute et la structure et l'approche écosystémique des Écosystèmes prioritaires reste sans appui documentaire. Toutes ces raisons nous amènent à conclure qu'il n'y a pas de preuves raisonnables pour affirmer que les Canadiens et les Canadiennes en ont pour leur argent.
Il est difficile d'indiquer si le programme est d'un coût abordable.
Manifestement, en raison de la structure des PPAR/RPAR exigée par le Ministère, il y a des produits livrables et des résultats documentés. Cependant certaines données de base (p. ex. inventaire des projets, extrants, responsables des équipes de projet) sont difficilement accessibles. La communication de ces renseignements aux responsables des équipes de projet est également problématique.
Le programme présente certaines lacunes importantes dans sa composition (p. ex. formulation/application d'une approche écosystémique), ce qui compromet l'attribution plausible des résultats.
La sélection des projets et l'affectation des ressources ne semblent pas reposer sur une approche décisionnelle systématique.
Il existe de la documentation au sujet d'une stratégie de gestion du risque, mais on peut s'interroger sur l'étendue des mesures de gestion réellement prises à ce sujet. En plus, il n'y a pas de vision officielle jusqu'à maintenant, les partenaires sont difficiles à saisir et le dégroupage atténue les liens avec les projets.
Il ne semble pas y avoir d'analyse documentée des besoins en capacité financière. Il n'y a pas de besoin apparent de rehausser la capacité financière (en 2005-2006, 22 p. cent des fonds accordés n'ont pas été dépensés). Il n'existe pas de données sur les besoins en ressources humaines, mais il semble y avoir un roulement élevé du personnel au bureau du PABG.
Théoriquement, il semble exister un lien entre le programme et le positionnement stratégique du Ministère/les anciens piliers du CCDE.
En ce qui concerne le partenariat (qui est un des principes du programme), on entendait mener un sondage exhaustif auprès d'une cinquantaine de partenaires du PABG, mais on a dû annuler le sondage puisque seulement treize partenaires ont pu être localisés. Au départ, nous comptions former cinq groupes de discussion rassemblant un total de 50 participants, qui étaient des co-exécutants connaissant bien le PABG, mais on n'a pu créer qu'un seul groupe de discussion de dix participants. EC n'a pu trouver aucun partenaire du secteur industriel. Considérant la difficulté de joindre les partenaires, la question de la portée du programme semble problématique, et ce, d'autant plus que le programme repose sur les partenariats.
Il ne semble pas exister de documentation sur la conception intégrale du programme, documentation sur laquelle on pourrait se fonder pour évaluer la prestation du programme et ainsi commenter l'adéquation entre la conception et la prestation.
Pour ce qui est de l'appui accordé au programme par le personnel de gestion et d'exécution d'EC, les opinions sont très diversifiées. Étonnamment, on a eu de la difficulté à trouver les responsables effectifs des équipes de projet du PABG; on n'a pu en rejoindre que 19.
Une structure de gestion est définie et utilisée. Cependant, il n'existe pas d'approche/de structure décisionnelle exhaustive et systématique qui assurerait l'établissement de liens actifs avec les gestionnaires et garantirait au programme un soutien réceptif.
Sur le plan de la reddition de comptes, il existe manifestement une structure où il y a un conseil responsable (Conseil de la durabilité des écosystèmes), un RPAR responsable ainsi qu'un PPAR responsable. Cependant, il ne semble pas y avoir de documentation sur la conception du programme sur laquelle on pourrait se baser pour en évaluer la prestation. Les opinions sont diversifiées et les responsables des équipes de projet sont les seuls à estimer qu'en général, les rôles et les responsabilités de tous les groupes participant à la prestation du programme sont clairs et qu'ils sont compris par tous.
La série de constatations ci-dessus nous amène aux conclusions suivantes :
Il est bon que le gouvernement fédéral participe à ces types d'activités, qui préservent et protègent l'environnement canadien, puisque ces activités servent l'intérêt public tout en respectant la séparation globale des pouvoirs entre les gouvernements.
Cependant, les Écosystèmes prioritaires et le PABG sont dépourvus des éléments de conception fondamentaux qu'un programme doit avoir, comme une vision, une méthode définie pour l'application d'une approche écosystémique, ainsi que des critères et méthodes systématiques pour le choix des activités. En outre, les éléments de planification, de mise en oeuvre, de surveillance et de rapport ne sont pas exécutés adéquatement.
Les partenariats constituent un principe de base aussi bien pour les Écosystèmes prioritaires que pour le PABG. Néanmoins, nous n'avons pu trouver de tels grands partenariats, ce qui s'avère problématique.
La gouvernance du PABG repose sur une base financière qui soulève des interrogations fondamentales concernant la façon dont les ressources sont utilisées et liées aux résultats. L'activité coûte annuellement quelque 5,5 M$. Environ 78 p. cent de cet argent est imputé aux salaires et aux coûts de fonctionnement et d'entretien, sans plus d'autres détails. Une partie de l'argent n'a pas été dépensée comme prévu; les trois dernières années ont donné lieu à des excédents budgétaires de 10 p. cent, 7 p. cent et 22 p. cent.
Il n'y a pas de système permettant de mesurer rigoureusement et systématiquement l'efficacité du fonctionnement du PABG, ce qui en complique l'analyse et une attribution plausible aux résultats.
Deux recommandations significatives et globales sont formulées :
Puisque le ministère s'est engagé à adopter l'approche écosystémique, le responsable du RPAR des Initiatives relatives aux écosystèmes ainsi que les responsables des autres PPAR écosystémiques, y compris le PABG, devraient :
Clarifier les questions de planification stratégique et d'organisation structurelle de l'approche écosystémique. Cette démarche devrait comprendre une articulation claire des rôles et responsabilités au sein des RPAR, des PPAR et des PPAR dégroupés, l'établissement des orientations, la méthodologie, les résultats, la structure des résultats et les communications. Les résultats devraient être communiqués au Conseil de la durabilité de l'environnement pour approbation d'ici janvier 2008.
Entreprendre un examen de la gestion de toutes les initiatives relatives aux écosystèmes pour s'assurer que la mesure du rendement, les rapports et les obligations redditionnelles qui y sont associées sont appropriés. Les résultats de cette démarche devraient être communiqués au Conseil de la durabilité de l'environnement pour approbation d'ici décembre 2007.
Le RPAR des Initiatives relatives aux écosystèmes, et plus particulièrement le PPAR du PABG, doivent préciser davantage la vision et resserrer la définition opérationnelle des résultats précis qu'on cherche à obtenir par l'application d'une approche écosystémique, et les mettre en oeuvre dans le cadre d'un programme opérationnel. Cela doit être fait avant que l'on envisage tout nouveau développement du programme.
En outre, à la suite de l'exercice de dégroupage, de nombreux projets ne sont plus l'objet de rapports dans le cadre du PPAR du PABG. Il faut quand même continuer d'exercer une surveillance sur l'atteinte des résultats de ces projets. Il est donc nécessaire de réexaminer soigneusement le bien-fondé de la structure actuelle des initiatives régionales relatives aux écosystèmes, de même que leurs fonctions de coordination des activités/résultats des initiatives écosystémiques maintenant dégroupées. Comme le Ministère dispose d'un système complet de gestion basée sur les résultats (GBR), l'exercice de dégroupage ne laisse que l'enjeu de la gouvernance au RPAR des Écosystèmes prioritaires. Il faut examiner le rôle de la gouvernance en ce qui concerne les PPAR individuels et l'ensemble du RPAR, pour repérer les possibilités de rationalisation et d'efficacité.
Le RPAR devrait examiner ces résultats pour le PABG à la lumière des cinq autres initiatives écosystémiques relevant de lui. Il s'agit là d'une tâche importante, compte tenu de l'établissement d'un cadre écosystémique national à EC (présentation du Conseil sur la durabilité des écosystèmes en mars 2007), et essentielle à la conception des programmes ministériels de GBR. On discute activement de la possibilité de prolonger provisoirement de deux ans les initiatives écosystémiques actuelles, et de les renouveler en 2009-2010. Cependant, les conclusions et recommandations du présent rapport doivent être soigneusement examinées et prises en compte, dans ce contexte.
Il y a plus d'un an, le Conseil sur la durabilité de l'environnement a demandé qu'une nouvelle approche écosystémique d'Environnement Canada (EC) soit élaborée ainsi qu'un cadre de gestion des initiatives écosystémiques prioritaires.
Sous la direction du RPAR Écosystèmes prioritaires (EP), une approche écosystémique servant de modèle pour la gestion de l'environnement a été formulée en 2006 et présentée au Conseil sur la durabilité de l'environnement (en janvier 2007) et au Conseil des Services météorologiques et environnementaux (SME) (en mai 2007). La mise en oeuvre de cette approche a été entreprise et elle sera effectuée de façon continue en utilisant la structure de gestion et le processus de planification d'EC.
Le RPAR EP travaille également, avec l'aide d'autres RPAR, sur un cadre de gestion des initiatives écosystémiques prioritaires. Le cadre a les objectifs ci-après.
Encourager une façon systématique, reproductible et valable d'effectuer : 1) le choix des écosystèmes prioritaires et des initiatives écosystémiques prioritaires (IEP) et 2) la détermination du niveau et du type d'engagement d'Environnement Canada (rôles et responsabilités) parmi une série de niveaux possibles.
Proposer une orientation et des directives de base pour la planification, la conception, la mise en oeuvre, la gestion et l'établissement de rapport des IEP de manière uniforme à l'échelle nationale et conforme avec l'approche écosystémique.
Nous souhaitons que ce cadre, une fois élaboré, soit appliqué aux initiatives écosystémiques actuelles, et aux nouvelles initiatives potentielles, d'ici mars 2008. Cela devrait donner lieu à une approche plus uniforme à l'égard du choix, de la conception et de la prestation des IEP dans le Ministère.
À mesure qu'elles seront mises en oeuvre, nous sommes convaincus que ces deux initiatives résoudront la plupart des lacunes observées qui sont en lien avec la recommandation 1a) : rôles, responsabilité, orientation, méthodologie, entre autres.
Concernant la recommandation 1b), un processus a déjà été lancé avec l'aide de la Division de l'évaluation de la Direction générale de la vérification et de l'évaluation, et sera mis en oeuvre pour assurer aux membres du Conseil sur la DE que les questions soulevées lors de l'évaluation relatives au PABG (présence d'un cadre de gestion, renseignements appropriés sur le rendement, partenaires et projets) sont examinées et réglées dans la mesure où elles s'appliquent à d'autres IEP. Ce rapport sera fourni au Conseil sur la DE avant la fin d'octobre 2007.
Cela fait, les chefs de PPAR participeront également activement à l'application du cadre de gestion des IEP aux IEP actuelles (mars 2008) et nous sommes certains que cela aura un effet très positif sur le renforcement, de manière globale, de la gouvernance et de l'efficacité des IEP.
Le responsable du PPAR du PABG, avec l'appui et la coordination du responsable du RPAR des Initiatives relatives aux écosystèmes, devrait prendre des mesures pour apporter de toute urgence d'ici décembre 2007 les améliorations exposées ci-dessous aux systèmes de planification, de mesure et de rapport, et les présenter au Conseil sur la durabilité des écosystèmes, pour approbation.
Toute la gamme des activités de planification, de mesure et de rapport des résultats du PPAR du PABG doit être rigoureusement documentée et bien gérée durant la période qu'il reste à écouler au PABG (avril 2008); à cette fin, il faut suivre de près l'évolution de la totalité des projets, des résultats et des éléments livrables, et se servir activement de cette information dans la prise de décisions relatives au programme. Il est nécessaire de dresser la liste complète des résultats atteints au terme du PABG, pour être en mesure de mener une évaluation rétrospective sur l'optimisation des ressources investies.
La population ciblée par un programme jouant un rôle capital pour l'atteinte des résultats, et cet élément s'étant avéré problématique pour le PABG, le PPAR devrait analyser en profondeur sa portée et indiquer si, durant l'exécution des initiatives, la portée réelle correspondait bien à la portée prévue. Un tel examen de la portée de chaque PPAR pourrait également profiter à d'autres PPR écosystémiques ainsi qu'à l'ensemble du RPAR.
En tant que première étape donnant suite à la conclusion de l'évaluation, le Conseil sur la durabilité de l'environnement a demandé à ce que toutes les dépenses relatives à l'initiative du PABG, à l'exception de celles liées aux points sensibles, soient suspendues. Cet automne, les résultats d'une analyse réalisée par les chefs de RPAR et le directeur général régional (DGR) de la Région du Pacifique et du Yukon (RPY) sur la marche à suivre prévue du PABG seront soumis au Conseil à des fins de discussion.
Le Bureau de coordination du bassin de Georgia (BCBG) a été chargé d'établir et de mettre en oeuvre un plan d'action pour aborder dès que possible la question des améliorations de la mesure et de l'établissement de rapports des résultats du PABG. Un rapport préliminaire sera soumis à la discussion au Conseil sur la DE en décembre 2007, suivi d'un rapport complet d'ici avril 2008. Cette même démarche apportera la documentation nécessaire à un rapport documentant les extrants et les résultats des projets du PABG, et fournira un rapport final sur le programme de 5 ans. Ce rapport devrait être achevé d'ici avril 2008 afin de fournir un bilan éloquent des réalisations du programme.
Le BCBG opérationnalise également le cadre de mesure du rendement élaboré en 2004, qui offre des mesures liées aux résultats déterminés dans le modèle logique du PABG.
Les membres du personnel du BCBG entreprendront une analyse de la portée qui s'intégrera dans leur travail visant à documenter les activités, l'état, les extrants et les résultats du programme.
Cette analyse se fondera sur la Stratégie de communication et de sensibilisation pour le PABG qui a été élaborée par un effort concerté en 2004 et qui définit la portée prévue. Ces renseignements seront recueillis et communiqués dans le rapport récapitulatif quinquennal.