Que se passerait-il si ce programme n'existait pas?6
Le programme remplit ou ne remplit pas une mission reconnue et nécessaire.
Ci-après figurent les constatations de l'évaluation, regroupées selon les quatre catégories retenues (pertinence, succès, rentabilité, conception et prestation) à la lumière de la série de questions formulées pour le cadre d'évaluation.
Cette section examinera la pertinence du programme, c'est-à-dire le degré de concordance et la clarté de l'objectif du PABG par rapport aux orientations et aux priorités d'Environnement Canada, ainsi que le bien-fondé continu du programme eu égard aux besoins actuels et au potentiel de chevauchement avec d'autres initiatives.
| Q1 Questions d'évaluation | Description de ce qui doit être observé | Cote3 |
|---|---|---|
| En général, le programme (et son objet) est-il pertinent dans le contexte du CCDE [résultats stratégiques ministériels]? | La mission/raison d'être du programme soutient la finalité du CCDE [résultats stratégiques ministériels]. | √ |
Selon la documentation du programme et les opinions exprimées par le personnel, le PABG a clairement un lien avec le RPAR des écosystèmes prioritaires et les grandes orientations stratégiques du Ministère.
Cette approche écosystémique ministérielle postule des principes à ce point généraux et est à ce point inclusive qu'elle se traduit par un énoncé dépourvu de limites, tant dans l'espace que sur le plan technique. Les éléments fondamentaux qui sous-tendent la conception d'un programme axé sur l'écosystème demeurent insaisissables.
| Q2 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
| Rôle du gouvernement - Y a-t-il un rôle légitime et nécessaire pour le gouvernement dans le domaine du programme ou de l'activité?4 | Des besoins démontrables ne sont pas satisfaits par le secteur privé, et il y a une nécessité de préserver un bien public. Existence d'une défaillance du marché privé ou nécessité de protéger un bien considéré public. |
√ |
La documentation du programme révèle que le gouvernement a un rôle à jouer (principalement en ce qui touche la réalisation des activités de coordination, la prestation d'un savoir-faire pour la prise de décisions et comme bailleur de fonds) dans la protection et le rétablissement de la santé de l'environnement (perçue comme un bien public); ce qui n'empêche pas les autres partenaires/intervenants de jouer un rôle important.
Le personnel estime que le PABG sert effectivement l'intérêt public et qu'il répond généralement aux besoins actuels et aux nouveaux besoins, en servant de complément aux autres programmes et aux activités des partenaires (un certain chevauchement peut se produire, mais sans réel dédoublement, sauf au sein d'EC, ce qui, selon certains, pourrait avoir motivé le dégroupage).
| Q3 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Fédéralisme - Le rôle actuel du gouvernement est-il approprié, ou faut-il songer à transférer le programme aux provinces ou aux territoires?5 Comment cette activité ou ce programme fait-il l'équilibre entre la nécessité d'une action pancanadienne coordonnée et celle de tenir compte des besoins et des circonstances de chacune des provinces/territoires et des régions? |
Le programme est situé au bon palier de gouvernement, et il n'est pas nécessaire de le reconsidérer. |
√ |
Selon les documents examinés et les entrevues menées, le gouvernement fédéral a un rôle à jouer.
La majorité des employés d'EC interrogés (7 sur 12) ont eu de la difficulté à établir un lien entre les buts et les objectifs du PABG avec les orientations stratégiques et les priorités du gouvernement du Canada, et ce, en raison principalement du récent changement de gouvernement. Trois des répondants ont indiqué que les objectifs de qualité de l'air étaient le principal lien.
Selon l'énoncé de vision du RPAR-EP (écosystèmes prioritaires), les initiatives axées sur l'écosystème visent à contrer les problèmes environnementaux qui leur sont géographiquement inhérents; par conséquent, chaque initiative axée sur l'écosystème a pour but de combattre des problèmes environnementaux précis d'envergure régionale. Cependant, toutes les initiatives axées sur l'écosystème procèdent de quatre principes communs : elles reposent sur une approche écosystémique; la science éclaire la prise de décisions; les buts sont atteints à l'aide de partenariats; l'accent est mis sur la participation des citoyens et des collectivités.
| Q4 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Que se passerait-il si ce programme n'existait pas?6 |
Le programme remplit ou ne remplit pas une mission reconnue et nécessaire. |
|
Le programme est de conception très horizontale, puisque d'autres ministères fédéraux, plusieurs ministères provinciaux et les Premières Nations comptent parmi les partenaires. Au sein même du Ministère, de nombreuses composantes de l'organisation participent également à l'exécution des projets. Il existe donc un large arrimage avec une grande diversité de partenaires.
Les cadres supérieurs d'EC soulignent que le problème repose sur la collaboration et sert l'intérêt public.
Cependant, le processus national de dégroupage du RPAR des EP remet en question la cohésion du PABG. Le dégroupage a pour effet de masquer le rôle particulier joué par une initiative écosystémique propre à une région.
| Q5 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Intérêt public - Le programme ou l'activité continue-t-il de servir l'intérêt public?7 Le programme est-il défini en fonction de groupes clients ciblés? |
Le programme est lié à des besoins sociaux / environnementaux. |
√ |
Le programme sert vraisemblablement l'intérêt public; cependant, sa portée ne semble pas avoir fait l'objet d'un examen exhaustif et analytique.
Les 22 employés et gestionnaires d'EC ont unanimement soutenu que l'initiative servait clairement l'intérêt public.
| Q6 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Est-ce que le programme contribue clairement à l'obtention des résultats ministériels (PPAR, RPAR, Conseil) et à l'exécution des priorités du Conseil? |
Le programme est adapté aux résultats ministériels et aux priorités du Conseil. |
√ |
La documentation révèle un lien clair entre le programme et les résultats et priorités du RPER-EP, du Conseil de la DE du Ministère.
Sur les douze réponses fournies par les employés du Ministère, neuf faisaient état d'une difficulté à faire un lien avec les priorités du Conseil (soit en raison d'une méconnaissance des priorités, soit parce que ces priorités évoluent constamment); cependant, la majorité des employés étaient davantage en mesure de faire un lien avec les résultats ministériels. Tous les membres du Conseil (3) estimaient qu'il y avait un lien clair avec la priorité du Conseil (mettre l'accent sur les écosystèmes prioritaires) et avec les résultats ministériels. D'après les treize réponses fournies par les employés d'EC, la majorité d'entre eux estimaient que la conception du PABG reflétait les priorités ministérielles, même si, selon certains, cela pouvait ne plus être le cas étant donné l'évolution des priorités; tous les membres du Conseil croyaient également qu'il existe un lien. Sur les cinq employés d'EC ayant répondu à ce sujet, quatre estimaient que les buts et objectifs du PABG se reflétaient dans les produits livrables au niveau des projets [quoique le contrôle de la qualité et l'application de la loi puissent poser un problème].
Le RPAR n'indique pas de lien clair entre les responsabilités particulières des autres PPAR/RPAR (pour quels résultats à court terme ils sont responsables) pour ce qui concerne les EP, et la façon dont ces responsabilités contribuent à l'atteinte des résultats finals du RPAR-EP.
| Q7 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Est-il nécessaire d'apporter des changements pour assurer une harmonisation avec les priorités ministérielles actuelles ainsi qu'avec le CCDE [résultats stratégiques ministériels]? Dans l'affirmative, est-ce que le programme (PPAR) et sa structure sont en mesure de prendre en compte de tels changements [p. ex. mécanismes]? |
La justification du programme tient compte des changements nécessaires, s'il y a lieu. |
|
Les 22 employés et gestionnaires d'EC interrogés ont une divergence d'opinions quant à la nécessité d'apporter des changements à ce programme. Certains soulignent les défaillances d'un programme quinquennal fixe qui ne met pas suffisamment à contribution ses partenaires, comme le MPO et les Premières Nations, lesquels partenaires (MPO) se retirent, sont faibles ou contribuent insuffisamment sur le plan financier. Certains émettent des réserves quant à l'administration et à la coordination du programme. D'autres répondants soulignent la base d'intégration scientifique du PABG et son évolution générale au fil du temps. Certains commentaires ont été formulés sur le type et la portée des rapports que le personnel jugerait acceptables et appropriés à leur participation au programme, et sur la lourdeur de la structure ministérielle axée sur les résultats qui entrave les mouvements de fonds et ralentit les approbations. Aucun répondant n'a évoqué le potentiel de dédoublement avec d'autres programmes.
Parmi les trois cadres supérieurs d'EC, certains s'interrogent sur le dégroupage et sur la capacité de conserver les éléments d'intégration. Ils soulignent les risques du dégroupage. Selon eux, l'affectation budgétaire devra se faire de manière intégrée, sans viser un milieu unique (air, eau, etc.). Il existe, entre les divers RPAR, des répercussions et des liens transversaux qu'il faut préserver pour en conserver leur efficacité; la gestion de ces relations relève du comité de gestion et l'établissement de partenariats efficaces au niveau du Conseil et des RPAR.
Les partenaires signataires (quatre en tout) ont des opinions partagées. L'un estime que le PABG est presque transparent à ses yeux; tout continue comme avant. D'autres croient que le PABG couvre l'aspect environnemental, mais que l'incorporation des dimensions sociales et économiques demeure problématique. Néanmoins, certains partenaires pensent que des progrès ont été réalisés.
| Q8 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Les PPAR compris dans un RPAR doivent-ils tous exister? |
Chaque PPAR est lié à son RPAR selon une raison d'être explicite et satisfaisante. |
 |
Malgré un long historique et l'existence des diverses initiatives individuelles axées sur l'écosystème, on n'a pas, à ce jour, rédigé de justification qui expose clairement la raison d'être de chacun des projets du PABG et qui indique le rapport qu'ils ont entre eux.
On reconnaît cependant qu'une vision stratégique nationale doit être élaborée. Des discussions préliminaires ont permis d'en circonscrire les éléments éventuels, mais rien de concret n'a encore été fait. Il avait été prévu, pour l'automne 2006, de définir la notion d' « approche écosystémique » et d'élaborer un cadre de gestion pour les écosystèmes prioritaires. Plus précisément, le Plan de gestion des écosystèmes devait être en place pour avril 2006, mais cela ne s'est pas produit. On devait avoir établi pour octobre 2006 le processus de repérage des écosystèmes critiques, en avoir présenté les résultats au Conseil de la durabilité des écosystèmes en novembre 2006, et appliqué la méthode pour mars 2007
| Q29 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Quels sont les programmes actuels qui sont étroitement reliés et comment fait-on pour éviter le double emploi et assurer une complémentarité (y compris les programmes non fédéraux)? |
Il n'y a pas de dédoublement dans le mandat ou dans les résultats des programmes; les mandats de programmes complètent ceux d'autres programmes. |
√ |
On n'a trouvé aucun document comparatif portant sur le PABG et des programmes similaires.
Nous avons interviewé trois cadres supérieurs et 25 employés et gestionnaires du Ministère. De ce nombre, 16 répondants ont explicitement indiqué qu'à leur connaissance le PABG ne faisait pas double emploi avec d'autres programmes. Un seul employé a mentionné une certaine possibilité de dédoublement interne, mais seulement pour 10 p. cent du travail.
Les éléments de conception fondamentaux qui doivent traduire les principes d'une approche écosystémique en une structure de programme bien définie présentent des lacunes (ils sont insuffisamment définis tant dans les documents touchant les Écosystèmes prioritaires (EP) que dans ceux concernant le PABG).
Des informations probantes révèlent que le gouvernement a un rôle à jouer dans ce secteur de programme.
Les documents et les entrevues font état d'un rôle valide pour le gouvernement fédéral.
Le programme sert l'intérêt public; cependant, la portée du programme ne semble pas avoir fait l'objet d'un examen exhaustif et analytique, même si le partenariat est un des principes du programme. Le processus de dégroupage embrouille la clarté et les rôles d'un programme tel que le PABG, qui est une initiative écosystémique visant un secteur particulier.
Théoriquement, il y a un lien qui associe ce programme avec les résultats ministériels depuis le niveau des PPAR jusqu'à celui du RPAR, ainsi qu'avec les résultats et les priorités du Conseil.
Tant la documentation examinée que les entrevues effectuées auprès du personnel révèlent qu'il existe un lien entre ce programme et les grands résultats stratégiques du Ministère.
Les opinions sont très partagées sur l'opportunité de remanier le programme pour l'harmoniser avec les priorités ministérielles.
Faute de documentation pertinente, nous ne pouvons, à ce stade-ci, commenter outre mesure la nécessité de l'existence de tous les PPAR compris dans un RPAR.
En ce qui concerne la question de savoir si le programme fait double emploi, le personnel d'EC répond unanimement par la négative. Nous n'avons pas eu recours délibérément à d'autres méthodes pour examiner cet aspect.
Cette section examine le succès du programme — les résultats perçus du PABG, tant prévus qu'imprévus, dans les secteurs soutenant le mandat du programme.
| Q9 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Que s'est-il passé à cause de ce programme? Des résultats ont-ils été obtenus grâce à ce programme? Quels en sont les effets sur l'environnement? |
Le programme engendre des résultats qui correspondent à ceux attendus et aux produits livrables envisagés. |
√ |
Puisque la documentation sur les résultats et les produits livrables des projets était difficilement accessible et incomplète (il n'y a pas de liste exhaustive des projets), l'information probante sur les résultats est rare, voire inexistante. Nous avons trouvé des informations anecdotiques sur l'atteinte fructueuse de certains résultats au niveau des projets.
Le programme ne produit pas de données rigoureuses ni systématiques sur la mesure du rendement; il est donc difficile de commenter les liens entre les extrants du programme et les résultats.
Le PABG a produit un rapport, intitulé PABG - Mise à jour de 2005, qui présente un bref aperçu des produits livrables de 16 projets (sur un total de 77); cependant, aucun lien n'est tracé entre ces projets et les résultats du PABG présentés dans son modèle logique pour 2004. Le Rapport ministériel sur le rendement fait également état des activités tenues en 2005-2006 et touchant plus particulièrement les partenariats, la sensibilisation du public, l'échange de science et de savoir, etc.; il n'établit cependant aucun lien avec les résultats présentés dans le modèle logique de 2004.
La quasi-totalité des chargés d'équipe de projet (CEP) ayant participé à l'enquête étaient d'avis que le programme avait partiellement à complètement atteint l'ensemble des résultats immédiats exposés dans le modèle logique de 2004. (Note : Aucune réponse n'a été fournie pour le point « Meilleure sensibilisation des communautés intéressées aux enjeux environnementaux et aux effets socio-économiques de leurs décisions ».) En ce qui concerne l'attribution de résultats au PABG, la majorité des CEP sondés estimaient que la série de résultats immédiats présentés dans le modèle logique de 2004 du PABG étaient partiellement à pleinement attribuables.
En outre, presque tous les CEP interrogés croyaient que le PABG leur avait rapporté des avantages modérés à substantiels sur divers plans, par exemple : obtention de ressources par effet de levier; établissement de partenariats avec divers intervenants/acteurs; accès à l'information, aux recherches et/ou à la science; visibilité publique partagée sur des dossiers précis; capacité d'informer les grands décideurs sur les questions de politiques.
Personnel d'EC : La quasi-totalité estimaient que le PABG contribuait à lever d'autres ressources (contributions financières et en nature).
OENG partenaires : Les trois commentaires formulés témoignent de réactions partagées sur ce point.
Groupe de discussion (Levée d'autres ressources grâce aux partenariats) : Les participants ont fait état de problèmes concernant la transparence des critères et du processus de financement (3 sur 7); dans l'ensemble, la majorité des commentaires étaient critiques envers le modèle et les activités du PABG.
Personnel d'EC : Le PABG a positivement contribué à créer ou à améliorer les partenariats avec divers acteurs/intervenants essentiels, dont les autorités provinciales et locales, les O(E)NG, les autres partenaires fédéraux, le monde des affaires et l'industrie. Quant à l'établissement et à l'amélioration des partenariats avec les Premières Nations, les avis étaient partagés (les capacités étant jugées problématiques de part et d'autre); le succès des relations avec les Premières Nations semblait une question ponctuelle.
OENG partenaires : Des partenariats avec divers acteurs ont été bonifiés ou sont en cours d'établissement. EC encourage plus particulièrement les partenariats avec les Premières Nations (et avec les OENG).
Groupe de consultation (Partenariats en général) : Plus de la moitié des commentaires indiquaient que le PABG n'a pas contribué à la création de partenariats (partenariats déjà établis dans le cadre de l'Initiative du bassin de Georgia; manque de transparence du modèle de financement); environ le tiers des commentaires révélaient que le PABG avait contribué à la formation de partenariats, mais en tant que partenaire financier silencieux (problèmes entourant la sensibilisation, spécialement vis-à-vis de l'industrie et des autres ministères fédéraux).
Personnel d'EC : Les données sont généralement accessibles, mais cet accès est inconstant (au cas par cas - les rapports de données scientifiques et technologiques semblent être rapidement disponibles pour les personnes qui en ont besoin, et intégrés au processus décisionnel). Certains répondants ont indiqué que le site Web du PABG se prêtait mal à la communication de l'information nécessaire. L'accès aux données elles- mêmes ne semble pas être un enjeu majeur (les données existent effectivement); le problème est le suivant : l'information n'est pas adéquatement communiquée aux usagers; il n'y a pas de politique sur la gestion de l'information; les données ne sont pas utilisées de façon efficace (intégration au processus décisionnel).
OENG partenaires : Les données/informations ont été partagées jusqu'à un certain point - les réponses ne permettent pas de déterminer avec certitude si les données sont intégrées et étayent la prise de décisions (un des trois commentaires indiquait que les équipes de mise en oeuvre des projets, spécialement l'équipe chargée du partage de l'information de gestion, n'ont pas porté fruit).
Groupe de discussion (Question sur l'utilisation de la science et de l'information) : Les réactions semblent partagées concernant la communication/diffusion de l'information (sensibilisation) aux usagers (un participant a indiqué qu'un projet était en cours, et que malgré cela les usagers n'avaient pas eu vent de l'existence de ce projet et n'avaient obtenu aucune information de la part de ce projet).
Personnel d'EC : Dans l'ensemble, les communautés d'intérêts participent à l'utilisation des outils décisionnels et à la planification conjointe, mais non de façon constante ou exhaustive dans l'ensemble du bassin. Quelques répondants ont mentionné que des données/outils sont encore en période de développement.
OENG partenaires : Selon un commentaire pertinent, certaines équipes de mise en oeuvre des projets ont utilisé les outils efficacement, mais la planification a causé un problème, spécialement dans les cas où EC a le rôle de chargé de projet.
Personnel d'EC : La majorité des stratégies et des plans intègrent les principes de durabilité, mais non de façon constante ou exhaustive (Croissance intelligente - Smart Growth, pratiques agricoles, District régional de Vancouver). Quelques employés ont indiqué que c'est le cas en théorie, mais pas nécessairement dans l'exécution comme telle des plans.
OENG partenaires : La durabilité étant un concept qui sous-tend de nombreux niveaux de discussion, tous ont répondu par l'affirmative, quoique deux aient précisé que leurs plans et stratégies incorporaient déjà un tel concept.
Personnel d'EC : La majorité des employés d'EC ont répondu qu'il y avait eu soit une acquisition d'aires à valeur écologique, soit une sensibilisation aux aires vulnérables. Là aussi, cela semble s'être fait de façon ponctuelle, puisque quelques répondants ont souligné que cet aspect n'était pas pertinent dans leurs projets.
OENG partenaires : Jusqu'à un certain point, mais sans attribution au PABG.
Groupe de discussion (Question sur les changements dans l'affectation du territoire et la protection des valeurs écologiques) : De nombreux exemples précis ont été fournis (aucune mention de l'attribution de résultats au PABG) - District régional de Vancouver; code des pratiques de gestion exemplaires, etc.
Personnel d'EC : La majorité des employés d'EC ont indiqué qu'il y a eu des initiatives visant à prévenir et à réduire la pollution, mais encore là, apparemment de façon ponctuelle, sans stratégie cohérente ou exhaustive pour le PABG.
OENG partenaires : Il semble y avoir certaines initiatives gouvernementales de prévention et de réduction de la pollution.
Groupe de discussion (Question sur les initiatives de prévention et de réduction de la pollution par l'industrie et les propriétaires fonciers) : Le problème de l'attribution des résultats était perçu comme un obstacle trop important pour que l'on puisse répondre adéquatement à cette question.
Personnel d'EC : Dans l'ensemble, plus de la moitié des employés d'EC ont indiqué qu'il semblait y avoir certaines améliorations, mais de façon ponctuelle (qualité de l'air et de l'eau). En outre, les processus de mesure et d'attribution sont considérés comme difficiles, spécialement quand on considère, comme l'ont souligné quelques répondants, l'absence d'indicateurs-repères au niveau général ou l'absence de suivi.
OENG partenaires : Améliorations dans certains secteurs, et pas dans d'autres; un partenaire (sur trois) a précisé que son projet se déroulait sur un site du PABG mais était entièrement financé par un autre organisme.
Représentants des Premières Nations : En général, les représentants des Premières Nations ne constataient pas d'amélioration à l'environnement naturel (plutôt une détérioration dans certains cas) - démarche non holistique (meilleure qualité de l'eau, mais les eaux usées ne sont pas mieux traitées; environnement restrictif autour des ports)
Représentants du gouvernement local : Rétroactions généralement positives, quoique des exemples précisaient été fournis (qualité de l'air, espèces envahissantes, urbanisme dans des régions particulières - pas de discussion au niveau écosystémique).
OENG partenaires : Les cinq ont mentionné que le PABG avait offert une certaine contribution (deux ont indiqué que cette contribution était mineure).
Utilisation du savoir scientifique, traditionnel ou local
Représentants des Premières Nations : Selon eux, les connaissances scientifiques représentaient la principale source de données/d'information. Dans l'ensemble, ils estimaient que le savoir traditionnel (de façon plus générale) n'était pas utilisé; un représentant a indiqué que le savoir local semblait davantage employé, en raison de sa plus grande pertinence pour les projets.
Représentants des gouvernements locaux : Le savoir scientifique est utilisé (études scientifiques, nouvelles technologies/nouveaux outils, rapports scientifiques et technologiques). Aucun représentant n'a cité l'utilisation du savoir traditionnel (un a explicitement indiqué ne pas entretenir de relation avec les Premières Nations, précisément pour la planification foncière).
OENG partenaires : Le degré d'utilisation semble propre à chaque projet; dans certains cas, le savoir scientifique est utilisé, dans d'autres, c'est plutôt le savoir traditionnel - un répondant a indiqué que le PABG ne contribuait pas à une plus grande utilisation du savoir traditionnel, cela étant perçu comme un phénomène d'envergure provinciale; un autre a souligné que le PABG y contribuait directement et fortement (par la création d'un conseil des Premières Nations, la tenue de conférences) en ce qui touche la qualité de l'air et de l'eau.
Représentants des Premières Nations : La quasi-totalité des représentants estimaient qu'il y avait eu un changement positif dans le niveau de responsabilisation des collectivités, des citoyens et de l'industrie. Deux représentants l'ont attribué en partie aux activités du PABG.
Représentants des gouvernements locaux : L'industrie semble assumer davantage la responsabilité de ses actions (il y a toutefois eu un resserrement des règlements, l'adoption de codes de pratiques, etc.). Il est difficile d'infléchir sensiblement les comportements individuels (les efforts des médias ne suffisent pas).
OENG partenaires : Il y a eu une plus grande responsabilisation des divers acteurs, mais le PABG ne semble pas y avoir contribué.
Groupe de consultation (Question sur la responsabilisation) : Les réponses ont été mitigées. La force du PABG semble résider dans le fait qu'il ne joue pas un rôle direct d'orientation des programmes (plutôt un rôle de soutien/facilitation); il fournit de l'information scientifique et des fonds aux partenaires. Son point faible, c'est qu'il ne semble pas avoir de mandat/d'orientation stratégique clair.
Représentants des Premières Nations : Même si les partenariats sont un bon mécanisme de sensibilisation aux préoccupations environnementales des Premières Nations, le degré de concertation des divers acteurs a suscité des commentaires mitigés. Un répondant a explicitement cité le PABG comme mécanisme de discussion de leurs préoccupations, tandis qu'un autre a affirmé que c'étaient les Premières Nations qui avaient créé les partenariats dans un domaine précis (le PABG offrant une aide financière comme partenaire).
Représentants des gouvernements locaux : Plus de la moitié estimaient qu'il y a eu des changements (en partie grâce à l'affectation/la levée de ressources); un individu a mentionné que les partenariats sont entravés par des facteurs politiques au niveau provincial (manque de ressources humaines et financières au ministère de l'Environnement de la Colombie-Britannique).
OENG partenaires : Le PABG a favorisé le regroupement de divers acteurs et la création de partenariats (un des quatre répondants a toutefois souligné que cet effet touchait l'ensemble de la province, et non seulement le bassin de Georgia).
Hausses de la population; milieu réceptif, circonstances, sentiment d'urgence animant l'action, volonté non seulement politique mais aussi communautaire.
Capacités ou aptitudes des partenaires à participer : Selon 12 répondants sur 19, c'était là un facteur quelque peu important à important.
Niveau de sensibilisation et de compréhension des intervenants : 10 répondants sur 19 ont indiqué que ce problème était quelque peu important.
Administration et gestion d'ensemble : Facteur quelque peu important à important, selon 14 répondants sur 19.
Continuité de l'engagement et de la participation de la haute direction : Facteur quelque peu important à important, selon 10 des 19 répondants.
| Q10 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Quelles sont les conséquences pour la croissance économique et la compétitivité du Canada? |
Ce programme peut avoir des répercussions sur la croissance économique et la compétitivité du Canada. |
|
Sommaire : Il y a un effet potentiel sur la croissance économique et la compétitivité du Canada; ce lien est encore à l'état embryonnaire et l'on ne peut encore établir de corrélation ou tirer de conclusion avec certitude. La difficulté de démontrer facilement les résultats environnementaux du PABG complique d'autant l'établissement de liens avec la performance économique.
En général, le rapport du Millenium Ecosystem Assessment révèle que les écosystèmes ont contribué à apporter de substantiels gains nets au bien-être humain et au développement économique; les collectivités dépendent des écosystèmes environnants pour leurs matières premières et obtenir des écoservices essentiels comme s'approvisionner en eau, en nourriture, en bois et en combustible. Les écosystèmes environnants sont également essentiels aux systèmes économiques, en tant que sources de matières premières employées dans la fabrication de produits, notamment l'eau, le combustible et le bois (la région du bassin de Georgia est le théâtre d'activités telles que l'agriculture, la foresterie, la pêche, la fabrication manufacturière, les loisirs et le tourisme); une dégradation des écoservices peut donc coûter cher à l'économie et à la santé publique.
Dans le cas particulier de la région visée par le PABG, il y a d'importantes conséquences économiques potentielles pour l'industrie touristique. Une diminution de la qualité de l'air pourrait se traduire par des pertes considérables (en raison d'une baisse de la visibilité), qui pourraient potentiellement atteindre 7,45 M$ et 1,32 M$ (advenant des baisses extrêmes de visibilité) pour la grande région de Vancouver et la vallée du Fraser, respectivement (l'étude d'où ces données sont tirées offre également des coûts planchers de 4,03 M$ et de 0,5 M$ les deux régions, pour des dégradations moins accentuées). Malheureusement, on ne dispose pas de données suffisantes sur la fréquence de ces événements; en dépit du fait qu'une diminution de la qualité de l'air ferait baisser les recettes touristiques, on ignore pour l'instant la vraisemblance d'une telle éventualité. Ainsi, même si l'économie pourrait se ressentir d'une dégradation régionale de la qualité de l'air, l'étendue de ces conséquences négatives (en manque à gagner) ne peut être adéquatement déterminée.
Les résultats du PABG contribueront effectivement au renforcement de l'économie; le financement du PABG (subventions et contributions) a favorisé la croissance économique. Plus précisément, on a dressé des plans d'aménagement du littoral pour diversifier et développer les économies de nombreuses collectivités côtières de la Colombie-Britannique (en y valorisant des activités comme la conchyliculture, la manutention et le stockage des billots ainsi que les loisirs publics et commerciaux). Par exemple, le Strategic Outreach Project du GBAP encourage les initiatives de remise en état des secteurs coquilliers, en vue d'y faire ré-autoriser la récolte de mollusques à des fins alimentaires, rituelles et économiques.
| Q11 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Y a-t-il eu des résultats inattendus, positifs ou négatifs, que l'on puisse attribuer au programme? Si oui, comment ont-ils été traités? |
|
|
À la lumière des entrevues effectuées dans le cadre de l'enquête et d'après les membres du groupe de discussion, le programme a généré un vaste éventail de résultats inattendus (près de deux douzaines), dont la majorité de nature positive. Pratiquement aucun des résultats imprévus (positifs ou négatifs) ne semblait avoir été officiellement pris en compte par l'une ou l'autre des interventions de gestion du programme.
Quinze des 22 employés et gestionnaires d'EC ont fait état de résultats inattendus. Du côté positif : un maillage avec d'autres ministères fédéraux et provinciaux; une utilisation accrue du Programme des dons écologiques, où les dons fonciers ouvrent droit à des dégrèvements fiscaux; la conscientisation des entreprises agricoles et laitières aux questions fauniques; une augmentation du soutien public aux initiatives d'assainissement de l'air; une meilleure sensibilisation du public aux questions de durabilité dans les Olympiques de 2010; la prise en compte de la question du dragage dans la baie Boundary; la création d'importants liens avec l'EPA des États-Unis; l'établissement de nouveaux partenariats pouvant transcender les limites du bassin de Georgia; la mise au point et le brevetage d'un échantillonneur d'eau. Du côté négatif : nécessité de bâtir un lien de confiance avec les Premières Nations, et certaine hésitation du personnel à travailler avec celles-ci après avoir pris connaissance de leurs plaintes; degré et étendue de l'insatisfaction des partenaires (MPO, partenaires, province); méfiance et fragilité de certains partenariats; nature bureaucratique du processus, basé sur d'anciens accords d'administration/de contrôle et de contribution; flottement de la structure d'EC et du financement y afférent; incapacité de soutenir pendant toute leur durée de vie les projets découlant du PABG; manque d'outils de transfert scientifique; incapacité de mesurer les progrès de l'écosystème. On a également souligné que le PABG offrait peu de solutions concrètes pour les secteurs souffrant d'une pollution plus aiguë, comme Prince George.
Trois des cinq organismes partenaires ont fait état de résultats imprévus, tous positifs. Le PABG a été le déclencheur de discussions sur l'environnement, tant chez les Salish du littoral que dans la coalition des collectivités du bassin. Une partie des leçons tirées (site Waterbucket, modèle de bilan hydrique) et des outils conçus au niveau local en Colombie-Britannique ont une applicabilité nationale; il y a aussi la pratique consistant à acquérir des terres publiques vulnérables et à les céder à bail à Parcs C.-B., qui leur donnera la protection nécessaire.
Seulement deux des sept représentants interviewés des Premières Nations ont fait état de résultats inattendus positifs. Le PABG semble avoir uni la jeunesse des Premières Nations autour du thème de l'environnement (ce qui, affirment certains, était un résultat escompté) et contribué à détecter une source de pollution (le bétail) pour les secteurs coquilliers.
Cinq des huit représentants de gouvernements locaux ont mentionné des résultats inattendus positifs. Ainsi, l'étude sur les pratiques exemplaires de gestion agricole a mis au jour les lacunes informationnelles à combler, et révélé les pratiques agricoles qui convenaient le mieux à des problèmes environnementaux précis. Le recours à de nouvelles technologies (p. ex. Google Earth) a grandement aidé à intégrer et à visionner les données sur le plan spatial. En outre, on a cité deux projets qui ont considérablement fait progresser la situation, soit le modèle de bilan hydrique et le projet de surveillance des eaux pluviales de Silver Ridge.
Le groupe de discussion a fait état d'une meilleure concertation et d'une meilleure circulation de l'information entre les collectivités de l'ensemble du bassin, en citant le code de recyclage des automobiles d'Abbotsford, maintenant adopté dans toute la province, comme un bon exemple de résultat inattendu positif.
Le sondage a révélé que seulement 4 des 17 chargés de projet ont dit avoir obtenu des résultats inattendus, tous positifs. Les voici : détermination de projets supplémentaires; mise au point d'une méthode d'identification des sources bactériennes par l'ADN; collecte de nouvelles données scientifiques; mise en commun de critères décisionnels pour la hiérarchisation des acquisitions effectuées à des fins de conservation; établissement d'un gabarit de rapport commun pour les acquisitions prioritaires et leurs motifs de sélection; création de nouveaux liens avec des groupes; renforcement des partenariats; rehaussement des capacités disponibles grâce aux partenariats.
Puisque la documentation sur les résultats du programme et sur les produits livrables des projets était difficilement accessible et incomplète, il existe peu ou pas d'information probante sur les résultats. Nous avons trouvé des informations anecdotiques sur l'atteinte fructueuse de certains résultats au niveau des projets.
Le programme ne produit pas de données rigoureuses ni systématiques sur la mesure du rendement; il est donc difficile de commenter l'attribution entre les extrants du programme et ses résultats.
Il y a un effet potentiel sur la croissance économique et la compétitivité du Canada; ce lien est encore à l'état embryonnaire et l'on ne peut encore établir de corrélation ou tirer de conclusion avec certitude. La difficulté de démontrer facilement les résultats environnementaux du PABG complique d'autant l'établissement de liens avec la performance économique.
Selon les commentaires formulés durant les entrevues, le programme engendre une grande diversité de résultats inattendus.
Cette section examine la rentabilité, c'est-à-dire la possibilité, pour le PABG, de faire preuve d'une plus grande efficacité dans l'utilisation des ressources et l'exécution de son mandat.
| Q12 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Y a-t-il de meilleurs moyens d'atteindre les résultats? A-t-on considéré d'autres programmes ayant pu permettre d'atteindre ces objectifs et d'obtenir les retombées attendues? |
D'autres méthodes de prestation ont été analysées. |
|
Le concept d'approche écosystémique et sa validité générale sont attestés dans la littérature spécialisée, mais aucun rapport précis ne relie cette notion à la situation des écosystèmes prioritaires à EC. Aucune étude financière comparative ne semble avoir été menée au sujet d'autres méthodes.
Les 22 employés et gestionnaires d'EC interrogés ont présenté des commentaires diversifiés sur la façon de mieux coordonner le programme, mais ils n'ont dit rien de particulier sur de possibles autres approches fondamentalement différentes. Voici certaines des améliorations suggérées : améliorer la coordination et la sensibilisation même à l'intérieur du Ministère; hausser la fréquence de la diffusion et de la publication de rapports internes; bonifier la capacité de traiter avec les partenaires tant à l'intérieur qu'à l'extérieur d'EC; renforcer le leadership de la haute direction; créer un site Web complet, énumérant tous les projets entrepris.
Pour ce qui est de savoir comment ils feraient pour obtenir de meilleurs résultats la prochaine fois, 6 des 17 chargés d'équipe de projet ont répondu : « Chercher plus activement de nouveaux partenariats avec les collectivités, le secteur bénévole et/ou le secteur privé »; 5 ont répondu : « Utiliser plus efficacement les ressources disponibles dans l'exécution du(des) projet(s) »; 4 ont répondu : « Appliquer une approche moins complexe à la gouvernance ou à la structure (conception) du(des) projet(s) »; et 2 ont répondu : « Mieux mobiliser (utiliser) les partenariats existants avec les collectivités, le secteur bénévole et/ou le secteur privé ».
| Q13 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Efficacité - Si le programme ou l'activité continue, comment peut-on améliorer son efficacité?8 |
Il y a des possibilités d'augmenter l'efficacité du programme ou de l'activité. |
|
Les salaires et les coûts de F et E représentent près de 70 p. cent du total des dépenses annuelles du programme, et les subventions et contributions, entre le cinquième et le quart du total.
Chez les 22 employés et gestionnaires du Ministère qui se sont prononcés sur l'efficacité du programme (10 se sont abstenus), les avis étaient partagés. Cinq estimaient qu'il était possible d'améliorer l'efficacité du programme, et sept étaient d'avis contraire. Certains des commentaires concernaient : l'affectation initiale de fonds et la possibilité d'un regroupement ultérieur; la possibilité d'allouer des ressources aux projets des partenaires et non seulement aux projets d'EC; la possibilité de consacrer plus de temps à rallier davantage l'adhésion des partenaires; la grande incertitude entourant la réaction au processus de dégroupage; le rôle révisé du bureau de coordination du PABG dans la promotion d'un tel financement des projets dégroupés; le fonctionnement inadéquat du Système d'information de gestion.
| Q14 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Le programme ou l'activité devrait-il comprendre un élément de recouvrement des coûts? Si oui, cet élément est-il compris?9 |
Fourniture de biens/services personnalisés à des clientèles particulières. Un mécanisme de recouvrement des coûts existe, s'il y a lieu. |
S.O. |
| Q15 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Optimisation des ressources - Les contribuables canadiens obtiennent-ils le maximum de valeur de leurs impôts? Le programme ou l'activité est-il rentable?10 |
Le programme montre qu'il optimise les ressources. |
|
Les données financières fournies et disponibles révèlent uniquement les allocations prévues au niveau des projets, et non les dépenses réelles. Au fil des ans, la portion non dépensée du budget global va en augmentant (voir les tableaux budgétaires ci-dessous).
Aucun rapport ni indicateur n'établit de lien entre les activités/extrants du programme et ses résultats autrement qu'au niveau du modèle logique.
Les salaires et les coûts de F et E représentent près de 70 p. cent du total des dépenses annuelles du programme, et les subventions et contributions, entre le cinquième et le quart du total. Il n'y avait pas de données indiquant sur quels types d'activités ces coûts de F et E ont été imputés.
Aucun mécanisme rigoureux de mesure du rendement n'est employé pour illustrer le niveau d'avancement des projets ou du programme.
Le système d'information de gestion servant au suivi des projets n'est pas mis à jour ni utilisé pour la prise de décisions.
Durant les trois années, on a observé une sous-utilisation constante des fonds de F et E par rapport aux montants prévus, de l'ordre de 10 p. cent en 2003-2004, de 7 p. cent en 2004-2005 et de 20 p. cent en 2005-2006.
Le gestionnaire du programme indique ceci dans son commentaire de validation : « Même si les frais salariaux et les coûts de F et E semblent effectivement élevés, l'application d'un processus plus approfondi de suivi et de rapport des données au niveau des projets aiderait également à différencier les frais généraux comme tels des coûts de F et E servant aux contrats, aux protocoles d'entente et aux autres activités directes des projets, ce qui donnerait un tableau plus réaliste et d'une allure moins excessive au sujet de la répartition des dépenses. Cette information peut être trouvée, mais ce qui est plus important c'est qu'elle n'est pas facilement accessible, et je ne recommande pas que nous retournions débusquer des données détaillées à cette étape.»
Le commentaire de validation du gestionnaire du programme confirme que : « Il n'y a pas de données systématiques de mesure du rendement.»
DANS L'ENSEMBLE : Ces constatations nous amènent à présumer que les Canadiens et les Canadiennes n'obtiennent pas une valeur optimale pour les ressources qu'ils ont investies.
Salaires |
RASE |
F et E |
Immobilisations |
G et C |
Total |
|
|---|---|---|---|---|---|---|
| Affecté | 1 390 500 | 278 100 | 1 799 100 | 66 000 | 967 300 | 4 501 000 |
| Réel | 1 360 066 | 272 013 | 1 400 991 | 66 000 | 937 931 | 4 037 001 |
| Différence | 30 434 | 6 087 | 398 109 | 0 | 29 369 | 463 999 |
| % différence (arrondi) | 2,2 % | 2,2 % | 22,1 % | 0 % | 3,0 % | 10,3 % |
Salaires |
RASE |
F et E |
Immobilisations |
G et C |
Total |
|
|---|---|---|---|---|---|---|
| Affecté | 1 561 196 | 312 239 | 1 999 734 | 0 | 1 036 329 | 4 909 498 |
| Réel | 1 434 995 | 286 999 | 1 778 793 | 0 | 1 045 075 | 4 545 862 |
| Différence | 126 201 | 25 240 | 220 941 | 0 | -8 746 | 363 636 |
| % différence (arrondi) | 8,1 % | 8,1 % | 11,0 % | 0 % | -0,8 % | 7,4 % |
Salaires |
RASE |
F et E |
Immobilisations |
G et C |
Total |
|
|---|---|---|---|---|---|---|
| Affecté | 1 667 977 | 333 595 | 2 406 982 | 160 000 | 810 125 | 5 378 679 |
| Réel | 1 434 233 | 286 847 | 1 640 435 | 103 025 | 818 226 | 4 282 766 |
| Différence | 233 744 | 46 749 | 766 547 | 56 975 | -8 101 | 1 095 914 |
| % différence (arrondi) | 14 % | 14 % | 31,8 % | 35,6 % | -1,0 % | 20,4 % |
| Q16 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Capacité financière - Avons-nous les moyens de payer pour l'ensemble des programmes ou des activités? Dans la négative, quels programmes ou activités devrait-on laisser tomber?11 |
Le programme est abordable et il n'est pas nécessaire d'en abandonner des parties. |
|
Sommaire : Il est difficile d'indiquer si le programme est d'un coût abordable.
On ne peut conclure si le programme est ou non abordable; les dépenses réelles sont inférieures aux ressources allouées pour les trois années financières. Cependant, faute de comparaison avec des programmes similaires, il est difficile de déterminer si le programme est ou non abordable, ou si les critères employés pour déterminer annuellement le niveau des ressources allouées au programme sont erronés (le financement alloué au programme est-il adéquat ou excessif; s'il est excessif, à quel point?).
Sur les neuf réponses reçues, cinq indiquaient que le financement actuel des activités du PABG était suffisant. Quelques répondants ont indiqué qu'en raison des restructurations à EC et du dégroupage du thème des écosystèmes prioritaires, il est difficile de savoir d'où vient l'argent (source du financement). Sur les 19 chargés d'équipe de projet qui ont participé au sondage, dix indiquaient qu'il faudrait apporter certains changements à la nature ou à l'orientation des activités (trois indiquaient que le programme pourrait continuer sans changements, alors qu'aucun indiquait que le programme ne pourrait continuer avec le financement actuel).
Il est difficile de déterminer si le coût du programme est abordable.
La question des autres méthodes de prestation n'a pas été explicitement abordée dans la méthodologie d'évaluation, et il n'existe pas de documentation à ce sujet.
Étant donné que nous voulions calculer le rendement d'un programme selon le montant des extrants générés par chaque dollar d'intrants et que nous n'avons pas pu faire ce calcul, nous sommes dans l'impossibilité de poser un jugement sur la rentabilité du PABG, ce qui est problématique. Il n'existait pas de liste cohérente ou complète des projets (avec leurs extrants) relevant du PABG. Nous avons également constaté une tendance croissante à la sous-utilisation des ressources disponibles, entre l'année financière 2003-2004 et celle de 2005-2006. Faute de rapports de rendement, il est impossible de démontrer le succès/l'efficacité du programme, ce qui soulève des questions sur sa rentabilité et sur l'optimisation des ressources investies.
La question du recouvrement des coûts n'est pas pertinente dans cette évaluation, car aucun client particulier ne reçoit d'avantages personnalisés.
Étant donné l'impossibilité d'établir des liens entre les activités/extrants du programme et de ses résultats et dans l'absence de rapports de rendement, nous sommes dans l'incapacité de démontrer le succès/l'efficacité du programme. Par conséquent, sa rentabilité et l'optimisation des ressources investies est mise en doute et la structure et l'approche écosystémique des Écosystèmes prioritaires reste sans appui documentaire. Toutes ces raisons nous amènent à conclure qu'il n'y a pas de preuves raisonnables pour affirmer que les Canadiens et les Canadiennes en ont pour leur argent.
Cette section porte sur la conception et la prestation du programme, c'est-à-dire la clarté des activités, des responsabilités, des produits livrables attendus et des résultats prévus du PABG. En outre, on s'est penché sur les processus liés à l'affectation des ressources, à la gestion du risque, à la surveillance et au rapport et sur la mobilisation de partenariats.
| Q17 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Le programme définit-il clairement ses réalisations et ses résultats attendus? |
Les résultats attendus et les produits livrables sont clairement communiqués et identifiés au niveau du programme et des projets. |
|
Le modèle logique du PABG pour 2004 indique clairement les résultats attendus et les produits livrables, quoique les résultats à court terme qu'on y trouve ne figurent pas tous dans le PPAR du PABG (les résultats à court terme dont les deux SEPAR sont responsables).
La majorité des employés d'EC jugent que les buts et objectifs du PABG sont trop généraux et d'un niveau trop élevé pour avoir une quelconque utilité opérationnelle; les trois partenaires signataires ont mentionné que les buts et objectifs ne sont pas aussi clairement communiqués aux partenaires, et par conséquent ne sont pas compris clairement et uniformément par tous les partenaires. En outre, la majorité des employés d'EC et les partenaires signataires étaient d'avis que la plupart des produits livrables et des jalons au niveau des projets reflétaient les buts et objectifs du PABG.
Sur les 19 chargés d'équipe de projet ayant participé au sondage, 15 indiquaient que les buts et objectifs du PABG étaient au moins relativement clairs ou partiellement compris (deux ont répondu que les buts et objectifs n'étaient pas clairs ou compris; un seul a répondu qu'ils étaient très clairs et bien compris).
Certains de ces résultats à court terme ont été dégroupés; cependant, le RPAR n'établit pas de lien clair entre les responsabilités particulières des autres PPAR/RPAR (dont ils sont responsables des résultats à court terme) pour ce qui touche les EP, et la façon dont ces responsabilités contribuent à l'obtention des résultats ultimes du RPER des EP.
On peut donc conclure que la communication pose un problème, à tout le moins parmi les chargés d'équipe de projet.
| Q18 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Les activités et les extrants du programme sont-ils conformes à son mandat et liés de façon plausible aux résultats pour ce qui est de la clarté et de l'attribution? |
|
|
Le modèle logique du PABG tire des liens entre les activités et les résultats; cependant, il ne fait pas état de la formulation et de l'application d'une approche écosystémique formelle; une telle méthodologie n'est pas établie et ne guide pas les mesures/projets découlant du PABG.
Sur les 22 employés et gestionnaires d'EC interrogés, douze ont fourni des commentaires sur l'établissement de liens, et même là ces commentaires étaient accessoires à cet enjeu.
Les entrevues menées avec cinq représentants des partenaires ont mis en évidence deux points de vue extrêmes; l'un de ces représentants a indiqué que le PABG n'a jamais efficacement répondu à ses besoins, tandis qu'un autre a déclaré que le PABG « donne un bon rendement pour l'argent investi ». Un autre encore a répondu (opinion médiane positive) que la subvention versée par le programme a permis à son organisation de créer un site Web sur le bilan hydrique et le site Web Waterbucket.
Pour un des groupes clients du programme, à savoir l'industrie, il nous a été impossible de localiser des personnes-ressources à interviewer.
Le sondage auprès des chargés d'équipe de projet a produit 19 commentaires. En ce qui concerne le degré auquel les buts et objectifs du PABG se reflétaient dans les produits livrables et les jalons au niveau des projets, 18 répondants ont indiqué que ces buts et objectifs se reflétaient quelque peu, beaucoup ou pleinement dans leurs projets. Un seul a répondu qu'ils se reflétaient faiblement, et un autre a dit qu'ils ne se reflétaient pas du tout.
| Q19 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Y a-t-il un processus décisionnel en place pour que les secteurs de la plus haute importance soient pris en compte dans la répartition des ressources (priorités)? |
La répartition des ressources est fondée sur les priorités. | |
Il ne semble pas y avoir de mécanisme décisionnel systématique pour les processus de sélection des projets et d'affectation des ressources. La question des allocations budgétaires est abordée par une autre question.
Un membre du groupe de discussion a explicitement soulevé l'absence de critères pour la sélection des projets.
| Q20 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Comment les risques ont-ils été abordés? A-t- on élaboré une stratégie de gestion des risques? Cette stratégie est-elle adéquate? |
Les risques sont abordés et gérés adéquatement. | |
Le PPAR des écosystèmes prioritaires comprend six secteurs de risque (quatre externes et deux internes).
Au chapitre de l'environnement humain et naturel, il est explicitement indiqué que : « L'étalement urbain, la hausse des demandes en transport et l'intensification des aménagements dans le secteur de l'énergie entraînent tous des risques très élevés pour l'eau, les espèces et les habitats, la qualité de l'air et la santé humaine dans la région. De mauvaises décisions d'utilisation du territoire peuvent aggraver les risques d'inondation, d'avalanche et de glissement de terrain ».
L'environnement économique, commercial et socio-politique offre une occasion favorable, à savoir « incorporer le PABG de façon bilatérale dans le CCDE, quand c'est possible ».
Cadre juridique – Il y a une obligation et une occasion favorable. Le PABG doit répondre à ses obligations concernant les engagements transfrontaliers avec l'EPA des États-Unis; en même temps, le PABG oeuvre à renforcer son partenariat avec les Premières Nations Salish du littoral.
Intervenants – Obligation/engagement des partenaires signataires officiels et de nombreux gouvernements locaux et organisations non gouvernementales à participer aux projets et initiatives du PABG.
Interne – Personnel du Ministère – Obligation « pour le personnel de satisfaire aux exigences de rapport et d'appuyer les grands objectifs de collaboration du PABG ».
Activités et actifs du monde des affaires – « Possibilité de mettre en valeur et de bonifier les communications et de mettre à contribution des intervenants clés ».
Le résumé du PPAR pour le PABG indique six risques précis, et les mesures de gestion prises à leur égard.
En raison des autres pressions subies par les partenaires, il y a un risque constant pour le partenariat, et par conséquent pour l'engagement des partenaires envers les résultats du PABG. On gère ce risque au niveau des partenariats par la fonction de gouvernance et en aidant les partenaires à constater le fruit de leurs contributions, qu'elles soient financières ou en nature. En leur démontrant les succès obtenus sur le terrain, on fait valoir leur contribution et on les incite à maintenir leur participation.
En faisant preuve de flexibilité dans nos approches d'affaires, comme l'approche écosystémique ou l'approche par bassin versant, on peut davantage faire valoir les améliorations localisées et inciter les autres partenaires à maintenir leur contribution.
Les risques pour l'environnement économique, commercial et socio-politique sont atténués grâce à la limpidité des communications au sein d'Environnement Canada et avec les partenaires du Ministère, plus particulièrement nos homologues du ministère de l'Environnement de la Colombie-Britannique.
Le travail constant et la concertation du bureau de coordination du PABG et de nos collègues d'Environnement Canada contribuent à atténuer les risques liés aux cadres juridiques, comme l'actuel accord PABG-EPA.
Les risques de changement du statut accordé aux Premières Nations, y compris les récentes décisions judiciaires, sont atténués par l'établissement constant de relations avec les Premières Nations, notamment grâce au statut de partenaire à part entière accordé aux Salish du littoral. En même temps, les risques qui pèsent sur l'équilibre du programme d'action du PABG et sur une pleine participation des Salish du littoral doivent être réduits par un solide engagement du Comité directeur et par une hausse du financement.
Les partenaires et les intervenants jouent un rôle essentiel au succès du PABG; les ressources du PABG ont antérieurement facilité ces relations. Les ressources actuellement allouées au PABG suffisent à maintenir le statut d'EC parmi les partenaires et intervenants et continuent de faciliter ces relations, sauf peut-être pour la participation des Salish du littoral.
Sur les trois cadres supérieurs interrogés, seulement un a évoqué le risque associé à l'opération du dégroupage. Le PABG devient subordonné à une évaluation de risques menée par d'autres RPAR, qui pourrait potentiellement écarter un risque valide détecté par le PABG mais non par les autres RPAR. On peut cependant contrer ce problème par de solides partenariats au niveau du Conseil et des RPAR.
Les 20 employés et gestionnaires interviewés ont formulé des commentaires divers sur la gestion du risque. Un répondant a clairement indiqué qu'il n'existait aucun mécanisme pratique de détection et de gestion des risques, et qu'il s'agissait essentiellement d'un exercice théorique; un autre a affirmé que les risques et les priorités sont gérés parallèlement au PABG. Les autres répondants ont fait état de certains risques, notamment : le risque de ne pas exercer une gestion écosystémique adéquate, l'absence de gestion collective des risques parmi les équipes de projet et le risque de ne pas gérer adéquatement les partenariats. Un des employés interviewés a soulevé la nécessité de gérer des risques locaux très ponctuels, comme les Jeux olympiques d'hiver de 2010 à Vancouver ou des risques agricoles particuliers. Enfin, un autre répondant a indiqué que le PABG consacrait davantage d'énergie aux processus qu'à l'obtention de résultats.
| Q21 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
A-t-on fait une analyse claire et convaincante des exigences en matière de capacité? Les propositions d'amélioration de la capacité sont-elles bel et bien justifiées? |
Présence et adéquation des motifs invoqués pour justifier l'affectation des fonds et des ressources. | |
Le problème des capacités est soulevé dans le résumé du projet axé sur les résultats. On peut y lire : « Nous n'avons pas les moyens de présenter nos données scientifiques et nos informations dans un contexte qui trouvera résonance auprès des décideurs », et « La capacité d'appuyer l'inclusion des Premières Nations continue de dépendre de la capacité de bâtir la relation, et constitue pour une bonne part un problème de financement ».
Sur les 19 chargés d'équipe de projet que nous avons sondés, douze étaient d'avis que le niveau des ressources disponibles (financières, humaines et matérielles) répondait plus qu'en partie aux besoins initialement prévus du (des) projet(s). Sur les sept ayant exprimé une opinion divergente, cinq estimaient que ce manque de capacité entravait partiellement ou grandement l'atteinte des buts et objectifs du PABG.
Il ne semble pas exister d'analyse documentée sur les besoins en capacités financières.
Il ne semble pas nécessaire de majorer les capacités financières, puisqu'une forte proportion du budget n'est pas dépensée (en 2005-2006, 22 p. cent de l'argent alloué n'a pas été dépensé).
| Q22 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Existe-t-il un lien clair entre la conception du programme, ses résultats et les piliers du CCDE? |
Des stratégies appropriées se trouvent dans la conception du programme. | √ |
| Q23 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Partenariat - Quelles activités ou quels programmes pourrait-on transférer en tout ou en partie au secteur privé ou bénévole?12 |
Les partenariats ont été explorés de façon formelle et systématique. |
|
La capacité d'attirer un nombre suffisant d'intervenants était gravement limitée. Il a été impossible de joindre un nombre suffisant et précis d'intervenants et d'avoir facilement accès à l'information sur les personnes-ressources qui nous permettrait de constituer les échantillonnages nécessaires à toutes les méthodologies proposées. À titre d'exemple, on n'a pu joindre aucun des partenaires industriels initialement prévus : « [...] il a été impossible de trouver une seule personne-ressource de l'industrie pour faire une entrevue ». Le plan initial, qui prévoyait la tenue d'un sondage auprès des partenaires (gouvernement local, intervenants, etc.) initialement prévus, a été jugé irréalisable en raison du petit nombre de personnes que l'on a pu joindre; sur les 50 partenaires initialement prévus (selon une estimation fournie par le programme), on n'a pu finalement repéré que treize. Les sondages ont été transformés en entrevues. Alors qu'on en avait initialement prévu former cinq groupes de discussion de 50 participants, en définitive on s'est résigné à n'en former qu'un seul de dix personnes, en raison du manque de participants identifiés. Cette situation révèle un écart marqué entre la perception initiale de la portée du programme et sa portée réelle.
Considérant la difficulté de joindre les partenaires, il semble y avoir un problème au sujet de la portée du programme. Cela s'avère particulièrement problématique en raison du fait que le programme repose sur les partenariats.
Même à l'interne, la participation d'EC avait été surestimée; alors que la liste initiale de chefs d'équipe de projet (CEP) comptait bien au-delà d'une centaine de noms, en fin de compte seulement 35 noms de CEP ont été confirmés et, de ce nombre, seulement 19 ont répondu au sondage. Il n'existait pas de liste facilement accessible des CEP.
Des treize employés et gestionnaires d'EC ayant répondu à la question pertinente, une grande majorité (10 contre 3) estimaient que les partenariats contribuaient de façon importante et significative au programme. Certains ont indiqué qu'ils croyaient que les partenariats préexistants comptaient pour beaucoup; l'intérêt et l'engagement de certains partenaires reposaient principalement sur le volet du financement et certains n'avaient pas les capacités nécessaires pour honorer leurs engagements. En outre, les trois cadres supérieurs sont d'avis que les partenaires ont fortement contribué au programme.
Les commentaires des quatre partenaires signataires étaient également partagés. Deux ont fait part d'avantages, mais les deux autres ont remis en question la valeur du programme. Un a recommandé l'apport de changements, en raison d'un vice fondamental du PABG : « [...] si l'on souhaite que les partenaires reconnaissent qu'il y a un bénéfice accru, tous doivent obtenir les ressources nécessaires (pour le projet) ».
Dix des treize employés et gestionnaires d'EC interviewés estimaient qu'on pourrait élargir la portée du programme à un plus grand nombre de partenaires. Ceux qui s'y opposaient s'inquiétaient d'un élargissement constant de la portée et soulignaient la nécessité de solidifier les partenariats existants avant d'en forger d'autres, tout en ajoutant qu'il faut allouer des fonds pour attirer d'autres OENG. Quant aux chefs d'équipe de projet, ils étaient presque également divisés sur cette question : huit croyaient qu'il serait davantage possible de mettre à contribution d'autres participants, alors que dix avaient des doutes sur l'opportunité de confier d'autres tâches supplémentaires à des intervenants non gouvernementaux.
Extrait du rapport intérimaire du consultant : « La capacité d'attirer un nombre suffisant d'intervenants était gravement limitée. Une des hypothèses clés formulée, et réaffirmée durant l'étape d'orientation pour l'évaluation, voulait qu'on puisse compter sur un nombre suffisant et précis d'intervenants et qu'on ait facilement accès à l'information sur les personnes-ressources, pour pouvoir constituer les échantillons nécessaires à toutes les méthodologies proposées. En pratique cependant, de nombreux obstacles ont entravé la formation des cohortes de répondants qui devaient représenter les gouvernements locaux, les organisations non gouvernementales et l'industrie dans la réalisation des entrevues et enquêtes et dans la consultation de groupes de discussion. En outre, le système d'information de gestion ne récolte ni ne produit d'information sur les personnes-ressources des partenaires. Il faut donc constituer ces cohortes à partir des noms suggérés par les chefs d'équipe de projet, puisqu'ils sont les seuls détenteurs de cette information. De plus, les réponses aux messages vocaux et aux courriels ont été extrêmement lentes à obtenir. Toutes ces raisons font que nous avons dû consacrer beaucoup de temps à tenter de communiquer avec les répondants et à obtenir des suggestions de noms ».
Le nombre initialement prévu de personnes-ressources consistait en des estimations basées sur des cibles confirmées par le personnel du programme. Cependant, le programme (BCBG ou chefs de programme) ne disposait pas de telles listes de noms. De plus, il n'existait pas de répertoire des projets dans lequel on aurait facilement pu glaner de l'information sur les personnes-ressources des partenaires.
Tout au long du processus, la firme-conseil a dressé une liste des personnes-ressources jointes et des tentatives successives d'entrer en contact avec les personnes-ressources.
Après le lancement de cette évaluation, le nombre initialement prévu de personnes-ressources a radicalement chuté par rapport au nombre réel. Alors qu'on prévoyait faire deux enquêtes auprès de 50 personnes, on a dû se contenter d'interviewer seulement treize personnes.
Un certain nombre de personnes suggérées comme personnes-ressources par le programme ont signalé qu'elles ne connaissaient pas suffisamment le PABG, ou encore qu'elles ne pouvaient ou ne désiraient pas répondre aux questions. Il s'agissait de représentants de la Federation of BC Naturalists et de six employés d'EC, région P et Y.
Initialement, on avait prévu faire dix entrevues téléphoniques auprès de représentants de l'industrie; cependant, aucun représentant industriel n'a pu être suggéré par le BCBG ou les chefs d'équipe de projet.
On trouvera à l'annexe 4 un exemple d'une lettre d'invitation expédiée aux répondants potentiels.
Le processus suivi pour approcher les personnes-ressources a été défini (annexe 4).
| Q24 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Le programme (ou l'activité) est-il fidèle à sa propre approche (le programme a-t-il été exécuté comme il avait être conçu)? |
Le programme, dans son exécution, est conforme à son approche ou à sa méthodologie telle qu'elle a été définie. |
|
Les commentaires sur la conception du programme ne peuvent reposer que sur la documentation disponible, comme le modèle logique. Même si le modèle semble complet, il a pour faiblesse (tout comme le programme principal sur les écosystèmes prioritaires) d'utiliser la nébuleuse expression « approche écosystémique ». En plus de son imprécision, cette expression, dans le modèle logique du PABG, est mentionnée dans le contexte d'un résultat immédiat de deuxième niveau : « Tous les plans utilisent une approche écosystémique ». Cependant, il n'existe pas de liens clairs dans le PABG entre ce résultat immédiat de deuxième niveau et un résultat de premier niveau, et on ne trouve pas d'extrants ni d'activités à l'appui.
Comme on l'explique en détail sous une question précédente (19), nous n'avons pu obtenir de documentation indiquant pourquoi les projets ont été retenus; cela ne signifie pas nécessairement que ces choix sont inadéquats, mais tout simplement que le processus et les critères de sélection n'ont pas été indiqués.
Toute la documentation disponible ne porte que sur la planification, mais non sur l'exécution comme telle des produits. Aucune information probante ne montre les liens essentiels entre ce qui était prévu et ce qui a été effectivement réalisé. Les personnes interviewées ont parlé de l'exécution de projets tels que le site Waterbucket et le bilan hydrique, mais les liens au niveau des projets ne sont pas documentés.
Les structures de gestion du comité directeur, du comité de gestion, des équipes de mise en oeuvre des projets et du bureau de coordination en documentent bien les activités et le fonctionnement, comme prévu. Le Forum consultatif des Premières Nations Salish du littoral a tenu au moins une séance, bien que ses réunions soient apparemment annuelles.
Nous avons interviewé des gestionnaires d'EC et cinq agences partenaires et sondé les chargés d'équipe de mise en oeuvre, mais aucun n'a vraiment indiqué si le programme est ou non exécuté comme il avait été conçu.
| Q25 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Est-ce que le personnel de gestion et d'exécution d'Environnement Canada, et les partenaires d'EC, soutiennent les buts et les objectifs du PABG? |
Le personnel du programme et leurs partenaires d'exécution sont en phase et à l'aise avec la conception et l'exécution du programme, et y accordent leur appui. | √ |
Les neuf employés et gestionnaires d'EC (sur dix) qui ont commenté cette section se sont résolument dits en phase avec l'alignement du programme. Celui qui s'est abstenu n'était pas certain des objectifs du PABG. Les trois partenaires signataires qui ont commenté ont également répondu par l'affirmative. Enfin, les 19 chargés d'équipe de projet ayant répondu à cette question du sondage se sont tous dits au moins « quelque peu satisfaits », une douzaine allant jusqu'à se déclarer « modérément satisfaits ».
En résumé, parmi les employés et gestionnaires d'EC et les partenaires signataires que nous avons interrogés et les chargés d'équipe de projet que nous avons sondés, la quasi- totalité sont en phase et à l'aise avec la conception et l'exécution du programme, et y accordent leur appui.
| Q26 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Existe-t-il une structure établie qui assure une gestion souple et qui soutient logiquement l'atteinte des buts et objectifs? |
Les structures de gestion du programme en soutiennent l'exécution. | |
Les structures de gestion du comité directeur, du comité de gestion, des équipes de mise en oeuvre des projets et du bureau de coordination en documentent bien les activités et le fonctionnement, comme prévu.
Nous avons interviewé 22 employés et gestionnaires d'EC, qui ont formulé quelques commentaires intéressants sur le soutien accordé au programme par la direction. Sur le plan de l'affectation des ressources, on s'interroge sur la question de savoir si l'unique affectation budgétaire statique accordée par le programme pour l'ensemble des projets favorise la stabilité, ou s'il aurait été préférable de laisser une plus grande marge de manoeuvre permettant de tenir compte de l'évolution des priorités. Il y avait également une divergence d'opinions quant à la suffisance ou à l'insuffisance du financement. Deux personnes ont souligné l'absence de cibles précises, ce qui empêche d'exercer une surveillance efficace.
Les commentaires étaient partagés sur la question de savoir si la coordination et le soutien étaient suffisants. La majorité des répondants avaient peu de commentaires à formuler à ce sujet, mais deux points de vue extrêmes étaient opposés. Certains estimaient que l'on plaçait la charrue devant les boeufs en recrutant de nouveaux partenaires avant de consolider nos assises. D'autres ont souligné que le bureau de coordination du PABG était débordé et manquait de ressources, que le programme manquait de leadership stable, que l'administration accaparait trop d'argent et qu'il n'y avait pas de répertoire des projets, alors que d'autres encore étaient d'avis que la coordination du programme ne posait pas de problème. Une personne a fait un commentaire sur la confusion entourant le Système d'information de gestion, en déplorant l'absence d'un guide simplifié qui en expliquerait le fonctionnement en deux pages. Dans les discussions entourant la présente évaluation, le bureau de coordination du programme a pleinement reconnu les lacunes de ce système.
| Q27 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Le rendement fait-il l'objet d'une surveillance et de rapports exhaustifs, qui permettent au personnel de gestion et d'exécution d'exercer leurs responsabilités et de démontrer les résultats obtenus? |
Des processus de mesure du rendement et de rapport permettent de surveiller les activités et les résultats du programme et d'en rendre compte. | |
Un cadre de mesure du rendement a été établi à contrat, mais il n'est pas mis en application.
Les 22 employés et gestionnaires interrogés ont confirmé l'absence d'un système systématique et rigoureux de mesure du rendement. Voici quelques-uns des commentaires formulés : le Système d'information de gestion (SIGes) est une bonne idée mais il est difficile à utiliser; l'exactitude et la communication des données posent des problèmes; « il n'y a pas de mécanisme uniforme de communication des données selon un format orienté sur les résultats »; il n'y a pas d'obligation de « planifier en fonction des résultats ». Ils ont également souligné que les chargés de projet hésitaient à saisir des données dans le SIGes et font le strict minimum; selon un répondant, « le SIGes est une base de données textuelles mal conçue ». D'autres personnes ont souligné l'absence de reddition de comptes entre l'affectation des ressources et la communication des résultats, et que la mesure des résultats représentait « une célébration de réussites plutôt que l'état réel de l'environnement ». Dans l'ensemble, un répondant a caractérisé le PABG comme un programme « [...] qui laisse beaucoup à désirer sur le plan de l'évaluation de ce que nous avons fait avec l'argent ». Dans ces entrevues, seuls quelques répondants se sont dits satisfaits du SIGes.
Dans le sondage effectué auprès des chargés d'équipe de projet, 17 sur 19 ont répondu qu'ils disposaient d'une information suffisante pour gérer les projets et faire rapport sur ces derniers; 15 ont indiqué que les exigences administratives étaient minimales.
Il n'y a pas de rapports annuels permettant d'attribuer adéquatement les impacts du programme; l'unique rapport annuel produit en 2005 ne couvrait qu'un petit échantillon de projets (16 sur 77) et ne donnait aucune indication sur l'état des autres projets financés par le PABG.
En résumé, le programme ne fournit pas de données rigoureuses sur son rendement; par conséquent, il est aussi difficile de formuler des commentaires sur l'établissement de liens entre les extrants du programme et ses résultats.
| Q28 Questions d'évaluation | Description de ce qui doit être observé | Cote |
|---|---|---|
Qui est responsable du programme? Est-ce que les rôles et les responsabilités de tous les groupes concernés sont clairs, définis et compris de la même façon? |
Les rôles et les responsabilités sont clairement définis dans la structure de gestion du programme. |
|
Le PABG a rédigé un document exposant une structure bien définie de gouvernance et de gestion; il existe un comité directeur, un comité de gestion, des équipes de mise en oeuvre des projets et un bureau de coordination, dont les rôles et responsabilités sont tous consignés.
En outre, le cadre de collaboration du PABG expose les mandats et les intérêts d'EC et des partenaires (Pêches et Océans Canada, Parcs Canada, ministère de la Protection des eaux, des terres et de l'air de la C.-B., ministère de l'Aménagement durable de la C.-B., Premières Nations, gouvernements locaux).
Cependant, le dégroupage du PABG effectué en 2005 dans le cadre de l'initiative de dégroupage des écosystèmes prioritaires commence à brouiller les choses. L'unique programme collectif a maintenant été segmenté parmi 10 RPAR et 22 PPAR.
Les 22 employés et gestionnaires d'EC interrogés ont des opinions très divergentes sur la clarté des rôles et des responsabilités. Nous avons tenté de déterminer le degré de clarté à différents niveaux ministériels. Parmi les personnes qui ont avancé une réponse bien définie, à l'échelon national trois croyaient que cet aspect était bien compris, et six qu'il n'était pas compris. Au niveau régional, quatre ont affirmé que la chose était claire, trois qu'elle ne l'était pas, et trois avaient une opinion mitigée. Quant à savoir si la chose était claire pour la haute direction, deux ont répondu par l'affirmative, quatre par la négative et un autre a indiqué que cela était uniquement clair à l'interne. Enfin, parmi les partenaires, trois estimaient que cela était clair, et quatre que cela ne l'était pas.
Trois des quatre partenaires signataires ont commenté cet aspect; deux l'ont jugé clair et l'autre a affirmé qu'il ne l'était certainement pas.
Sur les 19 chargés d'équipe de projet sondés, 17 estimaient que les rôles étaient quelque peu clairs, partiellement clairs ou plus clairs encore. Seulement deux doutaient de la clarté des rôles.
En résumé, on peut constater une grande diminution de la clarté des rôles. L'opération de dégroupage a certainement complexifié la participation au programme ainsi que les rôles et les responsabilités des divers acteurs. Les opinions sont manifestement très diversifiées, et seuls les chargés d'équipe de projet estiment qu'en général les rôles et responsabilités de tous les groupes en jeu dans l'exécution du programme sont clairs et compris de façon commune.
Manifestement, en raison de la structure des PPAR/RPAR exigée par le Ministère, il y a des produits livrables et des résultats documentés. Cependant certaines données de base (p. ex. inventaire des projets, extrants, responsables des équipes de projet) sont difficilement accessibles. La communication de ces renseignements aux responsables des équipes de projet est également problématique.
La logique du programme présente certaines lacunes importantes (p. ex. formulation/application d'une approche écosystémique), qui entravent une attribution plausible des résultats.
La sélection des projets et l'affectation des ressources ne semblent pas reposer sur une approche décisionnelle systématique.
Il existe de la documentation au sujet d'une stratégie de gestion du risque, mais on peut s'interroger sur l'étendue des mesures de gestion réellement prises à ce sujet. En plus, il n'y a pas de vision officielle jusqu'à maintenant, les partenaires sont difficiles à saisir et le dégroupage atténue les liens avec les projets.
Il ne semble pas y avoir d'analyse documentée des besoins en capacité financière. Il n'y a pas de besoin apparent de rehausser la capacité financière (en 2005-2006, 22 p. cent des fonds accordés n'ont pas été dépensés). Il n'existe pas de données sur les besoins en ressources humaines, mais il semble y avoir un roulement élevé du personnel au bureau du PABG.
Théoriquement, il semble exister un lien entre le programme et le positionnement stratégique du Ministère/les anciens piliers du CCDE.
En ce qui concerne les partenariats (qui est un des principes du programme), on entendait mener un sondage exhaustif auprès d'une cinquantaine de partenaires du PABG, mais on a dû annuler le sondage puisque seulement treize partenaires ont pu être localisés. Au départ, nous comptions former cinq groupes de discussion rassemblant un total de 50 participants, qui étaient des coexécutants connaissant bien le PABG, mais on n'a pu créer qu'un seul groupe de discussion de dix participants. EC n'a pu identifier aucun partenaire du secteur industriel. Considérant la difficulté de joindre les partenaires, la question de la portée du programme semble problématique et ce, d'autant plus que le programme repose sur les partenariats.
Il ne semble pas exister de documentation sur la conception intégrale du programme, documentation sur laquelle on pourrait se fonder pour évaluer la prestation du programme, et ainsi commenter l'adéquation entre la conception et la prestation.
Pour ce qui est de l'appui accordé au programme par le personnel de gestion et d'exécution d'EC, les opinions sont très diversifiées. Étonnamment, on a eu de la difficulté à trouver les responsables effectifs des équipes de projet du PABG; on n'a pu en rejoindre que 19.
Une structure de gestion est définie et utilisée. Cependant, il n'existe pas d'approche/de structure décisionnelle exhaustive et systématique qui assurerait l'établissement de liens actifs avec les gestionnaires et garantirait au programme un soutien réceptif.
Sur le plan de la reddition de comptes, il existe manifestement une structure où il y a un Conseil responsable (Conseil de la durabilité de l'environnement), un RPAR responsable et un PPAR responsable. Cependant, il ne semble pas y avoir de documentation sur la conception du programme sur laquelle on pourrait se baser pour en évaluer la prestation. Les opinions sont diversifiées, et les responsables des équipes de projet sont les seuls à estimer qu'en général, les rôles et responsabilités de tous les groupes participant à la prestation du programme sont clairs et compris par tous.
Cette section porte sur une question expressément posée par le Comité ministériel de vérification et d'évaluation lors du choix de ce projet d'évaluation.
| Q30 Questions d'évaluation |
|---|
Quelles leçons peut-on appliquer au RPAR (Question d'ordre supérieur sur l'approche)? |
Les trois cadres supérieurs interviewés ont mentionné des traits communs et les leçons qu'on pourrait tirer du PABG et appliquer ailleurs. Ils ont souligné le caractère unique de chacune des six initiatives mises sur pied à partir de critères géographiques du Ministère, en citant le PABG comme étant une de celles qui intègrent le mieux les divers éléments de l'environnement. Autres traits communs mentionnés : « la nature générale des partenariats et la satisfaction des besoins collectifs par une approche intégrée de partenariats », et « tous les efforts consacrés à la gouvernance et aux objectifs communs ». On a souligné que les autres initiatives « pouvaient tirer leçon [...] des points forts des autres programmes ».
Les « leçons tirées » des initiatives écosystémiques du Ministère ont fait l'objet de deux documents, soit un diaporama le 9 mai 2006 et un tableau sommaire le 31 mars 2006. Les deux documents résument les leçons tirées et les mesures prises. Nous n'avons pas trouvé d'autre documentation à ce sujet.
En résumé, on ne peut que constater qu'il est difficile d'unifier les leçons tirées de l'ensemble des initiatives écosystémiques, mais que les constatations et observations qui s'appliquent au PABG dans la présente évaluation nécessitent un examen approfondi, aussi bien pour chacune des six autres initiatives que pour l'ensemble du RPAR des écosystèmes prioritaires. Nous reconnaissons le caractère commun des leçons tirées, mais l'étendue du suivi à prendre demeure inconnue.
Voici, sous forme sommaire, un aperçu des constatations tirées en regard des quatre grands enjeux d'évaluation : pertinence, succès, rentabilité, conception et prestation13.
Les éléments de conception fondamentaux qui doivent traduire les principes d'une approche écosystémique en une structure de programme bien définie présentent des lacunes (ils sont insuffisamment définis aussi bien dans les documents touchant les Écosystèmes prioritaires (EP) que dans ceux concernant le PABG.
Des informations probantes révèlent que le gouvernement a un rôle à jouer dans ce secteur de programme.
Les documents et les entrevues font état d'un rôle valide pour le gouvernement fédéral.
Le programme sert l'intérêt public; cependant, la portée du programme ne semble pas avoir fait l'objet d'un examen exhaustif et analytique, même si le partenariat est un des principes du programme. Le processus de dégroupage embrouille la clarté et les rôles d'un programme tel que le PABG, qui est une initiative écosystémique visant un secteur particulier.
Théoriquement, il y a un lien qui associe ce programme avec les résultats ministériels depuis le niveau des PPAR jusqu'à celui du RPAR, ainsi qu'avec les résultats et les priorités du Conseil.
Tant la documentation examinée que les entrevues effectuées auprès du personnel révèlent qu'il existe un lien entre ce programme et les grands résultats stratégiques du Ministère.
Les opinions sont très partagées sur l'opportunité de remanier le programme pour l'harmoniser avec les priorités ministérielles.
Faute de documentation pertinente, nous ne pouvons, à ce stade-ci, commenter outre mesure la nécessité de l'existence de tous les PPAR compris dans un RPAR.
En ce qui concerne la question de savoir si le programme fait double emploi, le personnel d'EC répond unanimement par la négative. Nous n'avons pas eu recours délibérément à d'autres méthodes pour examiner cet aspect.
Puisque la documentation sur les résultats du programme et sur les produits livrables des projets était difficilement accessible et incomplète, il existe peu, voire pas du tout, d'information probante sur les résultats. Nous avons trouvé des informations anecdotiques sur l'atteinte fructueuse de certains résultats au niveau des projets.
Le programme ne produit pas de données rigoureuses ni systématiques sur la mesure du rendement; il est donc difficile de commenter l'attribution entre les extrants du programme et ses résultats.
Il y a un effet potentiel sur la croissance économique et la compétitivité du Canada; ce lien est encore à l'état embryonnaire et l'on ne peut encore établir de corrélation ou tirer de conclusion avec certitude. La difficulté de démontrer facilement les résultats environnementaux du PABG complique d'autant l'établissement de liens avec la performance économique.
Selon les commentaires formulés durant les entrevues, le programme engendre une grande diversité de résultats inattendus.
La question des autres méthodes de prestation n'a pas été explicitement abordée dans la méthodologie d'évaluation, et il n'existe pas de documentation à ce sujet.
Étant donné que nous voulions calculer le rendement d'un programme selon le montant des extrants générés par chaque dollar d'intrants et que nous n'avons pas pu faire ce calcul, nous sommes dans l'impossibilité de poser un jugement sur la rentabilité du PABG, ce qui est problématique. Il n'existait pas de liste cohérente ou complète des projets (avec leurs extrants) relevant du PABG. Nous avons également constaté une tendance croissante à la sous-utilisation des ressources disponibles, entre l'année financière 2003-2004 et celle de 2005-2006. Faute de rapports de rendement, il est impossible de démontrer le succès/l'efficacité du programme, ce qui soulève des questions sur sa rentabilité et sur l'optimisation des ressources investies.
La question du recouvrement des coûts n'est pas pertinente dans cette évaluation, car aucun client particulier ne reçoit d'avantages personnalisés
Étant donné l'impossibilité d'établir des liens entre les activités/extrants du programme et de ses résultats et dans l'absence de rapports de rendement, nous sommes dans l'incapacité de démontrer le succès/l'efficacité du programme. Par conséquent, sa rentabilité et l'optimisation des ressources investies est mise en doute et la structure et l'approche écosystémique des Écosystèmes prioritaires reste sans appui documentaire. Toutes ces raisons nous amènent à conclure qu'il n'y a pas de preuves raisonnables pour affirmer que les Canadiens et les Canadiennes en ont pour leur argent.
Il est difficile d'indiquer si le programme est d'un coût abordable.
Manifestement, en raison de la structure des PPAR/RPAR exigée par le Ministère, il y a des produits livrables et des résultats documentés. Cependant certaines données de base (p. ex. inventaire des projets, extrants, responsables des équipes de projet) sont difficilement accessibles. La communication de ces renseignements aux responsables des équipes de projet est également problématique.
La logique du programme présente certaines lacunes importantes (p. ex. formulation/application d'une approche écosystémique), qui entravent une attribution plausible des résultats.
La sélection des projets et l'affectation des ressources ne semblent pas reposer sur une approche décisionnelle systématique.
Il existe de la documentation au sujet d'une stratégie de gestion du risque, mais on peut s'interroger sur l'étendue des mesures de gestion réellement prises à ce sujet. En plus, il n'y a pas de vision officielle jusqu'à maintenant, les partenaires sont difficiles à saisir et le dégroupage atténue les liens avec les projets.
Il ne semble pas y avoir d'analyse documentée des besoins en capacité financière. Il n'y a pas de besoin apparent de rehausser la capacité financière (en 2005-2006, 22 p. cent des fonds accordés n'ont pas été dépensés). Il n'existe pas de données sur les besoins en ressources humaines, mais il semble y avoir un roulement élevé du personnel au bureau du PABG.
Théoriquement, il semble exister un lien entre le programme et le positionnement stratégique du Ministère/les anciens piliers du CCDE.
En ce qui concerne les partenariats (qui est un des principes du programme), on entendait mener un sondage exhaustif auprès d'une cinquantaine de partenaires du PABG, mais on a dû annuler le sondage puisque seulement treize partenaires ont pu être localisés. Au départ, nous comptions former cinq groupes de discussion rassemblant un total de 50 participants, qui étaient des coexécutants connaissant bien le PABG, mais on n'a pu créer qu'un seul groupe de discussion de dix participants. EC n'a pu identifier aucun partenaire du secteur industriel. Considérant la difficulté de joindre les partenaires, la question de la portée du programme semble problématique et ce, d'autant plus que le programme repose sur les partenariats.
Il ne semble pas exister de documentation sur la conception intégrale du programme, documentation sur laquelle on pourrait se fonder pour évaluer la prestation du programme, et ainsi commenter l'adéquation entre la conception et la prestation.
Pour ce qui est de l'appui accordé au programme par le personnel de gestion et d'exécution d'EC, les opinions sont très diversifiées. Étonnamment, on a eu de la difficulté à trouver les responsables effectifs des équipes de projet du PABG; on n'a pu en rejoindre que 19.
Une structure de gestion est définie et utilisée. Cependant, il n'existe pas d'approche/de structure décisionnelle exhaustive et systématique qui assurerait l'établissement de liens actifs avec les gestionnaires et garantirait au programme un soutien réceptif.
Sur le plan de la reddition de comptes, il existe manifestement une structure où il y a un Conseil responsable (Conseil de la durabilité de l'environnement), un RPAR responsable et un PPAR responsable. Cependant, il ne semble pas y avoir de documentation sur la conception du programme sur laquelle on pourrait se baser pour en évaluer la prestation. Les opinions sont diversifiées, et les responsables des équipes de projet sont les seuls à estimer qu'en général, les rôles et responsabilités de tous les groupes participant à la prestation du programme sont clairs et compris par tous.
3 NOTE: La cote représente un jugement indiquant que les résultats ne posent pas un problème (√)
ou un petit problème (
) ou un gros problème (
). Une liste sommaire de ces cotes est présentée
à l'annexe 3.
4 Question d'examen des dépenses.
5 Question d'examen des dépenses.
6 Question d'examen des dépenses.
7 Question d'examen des dépenses.
8 Question d'examen des dépenses.
9 Question d'examen des dépenses.
10 Question d'examen des dépenses.
11 Question d'examen des dépenses.
12 Question d'examen des dépenses
13 Pour une liste des cotes obtenues par question, voir l'annexe 4.
