Évaluation du Programme des urgences environnementales

Tableau 2 : Résultats escomptés du Programme des urgences environnementales⁷

Les cinq domaines d'activité du Programme des urgences environnementales (prévention, préparation, intervention, rétablissement et recherche-développement) étaient compris dans l'évaluation.

L’évaluation traite de la période allant de juillet 2004 (l’élaboration du Cadre de gestion et de responsabilisation axé sur les résultats (CGRR)) et décembre 2006.

3.2 Approche et méthodologie utilisées pour mener l’évaluation

Le Comité ministériel de vérification et d'évaluation (CMVE) d'Environnement Canada a approuvé un cadre d'évaluation, constitué de questions assorties d'indicateurs et de sources de données connexes. L’évaluation a appliqué rigoureusement les 30 questions d'évaluation énumérées dans le cadre d'évaluation générique et a examiné les quatre enjeux exposés ci-dessus.

Le cadre repose sur un modèle logique classique, supposant que l'on utilise des ressources (Intrants) et que l'on fait des choses (Activités) qui résultent en des produits (Extrants) qui s'adressent à certains intervenants (Portée) afin d'atteindre certains résultats, des aboutissements souhaités ou des conditions modifiées (Résultats). Subséquemment, on a formulé une série de questions d'évaluation génériques (avec les indicateurs et les sources de données qui s'y rattachent) pouvant s'appliquer à tout programme, que l'on a examinées en regard du modèle logique établi. Les questions portent sur les quatre grands axes d'évaluation : pertinence, succès, rentabilité, conception et prestation. Ces questions génériques (qui comprennent les sept questions de l'examen sur les dépenses) étaient regroupées à quelques questions d'évaluation supplémentaires concernant expressément le programme évalué, lesquelles questions étaient déterminées dans le cadre de l'exécution de cette évaluation. Le cadre d'évaluation figure à l'annexe 1.

L’évaluation a recouru à des sources de données multiples, au moyen des techniques exposées dans le tableau suivant.

Tableau 3 : Approches méthodologiques

Un nombre de limitations s’est présentées au cours de l’évaluation. Les limitations suivantes représentent les plus notables :

1. Certaines approches méthodologiques planifiées ne pouvaient pas être entreprises. En particulier, en considérant l’utilisation des cas d’études, compte tenu des difficultés en ce qui concerne l’intégration des Constatations de cas d’études dans l’évaluation qui ne sont pas généralisables, ainsi que des ressources limitées disponibles, le comite d’évaluation a conclu qu’il aurait plus de valeur de fixer les ressources d’évaluation sur d’autres méthodologies.
2. Le volume des données recueillies au cours de la phase d’exécution de l’évaluation (provenant de 99 entrevues ainsi qu’une revue de plus de 200 documents) a retardé la livraison du rapport.

4.0 CONSTATATIONS

Vous trouverez ci-après, sous quatre catégories distinctes, les résultats de cette évaluation, soit : la pertinence, le succès, la rentabilité ainsi que la conception et exécution, et ce, à partir des questions préparées pour le cadre d'évaluation général présenté à l'annexe 1. Pour chacun des résultats présentés, le nombre d'entrevues et de sondages menés auprès des répondants ainsi que le nombre de documents de recherche pour chacun de ces résultats sont fournis.

4.1 Pertinence

La présente section traite de la pertinence du programme, c’est-à-dire son niveau d’harmonisation avec les directives et les priorités d’Environnement Canada de même que la transparence de l’intention du programme. On aborde en outre la justification soutenue de celui-ci compte tenu des besoins sectoriels dominants et des chevauchements possibles avec d'autres initiatives.

Constatations :

• La plupart des intervenants estiment que le Programme des urgences environnementales sert l'intérêt public.
• Les répondants au sondage des entités réglementées estiment que le programme sert l'intérêt public de façon modérée.

Constatations :

• Les intervenants d’Environnement Canada ont établi un lien clair entre le Programme des urgences environnementales et les résultats stratégiques ministériels ainsi que les résultats ministériels

Constatations :

• Le gouvernement a un rôle clair à jouer pour faire face aux urgences environnementales; bien que les différents ordres y jouent des rôles différents, et ce, en fonction des pouvoirs qui leur sont conférés.


• Cet éventail de rôles couvre l’expertise technique, la coordination et la facilitation des interventions aux urgences et l’arrimage des différents intervenants ayant chacun des intérêts propres.

Constatations :

• La plupart des partenaires externes non fédéraux ainsi que les gestionnaires supérieurs d'Environnement Canada jugent que le gouvernement fédéral a un rôle à jouer en matière d'urgences environnementales; les opinions ne sont toutefois pas totalement arrêtées sur la nature de ce rôle (le rôle d'Environnement Canada varient entre les régions).


• Différents ordres de gouvernement jouent divers rôles en matière d’urgences environnementales; si le gouvernement fédéral doit rajuster son rôle dans ce domaine, les provinces et les territoires seront les candidats tout désignés pour assumer des responsabilités accrues

4.1.1 Sommaire des points pour la pertinence

1. Il existe des preuves tangibles que le Programme sert un intérêt public.



2. Le programme cadre bien avec les résultats stratégiques d’Environnement Canada.



3. On a également la preuve que le gouvernement a un rôle clair à jouer. Cependant, le rôle exact que doit jouer chaque ordre de gouvernement en matière de gestion des urgences environnementale est moins clair.

4.2 Succès

La présente section se penche sur les résultats du programme, prévus ou non, dans les secteurs connexes au mandat de celui-ci.

Constatations :

• Tant pour les entrevues que pour les sondages dans les entités réglementées, les opinions révèlent une plus grande sensibilisation à l'égard des risques liés aux urgences environnementales et aux mesures d'atténuation appropriées.


• Les résultats des entrevues menées auprès des partenaires externes non fédéraux et les entités réglementées sont partagés. Certains estiment que la sensibilisation a beaucoup augmenté, tandis que d’autres jugent que l'augmentation de la sensibilisation des intervenants n'est que partielle ou marginale.


• Le sondage auprès des entités réglementées a révélé que plus de la moitié des employés de celles-ci estiment qu’il y a des répercussions modérées sur la sensibilisation des intervenants ciblés quant à la nature et à l’étendue des risques des urgences environnementales, et aux mesures d’atténuation appropriées. Près de trente p. cent des répondants jugent que les répercussions ont été négligeables ou nulles pour l'un et l'autre élément.


• On manque de preuves pour déterminer de façon quantitative s’il y a bel et bien eu une augmentation de la sensibilisation et on ne possède aucun renseignement ni aucune statistique permettant de mesurer ces éléments pour une durée donnée.

Constatations :

• De nombreux intervenants croient qu'il y a des stratégies claires et concises de conformité et d'exécution, bien que les entités réglementées estiment, en général, qu’il est difficile d’avoir une opinion sur l’atteinte du résultat. Certains répondants partenaires internes ont souligné le manque d’évaluation de la mise en œuvre des plans sur les urgences environnementales ainsi que le besoin de mieux clarifier les rôles et responsabilités en matière de conformité et d’exécution au sein même du Ministère. Certains répondants des entités réglementées ont souligné la nécessité de clarifier la conformité au Règlement sur les urgences environnementales (délai, documentation nécessaire, application de stratégies de conformité et d'exécution).


• Vingt-cinq p. cent des répondants au sondage n'ont pu émettre d'opinion quant à l'impact du programme sur l’application de stratégies claires de conformité et d’exécution pour la Loi sur les pêches. La majorité de ceux qui ont exprimé une opinion affirment que l’impact du programme sur l’application est modéré; le reste des répondants se divisent en deux groupes : ceux qui estiment que le programme a eu un impact important et ceux qui estiment que son impact a été mineur. En ce qui concerne le Règlement sur les urgences environnementales, quatre-vingt-cinq p. cent croient que le programme a eu à tout le moins un impact moyen.


• Un examen des documents a révélé que les stratégies claires et concises de conformité et d’exécution de l’article 200 de la Loi canadienne sur la protection de l'environnement(1999)[LCPE (1999)] (y compris les lignes directrices et les outils) existent bel et bien, tout comme des dispositions sur la protection des habitats et la prévention de la pollution dans la Loi sur les pêches.

Constatations :

• La plupart des intervenants estiment que le programme est en mesure d’offrir des conseils et un soutien scientifiques et techniques opportuns et pertinents, conformes aux responsabilités mandatées. Citons notamment les équipes régionales des interventions d’urgence et l’ensemble du personnel qualifié. Par contre, on a également souligné le problème des ressources limitées et de son incidence sur la capacité du programme à maintenir son niveau de préparation actuel, le besoin de mettre à jour la documentation sur le programme et les inégalités en matière de préparation d'une région à l'autre.


• Dans l’ensemble, les preuves donnent à penser qu’Environnement Canada dispose des stratégies, plans (réserves) et activités (p. ex. la formation et les exercices) nécessaires pour offrir des conseils et un soutien scientifiques et techniques opportuns et pertinents, conformes aux responsabilités mandatées. Cependant, certains de ses documents doivent être mis à jour pour refléter les récents changements apportés à l'infrastructure d'intervention en cas d'urgence environnementale et une évaluation exhaustive des besoins du programme en matière de capacités doit être effectuée afin que les stratégies et les activités puissent être appliquées, comme prévu.

Constatations :

• Bien que les entrevues mettent en lumière certaines améliorations quant à la sensibilisation et à l’état de préparation du client pour gérer les urgences environnementales, les répondants mettent en doute la relation entre les activités du programme et leurs résultats.


• Plusieurs membres des entités réglementées doutent que les activités du programme améliorent leur degré de préparation.


• Les résultats du sondage auprès des entités réglementées ont toutefois démontré que la moitié des répondants estiment qu’il y a eu un impact moyen sur la sensibilisation du client et sur sa préparation pour gérer les urgences environnementales. À peine trente p. cent des répondants croient que l'impact du programme sur la sensibilisation et l'état de préparation du client a été important.


• On manque de preuves pour déterminer de façon quantitative s’il y a bel et bien eu une augmentation de la sensibilisation et de l’état de préparation et on ne possède aucun renseignement ni aucune statistique permettant de mesurer ces éléments pour une durée donnée.

Constatations :

• Les intervenants jugent que ce résultat a été atteint avec succès; en fait, ils considèrent ce volet comme un point fort du programme. La seule préoccupation soulevée est un chevauchement éventuel de la coordination avec les unités d'intervention provinciales.


• Citons entre autres conseils et soutien scientifiques et techniques réussis le fonctionnement des équipes régionales des interventions d’urgence et l’ensemble du personnel qualifié.


• Depuis 1992, la Division des sciences et de la technologie d’urgence a fourni une aide importante aux interventions, dont des données, de la modélisation, des analyses et des contre-mesures à 300 reprises (46 incidents depuis 2004).


• Ce volet a encore besoin qu’on améliore les mesures et les méthodes de préparation des rapports sur la performance dans le but de bien contrôler ce résultat.

Constatations :

• Durant la période de juillet 2004 à décembre 2006, il n'y a eu aucune situation où Environnement Canada a dirigé une intervention.


• Les intervenants ont eu de la difficulté à répondre à cette question, car ils comprennent mal en quoi consiste le rôle de premier plan et quand le Ministère devrait jouer ce rôle.


• Tous les intervenants ont souligné qu’Environnement Canada est rarement le principal responsable dans les situations d’urgence; le Ministère ne prendra la direction que si l’urgence survient sur des terres fédérales ou en cas d'événement transfrontalier ou de déversement mystérieux (quand on n’est pas en mesure de déterminer la source du déversement).


• En fait, c'est le responsable ou le pollueur qui est responsable en situation d'urgence et, par la suite, l'ordre de gouvernement (municipal, provincial ou fédéral) qui a les pouvoirs législatifs vis-à-vis l'urgence environnementale en question. Si le gouvernement fédéral doit intervenir, un ministère peut être nommé pour assurer la responsabilité et coordonner l’effort concerté du gouvernement fédéral
  (p. ex. la Garde côtière canadienne, Transports Canada).


• Dans la majorité des incidents, le ministère assure le soutien, y compris les conseils et le soutien scientifiques et techniques, les prévisions, avis, alertes et mises en garde d'accidents météorologiques.

Constatations :

• Le sondage et les entrevues concordent sur le fait qu'il y a eu augmentation de la sensibilisation quant au besoin d'évaluer et de corriger les dommages découlant d’urgences environnementales.


• Tous les partenaires externes au programme croient sans exception qu'il y a augmentation de la sensibilisation en matière d'évaluation et de correction de dommages découlant d’urgences environnementales. On estime que les outils de formation, les ateliers ainsi que le fonds pour dommages à l'environnement sont des outils qui ont favorisé cette augmentation.


• Le sondage mené auprès des entités réglementées a révélé que plus de la moitié des répondants jugeaient qu’il y avait eu un impact moyen sur la sensibilisation des intervenants ciblés à l’importance d’évaluer et de corriger les dommages découlant d’urgences environnementales, tandis que 30 p. 100 d’entre eux estimaient que l’impact était plus important.


• On manque toutefois de preuves pour déterminer s’il y a bel et bien eu une augmentation de la sensibilisation et on ne possède aucun renseignement ni aucune statistique permettant de mesurer ces éléments pour une durée donnée.

Constatations :

• Les principaux informateurs, tout comme les preuves tirées de la recherche, donnent à penser qu’il y a eu amélioration et élaboration des connaissances, des technologies, des outils et des méthodes scientifiques touchant les étapes de prévention, de préparation, d’intervention et de rétablissement en cas d’urgence environnementale


• Les entrevues avec des agents de programme donnent à penser qu’il y a eu amélioration; les partenaires internes citent des cas fructueux tout en soulignant qu’il y a encore place à l’amélioration, notamment en élargissement le spectre de la recherche et du développement (p. ex. pour la décontamination des installations, la recherche d'autres solutions au nettoyage des déversements d'hydrocarbures et la mise en œuvre de politiques découlant des résultats de la recherche et du développement).


• La majorité des deux groupes d’intervenants externes, ainsi que les entités réglementées, conviennent qu’Environnement Canada a fait des progrès dans ce domaine; on cite même le ministère comme chef de file mondial en recherche sur les déversements.


• L’opinion des organismes de recherche et de développement est très fortement favorable quant au succès du programme dans le développement de la recherche et du développement sur les urgences environnementales.


• En outre, la documentation sur les processus de recherche et de développement ainsi que les produits qui en découlent sont disponibles.

Constatations :

• De nombreux intervenants estiment que la mise en œuvre par le client de plans de prévention, d’intervention et de rétablissement en cas d’urgence a été réussie dans une certaine mesure, bien que certains partenaires internes et externes (non fédéraux) jugent difficile d’émettre des commentaires sur le succès d’un tel résultat en général. Les répondants partenaires fédéraux ont une opinion positive; on a toutefois souligné qu’il s’agissait d’un processus continu. Le personnel lié au programme a ajouté que des avis ont été envoyés à l’égard des plans sur les urgences environnementales pour qu’on se conforme au règlement. On a cependant fait état de difficultés à évaluer le programme et à mesurer le degré et l'étendue de sa réussite, en raison notamment du manque de données et de collectes de données; les intervenants ont mentionné d'autres facteurs causaux d’un tel résultat comme les conventions et ententes internationales, la Loi sur la marine marchande du Canada et la pression du public.


• Au total, quatre-vingt-quinze p. cent des personnes interrogées estiment que leurs installations ont mis en œuvre les plans sur les urgences environnementales de façon à tout le moins modérée (soixante-neuf p. cent des répondants jugent qu’ils l’ont été de façon poussée). Près de quatre-vingt-dix p. cent des répondants croient que le programme a eu à tout le moins un impact moyen sur la mise en œuvre par le client de plans et pratiques de prévention, d’intervention et de rétablissement en cas d’urgence environnementale.


• L’examen d’un document a révélé qu’en 2004-2005, on a évalué que 2 100 installations devaient faire l’objet d’une préparation et d’une mise en œuvre des plans sur les urgences environnementales.


• On note un manque de renseignements ou de statistiques fournissant des mesures formelles de tels éléments pour une période donnée. Des exercices ont permis de cerner certaines données quant à l'évolution du travail vers l'atteinte du résultat. Le programme a également entrepris l’examen des plans sur les urgences environnementales et des visites sur place (exemples fournis par les régions de l’Atlantique et de l’Ontario).

Constatations :

• Pour les besoins de cette question, la notion d’investissement couvre également les activités et les ressources.


• Les exécutants du programme d’Environnement Canada qu’on a interrogés estiment que les investissements en recherche et en développement de la part du gouvernement et de l’industrie dans les mesures de prévention et de préparation aux urgences environnementales ont diminué.


• La plupart des autres intervenants interrogés ne pouvaient émettre leur opinion sur le niveau d'investissement à savoir s'il a augmenté ou diminué bien qu'on croyait en général qu'il avait augmenté.


• Les sommes reçues des partenariats/coentreprises ont été les suivantes :
  2 681 552 $ en 2002-2003; 2 112 609 $ en 2003-2004; 2 768 776 $ en 2004-2005;
  3 569 442 $ en 2005-2006.


• Un examen de la documentation démontre qu'il n'y a pas suffisamment de preuves pour déterminer si l'industrie et le gouvernement ont augmenté leur investissement dans les mesures de prévention et de préparation vis-à-vis les urgences environnementales, car on ne dispose d’aucun renseignement ni d’aucune statistique qui fournit une mesure officielle d'un tel changement.

Constatations :

• À peine plus de la moitié des répondants estiment qu’il y a eu baisse de la fréquence, de la gravité et des conséquences des urgences environnementales touchant le Canada. Cependant, les intervenants ont souligné la difficulté de quantifier et de mesurer la fréquence, la gravité et les conséquences actuelles des urgences environnementales en raison entre autres du manque de données et d’intégrité de ces dernières.


• On a également fait état d'incertitudes entourant l'attribution; le rapport entre les activités du programme et son résultat n'est pas clair.


• Voici certaines des raisons évoquées à l’effet qu’il est difficile de mesurer ce résultat : changements de critères en matière de compte rendu, lois, exécution renforcée, application de mesures préventives et sensibilisation accrue aux cons équences des urgences environnementales.


• Le sondage auprès des entités réglementées a révélé qu'à peine plus de la moitié des répondants une donné une note moyenne à l'impact du programme sur la réduction de la fréquence, de la gravité et des conséquences des urgences environnementales.


• Les statistiques issues de documents sur les tendances ne répondent pas aux mêmes paramètres et ne peuvent donc être comparées d'aucune façon pour une période donnée : pour la période de 1974 à 1995, on a dénombré les déversements; par contre, pour celle de 2000 à aujourd’hui, on n’a consigné que les déversements moyens et importants.


• On manque de preuves pour affirmer qu’il y a eu réduction de la fréquence, de la gravité et des conséquences des urgences environnementales.

Constatations :

• Les intervenants interrogés estiment que le programme a développé un degré élevé de sensibilisation au Règlement sur les urgences environnementales, grâce aux consultations, au travail avec des associations, à la participation à des conférences et à des ateliers ainsi qu’à des articles dans les magazines, revues et journaux.


• Un sondage auprès des entités réglementées a révélé que quatre-vingt-dix p. cent des répondants estiment que la sensibilisation au Règlement sur les urgences environnementales a été à tout le moins modérément influencée par le programme (cinquante-trois p. cent jugent qu'elle l'a été énormément et trente-sept p. cent, qu'elle l'a été dans une moyenne mesure).


• On manque toutefois de preuves pour déterminer s’il y a eu augmentation de la sensibilisation grâce au programme, et on ne dispose d’aucun renseignement ni d’aucune statistique indiquant un niveau précis de sensibilisation au Règlement sur les urgences environnementales.

Constatations :

• Les intervenants interrogés estiment que le programme a sensibilisé les entités réglementées grâce à de nombreux ateliers d'un bout à l'autre du pays; on a toutefois souligné qu'il y a encore du travail à faire à cet égard.


• Les partenaires internes ont eu de la difficulté à répondre à cette question.


• L’examen des documents a révélé qu’en 2003-2004, bien qu'on évaluait au départ à 1 500 le nombre d'installations soumises au Règlement sur les urgences environnementales, on en a finalement dénombré près de 3 000; on a par ailleurs déterminé que 1 900 d'entre elles avaient besoin de plans sur les urgences environnementales. En 2004-2005, ce nombre d'installations a dépassé les 3 000, 2 100 d'entre elles ayant besoin de plans sur les urgences environnementales. On note les mêmes chiffres pour l'exercice 2005-2006.


• Bien que le degré de sensibilisation des entités réglementées à Environnement Canada ait augmenté, on manque de preuves pour déterminer si cette hausse a été adéquate, car les renseignements disponibles sont incomplets

Constatations :

• Dans les rares entrevues, la plupart des répondants des entités réglementées estiment que la collectivité ne connaissait pas le Règlement sur les urgences environnementales ni les risques de ces dernières. Toutefois, le sens du terme « collectivité » porte à confusion; s’agit il de personnes, d’associations, du grand public ou des personnes qui habitent à proximité d’une installation réglementée?


• Un sondage mené auprès des entités réglementées a révélé qu’environ la moitié des répondants estimaient que le programme avait un impact moyen sur la sensibilisation des collectivités avoisinantes au Règlement sur les urgences environnementales et aux risques de ces dernières, que vingt-cinq p. cent d'entre eux jugeaient qu'il avait un impact important et que le dernier quart croyait qu'il avait un impact minime ou nul.


• On manque toutefois de preuves pour déterminer s’il y a eu augmentation de la sensibilisation des collectivités grâce au programme, et on ne dispose d’aucun renseignement ni d’aucune statistique indiquant un niveau précis de sensibilisation au Règlement sur les urgences environnementales et aux risques de ces dernières

Constatations :

• Il y a une certaine confusion sur le sens du terme « collectivité »; s’agit-il de personnes, d’associations, du grand public ou des personnes qui vivent à proximité d’une installation réglementée? Il est donc difficile d’évaluer le degré de réussite de ce résultat.


• Dans les rares entrevues, la vaste majorité des entités réglementées ont affirmé que la participation communautaire à la préparation des plans d’urgence environnementale avait augmenté au sein des groupes d’intervenants.


• Le sondage a produit des résultats similaires alors qu'environ la moitié des répondants jugeaient que le programme avait eu un impact moyen sur la préparation des plans d’urgence environnementale; les autres répondants sont partagés entre une opinion plus ou moins favorable.


• On manque toutefois de preuves pour déterminer s’il y a bel et bien eu une augmentation de la participation communautaire à la préparation des plans d’urgence environnementale et on ne dispose d’aucun renseignement ni d’aucune statistique fournissant une mesure officielle sur un tel rapport.

Constatations :

• Les entrevues avec le personnel et la direction d’Environnement Canada ainsi qu’avec les entités réglementées révèlent qu’il y a augmentation de la sensibilisation et des partenariats et relations entre le gouvernement et l’industrie.


• Le sondage révèle des résultats similaires, mais néanmoins plus tempérés, alors que plus de la moitié des répondants estiment que le programme a eu un impact moyen sur les partenariats et relations entre le gouvernement et l'industrie.


• On manque toutefois de preuves pour déterminer s’il y a bel et bien eu augmentation des relations et des partenariats entre le gouvernement et l'industrie et on ne dispose d’aucun renseignement ni d’aucune statistique fournissant une mesure officielle sur un tel rapport.

Constatations :

• Il est impératif de se conformer à un règlement; en fait, le sondage d’auto-évaluation révèle un degré élevé de conformité à l’échelle nationale (soixante-neuf p. cent des installations ont mis en œuvre les plans sur les urgences environnementales dans une large part, tandis que trente-six p. cent d'entre elles les ont mis en œuvre dans une moyenne mesure). Seulement trois p. cent des installations, soit 11 sur 250, ont peu ou pas appliqué les plans sur les urgences environnementales.


• On a signalé certains écarts dans le degré de mise en œuvre, selon les régions, la taille de l’installation et le secteur. Alors que soixante-neuf p. cent des installations ont appliqué leurs plans d'urgence environnementale dans une large part, au niveau géographique, le Québec accuse un certain retard (quarante-huit p. cent), tout comme les plus petites installations (cinquante-neuf p. cent) et celles du secteur de l'agriculture (soixante p. cent).


• On a également souligné l’ampleur de l’effort requis pour mettre en œuvre le Règlement sur les urgences environnementales; près des deux tiers des répondants ont affirmé que cela était moyennement difficile.


• On manque de preuves pour déterminer s’il y a eu augmentation de la conformité au Règlement sur les urgences environnementales et on ne dispose d’aucun renseignement ni d’aucune statistique à cet égard.

Constatations :

• Les preuves donnent à penser qu’il y a à la fois une meilleure gestion des urgences environnementales et une substitution de substances moins dangereuses. On note toutefois des points de vue divergents sur l'étendue de ces démarches.


• La majorité des agents de programme interrogés croient qu'on a atteint ce résultat; leurs preuves sont cependant anecdotiques ou signalées de façon non officielle. On reconnaît en outre la difficulté de mesurer le degré de changement.


• La majorité des représentants des entités réglementées interrogés ont mentionné que le programme avait aidé à améliorer la gestion des urgences environnementales dans les installations et les collectivités. On cite entre autres exemples la substitution des substances et la réduction des stocks.
• La grande majorité des entités réglementées interrogées estiment aussi que le programme a aidé à améliorer la gestion.


• Le sondage auprès des entités réglementées a révélé un degré d'impact encore plus élevé. Plus de quatre-vingt-cinq p. cent des répondants estiment qu'il y a eu amélioration dans la gestion des urgences environnementales; à peine quinze p. cent d'entre eux jugent que l'impact a été minime ou nul. En ce qui concerne les substitutions de substances, un représentant sur deux a signalé que le Règlement sur les urgences environnementales n’a pas favorisé de substitution de substances dans leur installation respective. Les installations d’hydrocarbures, de gaz, de produits chimiques et de pétrole sont plus enclines que les installations agricoles à affirmer que le Règlement sur les urgences environnementales n’a pas entraîné une substitution de toutes les substances.


• On manque toutefois de preuves pour déterminer s’il y a bel et bien eu amélioration de la gestion et substitution de substances et on ne dispose d’aucun renseignement ni d’aucune statistique fournissant une mesure officielle sur de tels changements.

Constatations :

• Les entrevues avec les principaux informateurs révèlent trois influences externes négatives sur le programme : manque d'expertise, de ressources et de capacités provinciales; dépendance du programme envers les renseignements fournis par les provinces et la collaboration avec celles-ci; degré d'attention politique accordée aux urgences environnementales.
  
  • Capacité des provinces : bien que les provinces soient officiellement les agents principaux vis-à-vis les urgences environnementales particulières, certaines d’entre elles disposent de moins de ressources, ce qui se traduit par une incapacité à se préparer aux urgences et à y faire face le temps venu; c'est pourquoi le programme doit parfois intervenir et offrir des services.
  
  
  • Collaboration avec les provinces : manque d'engagement de la part des provinces risquant de nuire à la capacité du programme d'intervention en cas d'urgences environnementales.
  
  
  • Attention politique : les incidents internationaux ayant fait l’objet d’une importante couverture médiatique, par exemple l’incident de Bhopal et les attaques du 11 septembre, ont attiré l'attention du public sur les urgences environnementales, accru le profil du programme, accéléré l'élaboration de règlements et stimulé l'acceptation et la préparation des institutions de la part du gouvernement et des intervenants de l’industrie. Cependant, quand l’attention du public n’y est pas, l’attention politique bat de l’aile et le programme perd en visibilité.
  
  
• Les entrevues ont également permis de cerner plusieurs influences internes négatives sur le programme, à savoir le niveau de ressources financières consacrées au programme ainsi les répercussions de ces dernières sur l’embauche de même que la transformation d’Environnement Canada en matière de responsabilisation et de prises de décisions.




 

Constatations :

• Une majorité de principaux informateurs parmi les groupes d’intervenants ont été incapables de distinguer des résultats inattendus du programme. Un répondant a soulevé un exemple de résultat négatif. Le Règlement sur les urgences environnementales oblige les industries à réduire les quantités de matières dangereuses qu'elles conservent sur place; cela augmente donc le transport de ces dernières.
• On a souligné plusieurs résultats positifs inattendus. Notamment, les renseignements et les outils découlant du programme sont utilisés par d’autres organismes pour des besoins autres que ceux déterminés au départ (p. ex., la technologie géophysique — la cartographie côtière — sert à la recherche de débris d'aéronefs). Par ailleurs, certains principaux informateurs attribuent au programme la création de partenariats et le partage de renseignements à la hausse entre les intervenants, ainsi que le financement du fonds pour dommages à l’environnement grâce au succès des poursuites judiciaires dans la lutte aux crimes contre l'environnement. L’impartition de certaines activités du programme a également permis au secteur privé de développer des compétences en matière d’urgence environnementale.
• Les informateurs clés n'ont pas répondu aux questions sur le traitement réservé aux résultats inattendus.

4.2.1 Sommaire des points pour la pertinence

1. Dans l’ensemble, le programme atteint la majorité des résultats prévus dans le Programme des urgences environnementales en matière. Cependant, le succès du programme est assombri par plusieurs éléments liés à sa conception et à sa prestation. Plus particulièrement, quand on n’atteint pas les résultats, on ne sait pas avec certitude quelles activités contribuent réellement à atteindre les résultats prévus, étant donné l’absence d’un système de mesure de performance adéquat. Le manque de conception et de prestation est également illustré dans le modèle logique. On note également un manque d'intégration dans le modèle logique du programme et dans la stratégie de mesure de performance (particulièrement dans les éléments de préparation et de prévention du programme) des activités et des résultats dans le cadre de la Stratégie sur la sécurité publique et l’antiterrorisme. On remarque en outre une lacune au niveau de l’impact global sur la sensibilisation du client et au niveau de l'évaluation globale de la capacité du programme.

4.3 Rentabilité

La présente section s'intéresse à la rentabilité, notamment à l’optimisation des ressources, au recouvrement des coûts et à d'autres méthodes d’exécution. Elle se veut un guide pour déterminer comment rehausser l’efficacité du programme dans l’utilisation de ses ressources et la poursuite de son mandat.

Constatations :

• De l’avis de tous les répondants à chacune des entrevues et au sondage, le programme optimise ses ressources. Ce qui varie est le degré d’optimisation perçue des ressources par chacun des principaux informateurs. Les répondants aux entrevues n’ont pu émettre de commentaire sur le rapport entre l'argent dépensé et les résultats obtenus.
• Le personnel et les gestionnaires supérieurs d’Environnement Canada croient que le programme était rentable (grâce à des partenariats à grande échelle et à une optimisation du financement), tout en soulignant qu’il y a encore place à l’amélioration. Par exemple, on pourrait apporter des changements dans la dispersion de l’optimisation des ressources entre les régions, et on souligne la nécessité d’un plus grand nombre d’interventions sur le terrain au niveau des conseils et de l’aide en matière d’environnement. Les répondants ont également souligné la valeur du programme pour le public, bien qu’ils ne sachent pas avec certitude comment quantifier cette valeur en termes financiers.
• La majorité des partenaires externes estiment que le programme optimise ses ressources et protège un bien public essentiel. Les partenaires non fédéraux croient que le programme, indispensable pour la société, optimise grandement ses ressources. On a soulevé des questions à savoir si le financement était suffisant.
• Dans les rares entrevues, les entités réglementées estiment que le programme optimise ses ressources, mais soulignent la difficulté d’évaluer la prévention des incidents. Le sondage auprès des entités réglementées a révélé une réaction modérée vis-à-vis l’optimisation des ressources, la meilleure performance accordée aux plus petites entreprises.
• L’information financière indique une plus grande corrélation entre les dépenses prévues et réelles, soit un écart inférieur à deux p. cent depuis l'exercice 2003-2004,
• Cependant, les données sont insuffisantes pour évaluer le degré d’atteinte des résultats, ce qui empêche d’effectuer une analyse complète de rentabilité afin d’évaluer le degré d’optimisation des ressources.

Constatations :

• Les répondants sont unanimes à l'effet que le programme devrait comporter un élément de recouvrement des coûts.
• Ce qui est moins clair par contre est la nature même de cet élément de recouvrement des coûts :
  • Les partenaires internes estiment que le modèle du pollueur-payeur est une option, mais croient que les déversements accidentels ne devraient entraîner aucuns frais pour le pollueur⁹ ; ils estiment également qu’en certaines occasions, on aurait pu utiliser le fonds pour dommages à l’environnement afin de compenser les coûts liés au déversement¹⁰;
  • Les partenaires externes sont divisés sur le recouvrement des coûts; ils estiment que le pollueur devrait payer, mais ne veulent pas diminuer le niveau de service offert; cela dépend du service et des circonstances (p. ex., ils ne factureraient pas les services de prévention.).
• Les opinions sont également partagées à savoir si un mécanisme de recouvrement des coûts est déjà en place et si une politique et un barème tarifaire de recouvrement des coûts existent :
  • Les exécutants du programme ont souligné qu’on appliquait le recouvrement des coûts, mais que cela dépendait du secteur d'activités (recherche et développement, conseils et publications de science et technologie, etc.);
  • Les gestionnaires du programme ont expliqué que le recouvrement des coûts se fait grâce au fonds sur les déversements en milieu marin (bien que la démarche ne soit pas systématique);
  • Les entités réglementées ont expliqué qu'en général, ils ne défraient pas les services fournis par le programme; et
  • Un examen de documents a permis de distinguer un élément de recouvrement des coûts pour :
    • La Division de science et de technologie d’urgence (DSTU) au sujet du travail effectué pour le compte d'autres ministères en sciences et technologie de même d’en recherche et développement. Les sommes recouvrées au cours des dernières années varient entre
      440 000 $ et 940 000 $ annuellement;
    • Un document de 1997 explique qu’Environnement Canada recouvre ses coûts d’intervention en vertu des lois (p. ex. la Loi sur la marine marchande du Canada et la Loi canadienne sur la protection de l'environnement (1999) [LCPE (1999)]

Constatations :

• Il y a un sentiment général chez toutes les personnes interrogées à l’effet que le programme utilise des méthodes de prestation efficaces.
• On a évalué certaines solutions de rechange dans le but d’améliorer l’uniformisation et de résoudre les problèmes de capacité entre les régions (p. ex. l'avis à guichet unique). Citons d’autres suggestions, bien qu’il ne s’agisse pas de mécanismes de prestation de remplacement : ententes plus formelles avec mesures de performance, meilleurs plans pour les équipes régionales d'intervention d'urgence, collecte et stockage de données améliorées, meilleure communication et approche davantage coordonnée.
• Toutefois, d’après d’autres résultats tels que le manque de clarté quant aux rôles et responsabilités du gouvernement fédéral vis-à-vis les autres niveaux gouvernementaux et le secteur privé, on a peu de preuves à l'effet qu'on se soit intéressé à d'autres méthodes d’exécution

4.3.1 Sommaire des points pour la rentabilité

1. Les principaux informateurs ont souligné la valeur du programme. En l'absence de compte rendu global sur les mesures de performance, on n'a pu déterminer objectivement un degré de rentabilité et d'optimisation des ressources.
2. Les répondants sont unanimes à l'effet que le programme devrait comporter un élément de recouvrement des coûts. Par contre, on ne peut affirmer avec précision quels éléments du programme devraient faire l'objet d'un recouvrement des coûts par les fonds publics, et dans quelle mesure.
3. On a évalué d'autres méthodes d’exécution, sans toutefois les examiner en profondeur.

4.4 Conception et exécution

La présente section se penche sur la conception et l’exécution, soit la clarté des activités, les responsabilités, les réalisations attendues et les résultats prévus du programme. On s’est également intéressé aux processus afférents à l’allocation des ressources, à la gestion des risques, à la surveillance et à la mise en valeur des partenariats ainsi qu'à la présentation de rapports sur ces derniers.

Constatations :

a) Résultats sur le Programme des urgences environnementales

• Dans l’ensemble, les exécutants et gestionnaires supérieurs du programme croient que les extrants et les résultats actuels du programme sont raisonnables et réalisables, mais qu'il conviendrait d'en revoir les résultats et déterminer si des ajustements s'avèrent nécessaires.
• Les exécutants du programme ont souligné que la mesure de rendement des résultats du programme est encore dans sa phase de développement; actuellement, seule la base de données sur les déversements est fonctionnelle; on y a d'ailleurs relevé un problème dans les cohérences des mesures sur les déversements. Les principaux informateurs ont exprimé leurs plus grandes préoccupations à l’égard de la collecte et de l’intégrité des données, et de la mesure et de la déclaration du rendement.
• L'examen de documents a révélé que les résultats du programme s'expriment dans le Cadre de gestion et de responsabilisation axé sur les résultats et le plan de projets axés sur les résultats 2004. Toutefois, les résultats varient énormément entre ces deux documents.

b) Résultats sur la sécurité publique et l’antiterrorisme

• Les résultats et les extrants pour le Programme des urgences environnementale en matière de sécurité publique et d’antiterrorisme sont expliqués dans le rapport annuel sur la sécurité publique et l’antiterrorisme (sept résultats figurent dans le rapport pour l’exercice 2003-2004; on en a ajouté deux pour l’exercice 2005-2006).
• Il n’y a pas de mesure de rendement structurée de ces résultats. Les données sont tirées des rapports annuel sur la sécurité publique et l’antiterrorisme présentés au Conseil du Trésor; mais ces rapports ne fournissement cependant que des renseignements sur les activités et les résultats.

Constatations :

Le programme est-il conçu conformément à son mandat? Les activités et les extrants du programme sont-ils conformes à son mandat et liés de façon plausible aux résultats, sur le plan de la clarté et de l’attribution?

• Les documents sur le programme et les entrevues avec les principaux informateurs démontrent que les activités sont conformes au mandat du programme. Cependant, bien que le modèle logique décrive les résultats, extrants et activités du programme, le rapport entre ses activités et ses résultats demeure flou. Le format du modèle logique ne permet pas d'établir des liens entre des activités et résultats particuliers et des résultats immédiats. On ne sait pas avec certitude si les extrants visent un ou plusieurs résultats répertoriés et si tous les extrants répertoriés sont réalisés grâce à une ou plusieurs activités. La logique sous-jacente au programme n’est donc pas suffisamment claire dans le modèle logique.

Le programme est-il fidèle à sa propre approche (le programme a-t-il été exécuté comme il avait été conçu)?

• Une majorité d’exécutants et gestionnaires supérieurs du programme interrogés ont indiqué qu’il y a un rapport étroit entre les lois et la mise en œuvre du programme; cependant, les problèmes d’uniformité entre les régions et les ressources disponibles freinent sa mise en œuvre efficace. Certains répondants estiment qu’il faudrait consacrer plus d'efforts à la recherche et au développement, aux activités de prévention et aux extrants.

A-t-on mis en place des processus décisionnels assurant que la répartition des ressources tient compte des secteurs les plus importants (priorités)?

• La documentation a révélé qu’il est important d’établir des priorités et que dans une certaine mesure, on dispose d’une description des processus décisionnels.
• Les gestionnaires du programme ont mentionné que les décisions d’établissement des priorités se prennent au niveau du Conseil. Les décisions relatives à l’allocation des ressources se prennent quant à elles au niveau du regroupement de projets axés sur les résultats, tandis que les plans de travail plus axés sur le programme sont préparés par le plan de projets axés sur les résultats.

Y a-t-il une structure établie qui assure une gestion souple et qui soutient logiquement l’atteinte des buts et des objectifs? Qui rend des comptes au sujet du programme? Est-ce que les rôles et responsabilités de tous les groupes concernés sont clairs?

• On n’a pu trouver dans les documents sur le programme de définition claire des rôles et responsabilités actuelles de tous les groupes confrontés aux urgences environnementales. Divers documents tels que le plan d’urgence national font référence aux rôles et responsabilités des intervenants, mais ils ne sont pas à jour et omettent certains éléments clés comme le rôle de la sécurité publique et le rôle accru conféré à Environnement Canada en vertu de la stratégie en matière de sécurité publique et antiterrorisme de 2001.
• Une majorité de principaux informateurs au sein des groupes d'intervenants considèrent que les rôles et responsabilités sont généralement clairs et bien compris, bien que certains partenaires d'Environnement Canada aient donné des réponses partagées. Plus particulièrement, les répondants chargés de la promotion de l’application et de la conformité ont souligné que les rôles et responsabilités ne sont pas clairement définis et compris. La plupart d’entre eux ont mentionné que les rôles et responsabilités en matière de planification et de gestion des urgences environnementales, d’application et de promotion de la conformité envers la Loi canadienne sur la protection de l'environnement (1999)
  [LCPE (1999)] et la Loi sur les pêches ne sont pas formellement documentés au niveau du programme, mais sont plutôt déterminés de façon ponctuelle ou en fonction des relations existantes.

Constatations :

• D’après un examen de la documentation, les risques ont été pris en compte par le programme au niveau du regroupement de projets axés sur les résultats et du plan de projets axés sur les résultats. Au niveau du regroupement de projets axés sur les résultats, on a distingué deux risques importants (afférents au programme) avec leurs stratégies d’atténuation :
  • Transition vers une approche de gestion sectorielle des risques grâce à des tables de durabilité sectorielle;
  • La façon dont le transfert des capacités en GI/TI des programmes à une fonction intégrée de gestion centralisée au Ministère en influera sur la capacité du personnel des GI/TI à bien saisir les besoins du programme afin d'élaborer des outils Web adaptés.
• Au niveau du plan de projets axés sur les résultats, une analyse des risques ciblant deux risques externes (intervenants; politique et réputation) et trois risques internes (capacité des ressources humaines; ressources financières; activités économiques et biens), avec leur vraisemblance et leurs impacts. Aucune stratégie d’atténuation n’existe contre ces risques.
• Dans l’ensemble, on n’a trouvé aucune documentation qui démontre la mise en œuvre de stratégies d'atténuation des risques.
• Les répondants aux entrevues ont fait état d’un risque important relatif à la perte de capacité en ressources humaines avec les nombreux départs pour la retraite. On a déterminé deux stratégies d'atténuation de ce risque : un plan de formation national et le programme Get Big Quick¹¹.

Constatations :

• Certaines données ont été produites par le programme afin d’évaluer les exigences en matière de capacité. En premier lieu, le programme a comparé les dépenses prévues et les dépenses réelles pour les salaires; cela a permis de relever une lacune dans les ressources financières. En deuxième lieu, on a calculé le nombre d’employés (en années-personnes) qui participent à la mise en œuvre du programme à la Direction générale de l’évaluation environnementale, au Centre des sciences et technologies environnementales et dans chaque région. En dernier lieu, on a évalué le nombre de personnes requises pour offrir les divers volets du programme dans chacune des régions et à l’administration centrale.
• Les documents disponibles ont permis de comparer les ressources humaines disponibles aux ressources humaines nécessaires dans les régions et à l'administration centrale, révélant qu'on a besoin de
  50,9 personnes (ETP) dans les régions et qu'on n'en compte que 37,8, et qu'on a besoin de 20,3 ETP à l'administration centrale et qu'il n'y en a que 16. Toutefois, on n’a aucune preuve documentaire que ces lacunes en terme de capacité ont été signalées, ni que ces données ont servi à répartir les ressources au sein du programme ou de faire la demande de ressources additionnelles.
• Selon les principaux informateurs, les exigences en matière de capacité du programme posent de plus en plus problème avec le départ à la retraite de personnel clé. La documentation démontre que les budgets alloués au programme ont été minés par des compressions budgétaires à la grandeur du ministère et que les dépenses excèdent les budgets. Les renseignements généraux montrent également un vieillissement de la main d’œuvre et la nécessité de planifier la relève.

Constatations :

• Les répondants aux entrevues estiment généralement que le programme cadre avec la stratégie de Sécurité publique et d’antiterrorisme; on a cependant exprimé certaines préoccupations à l’effet que l’environnement ne constitue pas une priorité de ce programme (vis-à-vis la sécurité).
• Un des trois buts d'Environnement Canada dans le cadre de la stratégie de Sécurité publique et d’antiterrorisme est très semblable au mandat du programme : mettre en œuvre des mesures favorisant la prévention, la préparation, l'intervention et le rétablissement en matière d'urgences environnementales dans les installations responsables de la gestion des substances et des produits dangereux qui, déversés accidentellement ou volontairement, risquent de compromettre la santé humaine et la qualité de l'environnement.
• Les activités inscrites au programme depuis 2003-2004 indiquent un arrimage avec l’intention du financement de la sécurité publique et de l’antiterrorisme. Plus particulièrement, le programme a contribué à l'élaboration du Règlement sur les urgences environnementales et à la tenue d'un inventaire des substances qu'on juge toxiques en vertu de la Loi canadienne sur la protection de l'environnement (1999) [LCPE (1999)].

Constatations :

• Les documents disponibles ne fournissent qu’une répartition des dépenses par activité entre les exercices 2003-2004 et 2005-2006. On ne dispose d'aucune documentation faisant le lien entre ces activités et les résultats particuliers du programme. On a des indicateurs de rendement que pour les extrants; on ne dispose d’aucune donnée sur le rendement. Il est donc difficile d’évaluer les répercussions du financement en matière de sécurité publique et d’antiterrorisme.
• Il est impossible de déterminer si les résultats ont été atteints, car les trois rapports annuels ciblent les activités et les extrants et on ne dispose d'aucune autre documentation.
• On a répété les activités clés dans les rapports annuels des exercices 2004-2005 et 2005-2006, outre les activités additionnelles de 2005-2006, y compris le début des consultations officielles de l'industrie, des organismes environnementaux non gouvernementaux, des territoires et d'autres intervenants clés en juillet 2005 ainsi qu’une proposition pour l’ajout de 34 substances dans le Règlement sur les urgences environnementales.
• Même si les exécutants du programme ont été en mesure d’identifier les activités financées par des ressources en matière de sécurité publique et d’antiterrorisme additionnelles, on ne dispose d’aucune donnée de rendement étayant les résultats concrets de ces activités. On n’a donc aucune preuve objective permettant d’établir si les ressources en matière de sécurité publique et d’antiterrorisme ont été correctement utilisées en fonction des résultats prévus.

Constatations :

• Les exécutants du programme interrogés sont tout à fait d'accord à l'effet que le programme a réussi à établir des partenariats et des ressources externes par effet de levier en matière de recherche et développement.
• Une preuve anecdotique démontre que les taux d’effet de levier sur les ressources externes varient de 0,5/1 jusqu'à 5/1 (financement externe/interne); cependant, il n'existe aucun rapport sur ces taux. Les répondants de la haute direction conviennent qu'ils ne comprennent pas parfaitement comment l'effet de levier cadre dans l'élément de recherche et développement du programme. L’examen de documents a révélé que les taux réels d’effet de levier sont en baisse depuis l’exercice 2002-2003 : 3,92 en 2002-2003; 3,64 en 2003-2004; 3,31 en 2004-2005; et 2,51 en 2005-2006.
• Le volet recherche du programme est déterminé par cinq comités internationaux qui regroupent entre autres des représentants du gouvernement fédéral, des régions et d’organismes gouvernementaux fédéraux des États-Unis. Par voie de conférences et d’autres moyens, le développement du volet recherche se fait également grâce à des scientifiques, à d'autres ministères et à des organismes étrangers.
• Les documents sur le programme montrent que plusieurs projets conjoints ont été mis en œuvre à chacun des exercices et que les frais de certains d’entre eux ont été partagés entre les partenaires en fonction d’accords dûment signés précisant l’étendu et les résultats attendus de ceux-ci, les responsabilités de l’entrepreneur et du ministère ainsi que leur participation en argent et en nature respective.

Constatations :

• Les utilisateurs prévus des extrants de recherche et de développement sont l’industrie, d’autres ministères, le monde universitaire ainsi que d’autres organismes fédéraux. La preuve de l'utilisation des extrants de recherche du programme existe; il s'agit du nombre de demandes d'accès au site Web dont la majorité concerne le catalogue des propriétés des hydrocarbures élaboré par l'élément de recherche et de développement du programme. L’utilisation d’autres extrants de recherche tels que les articles scientifiques et les comptes rendus de conférences n’est pas documentée ni surveillée par le programme.
• Dans l’ensemble, plus de la moitié des partenaires interrogés d'Environnement Canada, d'autres ministères fédéraux, de gouvernements autres que fédéral, d’entités réglementées et d'organismes de recherche et de développement affirment avoir utilisé les extrants de recherche et de développement du programme. Les groupes d'intervenants qui utilisent le plus les extrants de recherche et de développement du programme sont les partenaires externes non fédéraux et les organismes externes de recherche et de développement non gouvernementaux.
• Les répondants aux entrevues ont indiqué qu'ils ont utilisé des extrants tels que les systèmes de modélisation et de cartographie, les rapports sur les méthodes de décontamination, les renseignements issus d'ateliers, d’exercices et de conférences, des données sur les systèmes météorologiques ainsi que les publications et les manuels sur les interventions en cas de déversement. Les extrants servent pour des renseignements généraux comme pour des secteurs plus particuliers tels que la préparation, l'intervention et le rétablissement.
• On ne possède toutefois pas suffisamment de preuves documentées pour déterminer avec exactitude l’utilisation des extrants (réalisations attendues) de recherche et de développement par les intervenants

Constatations :

a) Complémentarité en regard du double emploi du programme et d'autres programmes

• Ces programmes étroitement liés afférents aux urgences environnementales sont lancés par les gouvernements provinciaux, territoriaux et municipaux, par Sécurité publique Canada, la Garde côtière canadienne, Pêches et océans Canada, Transports Canada et l'Initiative de recherche et de technologie CBRNE.
• Des mécanismes ont été mis en œuvre dans le but de réduire le risque de double emploi et assurer la complémentarité du travail des divers organismes engagés dans la gestion des urgences environnementales et l'intervention au Canada. Il s’agit entre entres de plans d’urgence régionaux qui expliquent les rôles et responsabilités de chaque intervenant, de réunions de planification de l'équipe régionale d'intervention d'urgence, de protocoles d'ententes et d’accords entre les divers intervenants ainsi que de formations et d’exercices conjoints. Il convient de souligner cependant qu’on n’a trouvé aucun document qui délimite clairement les responsabilités de chacun des secteurs, d’où le risque de chevauchement.
• Dans l’ensemble, une majorité d'informateurs principaux considèrent qu'il n'y a pas de double emploi entre le programme et les autres programmes. On perçoit le travail du programme, des provinces et des territoires comme particulièrement complémentaire car, bien que leurs buts soient les mêmes, leurs lignes de compétences sont différentes.
• Les cas de double emploi, de chevauchement ou de délimitation imprécise relevés par une minorité de répondants touchent aux interventions d’Environnement Canada et de Pêches et océans Canada en cas de déversements d’hydrocarbures; le Service météorologique du Canada et le Centre des sciences et technologies environnementales qui font tous deux de la modélisation; certains programmes de gestion responsable destinés aux industries chimiques semblables au programme; le Québec et l'Ontario qui envisagent d'effectuer des travaux de planification d'urgence semblables au programme au sein de leurs collectivités; la protection des espèces sauvages qui relève à la fois des compétences fédérales et provinciales; et des responsabilités mal définies pour le nettoyage des rivages en Colombie-Britannique ainsi que les cas de niveau d'intervention au Québec.

b) Répercussions d'une disparition du programme

• Selon les répondants aux entrevues, l’impact probable sur le système de gestion des urgences du Canada, advenant qu'on mette un terme au programme, serait l’apparition de lacunes par exemple dans les capacités de recherche, l'expertise scientifique et technique, la coordination et la surveillance centralisée, la crédibilité des renseignements, l'efficacité des interventions en cas d'urgence, la communication avec le public sur les matières dangereuses et la capacité de résoudre les problèmes interprovinciaux et internationaux. À cause de telles lacunes, l'industrie risquerait de ne pas savoir comment prévenir les incidents et comprendrait difficilement toute l'étendue des activités liées aux urgences environnementales; la rapidité d'intervention en cas d'urgences environnementales diminuerait et s'ensuivraient de plus importants dommages collatéraux.
• À savoir qui pourrait combler ces lacunes, on a obtenu plusieurs réponses différentes. La plupart des répondants estiment que le travail du programme ne pourrait être pris en charge par un autre ordre de gouvernement; certains croient que les provinces et les municipalités pourraient combler certaines de ces lacunes, mais qu’elles auraient besoin pour ce faire de financement additionnel; quelques répondants estiment que l’industrie pourrait jouer ce rôle.

Constatations :

Dans quelle mesure le programme a-t-il réussi à collaborer avec les partenaires?

• La majorité des répondants interrogés, internes et externes, croient que le programme a réussi à bien collaborer avec les partenaires. Les partenaires fédéraux interrogés ont souligné que le programme avait connu du succès et soixante-dix-huit p. cent des entités sondées ont indiqué que le programme répondait moyennement (cinquante-trois p. cent) à leurs besoins et énormément (vingt-cinq p. cent) à leurs besoins. La conclusion finale est que le programme s’en tire passablement bien, mais que certains secteurs (précisés plus bas) pourraient être améliorés.

Quelles améliorations pourrait-on apporter au programme en ce qui concerne le travail avec les partenaires?

•  Les répondants ont mentionné trois améliorations:
  • Clarifier et communiquer les rôles et responsabilités.
  • Améliorer les communications avec les intervenants (c.-à-d. augmenter le nombre de séances de formation et d'ateliers).
  • Augmenter le niveau des ressources (financières et en personnel); cela permettrait au programme d'assumer un meilleur leadership.

Dans quelle mesure pourrait-on confier certaines activités du programme à des partenaires?

• Les réponses des principaux informateurs sont partagées sur la possibilité de confier certaines activités, en tout ou en partie, au secteur privé et aux organismes bénévoles ou aux provinces et municipalités. D’aucuns ont évoqué certaines options de transfert de responsabilités à l'industrie ou aux provinces, tout en soulignant les défis que cela engendrerait, à savoir que les municipalités et les provinces ne disposent pas des ressources et de l'expertise nécessaires pour y faire face. Certains ont souligné des cas de chevauchement de responsabilités entre l’industrie, les provinces (l’Ontario, le Québec et la Colombie-Britannique ayant toutes trois des programmes en cas d’urgences environnementales) et Environnement Canada; d’autres ont affirmé que le programme devrait demeurer sous la responsabilité du gouvernement fédéral.

4.4.1 Sommaire des points pour la conception et l’exécution

1. Dans certains cas, quand on n’atteint pas les résultats, étant donné l’absence d’un système de mesure de performance adéquat, on ne sait pas avec certitude quelles activités contribuent réellement à atteindre les résultats prévus. Le manque de conception et de prestation est également illustré dans le modèle logique. On note également un manque d'intégration dans le modèle logique du programme et dans la stratégie de mesure de performance (particulièrement dans les éléments de préparation et de prévention du programme) des activités et des résultats dans le cadre de la stratégie sur la Sécurité publique et l’antiterrorisme.
2. Il manque une stratégie exhaustive et solide d'information pour garantir l'impact prévu sur la sensibilisation du client; plus expressément, dans les secteurs de la prévention et de la préparation.
3. La sensibilisation du programme à savoir qui est la collectivité réglementée n’est pas complète (quels secteurs de l’industrie doit-on inclure, avec les renseignements pertinents les concernant?).
4. Une procédure exhaustive pour vérifier les renseignements fournis par le client sur sa conformité au Règlement sur les urgences environnementales n’était pas mis en œuvre.
5. Bien que certains éléments de l’analyse de la capacité aient été entrepris, il manque une évaluation complète et exhaustive de la capacité du programme.
6. Le système de mesure du rendement du programme est inapproprié. Plus particulièrement, on note des problèmes de collecte et d’intégrité des données; il manque des indicateurs des extrants en matière de sécurité publique et d’antiterrorisme; et les données de référence sur les résultats sont trop limitées.
7. Les rôles et responsabilités, au sein d'Environnement Canada, à l'égard de la promotion et de l'application de la conformité ne sont pas clairs, bien compris ou correctement documentés.

4.5 Points de vue des intervenants concernés sur les forces, les faiblesses et les secteurs à améliorer

La présente section offre un survol des différents points de vue des intervenants concernés sur les forces, les faibles et les secteurs à améliorer, d’après les entrevues avec les intervenants clés et le sondage auprès des entités réglementées.

Constatations :

• En général, les entrevues ont fait ressortir cinq principales forces du programme, dont deux dominantes. Environ quatre répondants sur dix ont mentionné que le personnel (en ce qui a trait à l'expertise et au soutien en science et technologie) constitue un atout important; un quart des répondants ont souligné la capacité d’établir des partenariats. Les trois autres caractéristiques dominantes mentionnées sont la sensibilisation (grâce à l’éducation et la formation des intervenants); la capacité en recherche scientifique et en développement; et la capacité d’intervention en cas d’urgence. Les autres commentaires sont des cas isolés (uniques).
• Quand on leur a demandé de nommer avec précision les forces et les faiblesses du programme, quelque vingt p. cent des répondants, fait intéressant, n'ont pas souligné de faiblesse particulière, tandis que vingt-cinq p. cent n'ont pas nommé de force précise.
• On note trois faiblesses dominantes et quatre secteurs qui mériteraient plus particulièrement des améliorations (huit p. cent et plus) en réponse à une question précise et guidée. Les faiblesses sont un manque de communication avec les partenaires et les intervenants (douze p. cent), les disparités régionales (irrégularités internes – dix p. cent) et un manque de visibilité et de sensibilisation (huit p. cent). En revanche, les secteurs à améliorer sont une augmentation des ressources humaines et financières (onze p. cent), une augmentation de la sensibilisation et de la visibilité auprès du public (dix p. cent), une augmentation de la planification des ressources humaines (encadrement et relève) et une augmentation de l'éducation et de la formation (huit p. cent pour l'une et l'autre).
• Le sondage auprès des entités réglementées a révélé ce qui suit :
  • Bien que les répondants au sondage ont souligné plusieurs différentes forces, deux d’entre elles sont mentionnées plus souvent : sensibilisation et éducation accrues; entreprises et personnes qui agissent de façon responsable et sont prêtes à faire face aux urgences. Il convient de noter que l’impact du programme est mentionné deux fois plus souvent que les répercussions du Règlement sur les urgences environnementales sur l’augmentation de la sensibilisation.
  • La faiblesse la plus fréquemment mentionnée, tant pour le programme que pour le Règlement sur les urgences environnementales, est un manque de sensibilisation et d'information. Cependant, d’autres facteurs ayant trait à la sensibilisation et à l’information ont également été soulignés par un plus petit nombre malgré tout appréciable de répondants, notamment le manque d’application, de vérifications et d’inspections; la difficulté à comprendre; le manque de soutien ou d'encadrement et le double emploi des services. Soulignons que vingt-deux p. cent des répondants n’ont pu relever de faiblesse au programme contre quarante-deux p. cent pour le Règlement sur les urgences environnementales.
  • Les résultats du sondage révèlent entre autres que la sensibilisation accrue et l’information additionnelle sont les suggestions d’amélioration les plus fréquentes de la part des représentants des installations. Entre autres suggestions d’amélioration notables, mentionnons un engagement accru des autres parties dans le programme et une plus grande application. En général, les améliorations suggérées sont passablement variées. Une bonne part des répondants n'a mentionné aucune amélioration.

5.0 CONCLUSIONS

Il s’agit de la première évaluation du Programme des urgences environnementales, un des domaines de programme les plus anciens d’Environnement Canada. En général, l'évaluation du programme est positive, dans la mesure où celui-ci livre un bien public reconnu, remplit le mandat du Ministère et qu’aucun problème grave n’est recensé. Les principales conclusions de l’évaluation sont présentées ci-dessous.

1. Le Programme continue d'être pertinent, dans la mesure où il sert l'intérêt public et comporte un rôle bien défini pour le gouvernement; néanmoins, il est possible de définir plus précisément les rôles de chaque niveau de gouvernement, tout en tenant compte des responsabilités législatives du gouvernement fédéral.
2. Le Programme produit généralement les résultats escomptés. Cependant, certains éléments de sa conception et de son exécution restreignent la mesure quantitative de son niveau de réussite.
3. Bien que des preuves qualitatives semblent indiquer que le Programme est rentable, ceci n’a pu être corroboré par des données quantitatives.
4. Au niveau de la conception et de l’exécution du Programme, un certain nombre de secteurs devront être améliorés. Cela comprend la nécessité de mettre en œuvre un système de mesure du rendement; une évaluation détaillée de la capacité du Programme; l’intégration des résultats et des activités de la stratégie sur la Sécurité publique et l’antiterrorisme (SPAT) au modèle logique et à la stratégie de mesure du rendement du Programme dans les domaines d'activité liées à la prévention et à la préparation; et la mise en œuvre d’une stratégie de sensibilisation détaillée.
5. Les rôles et responsabilités dans le contexte du Programme doivent être clarifiés à l'interne à Environnement Canada, en ce qui concerne la promotion de la conformité et la mise en application de la loi.

6.0 RECOMMANDATIONS

Bien que des domaines de préoccupation aient été mentionnés au cours de l’évaluation en ce qui concerne la pertinence, le succès et la rentabilité, ces inquiétudes sont associées aux aspects de conception et d’exécution; il est donc possible de les régler en modifiant la conception et l’exécution du Programme.

Fondamentalement, la pertinence du Programme et le fait qu’EC devrait continuer à s’acquitter de cette fonction ne sont pas mis en doute et donnent au Programme des bases fermes sur lesquelles il peut s’appuyer pour ses activités.

Compte tenu des pressions actuelles sur le Programme, des questions connues en matière de capacité, y compris la relève, ainsi que des pressions financières constantes au gouvernement fédéral, il est urgent d’apporter une réponse aux recommandations¹². Les recommandations sont présentées de façon séquentielle, en fonction de la structure logique et des délais dans lesquels elles devraient être appliquées.

1^re recommandation :

À présent, il y a au Ministère des groupes précis chargés de l’application de la loi, et des activités de promotion de la conformité. Le Programme des urgences environnementales a en même temps la responsabilité fonctionnelle de ces deux activités dans le contexte des urgences environnementales, ce qui entraîne une certaine confusion à l’interne, car on ne sait pas où ces responsabilités fonctionnelles commencent et finissent pour ces deux activités. Plusieurs groupes d’entrevue auprès des principaux informateurs à l’interne et à l’externe ont soulevé cette inquiétude.

L’évaluation conclut que la conception et l’exécution du Programme doivent être améliorées dans un certain nombre de domaines :

• dans ceux où le Programme n’atteint pas les résultats prévus; étant donné l’absence de système adéquat de mesure du rendement, on ne voit pas bien quelles activités exactement contribuent à l’atteint des résultats; ceci est illustré également dans le modèle logique;
• une évaluation détaillée de la capacité du Programme;
• les incidences complètes sur la sensibilisation de la clientèle;
• une procédure complète de vérification de l’information fournie par les clients à propos de la conformité au Règlement sur les urgences environnementales devrait être mise en œuvre;
• l’actualisation du modèle logique et la stratégie de mesure du rendement du Programme afin d’intégrer les activités et les résultats de la stratégie de Sécurité publique et d’antiterrorisme (SPAT) dans les domaines d’activité liées à la prévention et à la préparation.

Le Conseil de protection de l’environnement devrait aborder les recommandations suivantes selon l’ordre qui suit:

1. en collaboration avec le Responsable de la mise en application de la loi, clarifier et modifier au besoin les rôles et les responsabilités dans le contexte du Programme, notamment en ce qui a trait à la promotion de la conformité et à la mise en application de la loi.
2. mener des recherches approfondies sur les activités liées à la sensibilisation aux secteurs du Programme liées à la prévention et la préparation afin de déterminer lesquelles ne contribuent pas à l’atteint des résultats de prévention et de préparation.
3. effectuer une évaluation détaillée de la capacité du Programme (c.-à-d. nécessaires vs réelles); lorsqu'il y a des lacunes qui émergent, déterminer les risques et mettre en œuvre les stratégies d'atténuation.
4. achever et mettre en œuvre un système de mesure et de rapport sur le rendement.
5. combler les lacunes du Programme en ce qui a trait à la surveillance de la conformité.

Auparavant, les activités de planification et de gestion des urgences environnementales, d’application de la loi, et de promotion de la conformité associées à la Loi canadienne sur la protection de l'environnement (1999) [LCPE (1999)] et à la Loi sur les pêches se trouvaient dans le même Regroupement de projets axés sur les résultats (RPAR) relevant du Conseil de la protection de l’environnement (PE). Il y avait donc des communications régulières entre le Programme des urgences environnementales, promotion de la conformité et mise en application de la loi, et tous étaient au courant des activités de chacun des groupes. Il a été décidé en avril 2006 de regrouper toutes les activités d’application de la loi du Ministère sous la responsabilité du Conseil des services de gestion du Ministère. À présent, compte tenu de ce que ces activités ne sont plus regroupées dans une même structure de gouvernance, la confusion qui règne autour de la question de savoir où commencent et où finissent les responsabilités fonctionnelles pour ces deux activités est exacerbée.

Les activités et les résultats attendus du Programme des urgences environnementales doivent être associés à des rôles et à des responsabilités clairement définis. Il faudra peut-être pour cela réviser le modèle logique du Programme. Ce qui fournirait aussi l’occasion d’intégrer les activités et les résultats de la stratégie de Sécurité publique et d’antiterrorisme (SPAT) au modèle logique et à la stratégie de mesure du rendement du Programme dans les domaines d’activité liées à la prévention et à la préparation. Le mandat de cette évaluation consistait à examiner les quatre enjeux de l’évaluation (pertinence, succès, rentabilité, et conception et exécution) dans les cinq domaines d’activité du Programme. Compte tenu de ce qu’il n’y a pas de système adéquat de mesure du rendement, l’évaluation n’a pu examiner plus en profondeur quelles activités précisément sont des réussites et quelles activités n’en sont pas, dans les domaines du Programme où les résultats ne sont pas complètement atteints (p. ex., la sensibilisation). Prenant appui sur les constatations de cette évaluation, d’autres recherches visant à déterminer quelles activités ont contribué à l’atteint de ces résultats sont par conséquent nécessaires afin d’établir quels secteurs du Programme il faut améliorer, ce qui augmente l’efficacité et l’efficience du Programme. Une partie de cette tâche pourrait consister à recueillir des données sur les activités en question afin d’établir dans quelle mesure elles sont une réussite. Lorsque le Programme a identifié quelles activités liées a la sensibilisation sont réussites, le Programme devrait ensuite élaborer et mettre en œuvre une stratégie de sensibilisation détaillée.

Il faut effectuer une évaluation complète de la capacité du Programme afin de déterminer les écarts, s’il y en a, entre la capacité disponible et la capacité nécessaire. Lorsque des écarts sont cernés, les risques associés devraient être identifiés et des stratégies d’atténuation devraient être mise en place pour faire face à ces risques.

Le Programme doit achever et mettre en œuvre un système de production de rapports et de mesure du rendement cernant les principaux indicateurs et les données nécessaires pour établir à quel point le Programme réussit à atteindre les objectifs énoncés.

Le Programme a des insuffisances précises en surveillance dans le domaine de conformité qu’il faut examiner et auxquelles il faut remédier pour assurer l’existence de bons liens avec la population sur laquelle il a le plus d’incidences.

7.0 RÉPONSE DE LA DIRECTION

Recommandation nº 1a :

Le Conseil de protection de l’environnement devrait, en collaboration avec le Responsable de la mise en application de la loi, clarifier et modifier au besoin les rôles et les responsabilités dans le contexte du Programme, notamment en ce qui a trait à la promotion de la conformité et à la mise en application.

Réponse de la direction :

Le Conseil de protection de l’environnement est d’accord avec cette recommandation. La mise en application, la promotion de la conformité aux règlements et la fourniture d’information et de conseils scientifiques et techniques constituent trois fonctions ministérielles distinctes au sein d’Environnement Canada. Pour des raisons juridiques ainsi qu’administratives, il est essentiel que les rôles et les responsabilités du personnel soient clairement définis et compris, aussi bien à l’interne dans les ministères que par les intervenants externes avec qui le personnel interagit.

Le représentant délégué du Conseil de protection de l’environnement et le Responsable de la mise en application de la loi se sont entendus pour collaborer à l'élaboration (d'ici mars 2008) d’un document de gouvernance pour clarifier les liens entre les activités d’urgence, de promotion de la conformité et de mise en application. Ce document sera élaboré conformément à la méthodologie du système de gestion de la qualité (SGQ).

Recommandation nº 1b :

Le Conseil de protection de l’environnement devrait mener des recherches plus poussées sur les activités de sensibilisation aux secteurs du Programme liés à la prévention et à la préparation afin de déterminer lesquelles ne contribuent pas à l’atteinte des résultats visés.

Réponse de la direction :

Le Conseil de protection de l’environnement est d’accord avec cette recommandation. À l’exception de la promotion de la conformité aux règlements en matière d’urgence environnementale en vertu de la partie 8 de la Loi canadienne sur la protection de l'environnement (1999) [LCPE (1999)], le ministère a généralement préconisé comme approche pour sensibiliser les intervenants externes de profiter des initiatives régionales et locales entreprises par les autres gouvernements, les autres ministères fédéraux ou les intervenants du secteur privé. Cette approche a fonctionné à des degrés divers.

Le Conseil de protection de l’environnement s’engage à effectuer une étude pour identifier les principaux publics visés et évaluer les forces, les faiblesses et les coûts de divers mécanismes de livraison pour améliorer la prévention des situations d’urgence et la préparation à de telles situations. Cette étude sera complétée d’ici juin 2008.

Recommandation nº 1c :

Le Conseil de protection de l’environnement devrait effectuer une évaluation détaillée de la capacité du Programme (capacité nécessaire vs réelle); lorsqu'il y a des lacunes qui émergent, il devrait déterminer les risques et mettre en œuvre des stratégies d'atténuation.

Réponse de la direction :

Le Conseil de protection de l’environnement est d’accord avec cette recommandation. Des travaux importants ont été effectués par le passé pour déterminer les ressources nécessaires pour assumer de façon adéquate les responsabilités mandatées du Programme des urgences environnementales. Le Conseil de protection de l’environnement s’inspirera de ces travaux pour effectuer une évaluation détaillée des exigences en matière de capacité du Programme, des lacunes, des risques et des stratégies d’atténuation relevant des rôles et responsabilités a rendu obligatoire d’Environnement Canada. Cette évaluation tiendra également compte des résultats de l’étude sur les activités de sensibilisation qui doit être entreprise en réponse à la Recommandations nº 2 ci-dessus et proposera diverses options à la direction. Ce travail sera complété d’ici janvier 2009 et sera donc disponible pour le processus de planification de l’exercice financier 2009-2010.

Recommandation nº 1d

Le Conseil de protection de l’environnement devrait achever et mettre en œuvre un système de mesure et de rapport sur le rendement.

Réponse de la direction :

Le Conseil de protection de l’environnement est d’accord avec cette recommandation. Des travaux importants ont été effectués au cours des dernières années pour identifier un ensemble complet d’indicateurs pour les volets de prévention, de préparation, de réponse, de récupération et de R-D du Programme des urgences environnementales. Il faut maintenant consacrer des efforts à l’analyse et au choix d’un sous-ensemble plus représentatif d’indicateurs qui permettront de mesurer efficacement les résultats et l’efficacité du Programme et qui pourront être mis en œuvre de façon cohérente et à des coûts abordables à l’échelle nationale. Ce travail sera effectué en parallèle avec l’évaluation détaillée de la capacité du Programme présentée ci-dessus en réponse à la Recommandation nº 3 et devrait donc être complété d’ici janvier 2009.

Recommandation nº 1e :

Le Conseil de protection de l’environnement devrait combler les lacunes du Programme en ce qui a trait à la surveillance de la conformité (vérification, connaissances des clients et stratégies de sensibilisation).

Réponse de la direction :

Le Conseil de protection de l’environnement est d’accord avec cette recommandation et considère l’élaboration d’une stratégie efficace mais abordable de mesure de la performance, présentée ci-dessus en réponse à la Recommandation nº 4, comme essentielle pour répondre aux préoccupations identifiées dans le cadre de l’évaluation du Programme.

Annexe 1
Enjeux et questions d’évaluation