Évaluation du projet de transition du Service météorologique du Canada (SMC)

Juillet 2008

| TdesM | Précédent | Suivant |

4.0 CONSTATATIONS

Les constatations présentées dans cette section portent sur les quatre enjeux d’évaluation et les questions correspondant à chaque enjeu (se reporter à l'annexe B pour voir la liste des questions d’évaluation groupées par enjeu). La constatation générale pour chaque enjeu d’évaluation vient en premier, suivie des constatations pour chacune des questions d’évaluation correspondantes. Les constatations liées aux questions trois et cinq, qui touchent l’incidence des changements de gouvernance et les facteurs externes, sont intégrées et traitées dans les constatations des autres questions d’évaluation.

4.1 Pertinence

Enjeu d’évaluation : Pertinence
L’initiative cadrait-elle avec les exigences et les priorités fédérales?

Constatation générale

 
Enjeu d’évaluation : Pertinence
Indicateur(s)
Cote25
QE 1 : Le projet de transition cadrait‑il avec les priorités du CSME, d’Environnement Canada et du gouvernement?
  • Degré auquel les orientations stratégiques documentées dans le projet de transition correspondent aux priorités du CSME, d’Environnement Canada et du gouvernement
Atteint

QE 1 - Constatations

 
Enjeu d’évaluation : Pertinence
Indicateur(s)
Cote 
QE 2 : Est-ce que le projet de transition a permis de répondre aux besoins établis par le Service météorologique du Canada quant à la réorientation de sa fonction?
  • Démonstration selon laquelle le projet de transition a permis ou n’a pas permis de répondre aux besoins du Service météorologique du Canada
Atteint

QE 2 - Constations

4.2 Succès

Cette section porte sur les résultats prévus (immédiats et ultimes) et imprévus du projet. On entend par « résultats imprévus » les résultats obtenus qui n’avaient pas été prévus au début du projet.

Enjeu d’évaluation : Succès
Dans quelle mesure l’initiative a-t-elle atteint les résultats prévus?

Constatations générales

 
Enjeu d’évaluation : Succès
Résultats immédiats prévus
Indicateur(s)
Cote globale
QE 4A : Dans quelle mesure le projet de transition a-t-il atteint les résultats immédiats prévus?
  • Documents sur la réalisation des activités et l’atteinte des résultats indiqués dans le modèle logique
Progrès réalisés, attention requise

QE 4A Constatations – Résultats immédiats

Élément 1 – Regroupement et modernisation des opérations prévisionnelle

Cote : Progrès réalisés, attention requise

1 a) Résultat immédiat prévu : Efficacité accrue des opérations prévisionnelles

Regroupement des opérations prévisionnelles

Modernisation des opérations prévisionnelles du Service météorologique du Canada

Programme des communications

1 b) Résultat immédiat prévu : Amélioration des avertissements et des prévisions pour les phénomènes météorologiques extrêmes

1 c) Résultat immédiat prévu : Amélioration du transfert technologique par la création de cinq nouveaux laboratoires nationaux de recherche et développement pour soutenir les centres de prévision des intempéries

Élément 2 – Création des bureaux de services nationaux et mise en place de services de sensibilisation

Cote : Progrès réalisés, attention requise

2 a) Résultat immédiat prévu : Amélioration des services et renforcement des partenariats avec la clientèle

2 b) Résultat immédiat prévu : Amélioration de l’utilisation et de l’efficacité des données et des services atmosphériques grâce à un nouveau réseau de sensibilisation

Élément 3 – Mise à jour et développement des compétences essentielles

Cote : Même s’il existe des indications subjectives convaincantes que le programme fonctionne bien, il a été impossible de réaliser une évaluation exhaustive en raison du manque de ressources humaines et de l’absence de données financières et relatives au rendement, en général.

3 a)Résultat immédiat prévu : Main-d’oeuvre plus productive capable de répondre aux besoins du Service météorologique du Canada

3 b) Résultat immédiat prévu : Effectif durable  

Élément 4 – Amélioration des produits et des services et innovation

Cote : Progrès réalisés, attention requise

4 a) Résultat immédiat prévu : Améliorer les prévisions saisonnières et les prévisions de longue portée

Prévisions sur une période de trois à cinq jours

Prévisions de longue portée

Prévisions saisonnières

Système de prévision d’ensemble nord-américain (SPENA)

4 b) Résultat immédiat prévu : Amélioration des services de météorologie routière en hiver

4 c) Résultat immédiat prévu : Amélioration de l’analyse scientifique des vulnérabilités à l’égard des conditions météorologiques extrêmes et de l’adaptation à ces dernières

Élément 5 –Renforcement de la capacité de surveillance du Service météorologique du Canada

Cote : Progrès réalisés, attention requise

5 a) Résultat immédiat prévu : Modernisation des réseaux d’observation par la rationalisation des réseaux

5 b) Résultat immédiat prévu : Améliorer l’assurance de la qualité des principales données sur l’atmosphère, les eaux, les glaces et la qualité de l’air, ainsi que l’accès à celles-ci

5 c) Résultat immédiat prévu : Amélioration de la mesure des conditions de la haute atmosphère par le réseau de retransmission des données météorologiques d’aéronefs (AMDAR) pour améliorer les prévisions

 
Enjeu d’évaluation : Succès
Résultats ultimes prévus
Indicateur(s)
Cote
 EQ 4B : Dans quelle mesure le projet de transition a-t-il atteint les résultats ultimes souhaités?
  • Documents sur la réalisation des activités et l’atteinte des résultats indiqués dans le modèle logique
Progrès réalisés, attention requise

EQ 4 B Constatations relatives aux résultats ultimes - Succès

Les constatations relatives à l’atteinte des résultats ultimes sont fondées en grande partie sur les entrevues menées auprès des intervenants et sur les ateliers auxquels ont participé des employés d’Environnement Canada.

Résultat ultime 1 – Une organisation et une infrastructure plus durables

Cote : Peu de progrès réalisés, attention prioritaire requise

Constatation générale

La plupart des personnes interrogées, tant à l’intérieur du Ministère qu’à l’extérieur d’Environnement Canada, sont d’avis que le Service météorologique du Canada ne s’est pas transformé en une organisation plus durable.

Constatations détaillées

Résultat ultime 2 – Liens renforcés entre la production, la science et les services

Cote : Progrès réalisés, attention requise

Constatation générale

Les intervenants sont d’avis que des progrès ont été faits pour renforcer les liens, mais qu’il faut en faire davantage pour obtenir le résultat souhaité.

Constatations détaillées

Résultat ultime 3 – Services améliorés pour la population canadienne et les principaux intervenants

Cote : Progrès réalisés, attention requise

Constatation générale

Tous les intervenants indiquent qu’il y a eu des améliorations, mais que d’autres améliorations s’imposent.

Constatations détaillées

Résultat immédiat 4 – Adaptation des Canadiens à l’environnement de façon à assurer leur sécurité et leur santé, la prospérité économique et la qualité de l’environnement

Cote : Sans objet

Constatation générale

Les renseignements qui étaient disponibles au moment de l’évaluation révèlent que, en général, il est trop tôt pour savoir si le projet de transition a aidé les Canadiens à préserver leur mieux‑être, la prospérité économique et la qualité de l’environnement. En outre, il serait difficile d’attribuer le changement de comportement des Canadiens au projet de transition et à Environnement Canada uniquement (p. ex., la responsabilité du Système d’information météoroutière n’incombe pas seulement aux responsables du projet de transition et à Environnement Canada).

 
Enjeu d’évaluation : Succès
Résultats imprévus
Indicateur(s)
Cote
 QE 6 : Le projet a-t-il donné lieu à des résultats imprévus (positifs ou négatifs)? A-t-il fallu prendre des mesures à cet égard
  • Présence/absence des résultats imprévus
  • Le cas échéant, mesures de gestion documentées ou leçons retenues des résultats imprévus
Sans objet

QE 6 Constatations

4.3 Rentabilité et moyens de rechange

Enjeu d’évaluation :  Rentabilité et moyens de rechange
A-t-on utilisé les moyens les plus appropriés et les plus efficaces pour obtenir les résultats?

Constatations générales

 

Enjeu d’évaluation :
Rentabilité et moyens de rechange

Indicateur(s)
Cote
 QE 7 : Le projet de transition a-t-il permis d’optimiser les ressources affectées par le fédéral?
  • Mesure dans laquelle les dépenses ou le budget du projet de transition ont été suffisants par rapport aux objectifs énoncés
  • Suggestions présentées pour améliorer la rentabilité du projet de transition
  • Ventilation financière détaillée de chaque composante du projet de transition (prévue et réelle)
  • Ressources utilisées
 ~Atteint37

QE 7 Constatations

 
Enjeu d’évaluation :
Rentabilité et moyens de rechange
Indicateur(s)
Cote 
 QE 8 : Existait-il d’autres moyens pour atteindre les résultats visés par le projet de transition?
  • Analyse de différentes options ou approches d’exécution
 Sans objet

QE 8 Constatations

4.4 Conception et exécution

Enjeu d’évaluation : Conception et exécution
L’initiative a-t-elle été exécutée de la meilleure façon possible? Cette série activités et d’extrants convenait-elle pour obtenir les résultats?

Constatations générales

 
Enjeu d’évaluation :
Conception et exécution
Indicateur(s)
Cote
QE 9 : Le projet de transition a-t-il été exécuté conformément à sa conception (mené à bien selon les budgets et les échéanciers établis)?
  • Documents indiquant que le projet de transition a été exécuté conformément à sa conception
Progrès réalisés, attention requise

QE 9 Constatations

Élément 1 –Regroupement et modernisation des opérations prévisionnelles du Service météorologique du Canada
Élément 2 – Création des bureaux de services nationaux et mise en place de services de sensibilisation
Élément 3 – Mise à jour et développement des compétences essentielles
Élément 4 – Amélioration des produits et des services et innovation
Élément 5 –Renforcement de la capacité de surveillance du Service météorologique du Canada
 
Enjeu d’évaluation
Conception et exécution
Indicateur(s)
Cote
 QE 10 : A-t-on recueilli des données sur le rendement par rapport aux activités et aux résultats de programme? Dans l’affirmative, a-t-on utilisé cette information pour guider les décideurs? Mesure dans laquelle un système de mesure du rendement a été mis en œuvre et est utilisé pour gérer et rectifier  Peu de progrès réalisés, attention requise

QE 10 Constatations

 
Enjeu d’évaluation :
Conception et exécution
Indicateur(s)
Cote
 QE 11 : Dans quelle mesure les divers intervenants sont-ils satisfaits du projet de transition44?
  • Satisfaction exprimée par les intervenants
 Progrès réalisés, attention requise

Constatations générales

Le personnel d’Environnement Canada a exprimé sa satisfaction à l’égard de certains aspects du projet de transition et a fait part de sa préoccupation quant à la capacité d’atteindre les résultats du projet. Les intervenants de l’extérieur se sont montrés généralement satisfaits des liens entretenus, mais ils ont dit s’inquiéter de la capacité du Service météorologique du Canada de fournir les données dont les intervenants ont besoin, du manque d’accès pour les médias à un prévisionniste à l’échelon local, ainsi que du roulement de l’effectif et du manque perçu de planification de la relève. Le grand public semble satisfait des services du Service météorologique du Canada, à l’exception des personnes qui habitent une localité où le bureau régional a été fermé.

Constatations détaillées

Employés d’Environnement Canada

Intervenants et partenaires fédéraux et intervenants provinciaux et municipaux

Intervenants et partenaires non fédéraux

Intervenants et partenaires internationaux

General Public

 
Enjeu d’évaluation :
Conception et exécution
Indicateur(s)
Cote
 QE 12 : Quelles sont les leçons retenues et les pratiques exemplaires qui découlent du projet de transition?
  • Leçons retenues et pratiques exemplaires dégagées
 Sans objet

Les constatations relatives aux pratiques exemplaires et aux leçons retenues sont fondées sur une analyse des constatations des onze premières questions d’évaluation. Les résultats de cette analyse ont été divisés en deux groupes : pratiques exemplaires et leçons retenues. Les pratiques exemplaires représentent les aspects qui ont favorisé l’atteinte des résultats, tandis que les leçons retenues sont les aspects qui ont réduit la capacité de démontrer l’atteinte des résultats. Chaque pratique exemplaire et leçon retenue décrite dans cette section porte sur la conception et l’exécution du projet de transition du Service météorologique du Canada. Les leçons retenues pourraient aussi se rapporter à la conception, à la mise en œuvre et au suivi d’autres projets mis en branle pour accélérer la réalisation des buts et des programmes de services votés.

Pratiques exemplaires

Leçons retenues


| TdesM | Précédent | Suivant |

25 Comme nous l’avons mentionné à la section 3.2, des cotes ont été attribuées à de nombreuses questions d’évaluation. Ces cotes sont : Atteint; ~Atteint; Progrès réalisés, attention requise; Peu de progrès réalisés, attention requise. Lorsque nous avons jugé qu’il était trop tôt pour attribuer une cote, nous avons indiqué Trop tôt pour savoir et Sans objet dans les cas où une cote ne s’appliquait pas à des éléments. Se reporter à la section 3.2 pour obtenir d’autres détails.

26 Examen des budgets 2003, 2004, 2005, 2006 et 2007. L’infrastructure, la planification et l’intervention en cas d’urgence, ainsi que les compétences et l’apprentissage comptaient parmi les thèmes abordés.

27 L’examen a porté sur les discours du Trône de la 37e législature, 2e session à la 39e législature, 2e session. Au nombre des thèmes abordés figuraient l’infrastructure, la gestion des mesures d’urgence, la formation et le perfectionnement des compétences.

28 Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du Service météorologique du Canada, le 6 décembre 2007, p. 15.

29 Données tirées du document How MSC’s Financial Situation has Evolved, 30 septembre 2004, et d’autres documents internes préparés pour le CSME.

30 Ninjo est un logiciel de poste de travail. Les responsables des prévisions utilisent un poste de travail pour afficher et manipuler les données ainsi que pour y accéder.

31 Les détails fournis au sujet des programmes sont fondés sur les renseignements contenus dans les documents obtenus du Service météorologique du Canada  relativement aux descriptions de programme.

32Pour obtenir des renseignements supplémentaires sur les pressions financières, se reporter aux constatations de la QE 7.

33 P. ex., MSC Year 3 Transition – Year End Report; www.hazards.ca; www.criacc.qc.ca.

34 Selon les renseignements reçus le 15 janvier 2008.

35 Pendant la mise en œuvre du projet, le nombre de réseaux de volontaires a augmenté par rapport aux résultats prévus initiaux. Par conséquent, l’atteinte de l’objectif n’est pas calculée selon un pourcentage.

36 Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du : Rapport final, p. 5.

37 ~Atteint : Même s’il existe des preuves subjectives convaincantes selon lesquelles le programme fonctionne bien par rapport au secteur d’intérêt, il a été impossible d’effectuer une évaluation exhaustive en raison du manque d’information sur le rendement et les finances.

38 L’affectation des ressources était fondée sur les besoins prioritaires.

39 Compte tenu que les gestionnaires peuvent coder les fonds utilisés d’une façon différente, il peut se produire des erreurs de codage. À ce titre, les chercheurs n’ont pu obtenir qu’une estimation approximative du montant total.

40 Par exemple, des fonds des services de soutien essentiels ont été transférés au Conseil des services de gestion du Ministère, mais les fonds n’ont pas nécessairement servi au projet de transition comme tel.

41 Le Conseil du Trésor a octroyé 73,8 M$. De ce montant : 56 260 300 $ ont été dépensés entre l’exercice financier de 2003-2004 et celui de 2006-2007 à des fins d’activités de programme (ce qui inclut une somme de 1 189 000 $ affectée aux frais d’hébergement pendant 5 ans); on ne peut rendre compte d’environ 5,36 M$.

42 On a décidé de repousser ces deux projets (dont la responsabilité a été confiée par la suite à Gestion des biens sous la direction de Gestion des sites contaminés).

43 Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du Service météorologique du Canada: Rapport final. Le 6 décembre 2007.

44 Les intervenants de l’extérieur n’étaient pas particulièrement renseignés sur le projet de transition. Afin d’obtenir leurs commentaires, on a posé aux intervenants externes 1) des questions sur des éléments du projet en rapport avec leur domaine de travail, et 2) des questions sur leur relation avec Environnement Canada durant la période de transition (2003-2004 à 2007-2008).

45 Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du Service météorologique du Canada  : Rapport final. Le 6 décembre 2007.

46 On entend par « partenaires internes » le personnel d’Environment Canada de la Direction générale des sciences et de la technologie et de la Direction générale de l’intendance environnementale.

47 Service météorologique du Canada Media Website Survey Final Report, juillet 2007.

48 Par exemple, le coût associé au regroupement et à la modernisation des activités révisionnelles.