Accueil >
Divulgation proactive >
Vérification et évaluation >
Rapports de V&E >
2008-2009 > Évaluation du projet de transition du Service météorologique du Canada
Évaluation du projet de transition du Service météorologique du Canada (SMC)
Juillet 2008
|
TdesM |
Précédent |
Suivant |
4.0 CONSTATATIONS
Les constatations présentées dans cette section portent sur les quatre enjeux d’évaluation et les questions correspondant à chaque enjeu (se reporter à l'annexe B pour voir la liste des questions d’évaluation groupées par enjeu). La constatation générale pour chaque enjeu d’évaluation vient en premier, suivie des constatations pour chacune des questions d’évaluation correspondantes. Les constatations liées aux questions trois et cinq, qui touchent l’incidence des changements de gouvernance et les facteurs externes, sont intégrées et traitées dans les constatations des autres questions d’évaluation.
4.1 Pertinence
Enjeu d’évaluation : Pertinence
L’initiative cadrait-elle avec les exigences et les priorités fédérales?
Constatation générale
- Oui. Les objectifs et les résultats prévus du projet de transition du Service météorologique du Canada s’inscrivaient dans le mandat et correspondaient aux priorités du Ministère et du gouvernement du Canada.
Enjeu d’évaluation : Pertinence |
Indicateur(s) |
|
QE 1 : Le projet de transition cadrait‑il avec les priorités du CSME, d’Environnement Canada et du gouvernement? |
- Degré auquel les orientations stratégiques documentées dans le projet de transition correspondent aux priorités du CSME, d’Environnement Canada et du gouvernement
|
Atteint |
QE 1 - Constatations
- Oui. Les objectifs et les résultats prévus s’inscrivaient dans le mandat d’Environnement Canada en matière de services météorologiques et cadraient avec les priorités ministérielles.
- L’étude des documents a démontré un alignement sur le résultat stratégique du secteur d’activité Prévisions météorologiques et environnementales de 2004-2005 intitulé Aider les Canadiens à s’adapter à l’environnement de façon à maintenir la sécurité, à protéger la santé, à assurer la prospérité économique et la qualité de l’environnement et maintenant, sous le CSME, sur le résultat stratégique de 2007-2008 intitulé Les prévisions météorologiques et les services environnementaux réduisent les risques et contribuent au mieux-être des Canadiens.
- Plusieurs thèmes abordés dans les budgets fédéraux que nous avons étudiés avaient trait à des thèmes associés au projet de transition du Service météorologique du Canada.26 En outre, certains thèmes relevés dans des documents récents liés au discours du Trône se rapportaient également à des thèmes associés au projet de transition du Service météorologique du Canada27.
Enjeu d’évaluation : Pertinence |
Indicateur(s) |
Cote |
QE 2 : Est-ce que le projet de transition a permis de répondre aux besoins établis par le Service météorologique du Canada quant à la réorientation de sa fonction? |
- Démonstration selon laquelle le projet de transition a permis ou n’a pas permis de répondre aux besoins du Service météorologique du Canada
|
Atteint |
QE 2 - Constations
- Les répondants d’Environnement Canada reconnaissent généralement que l’objectif et les cinq éléments du projet de transition étaient nécessaires et qu’il s’agissait des secteurs d’intervention à privilégier.
- Élément 1 – Regroupement et modernisation des opérations prévisionnelles du Service météorologique du Canada. Les personnes interrogées mentionnent que la réduction du nombre des centres de prévision était à propos et qu’il fallait démontrer l’utilisation efficace des fonds.
- Élément 2 – Création des bureaux de services nationaux et mise en place de services de sensibilisation. Les personnes interrogées sont d’avis qu’il était important pour le Service météorologique du Canada de mettre davantage l’accent sur le service à la clientèle et que la création des bureaux de services nationaux et la mise en place de services de sensibilisation constituaient une mesure appropriée. Les personnes interrogées ont également noté que, dans certains cas, le choix de l’emplacement géographique des Bureaux nationaux de services a été influencé par le gouvernement
- Élément 3 – Mise à jour et développement des compétences essentielles. Il a été soulevé au cours des entrevues qu’il était important de recruter de nouveaux employés car durant les années 1990 il y a eu une période où il n’y a pratiquement pas eu de recrutement. On ajoutait également que la formation et le recrutement revêtaient une importance particulière dans le contexte des départs à la retraite des météorologues et de l’évolution de l’effectif. L’examen des documents des Ressources humaines contenant des données démographiques et relatives à l’admissibilité à la retraite, couvrant la première partie du projet de transition, vient aussi renforcer le besoin de mettre à jour et de développer des compétences essentielles.
- Élément 4 – Amélioration des produits et des services et innovation. Pendant les entrevues, on a soulevé l’importance de cet élément sous l’angle de la transformation des technologies. Un répondant a fait observer que, dans le passé, une grande partie des produits créés l’ont été de manière informelle.
- Élément 5 –Renforcement de la capacité de surveilllance. Les répondants d’Environnement Canada ont indiqué que la façon d’aborder la question de la détérioration de l’équipement était l’un des problèmes les plus importants et qu’elle justifiait la tenue du projet. Ils ont également ajouté qu’il était important de fermer certains sites et d’adopter une approche de gestion du cycle de vie pour assurer l’intégrité de l’équipement.
- Dans le rapport final présenté à la suite des ateliers tenus dans le cadre de l’évaluation, il est indiqué que « en règle générale, les participants étaient d’accord avec les objectifs du projet de transition et appuyaient les résultats attendus. Ils semblaient apprécier tout particulièrement le fait que le projet de transition était une initiative financée et conçue pour faire du Service météorologique du Canada une organisation viable, dans les limites qui existaient en 2003.28»
- Même si les répondants d’Environnement Canada sont d’avis que les principes et la théorie du projet étaient bons, le projet n’a pas été réalisé nécessairement comme prévu. Les répondants d’Environnement Canada reconnaissent généralement que la mise en œuvre des éléments du projet de transition et l’atteinte de l’objectif global ont « déraillé » à cause du changement de gouvernance et des processus d’affectation budgétaire survenus en 2005.
4.2 Succès
Cette section porte sur les résultats prévus (immédiats et ultimes) et imprévus du projet. On entend par « résultats imprévus » les résultats obtenus qui n’avaient pas été prévus au début du projet.
Enjeu d’évaluation : Succès
Dans quelle mesure l’initiative a-t-elle atteint les résultats prévus?
Constatations générales
- Le projet de transition a progressé dans la réalisation des résultats prévus mmédiats et ultimes, mais il ne les a pas tous atteints.
- Cellules de mécontentement observées parmi les répondants d’Environnement Canada et les intervenants externes.
- Les changements organisationnels et ministériels sur le plan de la gouvernance et des processus d’affectation budgétaire, les engagements gouvernementaux sans financement, les compressions budgétaires, les nouvelles exigences de la politique en matière de gestion des biens immobiliers, les problèmes imprévus de revendications territoriales, et la sous‑estimation du temps requis pour créer les nouveaux bureaux de services nationaux et les laboratoires de recherche nationaux sont autant de facteurs qui ont compromis la capacité d’atteindre les résultats prévus.
- De l’avis de nombreux répondants d’Environnement Canada, les changements liés à la gouvernance ministérielle et aux processus d’affectation budgétaire ont retardé ou affaibli la mise en œuvre du projet de transition et ont fragmenté les services fournis aux intervenants de l’extérieur, ce qui a contribué à créer l’impression que le Service météorologique du Canada se transformait davantage en une organisation instable plutôt qu’en une organisation plus durable.
Enjeu d’évaluation : Succès
Résultats immédiats prévus |
Indicateur(s) |
Cote globale |
QE 4A : Dans quelle mesure le projet de transition a-t-il atteint les résultats immédiats prévus? |
- Documents sur la réalisation des activités et l’atteinte des résultats indiqués dans le modèle logique
|
Progrès réalisés, attention requise |
QE 4A Constatations – Résultats immédiats
Élément 1 – Regroupement et modernisation des opérations prévisionnelle
Cote : Progrès réalisés, attention requise
1 a) Résultat immédiat prévu : Efficacité accrue des opérations prévisionnelles
Regroupement des opérations prévisionnelles
- L’étude des documents et les entrevues montrent que les opérations de prévision météorologique ont été regroupées. Sept centres météorologiques ont été fermés et cinq centres de prévision des intempéries (CPI) ont été créés à Dartmouth, à Montréal, à Toronto, à Edmonton et à Vancouver. En outre, un bureau satellite du CPI d’Edmonton a été établi à Winnipeg. Deux centres de services de météorologie aéronautique ont été regroupés au CPI d’Edmonton et au CPI de Montréal. Cinq laboratoires de recherche nationaux spécialisés dans certains domaines occupent des locaux dans chacun des cinq CPI. Ces domaines des spécialisation sont : la météorologie marine et côtière (Dartmouth); la prévision des conditions météorologiques violentes (Montréal); les prévisions immédiates (Toronto); la météorologie arctique et hydrométéorologie (Edmonton); la météorologie côtière et la météorologie de la montagne (Vancouver).
- Quelques répondants internes sont d’avis que le regroupement des activités prévisionnelles a permis d’en améliorer l’efficacité en réduisant le nombre et, par conséquent, les coûts d’exploitation des bureaux de prévision. Les données secondaires montrent une réduction de plus de 8 M$ des affectations budgétaires aux bureaux de prévision météorologique29. Même si les données indiquent que les sommes budgétaires affectées au volet « production » du Service météorologique du Canada ont été réduites, cette réduction doit être analysée dans le contexte plus général des besoins et des dépenses du projet de transition en matière de regroupement et de modernisation des bureaux.
Modernisation des opérations prévisionnelles du Service météorologique du Canada
- Les entrevues, les données secondaires et l’étude des documents révèlent que le projet de transition du Service météorologique du Canada a permis de fournir les ressources supplémentaires nécessaires à la mise en œuvre d’un outil automatisé de prévision météorologique destiné au grand public, appelé SCRIBE. Les données et rapports secondaires indiquent une amélioration constante de l’exactitude des prévisions publiques sur une période de cinq jours.
- Au cours des deux dernières années, l’équipe du système SCRIBE a également travaillé à la mise au point d’un système SCRIBE pour les prévisions maritimes.
- Les personnes interrogées et l’analyse des documents montrent que les ressources affectées dans le cadre du projet de transition ont permis la mise en œuvre du système SCRIBE dans les cinq CPI. Les répondants ont expliqué que l’automatisation permettait d’assurer l’uniformité du format des prévisions entre les régions et qu’elle donnait aux météorologues le temps dont ils avaient besoin pour se concentrer sur les phénomènes météorologiques extrêmes.
- Le personnel de programmes d’Environnement Canada est d’avis qu’il manque de ressources pour soutenir l’amélioration continue du système SCRIBE (p. ex., intégrer d’autres outils de prévision, comme la Cote air santé, et poursuivre les travaux sur l’élaboration d’un système SCRIBE pour les prévisions maritimes). Un membre du personnel d’environnement Canada soutient que le niveau d’entretien logiciel lié aux besoins fondamentaux en matière de prévisions destinées au public a été réduit.
- Tandis que certains des répondants d’Environnement Canada font observer que le système SCRIBE est fondé sur une technologie qui vieillit rapidement, les données secondaires additionnelles montrent que la prochaine génération du système SCRIBE reposera sur un investissement prévu dans le projet de transition pour le projet de poste de travail Ninjo.30
Programme des communications
- Il s’est avéré difficile d’obtenir une vue d’ensemble de la portée des communications dans le cadre du projet de transition, notamment à cause des difficultés à retrouver des documents et du roulement de personnel. Par conséquent, les constatations et les exemples présentés sont fondés sur les renseignements trouvés.
- L’étude des documents, les recherches Internet et les données secondaires fournissent des exemples de documents utilisés pour informer les employés du Service météorologique du Canada , les médias et le grand public au sujet du projet de transition du Service météorologique du Canada .Voici des exemples.
- On s’est servi de bulletins, de communiqués et de rapports annuels pour transmettre aux employés de l’information sur le projet de transition.
- On a utilisé des communiqués de presse, de la documentation et d’autres produits pour informer les médias et le grand public du projet de transition.
1 b) Résultat immédiat prévu : Amélioration des avertissements et des prévisions pour les phénomènes météorologiques extrêmes
- Les répondants d’Environnement Canada sont d’avis que le rendement s’est amélioré avec le temps et que ces améliorations découlent du projet de transition et d’autres programmes de services votés.
- Quelques personnes interrogées soulignent l’absence de données sur le rendement dans ce domaine et la nécessité de définir ce que l’on entend par « niveau de service de base » et par conditions météorologiques « extrêmes » afin d’établir une compréhension commune à l’échelle des régions.
- Même si d’autres répondants citent à titre d’exemples récents de réussite la diffusion par le Ministère d’avertissements de conditions météorologiques extrêmes (p. ex., tempête post-tropicale Noel), il est difficile de savoir dans quelle mesure on peut rattacher les améliorations observées au seul projet de transition.
1 c) Résultat immédiat prévu : Amélioration du transfert technologique par la création de cinq nouveaux laboratoires nationaux de recherche et développement pour soutenir les centres de prévision des intempéries
- L’analyse des documents et les entrevues avec des employés d’Environnement Canada indiquent que cinq nouveaux laboratoires nationaux de recherche et développement ont été créés et implantés dans des locaux des CPI. Chaque laboratoire se spécialise sur un thème particulier : Dartmouth – météorologie marine et côtière; Montréal – conditions météorologiques violentes; Toronto – prévisions immédiates; Edmonton – météorologie arctique et hydrométéorologie; Vancouver – météorologie côtière et météorologie de la montagne.
- Un des problèmes soulevés est le fait que l’annonce de la création des laboratoires nationaux n’a pas été assortie d’un financement supplémentaire.
- Pour ce qui est de l’amélioration du transfert technologique vers les CPI, les répondants ont fourni peu de détails ou de précisions. Selon les répondants, l’amélioration du transfert technologique est fonction du nombre d’années d’existence du laboratoire.
Élément 2 – Création des bureaux de services nationaux et mise en place de services de sensibilisation
Cote : Progrès réalisés, attention requise
2 a) Résultat immédiat prévu : Amélioration des services et renforcement des partenariats avec la clientèle
- En général, les répondants d’Environnement Canada sont d’avis que l’amélioration des services et le renforcement des partenariats avec la clientèle ne pourront s’observer qu’au cours des prochaines années.
- Les personnes interrogées soulignent que les travaux de certains bureaux de service nationaux (BSN) ont été entravés en raison de leur emplacement géographique. Ils mentionnent également les retards sur le plan du démarrage attribuables aux exigences relatives à la formation linguistique ainsi que les réductions budgétaires qui font obstacle au recrutement.
- Par ailleurs, certains répondants d’Environnement Canada et les documents examinés révèlent que les météorologues aux alertes ont amélioré les services et renforcé les partenariats. Pour obtenir ce résultat, ils ont travaillé avec les organismes de gestion des urgences et ont noué et consolidé des liens avec les médias.
- Les répondants d’Environnement Canada et d’autres organismes gouvernementaux et non gouvernementaux font observer que le site Web d’Environnement Canada offre aux différents ordres de gouvernement, aux médias et au grand public une plus grande disponibilité et une meilleure accessibilité des données et des prévisions.
- Les personnes interrogées à l’interne mentionnent que les services à la clientèle ont été améliorés grâce à l’établissement de l’Équipe nationale de renseignements qui est chargée de centraliser les commentaires du public et de les acheminer aux gestionnaires compétents d’Environnement Canada.
2 b) Résultat immédiat prévu : Amélioration de l’utilisation et de l’efficacité des données et des services atmosphériques grâce à un nouveau réseau de sensibilisation
- Nous n’avons trouvé aucune information concernant la mesure dans laquelle ce résultat a été atteint. Par contre, la documentation et les données secondaires portaient plus particulièrement sur la création d’un nouveau réseau de sensibilisation.
- Les données secondaires et les rapports montrent que 75 p. 100 des postes d’agent de sensibilisation ont été dotés et que cette mesure a permis de sensibiliser davantage la clientèle aux produits d’Environnement Canada. Parallèlement, les répondants d’Environnement Canada ont l’impression qu’on aurait pu faire plus.
- Des répondants d’Environnement Canada font état de la confusion qui entoure les rôles des agents de sensibilisation.
Élément 3 – Mise à jour et développement des compétences essentielles
Cote : Même s’il existe des indications subjectives convaincantes que le programme fonctionne bien, il a été impossible de réaliser une évaluation exhaustive en raison du manque de ressources humaines et de l’absence de données financières et relatives au rendement, en général.
3 a)Résultat immédiat prévu : Main-d’oeuvre plus productive capable de répondre aux besoins du Service météorologique du Canada
- Les répondants d’Environnement Canada mentionnent que l’automatisation des prévisions a amélioré l’efficacité du personnel du Service météorologique du Canada . Les météorologues disposent ainsi de plus de temps pour se concentrer sur les conditions météorologiques extrêmes.
- Les documents, dont des descriptions de programmes, prouvent l’existence de programmes de formation (p. ex., le Programme de stages en météorologie opérationnelle, le Programme d’apprentissage ou de formation professionnelle à l’intention des techniciens en météorologie et le Programme d’apprentissage ou de formation professionnelle à l’intention des techniciens en hydrométrie) visant à améliorer la capacité du personnel du Service météorologique du Canada. L’analyse des documents a permis de dégager les observations suivantes :
- le Programme de stages en météorologie opérationnelle est considéré comme un programme de formation au niveau du recrutement qui vise à donner aux diplômés universitaires les compétences et les connaissances nécessaires pour devenir des météorologues prévisionnistes opérationnels. Il s’agit également de la première étape du Programme de formation professionnelle des météorologues;
- le Programme d’apprentissage ou de formation professionnelle à l’intention des météorologues est conçu pour combler l’écart entre les compétences acquises par les nouveaux employés avant d’arriver au Service météorologique du Canada et celles requises pour les techniciens opérationnels;
- il est mentionné dans le Programme d’apprentissage ou de formation professionnelle à l’intention des techniciens en hydrométrie que celui-ci a pour but d’assurer la disponibilité de techniciens en hydrométrie bien formés et compétents, et on signale que le recrutement est axé sur les candidats qui satisfont à des critères précis et qui possèdent des qualités et des compétences particulières.31
Ces programmes avaient pour but de combler les écarts démographiques dans les domaines d’expertise techniques et scientifiques
- Les répondants d’Environnement Canada font part des difficultés relatives à la mise à jour et au développement des compétences essentielles à l’échelle du pays. Par exemple, certains employés ont été nommés à des postes bilingues qui exigeaient une formation linguistique supplémentaire.
3 b) Résultat immédiat prévu : Effectif durable
- Les entrevues menées auprès des répondants d’Environnement Canada et les documents témoignent d’un recrutement continu dans les groupes professionnels Météorologie (MT) et Soutien technologique et scientifique (EG). Cependant, il est difficile de savoir dans quelle mesure le recrutement est lié au projet de transition comparativement à d’autres programmes du Service météorologique du Canada
- Les répondants internes et ceux de l’extérieur ont l’impression que les efforts de planification de la relève sont insuffisants pour contrer les effets du vieillissement de l’effectif. Les répondants d’Environnement Canada affirment qu’il est difficile d’avoir un effectif durable lorsqu’il y a des pressions financières32
Élément 4 – Amélioration des produits et des services et innovation
Cote : Progrès réalisés, attention requise
4 a) Résultat immédiat prévu : Améliorer les prévisions saisonnières et les prévisions de longue portée
Prévisions sur une période de trois à cinq jours
- Les entrevues, les données secondaires et les rapports indiquent que la qualité des prévisions sur une période de trois à cinq jours s’améliore constamment au fil des ans.
- On fait remarquer que cette amélioration ne peut être attribuée au projet de transition uniquement.
Prévisions de longue portée
- Les entrevues, les données secondaires et les rapports indiquent que la prévision de longue de portée, qui consiste à repousser la capacité de prévision aux sixième et septième jours, devrait être terminée en 2008. Aucune vérification de l’exactitude de ce produit n’est encore disponible.
Prévisions saisonnières
- Les entrevues, les données secondaires et les rapports indiquent que le projet de transition a permis de créer et de mettre en œuvre un système amélioré des prévisions saisonnières et que le nouveau système a été mis en service en décembre 2007. On mentionne que le nouveau système est plus efficace que les anciens systèmes.
Système de prévision d’ensemble nord-américain (SPENA)
- Les entrevues, les données secondaires et les rapports indiquent que le projet de transition a facilité la mise en service du Système de prévision d’ensemble nord‑américain (SPENA). Le système de vérification est en cours d’élaboration.
4 b) Résultat immédiat prévu : Amélioration des services de météorologie routière en hiver
- Les documents analysés indiquent que le Réseau d’information météoroutière est en activité depuis février 2006. Un employé d’Environnement Canada signale qu’à la fin de l’exercice financier 2007-2008, des accords de partage de données avaient été signées avec les provinces de la Colombie-Britannique, de l’Alberta, du Manitoba, du Nouveau‑Brunswick, de la Nouvelle-Écosse, de l’île-du-Prince-Édouard, de Terre‑Neuve–et–Labrador et avec le territoire du Yukon.
4 c) Résultat immédiat prévu : Amélioration de l’analyse scientifique des vulnérabilités à l’égard des conditions météorologiques extrêmes et de l’adaptation à ces dernières
- Les répondants d’Environnement Canada et les documents analysés33 indiquent que des progrès ont été accomplis afin d’affecter des ressources aux conditions météorologiques pouvant avoir des conséquences graves et pour rendre les renseignements accessibles à la population et à d’autres gouvernements. Le but visé était de recueillir à partir de différentes sources scientifiques l’information relative aux risques et de la présenter dans un site Web. Les sites Web sur les dangers atmosphériques disponibles en Ontario et au Québec sont cités à titre d’exemples de réussite. Toutefois, les répondants ont souligné que les sites disponibles dans les autres provinces n’ont pas encore atteint le même degré de développement.
- En discutant de la réalisation de cet objectif pour le site de l’Ontario, les répondants ont fait remarquer que le gouvernement de l’Ontario avait adopté un projet de loi qui obligeait chaque municipalité à évaluer les dangers et les risques dans sa collectivité. L’information en ligne ainsi réunie a pu être utilisée pour pouvoir répondre à cette exigence, et d’après les répondants d’Environnement Canada, cette information a été intégrée dans le programme de protection civile de l’Ontario.
Élément 5 –Renforcement de la capacité de surveillance du Service météorologique du Canada
Cote : Progrès réalisés, attention requise
5 a) Résultat immédiat prévu : Modernisation des réseaux d’observation par la rationalisation des réseaux
- Les répondants d’Environnement Canada estiment que la modernisation des réseaux a progressé.
- Par exemple, les répondants d’Environnement Canada indiquent que le financement du projet de transition a permis d’acheter de l’équipement neuf pour 75 stations climatologiques de référence (résultat prévu atteint à 100 p. 100).
- La rationalisation (ou la réduction) des réseaux, c’est‑à‑dire la fermeture de stations, a été une question délicate pour les collectivités. Les répondants d’Environnement Canada ont indiqué que, dans le passé, ils faisaient appel à un vaste réseau de bénévoles et que même si les fonds sont maintenant utilisés plus efficacement, il est difficile de fermer des réseaux, surtout lorsque des personnes dévouées y ont fait la tenue des dossiers pendant des années. Toutefois, le maintien des réseaux occasionne des coûts.
- Une analyse des données secondaires et des rapports34montre la mesure dans laquelle la fermeture des réseaux a réussi :
- retrait de l’équipement et remise en état des stations où sont effectués des relevés météorologiques en surface (résultat prévu atteint à 38 p. 100);
- retrait et élimination des installations d’observation à bord des navires (résultat prévu atteint à 67 p. 100);
- désaffectation et nettoyage des sites hydrométriques (résultat prévu atteint à 86 p. 100);
- réduction du réseau de bénévoles (le nombre de stations du réseau est passé de 1600 à 846)35.
- Des facteurs externes sont venus ralentir la réalisation de quelques activités, par exemple :
- des négociations touchant des revendications territoriales ont retardé le nettoyage et la remise en état des sites de Mould Bay et d’Isachsen;
- l’établissement de nouvelles exigences sur la gestion de la propriété a eu pour effet de retarder la mise en œuvre de projets d’observation.
5 b) Résultat immédiat prévu : Améliorer l’assurance de la qualité des principales données sur l’atmosphère, les eaux, les glaces et la qualité de l’air, ainsi que l’accès à celles-ci
- Les répondants d’Environnement Canada signalent que l’élaboration du cadre de gestion des données a pris plus de temps que prévu. Le cadre de gestion des données est un projet qui vise à regrouper un certain nombre de processus d’acquisition et de traitement des données pour le réseau opérationnel du Service météorologique du Canada. Un répondant d’Environnement Canada souligne que les progrès liés à l’élaboration du cadre de gestion des données ont été retardés par des réductions substantielles des ressources de services votés et, par conséquent, par l’incapacité à doter certains postes. Un autre employé a fait observer qu’un contrôle automatique de la qualité devant faire partie intégrante de ce cadre n’a toujours pas été mis au point et que cet aspect accuse un retard. Les répondants d’Environnement Canada, les partenaires fédéraux et les intervenants constatent qu’il s’agit d’une grande lacune pour le Ministère et d’autres intervenants. Un des répondants précise qu’il est essentiel d’avoir un moyen durable de gérer nos données pour communiquer des avertissements aux Canadiens.
- Parallèlement, un répondant d’Environnement Canada fait ressortir la meilleure accessibilité des données pour le public. Le site Web Météo, ainsi que les sites sur le climat et la quantité d’eau (débit et niveau des cours d’eau) figurent au nombre des exemples de l’amélioration de l’accès à l’information.
5 c) Résultat immédiat prévu : Amélioration de la mesure des conditions de la haute atmosphère par le réseau de retransmission des données météorologiques d’aéronefs (AMDAR) pour améliorer les prévisions
- Un employé d’Environnement Canada mentionne que des systèmes AMDAR ont été installés à bord de huit aéronefs en régions éloignées. L’ancienne électronique de bord de ces appareils ne permettait pas aux systèmes AMDAR de produire des données conformes aux normes internationales de qualité des données AMDAR. Cet employé a ajouté que les travaux réalisés dans le cadre du projet de transition avaient fait progresser le dossier sur la mesure des conditions de la haute atmosphère et que d’autres moyens étaient envisagés pour faire avancer ce dossier.
Enjeu d’évaluation : Succès
Résultats ultimes prévus |
Indicateur(s) |
Cote |
EQ 4B : Dans quelle mesure le projet de transition a-t-il atteint les résultats ultimes souhaités? |
- Documents sur la réalisation des activités et l’atteinte des résultats indiqués dans le modèle logique
|
Progrès réalisés, attention requise |
EQ 4 B Constatations relatives aux résultats ultimes - Succès
Les constatations relatives à l’atteinte des résultats ultimes sont fondées en grande partie sur les entrevues menées auprès des intervenants et sur les ateliers auxquels ont participé des employés d’Environnement Canada.
Résultat ultime 1 – Une organisation et une infrastructure plus durables
Cote : Peu de progrès réalisés, attention prioritaire requise
Constatation générale
La plupart des personnes interrogées, tant à l’intérieur du Ministère qu’à l’extérieur d’Environnement Canada, sont d’avis que le Service météorologique du Canada ne s’est pas transformé en une organisation plus durable.
Constatations détaillées
- Employés d’Environnement Canada. La majorité des répondants d’Environnement Canada est d’avis que le financement obtenu dans le cadre du projet de transition n’a pas réussi à rendre la production, la science et les services météorologiques, de même que l’infrastructure plus durables. Même si certains éléments sont en place, comme la gestion du cycle de vie de l’équipement, le remplacement d’équipement dans les stations climatiques de référence et l’automatisation des prévisions, les répondants estiment que les compressions budgétaires et la réduction des ressources humaines constituent les principaux obstacles à la stabilisation des services.
- Intervenants et partenaires fédéraux. Les intervenants et les partenaires fédéraux ont des avis partagés lorsqu’il s’agit de déterminer si le Service météorologique du Canada s’est transformé en une organisation plus durable au cours des cinq dernières années.
- Intervenants provinciaux et municipaux. Les intervenants provinciaux et municipaux avaient peu de choses à dire au sujet de la durabilité du Service météorologique du Canada et de son infrastructure. Les personnes interrogées ont fait ressortir les changements de personnel et la perception selon laquelle le Service météorologique du Canada était devenu une organisation plus centralisée.
- Intervenants et partenaires non fédéraux. Les intervenants et les partenaires non fédéraux estiment qu’Environnement Canada s’est éloigné de son objectif de devenir une organisation et une infrastructure plus durables au cours des dernières années. Du point de vue organisationnel, certains répondants non fédéraux ont l’impression que le Service est devenu fragmenté et n’offre plus un mode unifié de prestation des services. Des intervenants non fédéraux ont également le sentiment que le Service météorologique du Canada n’a pas accordé toute l’attention nécessaire à la planification de la relève.
Résultat ultime 2 – Liens renforcés entre la production, la science et les services
Cote : Progrès réalisés, attention requise
Constatation générale
Les intervenants sont d’avis que des progrès ont été faits pour renforcer les liens, mais qu’il faut en faire davantage pour obtenir le résultat souhaité.
Constatations détaillées
- Employés d’Environnement Canada. De nombreux répondants d’Environnement Canada considèrent que les composantes de base (p. ex., les laboratoires nationaux, les bureaux de soutien à la recherche) sont en place, mais que les liens entre la production, la science et les services n’ont pas été renforcés de façon suffisante. Les répondants d’Environnement Canada ont exprimé diverses opinions.
- « Les bureaux de services nationaux et les services de sensibilisation, c’est une bonne idée, mais on peut aller plus loin. »
- « L’idée des laboratoires est bonne; le problème, c’est que leur fonctionnement n’est pas au même niveau. »
- « Les liens entre la science et la production sont inégaux. »
- « Les liens entre la science et les services se sont détériorés. »
Confirmant les préoccupations exprimées, les participants aux ateliers croient que le processus de transformation du Ministère a fragmenté les liens au lieu de les renforcer et que « les buts qui étaient visés par la transformation et qui consistaient à centraliser le pouvoir et la prise de décisions et à normaliser la mise en œuvre de la politique ont une incidence sur toute l’organisation, y compris sur la structure, les ressources, les soutiens et le mécanisme d’établissement des priorités des programmes. […] De nombreux participants aux ateliers se sentaient impuissants, considéraient qu’ils disposaient de moins de ressources, obtenaient moins de directives de la haute direction et avaient moins de pouvoir de décision »36
- Intervenants et partenaires fédéraux. Les intervenants et les partenaires fédéraux ont des avis partagés. Tandis que plusieurs répondants ont été incapables de dire si le Service météorologique du Canada avait fait des progrès au cours des cinq dernières années relativement au renforcement des liens, d’autres personnes interrogées ont cité à titre d’exemples d’amélioration le niveau de collaboration accru entre la production, la science et les services, ainsi que la prestation de services plus directe et mieux ciblée.
- Intervenants provinciaux et municipaux. On a reçu un nombre limité de réponses de la part des intervenants provinciaux et municipaux au sujet de ce résultat. Un répondant a mentionné qu’il était impressionné par l’aptitude du Service météorologique du Canada de les mettre en lien avec les personnes de l’organisation, et un autre a constaté une amélioration sur le plan des activités de sensibilisation.
- Intervenants et partenaires non fédéraux. Les intervenants et les partenaires non fédéraux font ressortir l’établissement des laboratoires de recherche comme étant un résultat positif, mais estiment que les liens essentiels entre la science, la production et les services sont fragmentés ou rompus. Quelques-uns des répondants non fédéraux ont l’impression que l’automatisation des prévisions par le Service météorologique du Canada a eu pour effet de réduire les services au public.
- Intervenants internationaux. Un intervenant international interrogé dans le cadre de l’évaluation considère que des progrès ont été réalisés pour renforcer les liens entre la production, la science et les services, mais juge préoccupant le fait que le volet de la recherche soit dissocié du Service météorologique du Canada.
Résultat ultime 3 – Services améliorés pour la population canadienne et les principaux intervenants
Cote : Progrès réalisés, attention requise
Constatation générale
Tous les intervenants indiquent qu’il y a eu des améliorations, mais que d’autres améliorations s’imposent.
Constatations détaillées
- Employés d’Environnement Canada. Un répondant d’Environnement Canada signale que les améliorations apportées (p. ex., conditions météorologiques extrêmes, création du Réseau canadien sur les dangers atmosphériques et renseignements affichés sur les sites Web du Service météorologique du Canada) ont permis d’accroître la disponibilité et l’accessibilité de l’information. Des données indiquent que l’utilisation des sites Web du Service météorologique du Canada, en particulier les sites Web Météo (www.meteo.gc.ca) et Archives climatiques nationales www.climate.weatheroffice.ec.gc.ca), a augmenté de façon substantielle durant la période du projet de transition.
- Le nombre de sessions enregistrées sur le site Web Météo est passé d’environ 12 millions en octobre 2004 à plus de 33 millions en octobre 2007. En ce qui concerne les utilisateurs spécialisés, des groupes médiatiques ont eu libre accès à un site réservé aux médias qui leur a permis d’adapter l’information à leurs propres besoins, quoique la mise en service du site Web soit antérieure au projet de transition.
- Un répondant d’Environnement Canada fait état de deux principaux obstacles à l’amélioration des services : 1) on ne peut mettre au point de nouveaux produits s’il manque de ressources; 2) il est impossible de créer de nouveaux produits sans en abandonner d’autres
- Intervenants et partenaires fédéraux. Les intervenants et les partenaires fédéraux estiment que des progrès ont été faits et qu’il faut en faire beaucoup plus pour atteindre cet objectif.
- L’établissement d’un bureau de services agricoles au sein de l’Unité des services nationaux à Regina, les systèmes d’information météoroutière (SIMR), le fait de mettre l’accent davantage sur les besoins des clients et la normalisation des produits de météorologie maritime ont été cités à titre d’exemples d’amélioration.
- Par ailleurs, les intervenants et les partenaires fédéraux se demandent si les ressources d’Environnement Canada seront suffisantes pour suivre l’évolution des besoins en matière de science et de production
- Intervenants provinciaux et municipaux. Les répondants provinciaux et municipaux constatent une amélioration du service
- Par exemple, un répondant provincial est d’avis que le Service météorologique du Canada a accordé plus d’importance à ses relations avec les clients, les intervenants et le grand public au cours des dernières années. « Avant cela, Environnement Canada était plus isolé (probablement à cause de la restructuration/rationalisation qui a eu lieu dans les années 1990); ce n’était pas le moment idéal pour établir des partenariats. Cette amélioration tient au fait que nous sommes en train d’étudier des scénarios sur le changement climatique dans l’ensemble du pays et que les gouvernements doivent travailler ensemble pour résoudre ce problème. » [Traduction]
- Intervenants et partenaires non fédéraux. Les intervenants et les partenaires non fédéraux font observer que la disponibilité accrue des données a eu pour résultat d’améliorer les services offerts aux intervenants et d’influencer leur recherche. Cependant, des répondants font également observer que la prestation des services (en raison de questions de dotation) et les prix élevés facturés aux clients présentent une source de préoccupation.
Résultat immédiat 4 – Adaptation des Canadiens à l’environnement de façon à assurer leur sécurité et leur santé, la prospérité économique et la qualité de l’environnement
Cote : Sans objet
Constatation générale
Les renseignements qui étaient disponibles au moment de l’évaluation révèlent que, en général, il est trop tôt pour savoir si le projet de transition a aidé les Canadiens à préserver leur mieux‑être, la prospérité économique et la qualité de l’environnement. En outre, il serait difficile d’attribuer le changement de comportement des Canadiens au projet de transition et à Environnement Canada uniquement (p. ex., la responsabilité du Système d’information météoroutière n’incombe pas seulement aux responsables du projet de transition et à Environnement Canada).
Enjeu d’évaluation : Succès
Résultats imprévus |
Indicateur(s) |
Cote |
QE 6 : Le projet a-t-il donné lieu à des résultats imprévus (positifs ou négatifs)? A-t-il fallu prendre des mesures à cet égard |
- Présence/absence des résultats imprévus
- Le cas échéant, mesures de gestion documentées ou leçons retenues des résultats imprévus
|
Sans objet |
QE 6 Constatations
- On a constaté peu de résultats imprévus, qu’ils soient positifs ou négatifs. Cependant, l’établissement de l’Équipe nationale de renseignements (ENR), qui fait appel au personnel des bureaux de services nationaux, est un exemple d’un résultat positif imprévu du projet de transition. L’équipe assure le suivi des demandes des intervenants et du grand public adressées par téléphone et par courrier électronique et les transmet au gestionnaire responsable, coordonnant ainsi le processus de réponse. Une personne interrogée a mentionné que la mise sur pied de cette équipe ne s’inscrivait pas dans les résultats prévus mais qu’il s’agissait plutôt d’une résultante.
4.3 Rentabilité et moyens de rechange
Enjeu d’évaluation : Rentabilité et moyens de rechange
A-t-on utilisé les moyens les plus appropriés et les plus efficaces pour obtenir les résultats?
Constatations générales
- Même s’il existe des indications subjectives convaincantes selon lesquelles le projet a été un bon investissement, il a été impossible d’effectuer une évaluation exhaustive en raison du manque d’information financière.
- Bien qu’il n’y ait pas de faits à partir desquels on peut tirer des leçons, les employés d’Environnement Canada reconnaissent généralement que le projet a mis en œuvre les moyens les plus appropriés et les plus efficaces pour obtenir les résultats.
Enjeu d’évaluation :
Rentabilité et moyens de rechange
|
Indicateur(s) |
Cote |
QE 7 : Le projet de transition a-t-il permis d’optimiser les ressources affectées par le fédéral? |
- Mesure dans laquelle les dépenses ou le budget du projet de transition ont été suffisants par rapport aux objectifs énoncés
- Suggestions présentées pour améliorer la rentabilité du projet de transition
- Ventilation financière détaillée de chaque composante du projet de transition (prévue et réelle)
- Ressources utilisées
|
~Atteint37 |
QE 7 Constatations
- L’ensemble du personnel ministériel et des partenaires fédéraux estime que le projet de transition du Service météorologique du Canada a offert une bonne optimisation des ressources compte tenu des circonstances entourant le projet. Dans l’ensemble, les employés d’Environnement Canada ont convenu que les activités réalisées représentaient la meilleure façon d’obtenir les résultats souhaités.
- Les répondants d’Environnement Canada ont fait ressortir plusieurs facteurs externes qui ont influencé l’atteinte des résultats.
- La capacité d’atteindre des résultats a été compromise par les changements apportés à la gouvernance et aux processus d’affectation des ressources à l’échelle du Ministère. La responsabilité des décisions budgétaires incombait désormais aux conseils, non aux organisations hiérarchiques, et les ressources ont été centralisées et affectées selon les priorités. Les répondants d’Environnement Canada indiquent qu’à cause des changements apportés aux processus d’affectation des ressources et des réductions ministérielles, le volet « surveillance » ne peut pas toujours obtenir de services votés ni de ressources pécuniaires.
- Les décisions du gouvernement n’étaient pas appuyées par les fonds nécessaires (p. ex., le coût des bureaux à Gander, Terre‑Neuve-et-Labrador, et à Winnipeg, Manitoba) et il a fallu rediriger des ressources provenant des programmes de services votés d’Environnement Canada.
- La mise en oeuvre des activités a été retardée à cause des exigences de la politique (p. ex., négociations touchant les revendications territoriales) et de nouvelles méthodes de gestion des biens immobiliers.
- Les employés d’Environnement Canada ainsi que les intervenants provinciaux et internationaux citent des exemples qui illustrent comment le projet de transition a tiré parti d’autres ressources. À l’interne, les employés d’Environnement Canada mentionnent que bon nombre des initiatives rattachées au projet ont accéléré les travaux réalisés dans le cadre des initiatives en cours du Service météorologique du Canada. À l’extérieur, le projet a mis à profit des ressources fournies par Transports Canada relativement aux systèmes d’information météoroutière et à la mise en œuvre du Système de prévision d’ensemble nord‑américain.
- La ventilation financière détaillée de chaque élément est présentée à l’annexe G. Même si tous s’entendent pour dire que le Ministère a bien optimisé son investissement, il a été impossible de corroborer cette impression à l’aide des données financières présentées jusqu’à maintenant. Les répondants d’Environnement Canada ont fait tout leur possible pour rendre compte de l’utilisation des fonds. Mais il reste que 17 p. 100 des fonds octroyés par le Secrétariat du Conseil du Trésor demeurent non justifiés. Les personnes interrogées à Environnement Canada attribuent cette difficulté aux changements apportés aux processus d’affectation des ressources du Ministère après 200438; au manque de cohérence du codage des dépenses39 et au virement des fonds du projet de transition vers d’autres conseils.40 Au moment de rédiger ce rapport, près dde 5 360 000 $ de fonds alloués par le Conseil du Trésor n’ont pas pu être reliés à des dépenses faites dans le cadre du projet de transition41. Au moment de rédiger ce rapport, près de 5,36 M$ de fonds alloués par le CT n’ont pas pu être reliés à des dépenses faites dans le cadre du projet de transition.42 En outre, il a été impossible de rendre compte des 7 300 000 $ attribués en vue de la désaffectation des stations de Mould Bay et d’Isachsen. La somme de ces deux nombres totalise 17 p. 100 du financement affecté au projet de transition par le Conseil du Trésor.
Enjeu d’évaluation :
Rentabilité et moyens de rechange |
Indicateur(s) |
Cote |
QE 8 : Existait-il d’autres moyens pour atteindre les résultats visés par le projet de transition? |
- Analyse de différentes options ou approches d’exécution
|
Sans objet |
QE 8 Constatations
- D’un point de vue général, les répondants d’Environnement Canada mentionnent que la stratégie était appropriée, bien que certains d’entre eux partagent l’impression que la structure aurait pu être mieux établie.
- Même si des exemples nous parvenant d’autres pays montrent qu’il existe d’autres moyens de structurer et de régir la prestation des services météorologiques, rien n’indique que ces moyens de rechange seraient plus efficaces pour obtenir les résultats prévus du projet de transition, compte tenu de la géographie, de la taille de la population, du type de gouvernance et du budget uniques du Canada.
- Bien que nous ayons examiné la structure de gouvernance et la structure organisationnelle des services météorologiques fournis dans d’autres pays, aucune analyse comparative officielle n’a jamais été produite pour orienter et justifier la conception du projet de transition. De plus, nous n’avons trouvé aucun document pour justifier les choix de conception du projet de transition.
4.4 Conception et exécution
Enjeu d’évaluation : Conception et exécution
L’initiative a-t-elle été exécutée de la meilleure façon possible? Cette série activités et d’extrants convenait-elle pour obtenir les résultats?
Constatations générales
- Pour la plupart, le principe et la conception du projet étaient à propos pour obtenir les résultats souhaités, même s’il n’a pas été réalisé entièrement comme prévu.
- Certaines activités ont été abandonnées et d’autres n’ont toujours pas été menées à bien à ce jour, surtout en ce qui a trait au volet « surveillance » du projet de transition..
- Il y a des cellules de mécontentement chez les répondants d’ Environnement Canada et quelques intervenants à l’égard du projet. Certains employés d’Environnement Canada se demandent si la réalisation des résultats visés est possible et certains intervenants s’inquiètent de la prestation et de la qualité des services.
- Le Service météorologique du Canada a sous-estimé quelques-unes des exigences de financement, et des ressources ont été réaffectées à l’intérieur du projet.
- En raison de l’impossibilité d’accéder à toutes les données financières, l’évaluation n’a pas permis de confirmer si le projet avait été exécuté selon les budgets.
Enjeu d’évaluation :
Conception et exécution |
Indicateur(s) |
Cote |
QE 9 : Le projet de transition a-t-il été exécuté conformément à sa conception (mené à bien selon les budgets et les échéanciers établis)? |
- Documents indiquant que le projet de transition a été exécuté conformément à sa conception
|
Progrès réalisés, attention requise |
QE 9 Constatations
- Les répondants d’Environnement Canada et les participants aux ateliers43 s’entendent pour dire que le principe et la conception du projet étaient appropriés pour atteindre les résultats souhaités. Toutefois, quelques-uns des répondants ont soulevé que certains sous‑éléments posaient un problème.
- Les répondants d’Environnement Canada et les documents analysés font état de l’abandon de certaines activités de surveilance (p. ex., le programme d’acquisition des données sur la vapeur d’eau du système AMDAR) et du retard de certaines autres (p. ex., les sites de Mould Bay et d’Isachsen)
- Les répondants d’Environnement Canada et les documents analysés font état de l’abandon et du retard de certaines activités de suivi (p. ex., les sites de Mould Bay et d’Isachsen et le nouveau programme d’acquisition des données sur la vapeur d’eau du système AMDAR).
- Des ressources ont dû être réaffectées et une partie des fonds n’a pas été utilisée.
- Les ressources affectées pour chaque élément durant la période quinquennale du projet de transition sont présentées à l’annexe A. Une analyse financière détaillée (dépenses prévues et dépenses réelles) de chaque élément est présentée ci-après.
Élément 1 –Regroupement et modernisation des opérations prévisionnelles du Service météorologique du Canada
- Les dépenses ont atteint environ 20,1 M$ pendant les quatre premières années du projet de transition, alors que le budget quinquennal prévu initialement pour cet élément se chiffrait à 13,068 M$ (dépassement du budget de 53,8 %).
- Le regroupement et la modernisation des opérations prévisionnelles du Service météorologique du Canada ont dépassé largement le budget (les coûts pour procéder à l’automatisation et au regroupement des activités de cet élément ont été sous-estimés).
- Plus précisément, le sous-élément « Regroupement des bureaux de production des prévisions » a dépassé de 61 p. 100 le budget, et le sous-élément « Systèmes automatisés de production des prévisions journalières » a dépassé d’environ 72 p. 100 le budget (ces données sont fondées sur le budget quinquennal initial prévu pour ces deux sous‑éléments).
- Des ressources provenant du troisième élément, « Mise à jour et développement des compétences essentielles », ont été réaffectées.
- Seulement 16 p. 100 des fonds de transition affectés aux communications ont été utilisés jusqu’à maintenant.
Élément 2 – Création des bureaux de services nationaux et mise en place de services de sensibilisation
- Sur les 12 000 000 $ alloués par le Secrétariat du Conseil du Trésor à cet élément, 70,7 p. 100 (8 500 000 $) ont été dépensés à ce jour.
- Bien que les trois BSN soient, pour l’essentiel, dotés et opérationnels, il y a actuellement quelques postes laissés vacants par des départs à la retraite récents et des mutations à d’autres postes, par exemple, ce qui correspondrait en partie à l’écart entre les dépenses prévues et les dépenses réelles (pour la période comprise entre l’exercice 2003-2004 et 2006-2007, on avait prévu 9 600 000 $ pour cet élément; de ce montant, environ 8 500 000 $ seulement ont été dépensés réellement).
Élément 3 – Mise à jour et développement des compétences essentielles
- On a dépensé un montant de 3 192 000 $ au cours des trois premiers exercices du projet sur un budget total de 11 660 000 $.
- Toutes les ressources restantes ont été réaffectées, dans l’exercice 2004-2005, à l’automatisation et au regroupement (dans le cadre de l’élément « Regroupement et modernisation des activités prévisionnelles »), puisque ces activités ont dépassé considérablement le budget.
- Cependant, à partir de 2004-2005, dans le cadre de l’initiative « s’orienter vers l’avenir », les fonds destinés au recrutement ont été intégrés au financement voté et ajoutés aux ressources des gestionnaires.
Élément 4 – Amélioration des produits et des services et innovation
- Le Secrétariat du Conseil du Trésor a alloué 11 600 000 $ pour cet élément. Jusqu’à maintenant, entre les exercices financiers de 2003-2004 et de 2006-2007 (quatre ans), quelque 8 300 000 $ (71,5 p. 100) ont été utilisés.
- Seulement 67,1 p. 100 (737 600 $) de ces fonds ont servi jusqu’à maintenant comparativement au montant total du financement (1 100 000 $) attribué au sous‑élément « Conditions climatiques et météorologiques violentes ».
- Les dépenses réelles du sous-élément « Prévisions saisonnières et à période prolongée » correspondaient aux montants prévus, tandis que 73,3 p. 100 des fonds affectés au Système d’information météoroutière ont été utilisés entre les exercices financiers 2003-2004 et 2006-2007.
Élément 5 –Renforcement de la capacité de surveillance du Service météorologique du Canada
- Globalement, quelque 15 000 000 $ (58,9 p. 100) sur les 25 000 000 $ affectés par le Secrétariat du Conseil du Trésor à cet élément ont été dépensés
- Pour ce qui est du sous-élément « Rationalisation du système de surveillance », 17 110 000 $ ont été alloués au cours de la période quinquennale du projet de transition. De ce montant, une somme de 8 000 000 $ (dont 700 000 $ ont été dépensés jusqu’à maintenant) a été affectée à deux projets particuliers, soit la désaffectation des sites de Mould Bay et d’Isachsen. À la suite des revendications territoriales présentées par les Autochtones en 2004-2005 et 2005-2006 relativement aux deux sites, il a été décidé de remettre ces deux projets à plus tard (par la suite, la responsabilité des deux projets a été confiée à Gestion des biens sous la direction de Gestion des sites contaminés). Par conséquent, sur les 9 110 000 $ restants, 8 925 000 $ ont été dépensés (soit environ 98 p. 100).
- Les 7,3000 000 $ prévus pour les projets de Mould Bay et d’Isachsen n’ont pas pu être justifiés
- À ce jour, environ 81 p. 100 des fonds ont été utilisés pour le sous-élément « Assurance de la qualité et accessibilité des données », qui comprend l’établissement d’un système de soutien à la gestion du cycle de vie (GCV) et la mise en place d’une capacité d’archives des données climatiques et hydrologiques.
- Seulement 32 p. 100 des fonds ont été utilisés jusqu’à maintenant comparativement aux montants prévus jusqu’à l’exercice 2006-2007 en ce qui a trait au système de retransmission des données météorologiques d’aéronefs AMDAR
Enjeu d’évaluation
Conception et exécution |
Indicateur(s) |
Cote |
QE 10 : A-t-on recueilli des données sur le rendement par rapport aux activités et aux résultats de programme? Dans l’affirmative, a-t-on utilisé cette information pour guider les décideurs? |
Mesure dans laquelle un système de mesure du rendement a été mis en œuvre et est utilisé pour gérer et rectifier |
Peu de progrès réalisés, attention requise |
QE 10 Constatations
- Les entrevues effectuées à l’interne et les documents analysés témoignent d’une variété d’informations. Il existe des données détaillées sur le rendement au niveau des activités. Ces données servent particulièrement à la gestion afin d’améliorer les produits et les services.
- Par exemple : le nombre de visites sur les sites Web du Service météorologique du Canada est consigné; l’Équipe nationale de renseignements recueille les avis du public et les transmet au responsable du Plan de projet axé sur les résultats (PPAR); des enquêtes sur des produits, des sondages auprès des ressources humaines et des sondages d’opinion ont été menés; des systèmes de vérification sont en place ou en cours d’élaboration pour évaluer l’exactitude et la rapidité de production des modèles prévisionnels et des prévisions; plus récemment, des aspects du projet de transition ont obtenu la certification ISO 9000.
- Même si le sous-ministre adjoint a approuvé des mesures de rendement et une stratégie de mesure du rendement, en 2005, il est rare que les données relatives au rendement soient liées aux résultats, qu’il s’agisse des résultats immédiats ou ultimes. En outre, il est difficile de suivre ou d’établir un lien entre les budgets de financement et les dépenses, en particulier après 2005. Cela signifie que le Ministère est incapable de retracer 17 p. 100 des fonds octroyés par le Secrétariat du Conseil du Trésor.
- Dans le passé, des rapports spéciaux ont été préparés en réponse aux demandes des comités et des conseils de gestion. Dorénavant, avec la certification ISO, des revues de direction sont effectuées et leurs résultats sont présentés régulièrement au Conseil des services météorologiques et environnementaux (CSME).
Enjeu d’évaluation : Conception et exécution |
Indicateur(s) |
Cote |
QE 11 : Dans quelle mesure les divers intervenants sont-ils satisfaits du projet de transition44? |
- Satisfaction exprimée par les intervenants
|
Progrès réalisés, attention requise |
Constatations générales
Le personnel d’Environnement Canada a exprimé sa satisfaction à l’égard de certains aspects du projet de transition et a fait part de sa préoccupation quant à la capacité d’atteindre les résultats du projet. Les intervenants de l’extérieur se sont montrés généralement satisfaits des liens entretenus, mais ils ont dit s’inquiéter de la capacité du Service météorologique du Canada de fournir les données dont les intervenants ont besoin, du manque d’accès pour les médias à un prévisionniste à l’échelon local, ainsi que du roulement de l’effectif et du manque perçu de planification de la relève. Le grand public semble satisfait des services du Service météorologique du Canada, à l’exception des personnes qui habitent une localité où le bureau régional a été fermé.
Constatations détaillées
Employés d’Environnement Canada
- Au départ, les employés d’Environnement Canada ont appuyé la vision, même si certains étaient mécontents de la façon dont la direction gérait le projet de transition. Malgré la satisfaction exprimée à l’égard d’aspects précis du projet de transition, le personnel de programmes d’Environnement Canada s’est dit préoccupé par la capacité de réaliser les résultats visés et par la nécessité d’obtenir une orientation de la part de la direction45.
- Les résultats des enquêtes auprès des employés sur la transition du Service météorologique du Canada réalisées en 2003 et en 2004 indiquent que les employés du Service météorologique du Canada ont appuyé la vision dès le départ, même si la gestion du projet de transition par la direction suscitait un certain mécontentement.
- Les résultats de l’enquête auprès des employés sur la transition du Service météorologique du Canada de 2007 ne sont pas encore connus, mais les entrevues menées dans le cadre de cette évaluation montrent que le Service météorologique du Canada et les partenaires internes46 sont généralement satisfaits de la façon dont la direction a géré le projet de transition. Toutefois, les personnes interrogées sont d’avis que la direction aurait pu mieux faire son travail sur le plan de la gestion des priorités pour assurer l’atteinte des objectifs.
- Les employés de programmes d’Environnment Canada interrogés ont affirmé que la gestion du projet de transition du point de vue des Ressources humaines avait été très efficace.
- Certains employés de programmes d’Environnement Canada interrogés se sont dits satisfaits de la formation offerte, tandis qu’un autre a déclaré : « Bien que nous [Service météorologique du Canada] ayons essayé, je crois que nous avons échoué dans le sens où je ne pense pas que nous avions la capacité de permettre au personnel, en particulier le personnel des prévisions, de tirer parti de ce que nous leur avions promis… c’est-à-dire de permettre aux employés de consacrer 20 p. 100 de leur temps à l’acquisition et au perfectionnement des compétences scientifiques. » [Traduction]
- Les réponses du personnel de programmes d’Environnement Canada sont partagées quant au traitement des relations entre les partenaires et les intervenants. Les répondants ont constaté que la plupart des partenaires semblaient contents. Toutefois, ils ont exprimé une certaine frustration par rapport au fait que les données n’avaient pas été fournies aux partenaires qui en avaient besoin. Lorsqu’il se prononce sur le degré de satisfaction lié au traitement des relations entre Environnement Canada et le grand public, le personnel de programmes d’Environnement Canada est d’avis que la majorité du public n’était pas au courant du projet de transition, ni concerné par celui-ci, sauf dans les cas où un centre de prévisions météorologiques régional a été fermé dans la collectivité.
- Par exemple, les préoccupations du public au sujet de la fermeture du bureau de prévisions météorologiques de Gander a mené à sa réouverture.
Intervenants et partenaires fédéraux et intervenants provinciaux et municipaux
- En général, les intervenants et les partenaires fédéraux se sont dits satisfaits de leurs relations avec le Service météorologique du Canada , en particulier sous l’angle de la communication, de la coopération et de la consultation. Les intervenants et les partenaires fédéraux mentionnent toutefois que la non-disponibilité des données dont ils ont besoin en temps opportun constitue une source de préoccupation.
- Les intervenants provinciaux et municipaux interrogés soulignent que le nombre de nouvelles initiatives et de nouveaux partenariats est à la hausse et que ces derniers se sont améliorés au cours des dernières années. Lors des entrevues, on a aussi soulevé l’échange d’information accru et une plus grande collaboration.
Intervenants et partenaires non fédéraux
- Les intervenants et les partenaires non fédéraux se disent satisfaits des relations nouées au cours des cinq dernières années, et insatisfaits de certaines lacunes sur le plan du service. Par exemple, des répondants non fédéraux ont fait observer que l’information disponible sur Internet répond aux besoins du grand public, mais pas aux besoins particuliers de l’industrie. Ils ont également indiqué que les médias n’ont pas accès directement à un responsable local du Service météorologique du Canada pour obtenir de l’information sur des phénomènes météorologiques violents. Ils ont aussi parlé des frais imposés pour la prestation de renseignements météorologiques du Service météorologique du Canada sur les sites Web des médias.
- Les intervenants et les partenaires non fédéraux interrogés sont aussi préoccupés par le roulement de personnel et sont d’avis que la planification de la relève a été mise de côté.
- Pour ce qui est du traitement des relations entre Environement Canada et le grand public, les intervenants et les partenaires non fédéraux interrogés ont dit que les relations étaient généralement bonnes. Cependant, quelques points négatifs ont été soulevés comme la perte du sentiment d’appartenance au niveau de la collectivité en raison de la fermeture des bureaux météorologiques régionaux.
Intervenants et partenaires internationaux
General Public
- Sur les 29 articles parus sur le projet de transition du Service météorologique du Canada que nous avons trouvés dans le cadre de l’analyse des reportages des médias, 17 articles peuvent sembler faire mauvaise presse au projet de transition du Service météorologique du Canada, tandis que 12 articles décrivent de façon positive les activités du projet de transition. Dans l’analyse des reportages des médias, la fermeture des stations météorologiques et l’incidence de ces fermetures sur les employés du Service météorologique du Canada et les habitants de ces régions se révèlent être l’aspect le plus négatif du projet de transition.
- Selon une enquête, 75 p. 100 des répondants sont satisfaits ou extrêmement satisfaits du site Web des médias, et 59 p. 100 d’entre eux avaient consulté le site plus d’une fois par jour47
Enjeu d’évaluation :
Conception et exécution |
Indicateur(s) |
Cote |
QE 12 : Quelles sont les leçons retenues et les pratiques exemplaires qui découlent du projet de transition? |
- Leçons retenues et pratiques exemplaires dégagées
|
Sans objet |
Les constatations relatives aux pratiques exemplaires et aux leçons retenues sont fondées sur une analyse des constatations des onze premières questions d’évaluation. Les résultats de cette analyse ont été divisés en deux groupes : pratiques exemplaires et leçons retenues. Les pratiques exemplaires représentent les aspects qui ont favorisé l’atteinte des résultats, tandis que les leçons retenues sont les aspects qui ont réduit la capacité de démontrer l’atteinte des résultats. Chaque pratique exemplaire et leçon retenue décrite dans cette section porte sur la conception et l’exécution du projet de transition du Service météorologique du Canada. Les leçons retenues pourraient aussi se rapporter à la conception, à la mise en œuvre et au suivi d’autres projets mis en branle pour accélérer la réalisation des buts et des programmes de services votés.
Pratiques exemplaires
- Une vision claire aide les employés à soutenir une nouvelle initiative. Les employés ont adhéré à la vision du projet de transition et ils ont continué de la suivre tout au long du projet.
- Le modèle logique et les mesures de rendement constituent le fondement de l’évaluation d’un projet. En 2005, le Service météorologique du Canada a élaboré et approuvé un cadre (modèle logique et stratégie de mesure du rendement) qui a permis de rendre compte des résultats ultimes et qui a servi de structure pour l’évaluation du projet.
Leçons retenues
- Les constatations dégagées lors de l’évaluation montrent que les rôles et les responsabilités des bureaux de services nationaux et des agents de sensibilisation n’étaient pas bien compris. Il est important de s’assurer que les aspects et les rôles propres à une initiative sont bien définis et compris, même s’ils évoluent au fil du temps.
- Les constatations démontrent également que les employés d’Environment Canada et les intervenants de l’extérieur, en particulier les intervenants non fédéraux, n’ont pas bien compris les répercussions des changements qui ont suivi le processus de transformation ministérielle de 2005 sur le mandat et les services du Service météorologique du Canada. Par conséquent, ces intervenants ont cru que le Service météorologique du Canada était en train de se transformer en une organisation plus fragmentée et moins stable. Les stratégies de communication jouent un rôle clé dans la façon dont les intervenants perçoivent une initiative.
- Les gestionnaires de projet ont sous-estimé les coûts de certaines activités48, ils n’ont pas prévu le rôle et les répercussions des facteurs internes et externes et ont fait preuve d’un optimisme immodéré par rapport à la capacité d’atteindre les résultats immédiats et ultimes.
- Même si le projet de transition a permis de comptabiliser les dépenses du projet de transition grâce à la création d’un plan de projet axé sur les résultats (PPAR) distinct sous la structure de gestion des résultats, ce mécanisme n’a pas été suffisant pour déterminer l’utilisation des fonds du Secrétariat du Conseil du Trésor et des fonds réaffectés à l’interne. Afin d’établir l’optimisation des ressources, il est essentiel de mettre en place des méthodes qui visent à comptabiliser les données financières relatives au projet et à les relier à une entité plus grande (p. ex., programmes permanents de services votés).
- Le modèle logique du projet de transition contenait des résultats ambitieux pour un projet échelonné sur cinq ans. Bon nombre des résultats du projet, surtout ceux liés la création de nouveaux produits et services, ne sont observables qu’après un certain temps. Par conséquent, les modèles logiques des projets à court terme doivent prévoir des délais réalistes.
- En 2005, une mesure de rendement et une stratégie d’évaluation ont été élaborées lors de l’établissement d’un cadre d’évaluation. Pourtant, de nombreux répondants d’Environnement Canada n’étaient pas au courant des exigences relatives aux mesures de rendement et aux données connexes. Il a donc fallu beaucoup de temps pour recueillir les données sur le rendement nécessaires à l’évaluation. La stratégie de mesure du rendement qui a été élaborée doit être mise en œuvre. Une stratégie de mesure du rendement n’est utile que lorsque des efforts sont déployés pour faire le suivi des progrès de l’initiative par rapport à cette stratégie. Les méthodes de suivi de l’information sur le rendement, en particulier lorsqu’un projet fait partie d’une entité plus vaste, sont essentielles pour déterminer la portée des réalisations d’un projet.
25 Comme nous l’avons mentionné à la section 3.2, des cotes ont été attribuées à de nombreuses questions d’évaluation. Ces cotes sont : Atteint; ~Atteint; Progrès réalisés, attention requise; Peu de progrès réalisés, attention requise. Lorsque nous avons jugé qu’il était trop tôt pour attribuer une cote, nous avons indiqué Trop tôt pour savoir et Sans objet dans les cas où une cote ne s’appliquait pas à des éléments. Se reporter à la section 3.2 pour obtenir d’autres détails.
26 Examen des budgets 2003, 2004, 2005, 2006 et 2007. L’infrastructure, la planification et l’intervention en cas d’urgence, ainsi que les compétences et l’apprentissage comptaient parmi les thèmes abordés.
27 L’examen a porté sur les discours du Trône de la 37e législature, 2e session à la 39e législature, 2e session. Au nombre des thèmes abordés figuraient l’infrastructure, la gestion des mesures d’urgence, la formation et le perfectionnement des compétences.
28 Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du Service météorologique du Canada, le 6 décembre 2007, p. 15.
29 Données tirées du document How MSC’s Financial Situation has Evolved, 30 septembre 2004, et d’autres documents internes préparés pour le CSME.
30 Ninjo est un logiciel de poste de travail. Les responsables des prévisions utilisent un poste de travail pour afficher et manipuler les données ainsi que pour y accéder.
31 Les détails fournis au sujet des programmes sont fondés sur les renseignements contenus dans les documents obtenus du Service météorologique du Canada relativement aux descriptions de programme.
32Pour obtenir des renseignements supplémentaires sur les pressions financières, se reporter aux constatations de la QE 7.
33 P. ex., MSC Year 3 Transition – Year End Report; www.hazards.ca; www.criacc.qc.ca.
34 Selon les renseignements reçus le 15 janvier 2008.
35 Pendant la mise en œuvre du projet, le nombre de réseaux de volontaires a augmenté par rapport aux résultats prévus initiaux. Par conséquent, l’atteinte de l’objectif n’est pas calculée selon un pourcentage.
36 Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du : Rapport final, p. 5.
37 ~Atteint : Même s’il existe des preuves subjectives convaincantes selon lesquelles le programme fonctionne bien par rapport au secteur d’intérêt, il a été impossible d’effectuer une évaluation exhaustive en raison du manque d’information sur le rendement et les finances.
38 L’affectation des ressources était fondée sur les besoins prioritaires.
39 Compte tenu que les gestionnaires peuvent coder les fonds utilisés d’une façon différente, il peut se produire des erreurs de codage. À ce titre, les chercheurs n’ont pu obtenir qu’une estimation approximative du montant total.
40 Par exemple, des fonds des services de soutien essentiels ont été transférés au Conseil des services de gestion du Ministère, mais les fonds n’ont pas nécessairement servi au projet de transition comme tel.
41 Le Conseil du Trésor a octroyé 73,8 M$. De ce montant : 56 260 300 $ ont été dépensés entre l’exercice financier de 2003-2004 et celui de 2006-2007 à des fins d’activités de programme (ce qui inclut une somme de 1 189 000 $ affectée aux frais d’hébergement pendant 5 ans); on ne peut rendre compte d’environ 5,36 M$.
42 On a décidé de repousser ces deux projets (dont la responsabilité a été confiée par la suite à Gestion des biens sous la direction de Gestion des sites contaminés).
43 Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du Service météorologique du Canada: Rapport final. Le 6 décembre 2007.
44 Les intervenants de l’extérieur n’étaient pas particulièrement renseignés sur le projet de transition. Afin d’obtenir leurs commentaires, on a posé aux intervenants externes 1) des questions sur des éléments du projet en rapport avec leur domaine de travail, et 2) des questions sur leur relation avec Environnement Canada durant la période de transition (2003-2004 à 2007-2008).
45 Goss Gilroy Inc., Rapport sur les ateliers d’évaluation du projet de transition du Service météorologique du Canada : Rapport final. Le 6 décembre 2007.
46 On entend par « partenaires internes » le personnel d’Environment Canada de la Direction générale des sciences et de la technologie et de la Direction générale de l’intendance environnementale.
47 Service météorologique du Canada Media Website Survey Final Report, juillet 2007.
48 Par exemple, le coût associé au regroupement et à la modernisation des activités révisionnelles.