Haut de la page
| Précédent | TdesM | Suivant |
L'évaluation avait pour but d'examiner la participation du Canada à la CCE. Plus particulièrement, elle a cherché à déterminer si et comment le Canada avait profité des efforts déployés par la CCE pour atteindre les objectifs de l'ANACE, dans quelle mesure il y avait contribué et quelles en avaient été les répercussions.
L'évaluation comportait un examen exhaustif des domaines suivants : les principales activités de fond de la CCE, les dimensions de gouvernance ayant trait à la CCE et au gouvernement canadien, et les dimensions opérationnelles et organisationnelles de la CCE, y compris les processus administratifs et financiers de la Commission. On a accordé une attention particulière au rôle joué par EC, qui est le ministère fédéral responsable des contributions financières versées à la CCE.
Pour évaluer la participation du Canada à la CCE, l'évaluation s'est articulée autour des quatre questions suivantes :
Il est à noter qu'on n'a produit aucun document décrivant les résultats escomptés (et les activités et extrants connexes) de la participation du Canada à la CCE. Dans le passé, la contribution d'EC à la CCE a été exemptée de la production d'un cadre de gestion et de responsabilisation axé sur les résultats (CGRR)21. Le Canada participe toutefois à la CCE puisqu'il s'agit de l'organisation créée pour faciliter la poursuite efficace des objectifs de l'ANACE. La réponse à la question d'évaluation portant sur la réussite s'est donc appuyée sur ces objectifs, qu'on trouvera à l'annexe 1.
Les objectifs relatifs aux domaines mentionnés ci-dessus, au point portant sur la réussite, représentent le sommaire conceptuel par l'évaluation des objectifs de l'ANACE. En ce qui a trait à l'amélioration des politiques, 6 des 10 objectifs de l'ANACE y renvoient d'une façon ou d'une autre (p. ex. mesures, lois, règlements, procédures et pratiques), notamment celui qui vise à favoriser des politiques environnementales et économiques cohérentes. On a intégré les domaines de la coopération environnementale, de la participation du public, et du commerce et de l'environnement étant donné leurs liens directs et indirects à certains objectifs précis de l'ANACE. On a aussi tenu compte du commerce et de l'environnement dans l'évaluation de la réussite étant donné l'importance, mentionnée précédemment, accordée à cette question dans les travaux et les activités antérieurs et actuels de la CCE.
Le détail des questions ayant trait à chaque enjeu d'évaluation présenté ci-dessus se trouve dans l'Evaluation Plan for the Evaluation of Canada's Participation in the CEC (septembre 2006). On en trouvera les détails à l'annexe 2. Les éléments probants pour cette évaluation ont été réunis entre juillet 2006 et février 2007.
Pour appuyer le processus d'évaluation, on a constitué un comité d'évaluation. Ce comité était composé de fonctionnaires de la Direction générale de la vérification et de l'évaluation d'EC (l'Équipe du projet d'évaluation) ainsi que de gestionnaires de programmes engagés dans des activités relatives à la CCE, à EC et au MAECI. Le Comité d'évaluation avait pour mandat de faciliter et d'orienter le processus d'évaluation au niveau opérationnel, du début à la fin22.
L'un des volets importants de l'évaluation était le partage des constatations préliminaires et des rapports provisoires avec des particuliers, des groupes et/ou des comités pour leur permettre de valider les constatations et/ou de fournir une rétroaction avant l'achèvement du rapport. Dans cette optique, on a organisé des sessions distinctes avec les groupes suivants : les membres du Comité d'évaluation, les membres du Conseil de l'intégration stratégique d'EC (composé de hauts fonctionnaires d'EC), le personnel supérieur du Secrétariat de la CCE, des représentants des provinces, et des représentants suppléants et des responsables des deux autres Parties à l'ANACE, c'est- à-dire le Mexique et les É.-U.23.
Conformément au processus interne d'assurance de la qualité de la Direction générale de la vérification et de l'évaluation, des exemplaires du rapport provisoire ont été transmis aux cadres supérieurs de la Direction pour un premier examen. Le rapport provisoire a ensuite été remis aux membres du Comité d'évaluation à des fins d'examen. Enfin, le rapport provisoire a été communiqué aux cadres supérieurs du Secrétariat de la CCE et aux représentants des provinces signataires ainsi que des gouvernements des É.-U. et du Mexique.
Conformément aux pratiques exemplaires, l'évaluation a comporté le recours à de multiples sources de données et voies d'enquête, y compris :
On a examiné et analysé des documents ayant trait tant au gouvernement du Canada qu'à la CCE. On trouvera à l'annexe 4 la liste complète de ces documents. Outre les documents ayant trait aux politiques, à la planification et à la recherche concernant la participation de la CCE et du Canada, la liste présente aussi les principaux règlements, politiques et procédures de la CCE qu'a examinés l'Équipe d'évaluation24.
La surveillance des grands médias canadiens a permis d'obtenir de l'information sur les diverses perceptions que peuvent entretenir les personnes et les groupes au sujet de la CCE. L'évaluation s'est servie à la fois d'un outil de recherche des médias utilisé à EC ainsi que des rapports sur la portée et l'incidence des médias produits par le Secrétariat de la CCE.
On a réalisé des entrevues avec des fonctionnaires de niveau subalterne et supérieur du gouvernement du Canada (qui ont ou qui ont eu affaire à la CCE), avec les cadres supérieurs du Secrétariat de la CCE (actuels et anciens), avec des membres du CCPM et du CCN canadiens (actuels et anciens), et avec des représentants des provinces signataires (habituellement des responsables du Comité gouvernemental). Ces entrevues ont été réalisées, habituellement en personne, par les responsables de l'Équipe du projet d'évaluation, du 20 septembre au 20 octobre 2006. On a procédé à 39 entrevues. Elles avaient pour but d'examiner un certain nombre d'enjeux et de questions abordés dans la présente évaluation25. L'annexe 5 présente les questions et les thèmes d'entrevue utilisés pour faciliter les interventions des personnes interviewées26.
Voici le nombre d'entrevues réalisées auprès des groupes susmentionnés :
Des chercheurs principaux du Environics Research Group ont aussi interviewé, par téléphone, des répondants clés membres de groupes d'intervenants canadiens. Ces entrevues ont été réalisées entre le 21 septembre et le 13 décembre 2006. Elles visaient à déterminer si et comment les activités de la CCE les rejoignaient, et leur niveau de satisfaction à l'égard de l'ensemble du travail de la CCE. Plus particulièrement, la recherche auprès des intervenants a porté sur : 1) la familiarisation avec la CCE et la connaissance de son mandat; 2) leur opinion de la mesure dans laquelle la CCE facilite la poursuite des objectifs de l'ANACE et les facteurs clés qui entrent en jeu, y compris la contribution du Canada; 3) l'évaluation des opérations de la CCE en ce qui a trait à l'efficacité et à la responsabilisation de ses trois principaux organes (le Conseil, le Secrétariat et le CCPM) et au niveau de coopération entre ces organes; et 4) des suggestions et points de vue relatifs à l'avenir, en ce qui a trait à l'amélioration de l'efficacité de la CCE et au renforcement des contributions du Canada.
L'Équipe du projet d'évaluation a fourni à Environics une liste de 82 intervenants jugés aptes à prendre part à cette consultation. La liste d'intervenants admissibles a été conçue de manière à garantir la représentation de tous les groupes d'intervenants (afin d'intégrer des perspectives divergentes) et un équilibre entre les personnes directement engagées dans la CCE et celles qui sont moins engagées. On a interviewé des responsables supérieurs de ces organisations (p. ex. présidents, PDG et directeurs généraux). Un total de 28 entrevues ont été réalisées dans les délais prescrits, ce qui représente un taux de participation de 34 %. Ce taux est assez habituel pour ce type de projet, qui s'adresse à des professionnels de niveau supérieur fort occupés qui peuvent être difficiles à joindre ou incapables de participer en raison d'autres engagements. Toutefois, le niveau de participation à cette étude a aussi souffert d'un certain nombre de refus d'organisations invoquant un manque de connaissances de la CCE (voir la section 4.2)27.
Les entrevues ont ciblé les principaux groupes d'intervenants suivants de la CCE (le nombre d'entrevues est indiqué entre parenthèses) :
Un protocole d'entrevue, élaboré de concert avec l'Équipe du projet d'évaluation ainsi que des membres du Comité d'évaluation, a servi à orienter les entrevues. On trouvera ce protocole à l'annexe 528.
Enfin, on a cerné des thèmes généraux pour chaque groupe de personnes interviewées qui a participé à l'évaluation. Ces thèmes, conjugués à d'autres sources de données, sous-tendent les constatations présentées à la section 4 du présent rapport. En cas de consensus, on n'identifie pas les groupes individuels de personnes interviewées. Le rapport présente aussi des citations de participants pour illustrer les principaux points qui se sont dégagés des entrevues.
On a réalisé un examen des mandats, des activités et des pratiques opérationnelles d'autres organisations semblables afin d'obtenir des renseignements permettant de comparer la CCE. Étant donné le caractère unique de la CCE (c.-à-d. qu'on ne peut la comparer à une autre organisation sous tous ses aspects), l'évaluation a comparé la CCE à diverses organisations, mais un élément à la fois. Les données réunies à cette fin provenaient surtout des documents recensés et des entrevues. Voici des exemples de principales organisations qui ont servi aux comparaisons, et pour quels éléments :
21 Un CGRR est un document produit par les gestionnaires pour les aider à se concentrer sur la mesure et la déclaration des résultats tout au long du cycle de vie d'une politique, d'un programme ou d'une initiative. Il est habituellement joint à une présentation au Conseil du Trésor.
22 On trouvera le mandat du Comité d'évaluation à l'annexe 3.
23 Le Conseil de l'intégration stratégique d'EC est l'un des conseils de gestion des priorités d'EC. Ces derniers, qui font partie intégrante des structures de gouvernance opérationnelle d'EC, sont chargés de la conception et de l'exécution de certains éléments précis des résultats et des priorités du Ministère. En vertu de la Politique de vérification et d'évaluation d'EC, les conseils sont chargés de la réponse de la direction aux recommandations formulées dans les projets. On a confié au Conseil de l'intégration stratégique la responsabilité de la réponse de la direction au présent projet.
24 La décision d'examiner les processus administratifs et financiers de la CCE procédait de questions, soulevées par des fonctionnaires d'EC et des représentants des autres Parties à l'ANACE, concernant les dimensions administratives et financières de la CCE, y compris les budgets et les rapports financiers, les déplacements et les services de soutien aux entrepreneurs. La question 13 du tableau 1 du Plan d'évaluation, qu'on trouvera à l'annexe 2 du présent rapport, porte sur cette dimension de l'évaluation. Le projet d'évaluation n'a réalisé aucun échantillonnage et vérification des transactions à la suite de l'examen et des analyses des règlements, politiques et procédures de la CCE. Ce volet de l'évaluation visait par conséquent à relever tout risque potentiel et/ou apparence de faiblesse dans les contrôles. L'analyse ne s'est pas penchée sur tous les processus administratifs et financiers, dont l'ampleur dépassait les limites de ce projet. Enfin, nous signalons ici qu'outre les sessions de validation organisées par l'Équipe du projet d'évaluation, une rencontre de suivi entre la Direction générale de la vérification et de l'évaluation et les fonctionnaires de l'Unité de l'administration et des finances du Secrétariat de la CCE (tenue à Environnement Canada) a fourni une occasion supplémentaire de valider les constatations connexes.
25 Nous renvoyons à nouveau le lecteur à l'annexe 2.
26 On remarquera que les guides d'entrevue variaient selon le groupe interviewé. L'annexe 5 présente le guide d'entrevue pour les fonctionnaires du gouvernement du Canada, puisqu'il est le plus élaboré. Les autres guides d'entrevue ont été adaptés en fonction des besoins et des connaissances respectives des divers groupes de personnes interviewées.
27 Des 82 intervenants, 26 ont refusé de participer, dont 17 ont invoqué leur manque de connaissance de la CCE. On trouvera des détails supplémentaires sur la situation finale de tous les intervenants figurant sur la liste originale dans le rapport final préparé par Environics et intitulé : Canadian Stakeholder Interviews for the Evaluation of Canada's Participation in the CEC (février 2007).
28 En ce qui a trait au recrutement pour l'ensemble des entrevues, les fonctionnaires de la Direction générale de la vérification et de l'évaluation d'EC ont communiqué au préalable, par courriel, avec toutes les personnes susceptibles d'être interviewées pour les renseigner sur le but des entrevues et solliciter leur participation. Un responsable de la Direction générale de la vérification et de l'évaluation (et d'Environics dans le cas de la recherche sur les intervenants) a par la suite communiqué avec chaque personne par téléphone et/ou par courriel pour fixer une entrevue. Au besoin, on a communiqué à maintes reprises avec ces personnes pour fixer une entrevue. Une fois l'entrevue fixée, la Direction générale de la vérification et de l'évaluation a fait parvenir le questionnaire d'entrevue ainsi qu'une confirmation de la date et de l'heure. Dans le cas de la recherche sur les intervenants, Environics a fait parvenir une version abrégée du protocole d'entrevue pour donner aux personnes interviewées une idée de ce dont il serait question.