Les sections suivantes décrivent le but et la portée de l'évaluation ainsi que l'approche et les méthodes utilisées pour la collecte des données.
L’évaluation a vérifié l’efficacité globale du PIH, en particulier les questions de la pertinence, de la réussite et de la rentabilité. Elle a déterminé dans quelle mesure le gouvernement fédéral doit réaliser ce Programme, la réussite de celui-ci quant à l’atteinte des résultats escomptés en matière de protection des espèces en péril et de leurs habitats, et si les moyens les plus appropriés, rentables et efficaces avaient été utilisés pour atteindre des résultats.
Bien que l’évaluation précédente menée en 2004 ait porté sur les l’administration centrale du PIH ainsi que les régions du Québec et de l’Atlantique, la présente évaluation s’est concentrée sur les résultats et la pertinence du PIH de 2004-2005 à 2007-2008, en tenant compte des activités du Programme dans les cinq régions d’Environnement Canada.
Les questions suivantes ont été examinées dans le cadre de cette évaluation.
Un tableau matriciel mettant en correspondance chaque question évaluée aux indicateurs, aux sources d’information et aux méthodes de sondage qui y sont liées est présenté à l’annexe 2.
Cette section décrit les méthodes qui ont été utilisées pour mener l'évaluation du PIH ainsi que les limites de l'évaluation.
Examen des documents et des données – L’équipe d’évaluation a examiné des documents clés, dont la législation pertinente, des discours du Trône, des budgets fédéraux, des rapports sur les plans et les priorités (RPP), des rapports ministériels sur le rendement (RMR), des cadres de responsabilisation et de gestion axés sur les résultats (CGRR), des lettres d’appel de contribution, des propositions de projet, ainsi que des évaluations, des examens et des rapports de recherche antérieurs. Une liste complète des documents examinés figure à l’annexe 3.
L’équipe d’évaluation a aussi examiné le contenu du système de suivi en ligne du PIH et analysé les données administratives quantitatives (p. ex., le nombre de propositions acceptées ou rejetées, le nombre moyen de contributions versées, etc.) tirées du système de suivi.
Cette méthode de collecte de données s’appliquait aux questions d’évaluation 1 à 10.
Entrevues avec d’informateurs clés – Au total, 50 intervenants clés de l’administration centrale et des cinq régions ont été interrogés, dans les proportions suivantes :
Les entrevues semi-structurées ont été menées en personne dans la région de la capitale nationale et par téléphone avec les répondants situés dans les régions, au moyen d’un guide d’entretien adapté à chaque catégorie d’informateurs clés.
Cette méthode de collecte de données s’appliquait aux questions d’évaluation 1 à 10.
Enquête –Un sondage en ligne auprès des demandeurs de financement a été réalisé par une entreprise externe de sondage entre le 19 janvier et le 10 février 2009. L’invitation à y participer a été envoyée à l’ensemble des organisations et des particuliers (311) qui ont présenté une demande de financement au PIH entre 2004-2005 et 2007-2008. En tout, 38 des courriels ont été retournés (c.-à-d. que l’adresse courriel était périmée). On a appelé ces intervenants pour les informer de l’étude et leur demander une adresse courriel valide. Onze de ces intervenants ont été joints et ont fourni une nouvelle adresse courriel. Ainsi, un total de 284 demandeurs ont reçu une invitation et 130 d’entre eux ont rempli le questionnaire, pour un taux de réponse de 46 p. 100. La marge d’erreur pour un échantillon de cette taille est de ± 6,4 p. 100, 19 fois sur 20.
Les répondants au sondage ont rempli le questionnaire selon les données administratives indiquant si au moins un de leurs projets réalisés figurait dans la base de données des projets (volet 1), si un projet annulé ou plus, mais aucun réalisé, figuraient dans la base de données des projets (volet 2) ou si un projet rejeté ou plus, mais aucun réalisé, figuraient dans la base de données des projets (volet 3).
Le tableau 2 compare, par volet et région, l’échantillon final du sondage à la population globale de demandeurs de financement du PIH. Comme on peut le voir, l’échantillon d’organisations répondantes correspond à peu près à la population globale participant à cette étude et ce, pour chaque région et volet. Le pourcentage de répondants du volet 3 est inférieur au pourcentage de la population globale, mais cela n’est pas surprenant étant donné que ces répondants n’ont pas reçu de financement du programme.
| POPULATION (N=311) | ÉCHANTILLON (n=130) | |||
|---|---|---|---|---|
| N | % | n | % | |
| VOLET | ||||
| Volet 1 | 251 | 81 | 113 | 87 |
| Volet 2 | 24 | 8 | 8 | 6 |
| Volet 3 | 36 | 12 | 9 | 7 |
| RÉGION | ||||
| Pacifique et Yukon | 91 | 29 | 33 | 25 |
| Prairies et Nord | 50 | 16 | 20 | 15 |
| Ontario | 63 | 20 | 33 | 25 |
| Québec | 57 | 18 | 22 | 17 |
| Atlantique | 50 | 16 | 22 | 17 |
Parmi les répondants, 28 p. 100 ont fourni des réponses liées à un projet concernant des espèces aquatiques et 71 p. 100 ont fourni des réponses liées à un projet concernant des espèces terrestres ou de multiples habitats.
Cette méthode de collecte de données s’appliquait aux questions 1, 2, 3, 4, 5, 7, 8, 9 et 10 de l’évaluation.
Études de cas – Cinq études de cas de projets financés par le PIH ont été menées pour examiner les domaines qui nécessitaient une enquête supplémentaire. Les sujets ont été choisis à l’aide des entrevues menées auprès des informateurs clés, qui ont signalé des problèmes devant faire l’objet d’une attention plus particulière et indiqué les projets qui apporteraient l’information la plus utile pour traiter les sujets choisis. Il faut prendre note que les conclusions d’études de cas précis ne peuvent être extrapolées au reste du Programme, en raison de la nature non représentative de ceux-ci. Ces cas ont plutôt été utilisés pour illustrer, examiner en profondeur et aider à interpréter les conclusions tirées d’autres sources de données.
Les cinq sujets choisis pour l’analyse des études de cas sont les suivants :
Chaque étude de cas a collecté des renseignements de base sur les projets examinés (p. ex., le profil des organisations, les objectifs des projets, les activités de mesure des résultats et les résultats mesurés) et a porté sur trois à cinq questions principales, des questions propres à chaque cas. Les méthodes utilisées pour la collecte des données ont consisté en trois à quatre entrevues auprès d’intervenants clés et en un examen de la documentation existante sur chaque cas.
Une description des projets des études de cas, les questions principales et les conclusions clés sont présentés à l’annexe 4.
Cette méthode de collectes de données s’appliquait aux questions 2, 3, 4, 7 et 10.
Cette évaluation devait composer avec quatre contraintes prévisibles. L’évaluation ne consistait pas seulement à collecter de l’information des demandeurs de contributions antérieurs et actuels, mais aussi d’un échantillon d’autres personnes et groupes qui participent à d’autres initiatives d’intendance de l’habitat mais pas encore au PIH. Les commentaires de telles personnes qui n’ont pas bénéficié du Programme ou n’ont pas participé à sa prestation seraient utiles pour obtenir un point de vue externe sur la pertinence du Programme, connaître les limites possibles de l’étendue du Programme et avoir des opinions sur les effets observés du Programme. Une liste de tous les demandeurs de financement du PIH retenus et non retenus était accessible dans le système de suivi en ligne du Programme, mais aucune liste similaire de bénéficiaires admissibles n’ayant jamais participé au Programme n’existait. Par conséquent, il était difficile de repérer et de contacter ces bénéficiaires potentiels.
L’approche adoptée a été celle du sondage en boule de neige au moyen d’entretiens planifiés auprès d’informateurs clés afin d’établir si d’autres intervenants, ne l’ayant pas fait jusqu’à présent, pourraient demander un financement au PIH. À ce stade, l’équipe de l’évaluation a tenté de déterminer la meilleure façon de contacter ce groupe de personnes et d’organisations pour obtenir de l’information auprès d’eux. Toutefois, cette approche a permis de trouver trop peu de répondants supplémentaires, l’équipe d’évaluation s’est plutôt fiée sur les entrevues avec les experts6 pour avoir un point de vue externe sur la pertinence et les effets du Programme, ainsi que sur une analyse approfondie des processus d’affectation des fonds du programme pour assurer le caractère adéquat de ses mécanismes de relations externes.
Cette évaluation est également limitée dans sa capacité d’évaluer précisément la proportion de Canadiennes et de Canadiens qui appuient la conservation des espèces en péril – un élément du quatrième résultat immédiat dont traite la question d’évaluation 3. Une telle évaluation est difficile en l’absence de données de référence. De plus, aucune base de données des participants aux projets financés par le PIH n’existait, ce qui a encore plus limité la capacité des évaluateurs de mesurer directement les changements dans leur attitude ou leur comportement. Certains projets financés par le PIH avaient soumis des questionnaires à leurs participants qui prenaient part à des activités de sensibilisation, d’éducation et de communication, mais de telles pratiques n’étaient pas appliquées dans la plupart des projets et n’examinaient pas non plus les changements dans l’attitude ou le comportement des participants. L’atteinte de ce résultat immédiat a donc été évaluée indirectement par le biais des entrevues avec des demandeurs de financement du PIH.
Enfin, cette évaluation ne comprenait pas une évaluation sur le terrain des effets biologiques des activités des projets du PIH. Les évaluateurs se sont plutôt fiés aux résultats des projets à déclaration volontaire contenus dans le système de suivi du PIH, aux rapports de recherche externes et aux témoignages des informateurs clés et des répondants au sondage pour évaluer dans quelle mesure le Programme a réussi dans l’atteinte de ses résultats immédiats et intermédiaires.
La capacité des évaluateurs de rendre compte de l’atteinte des résultats du Programme était cependant limitée par l’incertitude quant à la précision de certaines données sur le rendement relatives aux résultats immédiats et le peu de données indiquant l’atteinte de résultats intermédiaires.
6 Les experts sont des membres de l’équipe de rétablissement des EEP et des examinateurs techniques des propositions de projet au PIH.