Évaluation du Programme d’appui aux collectivités du patrimoine documentaire, de 2015-2016 à juin 2017

Fonction d’évaluation
Planification et imputabilité organisationnelles

Octobre 2018

Table des matières

• Sommaire
• Constatations de l'évaluation
• 1 Introduction
• 2 Aperçu de Bibliothèque et Archives Canada et du Programme d’appui aux collectivités du patrimoine documentaire
  • 2.1 Brève description de Bibliothèque et Archives Canada
  • 2.2 Programme d’appui aux collectivités du patrimoine documentaire
  • 2.3 Gouvernance du programme
• 3 Méthodologie
  • 3.1 Période et portée de l’évaluation
  • 3.2 Questions d’évaluation
  • 3.3 Méthodes d’évaluation
  • 3.4 Limites de l’évaluation
  • 3.5 Codification des constatations
• 4 Constatations - Pertinence
  • 4.1 Harmonisation avec les priorités de BAC et du gouvernement du Canada
  • 4.2 Réponse aux besoins continus des Canadiens
• 5 Constatations ‒ Rendement
  • 5.1 Information sur la mesure du rendement
  • 5.2 Utilisation efficace des fonds en contributions
  • 5.3 Engagements du Programme
  • 5.4 Contribution à faire connaître davantage les institutions locales et leurs collections
  • 5.5 Contribution à développer les capacités des institutions locales à préserver le patrimoine documentaire
  • 5.6 Utilisation étendue des collections locales
  • 5.7 Autres résultats
• 6 Constatations ‒ Efficience
  • 6.1 Chevauchements et similarités avec d’autres programmes
  • 6.2 Portée des institutions financées
  • 6.3 Utilisation efficiente des ressources internes
  • 6.4 Méthode de livraison du Programme
• 7 Autres observations
  • 7.1 Mise en valeur de la diversité
• 8 Conclusion et recommandations
  • 8.1 Conclusion
  • 8.2 Recommandations
• Annexes

Sommaire

Introduction

L’évaluation du Programme d’appui aux collectivités du patrimoine documentaire^{note en bas de page1} (ou PACPD, ci-après « le Programme ») a été réalisée entre juin 2017 et mai 2018 et satisfait aux exigences de la Politique sur les résultats du Conseil du Trésor de 2016. Les principaux objectifs de cette évaluation étaient d’examiner la pertinence du Programme et de rendre compte des progrès réalisés dans l’atteinte de ses résultats depuis sa création, en 2015.

Un audit interne du Programme a aussi été mené simultanément. Ces deux exercices soutiennent l’amélioration du Programme, la reddition de comptes et les décisions qui appuieront son renouvellement.

Aperçu du Programme

Le Programme d’aide aux collectivités du patrimoine documentaire a été lancé par Bibliothèque et Archives Canada (BAC) à l’été 2015. Son objectif est de fournir du financement sous forme de contributions aux institutions locales du patrimoine documentaire afin d’accroître leur capacité à préserver, à rendre accessibles et à promouvoir leurs collections auprès des Canadiens. Un financement de 1,5 million de dollars en contributions a été alloué annuellement.  

Approche et méthodologie de l’évaluation

Lors de la présente évaluation, les questions suivantes ont été examinées.

Pertinence :

• Les priorités du Programme sont-elles harmonisées avec les priorités de BAC et du gouvernement du Canada?
• Le Programme reste-t-il pertinent et continue-t-il de répondre aux besoins changeants de la clientèle?

Rendement :

• L’information sur le rendement est-elle suffisante et de bonne qualité?
• Le Programme progresse-t-il vers l’atteinte des résultats immédiats et intermédiaires attendus?
• Le Programme utilise-t-il ses ressources de manière efficiente?

Les méthodes qualitatives et quantitatives suivantes et la triangulation des données ont été utilisées dans le cadre de l’évaluation :

• une revue des études, des rapports et des sondages externes;
• une revue de la documentation administrative interne;
• un examen des dossiers des soumissionnaires et des bénéficiaires (demandes de financement, rapports financiers et rapports de rendement des bénéficiaires);
• des entrevues auprès de 15 employés de BAC;
• des entrevues auprès de 6 membres du Comité consultatif externe;
• une enquête auprès de 225 soumissionnaires et bénéficiaires du Programme, avec un taux de participation de 28 %;
• une analyse des médias sociaux et des sites Web des bénéficiaires.

Enfin, les tests menés par l’audit interne conjoint ont contribué aux analyses.

Constatations de l'évaluation

Pertinence

Le Programme d’aide aux collectivités du patrimoine documentaire appuie le mandat et les résultats stratégiques de BAC en soutenant les collectivités du patrimoine documentaire. Par son entremise, BAC fournit du financement afin de s’assurer que la mémoire continue du Canada est documentée et accessible pour les générations actuelles et futures, tout en adoptant une approche collaborative avec les institutions de mémoire locales.

Le Programme appuie aussi les priorités du gouvernement en s’insérant dans le Cadre pangouvernemental du Canada. Il vise entre autres à soutenir le financement de projets liés à la culture canadienne et à améliorer les connaissances de l’histoire et du patrimoine culturel du Canada.

Les données recueillies démontrent que les projets financés par le Programme sont harmonisés avec les besoins des Canadiens. Pour 73 % des institutions sondées dans l’enquête, la numérisation est un besoin très important. Les répondants internes et externes ont quant à eux souligné que les Canadiens ont besoin de savoir que les collections locales existent, et que les institutions les gèrent et en prennent soin. Lorsqu’on les a interrogés sur les besoins de leurs membres et de leurs clients, les répondants des institutions ont déclaré que les besoins suivants étaient très importants : mise en valeur des collections locales (58 %), soutien à la recherche (48 %) et accès aux collections en personne (40 %).

Information sur le rendement

La collecte des données pour la mesure des résultats à moyen et long terme reposent uniquement sur les rapports intérimaires et finaux des bénéficiaires. Puisque ces rapports sont terminés avant la fin ou à la conclusion des projets, ils constituent une solide source de données pour démontrer les extrants et les résultats à court terme, mais s’avèrent inadéquats pour la mesure des résultats à moyen et long terme. Aucun mécanisme n’est mis en place pour mesurer, au moment opportun, les effets du Programme au-delà de la fin des projets.

Utilisation efficace des fonds en contributions

Selon les lignes directrices du Programme affichées sur le site Web de BAC de 2015-2016 à 2017-2018, l’analyse et la sélection des projets admissibles reposent sur le bien-fondé des projets, les priorités du programme, la représentation régionale et la disponibilité des ressources. Or, au cours des entrevues, les responsables du Programme et les membres du Comité consultatif externe ont confirmé que le Programme n’a pas établi de priorités. Les membres du Comité mentionnent que celles-ci faciliteraient le choix des projets à financer et rendraient les décisions plus objectives et transparentes, à la lumière de la grande quantité de demandes soumises.

Engagements du Programme

Les données démontrent que la mise en œuvre du Programme a été partiellement conforme à ce qui était initialement prévu. D’une part, le Programme a atteint son objectif de financement en versant 1,5 million de dollars en contributions. D’autre part, les engagements pris quant au nombre de projets et leur répartition entre les objectifs 1 et 2, de même que les engagements envers la valeur moyenne du financement accordé, n’ont pas été réalisés comme prévu. Il est néanmoins impossible d’émettre un jugement sur le bien-fondé des décisions prises par rapport aux engagements non respectés.

Résultats immédiats

Selon les résultats de l’enquête, 62 % des bénéficiaires estiment que le Programme contribue beaucoup à faire connaître les institutions locales du patrimoine documentaire et leurs collections. La gestion des collections, le catalogage, la conversion et la numérisation aux fins d’accès forment une grande part des activités réalisées. Leur mise en œuvre par les bénéficiaires démontre qu’elles ont permis d’augmenter la visibilité et l’accès de leurs collections auprès de la population.

Les bénéficiaires ayant participé à l’enquête ont indiqué dans une proportion de 86 % que l’aide apportée par le Programme a beaucoup contribué à accroître leur capacité à préserver les collections locales. L’analyse des rapports annuels des bénéficiaires montre que les activités réalisées ont effectivement contribué à accroître les capacités des institutions, qu’il s’agisse d’ateliers de formation, d’embauche de spécialistes en préservation numérique, de formation des employés et des bénévoles, d’utilisation de meilleures méthodes de travail ou d’autres activités.

Résultats intermédiaires et ultimes

Les données recueillies dans les rapports finaux des bénéficiaires et les informations du Programme ne permettent pas d’évaluer les effets du Programme à moyen et long terme. On remarque toutefois que l’arrivée du Programme est très bien perçue dans la collectivité des institutions du patrimoine documentaire.

Efficience

Il existe un chevauchement entre le Programme d’aide aux musées (géré par Patrimoine Canada) et le Programme d’appui aux collectivités du patrimoine documentaire : les musées et les organisations du secteur muséal peuvent obtenir du financement de deux programmes fédéraux distincts, mais qui possèdent des objectifs et un mode de financement très similaires. Les participants à l’enquête et aux entrevues se questionnent sur la pertinence d’inclure le secteur des musées dans le PACPD, alors qu’il ne suffit pas à la demande en ce qui concerne les autres types d’institutions.

Les intervenants se questionnent aussi quant à la définition des « institutions locales ». Les données démontrent que le Programme finance un grand nombre d’institutions qui déclarent avoir une portée provinciale ou plus, et des institutions dont le budget de dépenses ne cesse d’augmenter depuis trois ans. Plusieurs d’entre elles ont exprimé le souhait de voir davantage de petites institutions locales obtenir du financement. L’une des préoccupations principales qui ressortent de l’enquête concerne la sous-représentation perçue des petites institutions.

Les frais administratifs du Programme restent dans les limites acceptables lorsqu’on les compare à d’autres programmes fédéraux de contributions. Néanmoins, les analyses effectuées ont démontré une augmentation continue des coûts depuis la création du Programme. Une codification et des mesures de surveillance permettraient de contenir les frais administratifs pour les prochains cycles.

Autres résultats

Les institutions financées sont largement dépendantes de leurs bénévoles. Environ 30 % des bénéficiaires ayant participé à l’enquête ont affirmé que le Programme a moyennement ou beaucoup contribué au recrutement de bénévoles. Une analyse plus approfondie permettrait de valider ce résultat et de mieux comprendre la participation bénévole des collectivités locales aux projets.

On observe que les projets financés mettent en valeur la diversité de la population canadienne, qu’il s’agisse des communautés linguistiques minoritaires, culturelles, religieuses ou ethniques.

Conclusion

L’analyse des données confirme que le Programme aide les institutions ciblées à répondre aux besoins des Canadiens, dans la mesure où celles-ci peuvent accroître leur capacité à préserver leur patrimoine documentaire et à le rendre accessible (notamment grâce à la numérisation).

Dans l’ensemble, le Programme atteint ses résultats à court terme. Les données montrent que les activités lancées durant les deux premiers cycles ont été menées à terme, et qu’une grande partie des collections traitées est disponible en personne dans les institutions ou sur le Web.

Le Programme est récent, et les responsables ont déployé des efforts afin de répondre aux besoins des soumissionnaires et des bénéficiaires lors des trois premiers cycles de sa mise en œuvre. À mi-chemin, le Programme en est à une étape charnière. Les résultats de l’évaluation lui donnent l’occasion d’apporter certains correctifs à sa portée, à ses objectifs, à sa gestion et à sa mesure du rendement.

À cette étape de la mise en œuvre du Programme, il est important de réfléchir à la population ciblée par les contributions. La définition d’« institution locale » est particulièrement intéressante de ce point de vue, car elle ouvre la porte à une réflexion sur la portée du Programme.

Recommandations

1. Le Programme devrait revoir sa portée, son modèle logique et sa stratégie de mesure du rendement, et établir des cibles annuelles de rendement pour tous ses indicateurs.
2. Le Programme devrait clarifier et communiquer ses priorités pour chaque cycle de financement.
3. Le Programme devrait examiner les chevauchements avec le Programme d’aide aux musées afin de déterminer s’il doit s’ajuster ou adopter une approche axée sur la complémentarité.
4. Le Programme devrait clarifier la définition d’« institution locale » et l’inclure dans ses lignes directrices.

Réponse de la direction et plan d’action

La gestion accepte toutes les recommandations et mettra en œuvre un plan d’action, présenté à l’annexe A du présent rapport.

1. Introduction

Le présent rapport expose les constatations et les recommandations découlant de l’évaluation du Programme d’appui aux collectivités du patrimoine documentaire (PACPD) de Bibliothèque et Archives Canada. Cette évaluation a été réalisée entre juin 2017 et mai 2018, et satisfait aux exigences de la Politique sur les résultats du Conseil du Trésor de 2016.

Bibliothèque et Archives Canada (BAC) s’est engagé, dans sa présentation au Conseil du Trésor, à procéder à une évaluation du Programme. Cet engagement répond également à une demande formulée par le Comité ministériel de la mesure du rendement et de l’évaluation de programmes de BAC, à savoir produire une évaluation d’ici juin 2018 afin de fournir des informations sur le rendement du Programme depuis sa création. Un audit interne du Programme a aussi été mené simultanément. Ces deux exercices soutiennent l’amélioration du Programme, la reddition de compte et les décisions qui appuieront son renouvellement.

Selon la Loi sur la gestion des finances publiques, la Politique sur les paiements de transfert et la Politique sur les résultats, BAC est responsable de s’assurer que les programmes de paiements de transfert sont, et demeurent, pertinents et efficaces en ce qui concerne l’atteinte de ses objectifs et de ceux du gouvernement. BAC doit surveiller son programme de contributions sur une base continue et évaluer sa pertinence et son rendement de façon périodique.

Les principaux objectifs de la présente évaluation étaient d’examiner la pertinence, l’efficacité et l’efficience du Programme et de rendre compte des progrès réalisés dans l’atteinte de ses résultats depuis sa création.

2. Aperçu de Bibliothèque et Archives Canada et du Programme d’appui aux collectivités du patrimoine documentaire

2.1 Brève description de Bibliothèque et Archives Canada

Bibliothèque et Archives Canada (BAC) est une institution fédérale chargée d’acquérir et de préserver le patrimoine documentaire du Canada et d’y donner accès. Les Archives fédérales, fondées en 1872 en tant que division du ministère de l’Agriculture, sont devenues les Archives publiques du Canada en 1912, puis ont été rebaptisées les Archives nationales du Canada en 1987. Bibliothèque et Archives Canada est né en 2004 de la fusion des Archives nationales et de la Bibliothèque nationale du Canada (fondée en 1953). La Loi sur la Bibliothèque et les Archives du Canada^{note en bas de page2} est entrée en vigueur la même année. Elle établit que le mandat de l’institution est :

• de préserver le patrimoine documentaire du Canada pour les générations présentes et futures;
• d’être une source de savoir permanent accessible à tous, qui contribue à l’épanouissement culturel, social et économique de la société libre et démocratique que constitue le Canada;
• de faciliter au Canada la concertation des divers milieux intéressés à l’acquisition, à la préservation et à la diffusion du savoir;
• d’être la mémoire permanente de l’administration fédérale et de ses institutions.

2.2 Programme d’appui aux collectivités du patrimoine documentaire

Le Programme d’appui aux collectivités du patrimoine documentaire a été lancé par Bibliothèque et Archives Canada à la suite d’une décision du Cabinet survenue en 2015. En réaffectant une partie des fonds de BAC au Programme, l’objectif était de fournir du financement sous forme de contributions aux institutions locales du patrimoine documentaire afin d’accroître leur capacité à préserver, à rendre accessible et à promouvoir leurs collections auprès des Canadiens et Canadiennes.

Résultats

Les activités du Programme, énoncées à l’annexe B (modèle logique), visent l’atteinte de quatre résultats :

• une capacité accrue des institutions du patrimoine documentaire à préserver le patrimoine documentaire du Canada de façon plus durable (immédiat);
• une meilleure connaissance du patrimoine documentaire local (immédiat);

• une utilisation accrue des ressources des institutions du patrimoine documentaire local et de leurs collections (intermédiaire);
• un accès accru au patrimoine documentaire local du Canada pour les Canadiens (ultime).

Soumissionnaires^{note en bas de page3}et bénéficiaires^{note en bas de page4}

Le Programme est accessible aux institutions locales du patrimoine documentaire, y compris les centres d’archives, les bibliothèques financées par des fonds privés, les sociétés d’histoire, les organisations ou les sociétés généalogiques, les associations professionnelles et les musées ayant un service d’archives. En tant que bénéficiaires du Programme, ces institutions réalisent des projets en lien avec le mandat de Bibliothèque et Archives Canada.

Population ciblée

Les résultats visés par le Programme s’adressent à l’ensemble des Canadiens.

Description des activités

Le financement offert par le Programme vise deux grands objectifs. Pour chacun, des catégories ont été établies afin d’encadrer les types de projets admissibles :

• Objectif 1. Faire connaître et rendre plus facilement accessibles les institutions du patrimoine documentaire locales du Canada et leurs collections :
  • projets de migration et de numérisation aux fins d’accès;
  • création (recherche, conception et production) d’expositions virtuelles et physiques, y compris les expositions itinérantes;
  • collections, catalogage et gestion fondée sur l’accès;
  • projets de commémoration.
• Objectif 2. Accroître la capacité à préserver le patrimoine documentaire du Canada de façon plus durable :
  • projets de migration et de numérisation aux fins de préservation;
  • traitements de restauration et de préservation;
  • développement de la capacité de préservation numérique (à l’exception de l’infrastructure numérique liée au travail quotidien);
  • formations et ateliers destinés à améliorer les compétences et à accroître les capacités;
  • élaboration de normes, de critères de rendement et d’autres activités d’évaluation.

Ressources financières et humaines

L’audit mené en 2017-2018 a permis de constater que le Programme n’a pas utilisé son code de projet pour faire le suivi de ses dépenses administratives (par exemple, les salaires). L’équipe d’audit a donc procédé à une estimation des frais administratifs en collaboration avec les responsables du Programme. Les tableaux 1 et 2 présentent les ressources prévues et réelles allouées au Programme.

Tableau 1 : Dépenses prévues et réelles entre 2015-2016 et 2019-2020

		2015-2016	2016-2017	2017-2018	2018-2019	2019-2020
Dépenses prévuesnote 1 du tableau 1		1 700 000 $	1 700 000 $	1 700 000 $	1 700 000 $	1 700 000 $
Dépenses réellesnote 2 du tableau 1	Contributions	1 500 000 $	1 500 000 $	1 500 000 $	S.O.	S.O.
	Salaires et avantages	194 880 $	245 414 $	345 717 $	S.O.	S.O.
	Autres dépenses	15 500 $	15 500 $	15 500 $	S.O.	S.O.
	Total	1 710 380 $	1 760 914 $	1 861 217 $	S.O.	S.O.
Notes du tableau 1 Note 1 du tableau 1 Montant ou nombre approuvé par le Conseil du Trésor, et incluant les salaires et les dépenses de fonctionnement (2015). Retour à la référence de la note 1 du tableau 1 Note 2 du tableau 1 Estimation faite par l’équipe d’audit en 2017-2018. Retour à la référence de la note 2 du tableau 1

Tableau 2 : Équivalents temps plein (ÉTP) prévus et réels entre 2015-2016 et 2019-2020

	2015-2016	2016-2017	2017-2018	2018-2019	2019-2020
ÉTP prévusnote 1 du tableau 2	1,20	1,20	1,20	1,20	1,20
ÉTP réelsnote 2 du tableau 2	2,25	3,25	4,00	S.O.	S.O.
Notes du tableau 2 Note 1 du tableau 2 Montant ou nombre approuvé par le Conseil du Trésor, et incluant les salaires et les dépenses de fonctionnement (2015) Retour à la référence de la note 1 du tableau 2 Note 2 du tableau 2 Estimation faite par l’équipe d’audit en 2017-2018 Retour à la référence de la note 2 du tableau 2

2.3 Gouvernance du programme

La gestion et l’administration du Programme sont sous la responsabilité du Secrétariat général de Bibliothèque et Archives Canada. La gouvernance du Programme relève des conseillers spécialisés internes, du Comité consultatif externe et du cabinet du bibliothécaire et archiviste du Canada.

Les conseillers spécialisés internes regroupent des employés de plusieurs directions générales au sein du Secteur des opérations de BAC. Ils participent à la mise en œuvre du Programme en fournissant leur expertise lors des évaluations des demandes de financement en matière d’archivistique, de bibliothéconomie, de numérisation, de préservation et de service à la clientèle.

Le Comité consultatif externe est formé de membres recrutés à l’extérieur de BAC et qui proviennent de divers horizons des collectivités du patrimoine documentaire au Canada. Il évalue les demandes de financement et soumet ses recommandations directement au bibliothécaire et archiviste du Canada, qui approuve les demandes de financement.

Le Programme prévoyait l’accès à des ambassadeurs régionaux pour soutenir les institutions dans la préparation de leur demande de financement. Depuis janvier 2016, une ambassadrice a été nommée afin d’aider les institutions dont les projets sont liés au Nord et aux Autochtones.

3. Méthodologie

3.1 Période et portée de l’évaluation

En tenant compte du fait que les premières ententes de contribution ont été signées à l’automne 2015, l’évaluation a porté sur l’examen des deux premières années et demie du Programme, soit entre le 1er avril 2015 et le 30 juin 2017.

Considérant la courte période évaluée, l’analyse s’est concentrée sur les processus et les résultats immédiats suivants ^{note en bas de page5} :

• accroître la capacité des institutions locales du patrimoine documentaire à mieux préserver le patrimoine documentaire du Canada;
• mieux faire connaître les institutions locales du patrimoine documentaire et leurs collections.

Une analyse des progrès réalisés vers l’atteinte du résultat intermédiaire suivant a aussi été tentée afin de dégager des leçons ou des pistes d’action :

• élargir l’utilisation des ressources des institutions du patrimoine documentaire local et de leurs collections.

3.2 Questions d’évaluation

Les questions d’évaluation ont porté sur la pertinence du Programme ainsi que sur son rendement (efficacité et efficience). De façon plus spécifique, les questions suivantes ont été examinées :

• Les priorités du Programme sont-elles harmonisées avec les priorités de BAC et du gouvernement du Canada?
• Le Programme reste-t-il pertinent et continue-t-il de répondre aux besoins changeants de la clientèle?
• L’information sur le rendement est-elle suffisante et de bonne qualité?
• Le Programme progresse-t-il vers l’atteinte des résultats immédiats et intermédiaires attendus?
• Le Programme utilise-t-il ses ressources de manière efficiente?

3.3 Méthodes d’évaluation

Une revue documentaire a été menée, qui comprenait :

• un examen des documents administratifs et financiers, des statistiques de rendement et d’autres documents internes du Programme;
• une revue de la littérature sur les institutions du patrimoine documentaire.

Des entrevues ont été réalisées avec des gestionnaires et des employés participant à la gestion et à la mise en œuvre du Programme. Plus précisément, 15 entrevues ont été menées avec le personnel du Secrétariat général et d’autres directions générales de BAC, et six membres du Comité consultatif externe ont été interviewés.

L’analyse a aussi reposé sur une enquête menée auprès de 225 soumissionnaires et bénéficiaires du Programme. L’enquête a été réalisée en ligne entre le 11 décembre 2017 et 15 janvier 2018. Au total, 62 réponses ont été obtenues, ce qui représente un taux de participation de 28 %.

L’utilisation de plusieurs méthodes d’enquête et la triangulation des données (tableau 3 ci-dessous) ont aidé à corroborer les constatations. Cette méthodologie respecte le mandat d’évaluation du Programme approuvé en juin par le Comité ministériel d’évaluation des programmes de BAC.

Une analyse des sites Internet et des médiaux sociaux des bénéficiaires a permis de recueillir des informations sur la mise en ligne des collections locales.

Tableau 3 : Questions et méthodes d’évaluation

Questions d’évaluation	Méthodes d’évaluation
	Revue documentaire (interne et externe)	Entrevues	Dossiers des soumissionnaires et des bénéficiaires	Sites Web et médias sociaux	Enquête auprès des soumissionnaires et des bénéficiaires
Pertinence	Couvert	N/C	Couvert	N/C	Couvert
Atteinte des résultats	Couvert	Couvert	Couvert	Couvert	Couvert
Efficience	Couvert	Couvert	N/C	N/C	N/C

L’équipe d’évaluation se conforme aux politiques, principes et méthodes approuvés notamment par la Société canadienne d’évaluation et le Conseil du Trésor. Les principes clés d’indépendance et d’impartialité ont été assurés notamment par les moyens suivants :

• la conception et la conduite de l’évaluation ont été menées par une équipe distincte de la gestion du Programme;
• un échantillon aléatoire a été utilisé pour la sélection des dossiers analysés et des intervenants rencontrés;
• la fidélité des propos recueillis est assurée par la présence en tout temps de deux évaluateurs lors des entretiens;
• l’intégrité des résultats obtenus lors de l’enquête auprès des soumissionnaires et des bénéficiaires est respectée;
• aucune source d’information n’est spécifiquement nommée afin de respecter la confidentialité des informations;
• les informations ont été triangulées par un minimum de deux sources d’information distinctes pour assurer la validité, la fidélité et la rigueur des données.

3.4 Limites de l’évaluation

1. Les informations sur le rendement n’ont pas permis de faire de liens directs entre le financement accordé par BAC et les résultats obtenus. Cette limite s’explique par le fait que la majorité des projets reçoivent aussi du financement d’autres sources.
2. Étant donné le nombre restreint de cycles de financement évalués, les données sur les résultats à moyen et à long terme sont insuffisantes. Des analyses devront être effectuées afin de déterminer si des tendances se dégagent des résultats.
3. Les données financières détaillées par activités (salaires, frais de voyages, etc.) n’étaient pas disponibles. L’analyse repose sur les frais administratifs estimés par l’équipe d’audit ^{note en bas de page6}.

3.5 Codification des constatations

Les constatations de l’évaluation ont été classées par couleur afin de mettre en évidence les aspects du Programme nécessitant une attention particulière :

•  Vert : aucune amélioration requise
•  Jaune : améliorations potentiellement requises
•  Rouge : améliorations requises

4. Constatations - Pertinence

4.1 Harmonisation avec les priorités de BAC et du gouvernement du Canada

La Loi sur la Bibliothèque et les Archives du Canada confie à BAC le mandat d’appuyer les milieux des archives et des bibliothèques. Parmi les rôles délégués à l’administrateur général de BAC (article 8), celui-ci peut prendre toute mesure qui concourt à la réalisation de la mission de Bibliothèque et Archives Canada, et notamment apporter un appui professionnel, technique et financier aux milieux chargés de promouvoir et de préserver le patrimoine documentaire et d’assurer l’accès à celui-ci.^{note en bas de page7}

Par l’entremise du Programme d’appui aux collectivités du patrimoine documentaire, BAC fournit du financement afin de s’assurer que la mémoire continue du Canada est documentée et accessible pour les générations actuelles et futures, en adoptant une approche collaborative avec les institutions de mémoire locales. Le Programme s’inscrit notamment dans les priorités de BAC établies depuis les trois dernières années dans ses Rapports sur les plans et priorités :

• adopter une approche plus collaborative pour réaliser le mandat et appuyer les collectivités du patrimoine documentaire (Rapport sur les plans et priorités de 2015-2016);

• être une institution dotée d’un profil public affirmé, valorisant ses collections et ses services (Rapport sur les plans et priorités de 2016-2017 et Plan ministériel de 2017-2018).

Le Programme appuie également les priorités du gouvernement en s’insérant dans le Cadre pangouvernemental du Canada, et notamment dans le secteur de dépenses « Affaires sociales », qui a pour but de favoriser une culture et un patrimoine canadiens dynamiques. Dans ses lignes directrices, le Programme vise entre autres à soutenir le financement de projets liés à la culture canadienne et à améliorer les connaissances sur l’histoire et le patrimoine culturel du Canada.

4.2 Réponse aux besoins continus des Canadiens

Par l’entremise du financement accordé aux institutions locales, le Programme vise à rendre le patrimoine documentaire plus accessible et à faciliter son utilisation par les Canadiens. L’enquête menée auprès des soumissionnaires et des bénéficiaires a permis de sonder les institutions pour connaître leurs perceptions quant aux besoins les plus importants pour leurs membres et leur clientèle. Comme le montre le tableau 4, l’accès aux collections en ligne est le principal besoin identifié par les répondants (61 %), suivi de la mise en valeur des collections locales (56 %), du soutien à la recherche (47 %) et de l’accès aux collections en personne (42 %). La revue documentaire interne et externe et les entrevues viennent confirmer ces besoins.

Les données recueillies démontrent que les projets financés par le Programme sont harmonisés avec les besoins des Canadiens. Lors de l’enquête, les bénéficiaires ont indiqué que le financement accordé par le Programme a moyennement ou beaucoup contribué à répondre aux besoins des Canadiens.

Tableau 4 : Adéquation entre les besoins des Canadiens et le Programme^{note 1 du tableau 4}

Besoins des Canadiens	Soumissionnaires qui considèrent ce besoin très important	Bénéficiaires qui considèrent que le Programme répond moyennement ou beaucoup à ce besoin
Accès aux collections en ligne	61 %	83 %
Mise en valeur de collections locales	56 %	74 %
Soutien à la recherche	47 %	76 %
Accès aux collections en personne	42 %	68 %
Accès à des expositions permanentes, temporaires ou itinérantes	36 %	24 %
Mise en valeur de la diversité	25 %	47 %
Autre	19 %	15 %
Notes du Tableau 4 Note 1 du tableau 4 Données recueillies dans le cadre de l’enquête menée pour la présente évaluation. Retour à la référence de la note 1 du tableau 4

Le numérique

Une part importante des projets financés concerne la dimension numérique du patrimoine documentaire. Ainsi, la moitié des projets portaient sur des activités de conversion et de numérisation aux fins d’accès, et 45 % sur des activités de conversion et de numérisation aux fins de préservation. La numérisation est un besoin très important pour 73 % des institutions sondées dans l’enquête. En entrevue, les membres du Comité consultatif externe ont mentionné que les Canadiens aimeraient pouvoir accéder aux collections locales en ligne. Ils ont souligné la demande accrue pour du contenu en ligne, et ont mentionné que les Canadiens ont besoin de se rapprocher de leur patrimoine. Un intervenant a souligné que d’après son expérience, « les Canadiens ont un attachement à leur région, leurs rues, leur monde ». Ce besoin se reflète dans les données recueillies lors de la revue documentaire :

• En 2016, 42 % des Canadiens mentionnaient avoir visité le site Web d’un musée ou d’un établissement patrimonial au cours des 12 derniers mois.^{note en bas de page8}
• En 2015, les établissements du patrimoine ont reçu plus de 203 millions de visites sur leurs sites Web, une augmentation de 52 % par rapport à 2011.^{note en bas de page9}
• Le nombre d’expositions en ligne a connu une hausse de 62 % entre 2011 et 2015, passant de 2 200 à 3 550.^{note en bas de page10}
• Dans l’ensemble, 16 % des collections des institutions de mémoire avaient été convertis au format numérique dont 10% étaient accessibles en ligne en 2015.^{note en bas de page11}

Cette dernière donnée démontre que le besoin de numérisation est toujours présent chez les institutions du patrimoine documentaire, alors qu’une faible proportion de leurs collections est actuellement en ligne.

Gestion et accès en personne à la collection

En entrevue, les conseillers spécialisés internes et les membres du Conseil consultatif externe ont souligné que les Canadiens ont besoin de savoir que les collections locales existent, et que les institutions les gèrent et en prennent soin. Cette étape est primordiale afin de rendre ces collections éventuellement accessibles en ligne. Lorsqu’on a interrogé les institutions sur les besoins de leurs membres et de leurs clients, elles ont mentionné les besoins suivants comme étant très importants : mise en valeur des collections locales (58 %), soutien à la recherche (48 %) et accès aux collections en personne (40 %).

Une fois de plus, les données recueillies lors de la revue documentaire viennent corroborer ces perceptions :

• 74 % des visites sur le site Web d’un musée ou d’un établissement patrimonial avaient pour but de préparer une visite en personne.^{note en bas de page12}
• En 2016, 56 % des Canadiens ont visité un musée ou un centre de sciences, comparativement à 51 % en 2012.^{note en bas de page13}
• Le nombre de demandes de recherche a augmenté de 10,5 % entre 2011 et 2013.^{note en bas de page14}
• 70 % des Canadiens considèrent que les bibliothèques contribuent à leur qualité de vie.^{note en bas de page15}

La gestion et l’accès en personne aux collections sont des besoins pour les Canadiens. En réponse à ces besoins, 58 % des projets menés à terme au cours des deux premiers cycles du Programme portaient sur des activités de gestion axées sur les collections, le catalogage et l’accès. De plus, 19 % des projets portaient sur des traitements de restauration ou de préservation.

Expositions et projets commémoratifs

L’accès à des expositions permanentes, temporaires ou itinérantes représente un besoin très important pour 34 % des répondants à l’enquête. Une proportion plus faible de projets financés entre dans cette catégorie, soit 17 % pour l’élaboration d’expositions virtuelles et physiques et 10 % pour des projets commémoratifs. Bien que ce volet soit moins important que la numérisation et la gestion des collections, il reste tout de même un besoin pour les Canadiens.

• Le nombre d’expositions permanentes est en baisse depuis entre 2011. Par contre, le nombre d’expositions itinérantes a connu une hausse de 51 %.^{note en bas de page16}
• 33 % des Canadiens ont participé à un événement portant sur l’histoire locale et le patrimoine local en 2016.^{note en bas de page17}
• 42 % des Canadiens considèrent que les musées, les galeries d’art publiques et les centres ou les sites patrimoniaux contribuent à leur qualité de vie en 2016-17.^{note en bas de page18}

Compétences et capacités

Pour réaliser leurs activités de numérisation, de gestion des collections et d’accès, les institutions du patrimoine comptent sur les compétences et les capacités de leurs employés et de leurs bénévoles. Elles sont particulièrement dépendantes de ces derniers : en 2013, les bénévoles représentaient 76 % de tout l’effectif des institutions du secteur patrimonial. Lors de l’enquête, 34 % des répondants ont indiqué que le perfectionnement des employés et des bénévoles est un besoin très important pour leur institution. Le Programme a financé de nombreux projets afin d’y répondre. Ainsi, lors des trois premiers cycles de financement :

• 34 % des projets financés visaient à offrir des formations et des ateliers destinés à améliorer les compétences et à accroître les capacités;
• 29 % ciblaient l’augmentation de la capacité de préservation numérique;
• 26 % étaient liés à l’élaboration de normes, de critères de rendement et d’autres activités d’évaluation.

5. Constatations ‒ Rendement

5.1 Information sur la mesure du rendement

Un cadre d’évaluation a été achevé en décembre 2015; des mesures de rendement ont été légèrement modifiées afin de préparer une évaluation, prévue au départ pour 2018-2019^{note en bas de page19}. Le Programme devait recueillir des données de référence en 2015-2016 et établir des cibles de rendement à compter de 2016-2017. Lors des entrevues, les responsables du Programme ont confirmé ne pas avoir établi de cibles de rendement pour les indicateurs.

Demandes de financement

Des gabarits de demande de financement ont été mis en place pour recueillir les informations sur le rendement. Celles-ci sont étroitement liées à la stratégie de mesure de rendement établie lors de la conception du Programme. Lors des entrevues, les responsables du Programme ont indiqué que les gabarits sont revus chaque année. Les résultats de l’enquête menée auprès des soumissionnaires et des bénéficiaires montrent que ces derniers sont satisfaits ou très satisfaits des gabarits de demande de financement (69 %) et des gabarits de rapports (79 %). L’ensemble des intervenants internes et externes suggèrent des améliorations, notamment la mise en place d’un formulaire électronique. Il faut toutefois noter que le Programme a déjà répondu à cette demande en instaurant une nouvelle plate-forme en ligne pour son quatrième cycle de financement, soit celui de 2018-2019.

Reddition de comptes

L’analyse des documents administratifs du Programme démontre que durant les deux premiers cycles financiers, tous les bénéficiaires ont remis les rapports de rendement requis (rapports intermédiaires et finaux), et que les données des rapports ont été recueillies et compilées par les responsables du Programme sur des feuilles de calcul Excel. Les responsables du Programme ont toutefois indiqué que cette information n’a pas été analysée dans le passé; on prévoit procéder à des analyses en 2018-2019.

L’équipe d’évaluation a examiné un échantillon de dossiers afin de valider la robustesse des informations fournies par les soumissionnaires et les bénéficiaires. Il en ressort que les informations entre la proposition, l’entente de contribution signée et le rapport final sont parfois incomplètes ou ne concordent pas. Les bénéficiaires font difficilement la distinction entre les résultats attribuables au projet financé et ceux de l’ensemble de leur institution, par exemple le nombre de visites reçues sur leur site Web ou dans leur institution à la suite du projet.

La mesure des résultats à moyen et long terme représente souvent un défi pour les responsables de programmes de contribution. Dans le cas du Programme d’appui aux collectivités du patrimoine documentaire, il est difficile de déterminer dans quelle proportion les résultats sont vraiment attribuables au Programme. Dans sa stratégie de mesure de rendement, les données pour la mesure des résultats à moyen et long terme reposent uniquement sur les rapports finaux des bénéficiaires. Étant donné que ces rapports sont remis avant la fin ou à la conclusion des projets, ils constituent une solide source de données pour démontrer les extrants et les résultats à court terme, mais s’avèrent inadéquats pour la mesure des résultats à moyen et long terme. Aucun mécanisme n’est mis en place pour mesurer les effets du Programme au-delà de la fin des projets.

Dans les ententes de contribution, les bénéficiaires acceptent de participer à des évaluations ou à des audits pendant les cinq années suivant la fin des projets. Un suivi à moyen terme auprès des bénéficiaires afin de mesurer la mise en œuvre ou les progrès par rapport aux objectifs définis peut s’avérer difficile et coûteux, autant pour le Programme que pour les bénéficiaires. Cet élément doit être pris en considération lors de l’élaboration de la stratégie de rendement d’un programme de contributions.

5.2 Utilisation efficace des fonds en contributions

Selon les lignes directrices du Programme pour la période de 2015-2016 à 2017-2018, l’analyse et la sélection des projets admissibles reposaient sur le bien-fondé des projets, les priorités du Programme, la représentation régionale et de la disponibilité des fonds.  Au cours des entrevues, les responsables du Programme et les membres du Comité consultatif externe ont confirmé que le Programme n’a pas établi de priorités quant à l’allocation du budget de 1,5 million de dollars pour les contributions. À l’exception d’un membre qui apprécie cette flexibilité, il y a consensus au sein du Comité consultatif externe quant au besoin de disposer d’une orientation ou de directives plus claires à cet égard. Selon les membres du Comité, l’établissement de priorités faciliterait le choix des projets à financer et rendrait les décisions plus objectives et transparentes. Dans le passé, certaines décisions de financement ont été remises en question par des membres du Comité, par des conseillers spécialisés internes et par certains bénéficiaires et soumissionnaires.

Il ressort de l’enquête et des entrevues que les besoins des institutions sont grands et que celles-ci ont souvent la possibilité de présenter plus d’un projet, mais qu’elles choisissent de miser sur celui qui leur semble le plus apte à recevoir du financement. La gestion du Programme pourrait influencer le type de projets soumis en énonçant des priorités dès le lancement du processus. De plus, en énonçant clairement ses priorités, le Programme aurait plus de facilité à définir des cibles de rendement et à mesurer ses résultats. Des membres du Comité consultatif externe ont proposé une liste d’éléments pouvant être utilisés pour cibler les priorités annuelles de financement :

• catégories de projets;
• types d’institutions;
• répartition entre petites et grandes contributions;
• nombre de contributions pluriannuelles.

5.3 Engagements du Programme

Le Programme a établi quatre engagements à l’égard de l’utilisation de ressources^{note en bas de page20}, soit :

• remettre 1,5 million de dollars en contributions;
• signer entre 50 et 75 ententes par cycle;
• accorder un financement moyen de 20 000 $ par projet;
• répartir ainsi le financement entre les projets : 40 % pour des projets liés à l’objectif 1 et 60 % pour des projets liés à l’objectif 2.

Les données du tableau 5 démontrent que la mise en œuvre du Programme n’a pas été conforme à tout ce qui était initialement prévu. Le Programme a bel et bien atteint son objectif de financement en versant 1,5 million de dollars en contributions. Toutefois, les engagements quant au nombre de projets, au financement moyen accordé et aux critères de répartition entre les objectifs 1 et 2 n’ont pas été atteints.

Tableau 5 : Atteinte des engagements pris par le Programme

		Commitment	2015-2016	2016-2017	2017-2018
Nouvelles ententes signées (par cycle)		50-75	64note 1 du tableau 5	38	38
Financement moyen		20 000 $	25 207 $	50 229 $	40 318 $
Répartition par objectifnote 2 du tableau 5	Objectif 1	40 %	78 %	76 %	89 %
	Objectif 2	60 %	68 %	55 %	74 %
Notes du tableau 5 Note 1 du tableau 5 Au total, 65 projets ont été acceptés, mais une institution s’est retirée et n’a pas signé d’entente. Retour à la référence de la note 1 du tableau 5 Note 2 du tableau 5 Plusieurs projets se retrouvent dans les deux objectifs. Ces objectifs sont décrits à la page 9 du présent rapport. Le Programme devait financer davantage de projets liés à l’objectif 2 qu’à l’objectif 1. Retour à la référence de la note 2 du tableau 5

Financement approuvé

BAC s’est engagé à allouer au Programme 7,5 millions de dollars sur une période de 5 ans, soit 1,5 million de dollars par année. Pour les trois premiers cycles, le Programme a approuvé un financement total de 5 066 967 $, pour des projets d’une valeur de 8 308 929 $. En prévision des quatrième et cinquième cycles de financement, un montant de 580 396 $ est déjà alloué pour des projets pluriannuels, laissant 2 419 604 $ pour de nouveaux projets en 2018-2019 et en 2019-2020.

La contribution financière du Programme représente en moyenne 61 % du coût total des projets financés. Les données montrent que le Programme n’est pas le seul à contribuer financièrement à la réalisation des projets. En effet, bien que 21 % aient été financés à plus de 95 % par le Programme, les bénéficiaires reçoivent aussi du financement d’autres sources publiques ou privées. Le Programme tend néanmoins à assumer une plus grande part financière des projets avec les années, sa part moyenne étant passée de 51 % à 70 % entre le premier et troisième cycle.

Le tableau 12 à l’annexe D présente les informations concernant les demandes soumises et le financement accordé.

Nombre d’ententes signées

Pour les trois premiers cycles du Programme, 141 projets ont été approuvés, soit 44 % des projets admissibles. Ce nombre était de 65 la première année, et de 38 pour les deux années suivantes. Le nombre de projets soumis est demeuré relativement stable durant cette période, soit environ 140 par année. Le Programme n’a pas atteint son objectif de financer environ 50 à 75 projets par année.^{note en bas de page21}

Financement moyen approuvé

Le Programme prévoyait allouer un financement moyen de 20 000 $ par projet. Les montants moyens alloués (35 936 $) dépassent cet objectif, expliquant ainsi le nombre plus faible que prévu de projets approuvés.^{note en bas de page22} Le Programme ne dispose pas de budget suffisant pour répondre favorablement à toutes les demandes admissibles. Le financement médian est près de l’objectif initial, à 19 072 $. Comme l’indique le tableau 6, le financement moyen et médian varie selon le type d’institution financée.

Tableau 6 : Financement moyen et médian accordé selon le type d’institution^{note 1 du tableau 6}

Type d’institution	Financement moyen	Financement médian
Sociétés d’histoire	39 983 $	15 638 $
Archives	37 170 $	15 000 $
Musées avec service d’archives	35 050 $	20 000 $
Associations professionnelles	33 820 $	28 808 $
Bibliothèquesnote 2 du tableau 6	20 061 $	20 061 $
Associations de généalogie	10 497 $	8 943 $
Autres	39 945 $	35 000 $
Tous	35 936 $	19 072 $
Notes du tableau 6 Note 1 du tableau 6 Plusieurs organisations s’auto-identifient dans plus d’une catégorie. Retour à la référence de la note 1 du tableau 6 Note 2 du tableau 6 Le financement moyen et médian est identique parce que deux projets ont été approuvés. Retour à la référence de la note 2 du tableau 6

Répartition entre les objectifs 1 et 2

Les lignes directrices du Programme indiquent que les projets doivent s’inscrire dans un ou deux des objectifs. Le Programme s’engageait à allouer davantage de financement aux projets répondant à l’objectif 2 qu’à l’objectif 1, selon la répartition suivante :

• 40 % du financement à des projets répondant à l’objectif 1 (faire connaître et rendre plus facilement accessibles les institutions locales du patrimoine documentaire du Canada et leurs collections);
• 60 % du financement à des projets répondant à l’objectif 2 (accroître la capacité à préserver le patrimoine documentaire du Canada de façon plus durable).

Au courant des trois premiers cycles, 31 % des projets ont réalisé des activités dans les deux objectifs du programme.  En moyenne, les données démontrent que le Programme a financé plus de projets dans la catégorie 1 (81 %) que dans la catégorie 2 (66 %). Dans les faits, l’analyse de la documentation interne ainsi que les entrevues menées auprès des responsables du Programme et des membres du Comité consultatif externe ont démontré que cet engagement n’a pas été utilisé aux fins de sélection des projets.

5.4 Contribution à faire connaître davantage les institutions locales et leurs collections

Les données collectées à même les rapports annuels des bénéficiaires pour les deux premiers cycles du Programme^{note en bas de page23} montrent que 75 projets étaient liés à l’objectif 1 (faire connaître et rendre plus facilement accessibles les institutions documentaires locales du Canada et leurs collections).

Tableau 7 : Proportion des projets ayant mené à terme des activités en lien avec l’objectif 1, 2015-2016 et 2016-17

Catégorie d’activités réalisées	Proportion complétée
Gestion axée sur les collections, le catalogage et l’accès	58 %
Conversion et numérisation aux fins d’accès	50 %
Élaboration d’expositions virtuelles et physiques, y compris les expositions itinérantes	17 %
Projets commémoratifs	10 %

La gestion de la collection, le catalogage, la conversion et la numérisation aux fins d’accès forment une grande part des projets réalisés. La mise en œuvre de ces activités par les bénéficiaires a démontré que ces efforts ont permis, dans une certaine mesure, d’augmenter la visibilité et l’accès de leurs collections auprès de la population (voir tableau 7).

Voici quelques données sur les réalisations provenant des rapports des bénéficiaires. Certaines institutions ont :

• rendu leurs collections disponibles aux chercheurs et au public, et étendu l’accessibilité de leurs collections au-delà de leurs espaces physiques;
• augmenté leur visibilité et suscité un nouvel intérêt pour leurs collections sur leurs sites Web et sur les médias sociaux;
• suscité l’intérêt des médias et sensibilisé la population à l’égard des archives locales;
• organisé des expositions physiques et virtuelles sur les collections et les fonds d’archives accessibles au public;
• participé à un événement commémoratif.

L’enquête menée auprès des bénéficiaires montre que 62 % des participants estiment que le Programme contribue beaucoup à faire connaître les institutions locales du patrimoine documentaire et leurs collections locales.

Une analyse des médias sociaux et des sites Web des institutions financées, menée dans le cadre de la présente évaluation, est aussi venue étayer ces énoncés. Certains des exemples fournis montrent que même dans un court laps de temps, certaines institutions ont vu augmenter le nombre de visites sur leurs sites Internet, et ont noté un plus grand intérêt envers leurs nouvelles collections sur les médias sociaux. Pour les deux premiers cycles du Programme (qui comptaient 75 projets liés à l’objectif 1), 61 % des institutions ont mis leurs collections en ligne, et 52 % y ont fait référence sur leur site Internet ou leurs médias sociaux. Il faut noter que les projets ne visaient pas tous la mise en ligne de leurs collections. De plus, 11 des 75 projets sont pluriannuels, et leurs résultats n’étaient pas disponibles durant la période évaluée.

5.5 Contribution à développer les capacités des institutions locales à préserver le patrimoine documentaire

Au total, 71 projets portaient sur des activités liées à l’objectif 2 (accroître la capacité à préserver le patrimoine documentaire du Canada de façon plus durable).

Tableau 8 : Proportion de projets réalisés comportant des activités liées à l’objectif 2, 2015-2016 et 2016-2017

Activités réalisées	Proportion completée
Conversion et numérisation aux fins de préservation	45 %
Formations et ateliers destinés à améliorer les compétences et à accroître les capacités	34 %
Augmentation de la capacité de préservation numérique	29 %
Élaboration de normes, de critères de rendement et d’autres activités d’évaluation	26 %
Traitements de restauration et de préservation	19 %

L’analyse des informations issues des rapports annuels des bénéficiaires montre que les activités réalisées ont effectivement contribué à accroître, dans une certaine mesure, les capacités des institutions, qu’il s’agisse d’ateliers de formation, d’embauche de spécialistes en préservation numérique, de formation des employés et des bénévoles, d’utilisation de meilleures méthodes de travail ou d’autres activités (voir tableau 8).

Voici quelques données sur les réalisations provenant des rapports des bénéficiaires. Certaines institutions ont :

• réduit les arriérés d’archives qui s’accumulaient dans de mauvaises conditions depuis longtemps et qui risquaient d’être perdues;
• numérisé un grand nombre de matériel (photos, documents, journaux, cartes postales, microfilms, bandes audio et vidéo);
• mené des ateliers (pratiques et techniques d’archivage des collections analogues et numériques, droits d’auteur, préservation des collections audiovisuelles);
• amorcé la migration des fonds d’archives vers des outils de conservation numérique plus performants;
• favorisé l’acquisition de nouvelles compétences et habiletés chez le personnel et les bénévoles;
• mis à jour les politiques internes de gestion des collections, les procédures de conservation et les bonnes pratiques;
• fourni de l’emploi temporaire à du personnel spécialisé et à des étudiants.

Les bénéficiaires ayant participé à l’enquête ont indiqué, dans une proportion de 86 %, qu’ils considèrent que l’aide apportée par le Programme a beaucoup contribué à accroître la capacité des institutions à préserver les collections locales. Le personnel du Programme abonde dans le même sens.

L’analyse des projets démontre qu’un certain nombre de projets (44/140) ont mené des activités dans des catégories appartenant à la fois à l’objectif 1 et à l’objectif 2.

5.6 Utilisation étendue des collections locales

Les données recueillies dans les rapports finaux des projets et les informations du Programme ne permettent pas d’évaluer les effets du Programme à moyen et long terme. Les rapports des bénéficiaires sont remis soit avant la fin du projet, soit au terme de celui-ci. Aucun suivi n’est effectué dans les mois ou l’année suivant la fin du projet. Lors de l’enquête, les évaluateurs ont réussi à recueillir des informations anecdotiques sur l’utilisation des collections par la population, qui ne permettent cependant pas de déboucher sur des constatations solides.

La perception des responsables du Programme est partagée quant aux effets du Programme, compte tenu de sa maturité. On souligne toutefois que l’arrivée du Programme est très bien perçue dans la collectivité des institutions du patrimoine documentaire.

5.7 Autres résultats

Selon une enquête de Patrimoine canadien^{note en bas de page24}, les institutions du patrimoine reposent largement sur des emplois précaires à temps partiel (18 900, comparativement à 12 500 emplois à temps plein) ainsi que sur les bénévoles (115 650). Ces derniers représentent plus de 76 % de tout l’effectif du secteur.

Ces données rejoignent les constats d’un comité d’experts^{note en bas de page25} qui soulève l’importance de la participation de la population. Les experts constatent que le public canadien et étranger joue un rôle de plus en plus important dans la conservation du patrimoine culturel canadien, que ce soit par le bénévolat, la recherche, la documentation d’articles conservés sous forme numérique, ou encore des évaluations sur Internet.

Les institutions qui ont présenté des projets au Programme confirment que le recrutement de bénévoles est un besoin important. Dans l’enquête menée auprès des bénéficiaires et des soumissionnaires, 75 % des répondants estiment que le recrutement de bénévoles est important ou très important. Les données^{note en bas de page26} démontrent que le ratio employé/bénévole des institutions financées est de 1 pour 4^{note en bas de page27}.

Les institutions financées dépendent largement de bénévoles. Environ 30 % des bénéficiaires ayant participé à l’enquête ont affirmé que le Programme a moyennement ou beaucoup contribué au recrutement de leurs bénévoles. Une analyse plus approfondie permettrait de valider ce résultat et de mieux comprendre la participation bénévole aux projets des collectivités locales.

6. Constatations ‒ Efficience

L’efficience du Programme a été évaluée afin de répondre à quatre questions :

• Existe-t-il des chevauchements ou des similarités avec d’autres programmes fédéraux?
• Est-ce que le Programme finance les institutions ciblées?
• Est-ce que les frais d’administration du Programme sont acceptables?
• Est-ce que le Programme est livré de façon efficiente?

6.1 Chevauchements et similarités avec d’autres programmes

Une analyse des offres de soutien financier disponibles démontre des chevauchements, principalement avec deux autres programmes fédéraux : le Programme d’aide aux musées et le Programme des Autochtones.

Programme d’aide aux musées

À l’exception d’un volet sur l’Accord France-Canada, l’objectif et les résultats du Programme d’aide aux musées sont identiques à ceux du Programme d’appui aux collectivités du patrimoine documentaire.

Le Programme d’aide aux musées finance des projets pour :

• préserver et présenter des collections patrimoniales;
• préserver le patrimoine culturel autochtone et faciliter l’accès aux collections patrimoniales pour tous les Canadiens;
• favoriser l’essor des connaissances, des compétences et des pratiques professionnelles.

Le type de projets financés est également le même : expositions itinérantes, préservation et présentation du patrimoine, gestion des collections et amélioration des compétences et des pratiques professionnelles.

Toutefois, dans le cas du Programme d’aide aux musées, seuls sont admissibles les musées canadiens sans but lucratif, les associations muséales ainsi que les organismes canadiens de services aux Autochtones et les organismes dirigeants autochtones. Ce dernier fonctionne également selon un mode différent : il alloue à la fois des subventions et des contributions, et il finance entre 50 % et 70 % des dépenses admissibles des projets.

Pour sa part, le Programme d’appui aux collectivités du patrimoine documentaire est ouvert à une gamme plus large d’institutions, y compris aux institutions du secteur muséal sans but lucratif (qui sont également admissibles au Programme d’aide aux musées). En outre, il finance les projets soumis jusqu’à 100 %. Parmi les institutions financées, 26 % sont des musées, qui ont reçu ensemble 25 % du financement total alloué pour les trois premiers cycles du Programme.

Il existe un chevauchement entre les deux programmes, puisque les musées et les institutions du secteur muséal peuvent obtenir du financement de deux programmes fédéraux distincts, mais qui possèdent des objectifs, des types de projets et des modes de fonctionnement très similaires. Ainsi, certains projets financés par le programme de BAC ont réalisé des activités admissibles au Programme d’aide aux musées. Voici trois exemples :

• Un musée a reçu des fonds pour évaluer et planifier des options pour l’entreposage de ses archives.
• Le Programme d’aide aux musées – Volet Gestion des collections inclut les projets liés à des solutions d’entreposage pour les collections.
• Un musée a reçu des fonds pour la migration et la mise à jour de sa base de données d’archives. Le Programme d’aide aux musées – Volet Gestion des collections inclut les projets liés à la mise en place ou la mise à niveau d’un système de gestion des collections.
• Un organisme dirigeant autochtone a reçu des fonds pour le développement d’une exposition. La conception, la production, la promotion et la présentation d’expositions et de matériel d’interprétation associé sont des activités admissibles du Programme d’aide aux musées – Volet Patrimoine autochtone.

Ce chevauchement a été soulevé lors des entrevues et de l’enquête. En outre, les intervenants se questionnent sur la pertinence d’inclure le secteur des musées dans le Programme d’appui aux collectivités du patrimoine documentaire, alors que ce dernier ne suffit pas à répondre à la demande en ce qui concerne les autres types d’institutions.

Programme des Autochtones

Le Programme des Autochtones vise les objectifs suivants :

• soutenir la promotion, la revitalisation et la préservation des langues et des cultures autochtones;
• renforcer l’identité culturelle des Autochtones;
• encourager la participation des Autochtones à la société canadienne.

Il offre deux volets de financement aux institutions autochtones admissibles, soit l’Initiative des langues autochtones et la radiodiffusion autochtone dans le Nord. Il existe des chevauchements entre le Programme d’appui aux collectivités du patrimoine documentaire et le premier volet (initiative des langues autochtones), car ce dernier soutient la préservation et la revitalisation des langues autochtones par l’entremise de projets et d’activités communautaires. Les projets qu’il finance incluent notamment l’enregistrement, la documentation et la préservation des langues autochtones menacées; les organismes peuvent obtenir des contributions allant de 25 000 $ à 150 000 $.

On note toutefois une différence importante concernant les bénéficiaires admissibles : le Programme des Autochtones vise un large éventail d’organismes intéressés par les questions autochtones, qu’ils soient ou non une institution du patrimoine documentaire. La diversité des activités financées dépasse celle du Programme d’appui aux collectivités du patrimoine documentaire. Bien qu’un même projet puisse être admissible au financement des deux programmes, de telles situations sont rares.

6.2 Portée des institutions financées

Dans sa présentation au Conseil du Trésor, BAC indiquait que des consultations avec ses partenaires ont permis d’établir que les institutions et les associations locales et communautaires ont de la difficulté à obtenir du financement, et que les contributions offertes devraient favoriser le développement des bibliothèques et des archives locales au Canada. Il notait également que le Programme mettra l’accent sur le patrimoine documentaire local pour que les institutions communautaires, qu’elles soient constituées ou non en société, puissent lancer des projets importants pour leur région. Enfin, il ajoutait que les associations nationales pourront lancer des projets horizontaux qui bénéficieront aux institutions du patrimoine local. L’essence même du Programme a été adéquatement traduite lors de la détermination des objectifs du Programme, soit :

• faire connaître et rendre plus facilement accessibles les institutions locales du patrimoine documentaire du Canada et leurs collections;
• accroître la capacité des institutions locales du patrimoine documentaire de préserver le patrimoine documentaire du Canada de façon plus durable.

Toutefois, des membres du Comité consultatif externe, des conseillers spécialisés internes, des soumissionnaires et des bénéficiaires ont remis en question la définition accordée à « institution locale »^{note en bas de page28}. Des membres du Comité et des conseillers ont notamment exprimé leur surprise de voir certaines institutions considérées comme étant admissibles. Plusieurs ont exprimé le souhait de voir davantage de petites institutions locales obtenir du financement. L’enquête auprès des soumissionnaires et des bénéficiaires a en outre révélé une importante préoccupation, à savoir la sous-représentation perçue des petites institutions. Même si aucune question ne concernait spécifiquement ce sujet, de nombreux participants ont profité des questions ouvertes pour faire part de leurs inquiétudes à cet égard.

Voici quelques données sur le profil des institutions financées par le Programme :

• Au cours des trois premiers cycles, 58 % des institutions financées ont mentionné dans leur demande de financement avoir une portée locale, municipale ou régionale. Les autres, soit 42 %, ont plutôt indiqué une portée provinciale, nationale ou internationale.
• La médiane du budget annuel des dépenses des institutions financées a doublé depuis le premier cycle^{note en bas de page29}.
• En 2015-2016, 11 % des institutions financées avaient un budget annuel de dépenses supérieur à un million de dollars. Pour les deux derniers cycles du Programme, environ une institution sur cinq disposait d’un tel budget (soit 22 % en 2016-2017 et 18 % en 2017-2018).
• Le deux tiers (66 %) des institutions financées disposaient de moins de cinq employés, et 52 % comptaient plus de 10 bénévoles.

Un budget des dépenses supérieur à 500 000 $ ne signifie pas que l’institution n’est pas locale et non admissible au Programme. Par contre, les données démontrent que le Programme finance un grand nombre d’institutions qui déclarent avoir une portée provinciale ou plus, et d’institutions dont le budget des dépenses est de plus en plus élevé depuis trois ans.

6.3 Utilisation efficiente des ressources internes

L’analyse de la documentation interne et les entrevues avec les responsables du Programme ont démontré que les salaires, les autres frais administratifs et le nombre d’employés à temps plein ou à temps partiel n’ont pas été comptabilisés avec les codes financiers attribués au Programme. Cette situation a entravé la tenue d’une analyse juste et complète des frais administratifs et des coûts de fonctionnement. À des fins d’analyse, une estimation des coûts réels a donc été établie avec les responsables du Programme.^{note en bas de page30}

Comme l’indiquaient le budget initial du programme et le Rapport d’audit 2018 sur le Programme, des frais administratifs annuels de 200 000 $ ont été établis, qui comprennent les salaires des employés affectés au Programme, les coûts associés aux technologies de l’information, les consultations externes, les voyages et d’autres coûts divers. À ce montant s’ajoutait 1,2 équivalent temps plein (ÉTP) pour gérer le Programme pendant cinq ans.

Tel qu’indiqué dans section 2.3 de ce présent rapport, le Programme a dépensé un total de 5 332 510 $ durant ses trois premiers cycles de financement. Pour la même période, il en a coûté 832 510 $ en frais d’administration, ce qui équivaut à une moyenne de 15,61 % sur trois ans. Les frais administratifs, eux, n’ont cessé d’augmenter : en 2017-2018, il en a coûté le triple pour gérer la moitié moins de projets qu’en 2015-2016. Quant au nombre d’ÉTP, il a fluctué, passant de 2,25 en 2015-2016 à 3,5 en 2016-2017 et à 4 en 2017-2018.

Tableau 9 : Ratio des frais administratifs par rapport aux dépenses totales du Programme

	2015-2016	2016-2017	2017-2018	2018-2019	2019-2020
Ratio des frais administratifs	12,3 %	14,8 %	19,4 %	S.O.	S.O.

Tableau 10 : Frais administratifs du Programme par demandes soumises et par ententes signées

Année	Nombre de demandes reçues	Nombre d’ententes signées	Frais administratifs totaux	Coût par demande reçue	Coût par entente signée
2015-2016	136	65	210 380 $	1 547 $	3 237 $
2016-2017	155	38	260 914 $	1 683 $	6 866 $
2017-2018	129	38	361 217 $	2 800 $	9 506 $
Total (les 3 années)	420	141	832 510 $	S.O.	S.O.
Moyenne (les 3 années)	S.O.	S.O.	S.O.	1 982 $	5 904 $

Dans le cadre de l’évaluation, une analyse comparative (voir graphique 1) a été menée avec d’autres programmes de contributions à vocation culturelle et de petite taille^{note en bas de page31}. Il en ressort que les frais d’administration du Programme sont comparables aux autres programmes semblables, pour lesquels ces frais se situent généralement entre 15 % et 20 %^{note en bas de page32}.

Source : Annexe E - Comparaison des frais administratifs, 2015 à 2018.

Graphique 1 : version textuelle

Tableau 11 : Ratio des frais administratifs par programmes

	PACPD	Portefeuille de Patrimoine canadien			Programmes de petite taille
		PAM	PA	DCAP	PPC	PJPI	IRPK	PAEMCC	PCEP
Ratios des frais administratifs	19,4 %	21,9 %	14,9 %	18,7 %	19,0 %	5,0 %	13,0 %	11,0 %	21,0 %

L’analyse effectuée dans le cadre de cette évaluation permet de conclure que les frais administratifs sont plus élevés que ce qui avait été anticipé au moment de la création du Programme. Les responsables du Programme ont justifié cet écart par des nouveautés, notamment la création de gabarits, l’établissement de relations avec les institutions soumissionnaires, des activités de promotion, le maintien d’un site Web, etc. En ce qui concerne le nombre prévu d’ÉTP, il était nettement insuffisant pour suffire à la tâche, et ce, dès le départ. D’autres facteurs ont également influé sur les besoins en ressources humaines, notamment le roulement de personnel et le manque d’expérience en gestion des paiements de transfert. Les responsables du Programme ont mentionné qu’il reste encore des améliorations à apporter pour atteindre la stabilité.

Enfin, les frais administratifs restent dans les limites acceptables lorsqu’on les compare à ceux d’autres programmes. Néanmoins, les analyses ont démontré qu’ils ont augmenté de façon continue. Une codification adéquate et des mesures de surveillance permettraient de les contenir pour les prochains cycles.

6.4 Méthode de livraison du Programme

En général, les répondants considèrent que le Programme est efficace et efficient, et que ses gabarits sont simples et très utiles pour les institutions qui n’ont pas accès à d’autres sources de financement. Le témoignage d’un bénéficiaire résume bien les commentaires généraux reçus : « Le Programme remplit très bien les besoins […] comme le nôtre et est en lien avec les nouvelles façons de faire [...] aujourd’hui. Le Programme est clair, bien expliqué par les intervenants de BAC, nous nous sentons supportés dans notre démarche ».

Demande de financement

Les soumissionnaires se disent satisfaits (60 %) et très satisfaits (21 %) du processus de présentation des demandes de financement. Ils sont particulièrement satisfaits ou très satisfaits des éléments suivants :

• disponibilité des outils et des informations dans la langue officielle de leur choix (97 %);
• clarté des renseignements concernant la documentation exigée (89 %);
• clarté des lignes directrices (87 %);
• qualité de l’information et des outils offerts (82 %);
• clarté des critères d’admissibilité (80 %).

Toutefois, ils se disaient légèrement moins satisfaits de la facilité d’utilisation des gabarits pour les demandes de financement (69 %). Certains soumissionnaires ont également indiqué avoir communiqué avec les responsables du Programme pour clarifier certains points et obtenir davantage de renseignements afin de compléter leur demande de financement. Même si certains d’entre eux ont eu de la difficulté à joindre des membres du personnel, ils ont souligné l’aide appréciable qu’ils ont reçue. Les répondants soulignent que les responsables du Programme sont proactifs : ils communiquent avec les soumissionnaires avant la date de clôture des soumissions pour obtenir des informations supplémentaires ou manquantes, le cas échéant.

Reddition de comptes

Les bénéficiaires apprécient également le processus de préparation des rapports. Ainsi, ils se disent satisfaits ou très satisfaits des éléments suivants :

• clarté des lignes directrices pour la préparation des rapports (92 %);
• facilité d’utilisation des gabarits pour la préparation des rapports (78 %).

La méthode de livraison actuelle du Programme satisfait tant les soumissionnaires que les bénéficiaires. Récemment, les responsables du Programme ont commencé à examiner les modalités de financement en vue du renouvellement du Programme.  L’étude des options est en cours.

7. Autres observations

7.1 Mise en valeur de la diversité

BAC s’est engagé à accorder du financement à des institutions dans toutes les régions du Canada. Les membres du Comité consultatif externe ont confirmé que l’emplacement géographique des institutions, sans faire partie des critères d’évaluation, jouait néanmoins un rôle dans la sélection des projets.

Les données confirment que le nombre de demandes admissibles et de projets financés est réparti de façon équilibrée entre les provinces et les territoires tel que présenté dans le tableau 12. Elles mettent néanmoins en évidence la faible proportion de demandes en provenance de l’Alberta et de l’Ontario, compte tenu du poids démographique de ces provinces. On note aussi une certaine surreprésentation du Québec, tant pour ce qui est du nombre de projets financés que de leur proportion par rapport au reste du pays.

Tableau 12 : Représentation géographique des projets financés entre 2015 et 2017

Emplacement géographique	Proportion des demandes admissibles	Proportion des projets financés	Proportion of Canadian population
Territoires (Yukon, Nunavut, Territoires du Nord-Ouest)	4,1 %	3,9 %	0,3 %
Colombie-Britannique	16,2 %	19 %	13 %
Alberta	6,3 %	6,5 %	12 %
Saskatchewan	3,8 %	3,9 %	3 %
Manitoba	6 %	5,2 %	4 %
Ontario	24,1 %	21,6 %	39 %
Québec	29,2 %	30,7 %	23 %
Nouveau-Brunswick	2,2 %	2,6 %	2 %
Nouvelle-Écosse	2,9 %	2,6 %	3 %
Île-du-Prince-Édouard	1,3 %	0,7 %	0,4 %
Terre-Neuve-et-Labrador	3,8 %	3,3 %	1,4 %
Tous	100 %	100 %	100 %

Enfin, le Programme n’a pas instauré de critères formels visant à discriminer ou à favoriser des projets en fonction d’aspects linguistiques, culturels ou ethniques. On observe que dans l’ensemble, les projets financés mettent en valeur la diversité au sein de la population canadienne.

On retrouve notamment des projets touchant :

• les Autochtones (8);
• les femmes (3);
• le patrimoine religieux (18);
• les communautés culturelles ou ethniques (6);
• les communautés linguistiques minoritaires (2);
• la communauté LGBTQ+ (1).

8. Conclusion et recommandations

8.1 Conclusion

Le Programme d’appui aux collectivités du patrimoine documentaire lancé par BAC a pour objectif de fournir du financement sous forme de contributions aux institutions locales du patrimoine documentaire afin d’accroître leur capacité à préserver, à rendre accessible et à promouvoir leurs collections auprès des Canadiens.

L’analyse des données confirme que l’offre de services du Programme répond aux besoins des Canadiens, dans la mesure où les projets financés aident les institutions à préserver et à rendre accessible leur patrimoine documentaire, que ce soit par des activités de catalogage, de formation, de préservation ou de conservation, ou encore par la numérisation et la mise en ligne de leurs collections.

Le Programme appuie le mandat et les résultats stratégiques de BAC en soutenant les collectivités du patrimoine documentaire. Il appuie également les priorités du gouvernement du Canada en finançant des projets liés à la culture en améliorant les connaissances sur l’histoire et le patrimoine canadiens.

Le Programme est récent, et les responsables ont déployé des efforts pour répondre aux besoins des soumissionnaires et des bénéficiaires lors des trois premiers cycles de sa mise en œuvre. Ils ont notamment mis à leur disposition des outils pour les aider à remplir leurs demandes de financement et à préparer leurs rapports.

Dans l’ensemble, le Programme atteint ses résultats à court terme. Des données probantes montrent que les projets lancés lors des deux premiers cycles ont été terminés, et qu’un grand nombre des collections traitées sont disponibles en personne dans les institutions mêmes, ou sur leurs sites Internet.

La gestion des collections, le catalogage, la conversion et la numérisation aux fins d’accès forment une grande part des activités réalisées. Leur mise en œuvre par les bénéficiaires démontre qu’elles ont permis d’augmenter la visibilité et l’accessibilité de leurs collections auprès de la population.

L’analyse des informations montre que les activités réalisées ont effectivement contribué à accroître les capacités des institutions, qu’il s’agisse d’ateliers de formation, d’embauche de spécialistes en préservation numérique, de formation des employés et des bénévoles, d’utilisation de meilleures méthodes de travail ou d’autres activités.

Sur le plan de l’efficience, l’évaluation a démontré qu’un chevauchement existe entre le Programme d’aide aux musées de Patrimoine Canada et le Programme d’appui aux collectivités du patrimoine documentaire : les musées et les institutions du secteur muséal peuvent obtenir du financement de deux programmes fédéraux distincts, dont les objectifs, les types de projets et les modes de fonctionnement sont toutefois très similaires. De plus, les données démontrent que le Programme finance un grand nombre d’institutions qui déclarent avoir une portée provinciale ou plus, et des institutions dont le budget de dépenses ne cesse d’augmenter depuis trois ans.

Plusieurs institutions ont exprimé le souhait de voir davantage de petites institutions locales obtenir du financement. Tous les participants à l’évaluation ont également remis en question la définition d’« institution locale ».

Quant aux frais administratifs du Programme, bien qu’ils aient augmenté de façon constante dès le début, ils sont comparables à ceux d’autres programmes fédéraux de contributions ayant des dimensions similaires.

À mi-chemin, le Programme en est à une étape charnière. Les résultats de l’évaluation offrent à ses gestionnaires l’occasion d’apporter certains correctifs à sa portée, à sa gestion et à la mesure du rendement. Il importe également de réfléchir à la définition d’« institution locale », car elle influence la portée et les résultats du Programme.

8.2 Recommandations

L’évaluation du Programme d’appui aux collectivités du patrimoine documentaire nous amène à formuler les quatre recommandations suivantes :

• Recommandation 1 : Le Programme devrait revoir sa portée, son modèle logique et sa stratégie de mesure du rendement, et établir des cibles annuelles de rendement pour tous ses indicateurs.
• Recommandation 2 : Le Programme devrait clarifier et communiquer ses priorités pour chacun des cycles de financement.
• Recommandation 3 : Le Programme devrait examiner les chevauchements avec le Programme d’aide aux musées afin de déterminer s’il doit s’ajuster ou adopter une approche axée sur la complémentarité.
• Recommandation 4 : Le Programme devrait clarifier la définition d’« institution locale » et l’inclure dans ses lignes directrices.

​