Audit du programme d’appui aux collectivités du patrimoine documentaire

Table des matières

• Sommaire
• Introduction
• Contexte
• Évaluation du risque
• Objectif et critères
• Portée
• Méthodologie
• Constatations et recommandations
• Gouvernance du programme de contributions
• Évaluation des demandes de financement
• Gestion des dossiers du programme
• Gestion financière du programme
• Mécanisme de suivi
• Outils et formation
• Annexe A – Plan d’action de la direction

Sommaire

Contexte

En 2015, Bibliothèque et Archives Canada (BAC) a amorcé un processus d’approbation dans le but de réaffecter des fonds de BAC et mettre sur pied un programme de contributions destiné à aider les institutions locales du patrimoine documentaire dans leur mission de préserver et de rendre accessible les collections locales. Le Conseil du trésor (CT) a approuvé la demande de BAC en mai 2015, pour un programme de contributions débutant durant l’exercice financier 2015-2016. Le financement total du programme est de 8 698 000$, dont 7 500 000$ sont affectés aux contributions directement, et 1 198 000$^{Note de bas de page 1} pour administrer le programme.  Le nom du programme ainsi créé est le Programme d’appui aux collectivités du patrimoine documentaire (PACPD).

Comme partie intégrante de l’approbation du programme, BAC s’est engagé à effectuer un audit des activités du programme durant l’exercice financier 2017-2018. En conséquence, la direction de la Planification et imputabilité organisationnelles a inscrit dans son plan annuel de surveillance 2017-2018, un audit de ce programme. Le plan de surveillance a été approuvé par le Comité de gestion des ressources le 21 avril 2017.

Constatations et recommandations

Le tableau suivant donne un aperçu de la conformité en lien avec les politiques du CT et des modalités du programme.

Tableau 1 : Conformité aux modalités du programme et à la politique sur les paiements de transfert

Activités	Conforme	Non conforme
Cadre de gouvernance	X
Rôles et responsabilités définis et documentés	X
Critères d’évaluation des demandes de financement documentées et communiquées	X
Processus d’évaluation documentés	X
Processus d’évaluation incluant des spécialistes internes et un comité externe	X
Paiements effectués aux bénéficiaires selon les normes de services établies	X
Dépenses administratives du programme		X
Conformité à la politique sur les paiements de transfert
Mécanisme de suivi auprès des bénéficiaires		X
Conformité à la Loi sur la gestion des finances publiques (LGFP)
Article 34 de la LGFP signé et daté par une personne possédant l’autorité	X
Ententes de contribution signées et datées avant l’émission de paiements (exercice financier 2017-2018)	X

En sus de la conformité, des observations ont été faites en lien avec la gestion du programme, notamment :

• des améliorations pourraient être apportées afin de mieux utiliser le travail d’analyse effectué par les conseillers spécialisés internes (CSI) afin d’appuyer une prise de décision éclairée;
• il faudrait documenter les discussions lors de la rencontre finale du Comité consultatif externe (CCE) afin de mieux comprendre les décisions menant au choix final des projets;
• certains documents clés manquaient aux dossiers des bénéficiaires dans l’espace de travail du programme. L’ordre et la nature des documents se trouvant dans chaque dossier variaient d’un dossier à l’autre, rendant difficile le repérage de l’information pertinente; et
• la formation donnée aux membres du CCE était insuffisante.

Le Secrétariat devrait :

• revoir le processus d’évaluation des demandes de financement afin :
• d’optimiser l’utilisation de l’expertise des conseillers spécialisés internes (CSIs) et de permettre la transmission de toute l’information pertinente pour une prise de décision éclairée;
• de mieux documenter les discussions menant au choix final des projets qui seront financés et ainsi assurer la transparence du processus d’évaluation.
• s’assurer qu’un système de tenue de documents structuré est en place afin d’améliorer le repérage des documents et l’efficience du processus d’analyse;
• revoir le processus d’analyse des budgets des demandeurs afin de s’assurer que tous les coûts sont raisonnables;
• développer un mécanisme de suivi axé sur le risque afin de s’assurer que les fonds sont utilisés selon les modalités des ententes de financement; et
• s’assurer que tous les membres du CCE impliqués dans l’évaluation des demandes de financement reçoivent la formation requise au moment opportun pour faire leur travail. 

Conclusion de l’examen

Le PACPD était généralement conforme aux modalités du programme ainsi qu’à la Loi sur la gestion des finances publiques (LGFP), cependant partiellement conforme à la politique du CT sur les paiements de transfert.  De plus, certaines lacunes ont été notées dans la gestion du programme telles qu’identifiées ci-haut.

Remerciements

Nous tenons à exprimer notre gratitude envers la direction et le personnel pour leur bel esprit de coopération et l’aide qu’ils ont apportés à l’équipe d’audit interne tout au long de cette mission.

 

Introduction

Contexte

En 2015, Bibliothèque et Archives Canada (BAC) a amorcé un processus d’approbation dans le but de réaffecter des fonds de BAC et mettre sur pied un programme de contributions destiné à aider les institutions locales du patrimoine documentaire dans leur mission de préserver et de rendre accessible les collections locales. Le Conseil du trésor (CT) a approuvé la demande de BAC en mai 2015, pour un programme de contributions débutant durant l’exercice financier 2015-2016. Le financement total du programme est de 8 698 000$ ^{Note de bas de page 2}, dont 7 500 000$ sont directement alloués pour les contributions. Le nom du programme ainsi créé est le Programme d’appui aux collectivités du patrimoine documentaire (PACPD). Le budget annuel du PACPD pour le financement des projets admissibles est de 1 500 000$, le reste des fonds alloués par le CT devant servir aux frais administratifs du programme. Le montant maximal admissible pour chaque contribution est de 100 000$ par année. Le tableau suivant indique le nombre de demandes reçues et financées par le programme depuis ses débuts ^{Note de bas de page 3} :

Tableau 2

Exercice financier	Demandes de financement reçues	Projets financés
2015-2016	136	64 Note de bas de page 4
2016-2017	155	38
2017-2018	129	38
Total	420	140

Le PACPD a établi une approche axée sur la collaboration avec les collectivités du patrimoine documentaire local pour que la mémoire continue du Canada soit documentée et rendue accessible aux générations actuelles et futures. Ce programme de contributions favorise l’épanouissement des collectivités des bibliothèques et des archives en développant leur capacité à préserver, rendre accessible et promouvoir le patrimoine documentaire local. Il leur donne aussi l’occasion d’évoluer, de rester viables et de conserver leur importance stratégique.

Le PACPD finance des activités de la collectivité canadienne du patrimoine documentaire visant à :

• faire connaître et rendre les institutions du patrimoine documentaire locales du Canada et leurs collections plus facile d’accès; et
• accroître la capacité à préserver le patrimoine documentaire du Canada de façon plus durable^{Note de bas de page 5}.

La gestion du programme est sous la responsabilité du Secrétariat général de BAC.  Plusieurs employés des directions générales au sein du Secteur des Opérations participent à la mise en œuvre du programme en fournissant leur expertise lors des évaluations des propositions des soumissionnaires en matière d’archivistique, de bibliothéconomie, de numérisation, de préservation et de services à la clientèle. Pour sa part, le Secteur des Services organisationnels fournit des conseils et son soutien pour les questions financières.
Comme partie intégrante de l’approbation du programme, BAC s’est engagé à effectuer un audit des activités du PACPD durant l’exercice financier 2017-2018. En conséquence, la division, Planification et imputabilité organisationnelles a inscrit dans son plan annuel de surveillance de 2017-2018, un audit de ce programme. Le plan de surveillance a été approuvé par le Comité de gestion des ressources le 21 avril 2017.

Évaluation du risque

Une évaluation des risques a été effectuée par l’équipe d’audit. Les risques significatifs suivants ont été retenus et ont servi de base pour le développement des critères de l’audit :

• il y a un risque que la structure de gouvernance ne soit pas optimale pour permettre au programme d’atteindre ses objectifs;
• il y a un risque que les processus et les lignes directrices ne soient pas systématiquement appliqués, conformément à l’accord de contributions et à la politique des paiements de transfert du CT; et
• il y a un risque que les outils, les ressources et la formation ne soient pas en place pour soutenir la gestion efficace du programme.

Objectif et critères

L’objectif de cet audit était de fournir l’assurance que le PACPD est conforme aux politiques du CT et aux objectifs du programme.

Les critères suivants ont été utilisés durant l’audit du PACPD, afin de tester la conformité avec les politiques et les modalités du programme :

• le cadre de gouvernance du PACPD contribue à l’atteinte des objectifs du programme;
• il existe un processus documenté d’évaluation équitable et transparent et celui-ci est appliqué de manière cohérente;
• les budgets soumis par les demandeurs sont analysés et approuvés en fonction des modalités du programme et en conformité avec les politiques;
• des outils, des orientations et de la formation sont développés et mis en place pour soutenir une gestion efficace du programme;
• les paiements versés aux bénéficiaires sont exacts, approuvés et effectués en temps opportun conformément aux ententes de contributions, aux normes et aux politiques;
• un mécanisme de suivi est en place afin de soutenir la réalisation des objectifs du programme; et
• la gestion a mis en place un système de tenue de dossiers efficace et complet.

Portée

L’audit s’est concentré sur les activités du PACPD depuis sa mise en œuvre jusqu’à, et incluant, l’exercice financier 2017-2018. Plus spécifiquement, les tests ont porté sur les points suivants :

• le cadre de gouvernance;
• le processus d’évaluation des soumissions;
• la gestion du programme et les paiements;
• le mécanisme de suivi effectué auprès des bénéficiaires; et
• la gestion des dossiers du programme.

Méthodologie

La méthodologie utilisée lors de l’audit comprend les éléments suivants:

• examen des politiques et des directives en lien avec la gestion des programmes de paiements de transfert, ainsi que les modalités du programme;
• analyse du processus d’évaluation des demandes de financement;
• examen de la population des bénéficiaires pour l’application de l’article 34 de la Loi sur la gestion des finances publiques (LGFP) ;
• examen d’un échantillon:
• des dossiers des demandeurs de financement;
• des évaluations des demandes de financement;
• des ententes de contributions; et
• des rapports de dépenses des bénéficiaires.
• entrevues menées auprès des membres de la direction, de la gestion du programme, de l’équipe des services financiers, des conseillers spécialisés internes et des membres du Comité consultatif externe.

 

Constatations et recommandations

Gouvernance du programme de contributions

L’équipe d’audit s’attendait à trouver un cadre de gouvernance fonctionnel pour gérer et contrôler le programme de contributions, et contribuant ainsi à l’atteinte des objectifs du programme. Nous nous attendions aussi à ce que cette structure de gouvernance soit conforme aux modalités du programme, et que les rôles et responsabilités de toutes les parties concernées soient clairement définis, documentés et communiqués.

Nous avons examiné le cadre de gouvernance en fonction de ce qui avait été prévu lors de l’approbation du programme. Nous avons pu confirmer que ce cadre existait, qu’il était documenté et communiqué aux parties concernées et qu’il était conforme aux modalités du programme. La gestion et l’administration du programme étaient sous la responsabilité du Secrétariat général. Le cadre de gouvernance du PACPD était constitué :

• des conseillers spécialisés internes (CSI) ;
• du Comité consultatif externe (CCE) ; et
• du Bibliothécaire et archiviste du Canada.

Les CSI sont des employés de BAC qui ont été sélectionnés pour leur expertise liée au patrimoine documentaire^{Note de bas de page 6}. Leur rôle consistait à évaluer les demandes de financement sous l’angle de la faisabilité à la suite de l’évaluation des propositions selon les critères d’admissibilité par les employés du programme.  Les CSI représentaient le premier niveau de gouvernance du programme.

Les membres du CCE sont recrutés à l’extérieur de BAC et proviennent de divers horizons des collectivités du patrimoine documentaire au Canada – bibliothécaires, archivistes, auteurs, universitaires, historiens, etc. Le CCE était le deuxième niveau de gouvernance pour l’évaluation des demandes de financement. Le comité se réunit une fois par année et soumet ses recommandations directement au Bibliothécaire et archiviste du Canada, pour approbation finale des demandes de financement. 

Les rôles et responsabilités étaient documentés dans les instructions préparées à l’intention des CSI^{Note de bas de page 7}, ainsi que dans le guide préparé à l’intention des membres du CCE^{Note de bas de page 8}. Ces documents identifiaient clairement les rôles et responsabilités des CSI et des membres du CCE. De plus, une section du guide pour le CCE décrivait les rôles et responsabilités de l’équipe du programme. Le rôle du Bibliothécaire et archiviste du Canada était documenté et consistait à effectuer l’approbation finale des projets retenus par le CCE.

De plus, nous avons effectué des entrevues auprès de différents intervenants afin de confirmer leur compréhension de leurs rôles et responsabilités. Les entrevues menées auprès des employés du programme et des membres du CSI et CCE révèlent que les rôles et responsabilités étaient clairement définis, documentés,  communiqués et compris par toutes les parties concernées.

Évaluation des demandes de financement

Nous nous attendions à ce que les éléments suivants soient en place :

• qu’il existe un processus documenté et détaillé d’évaluation des demandes de financement, que celui-ci soit équitable et transparent, et qu’il soit appliqué de manière constante;
• que les demandes reçues soient traitées dans les délais prescrits et en conformité avec les modalités du PACPD; et
• qu’un processus de priorisation des demandes de financement soit établi, documenté et partagé avec les soumissionnaires.

BAC a mis en place un processus d’évaluation des demandes de financement en trois étapes, à savoir :

1. l’admissibilité de la demande du soumissionnaire en fonction des critères d’admissibilité du programme;
2. l’analyse de faisabilité; et
3. la notation des projets retenus.

L’admissibilité de la demande en fonction des critères d’admissibilité du programme

L’équipe du programme, sous le Secrétariat général, était responsable d’évaluer l’admissibilité des demandes des organisations soumissionnaires en s’assurant, entre autres, qu’elles soient reçues selon les dates indiquées et qu’elles satisfassent à tous les critères d’admissibilité.  Les demandes qui ne répondaient pas aux critères d’admissibilité, étaient rejetées et n’étaient pas retenues pour les étapes subséquentes de l’évaluation. Certaines demandes, pour lesquelles l’admissibilité était incertaine, ont été partagées avec le bureau du Secrétariat général, afin de trancher sur l’admissibilité.

Afin d’être admissibles, les demandes de financement devaient être reçues avant une date précise. La directive du programme stipule que la date retenue est celle où la demande a été mise à la poste, le cachet de la poste sur les enveloppes contenant les demandes en faisant foi. Puisque le programme n’a pas conservé ces enveloppes après la réception des demandes, l’équipe d’audit n’a pu conclure ce test.

Pour cette première étape du processus d’évaluation, nous avons observé que le processus d’évaluation de l’admissibilité était documenté et basé sur les critères d’admissibilité, tel qu’ils sont affichés sur la page Web du programme. Cependant, nous ne pouvons conclure sur la conformité entière de cette étape d’évaluation, puisque le test de réception des demandes n’a pu être effectué.

L’analyse de faisabilité

Les demandes ayant franchi avec succès la première étape d’évaluation étaient ensuite acheminées aux CSI. Ceux-ci étaient responsables de faire une analyse de faisabilité, en se basant notamment sur leur propre expertise en matière de bibliothéconomie, d’archivistique, ou tout autre domaine relié à la gestion du patrimoine documentaire. Pour compléter leur analyse, les CSI devaient compléter une analyse, dans laquelle ils répondaient à trois questions :

• le projet et ses résultats sont-ils réalistes?
• les échéanciers des activités, la mise en œuvre et les jalons du projet sont-ils réalistes et réalisables?
• le budget est-il approprié pour compléter le projet?

Une fois l’analyse des CSI complétée, les employés du programme transcrivaient les résultats dans une feuille de triage, qui est le seul document d’analyse que reçoivent les membres du CCE pour compléter leur propre évaluation des projets. Des tests ont été effectués sur un échantillon de 50 dossiers de demandeurs afin d’identifier la quantité d’information transmise aux membres du CCE via la feuille de triage. Le tableau suivant résume le résultat des tests :

Tableau 3 : Nombre de feuilles de triage contenant des informations provenant des CSIs

Exercice financier	Nombre dans l’échantillon	Réponses seulement	Questions et réponses	Commentaires seulement	Total
2015-2016Note de bas de page 9	14	1	0	2Note de bas de page 10	3
2016-2017	22	0	0	9	9
2017-2018	14	3	7	2	12
Total	50	4	7	13	24

Les résultats des tests indiquent que seulement 24 feuilles de triage contenaient de l’information sur le travail d’analyse des CSI, et qu’en revanche plus de la moitié des feuilles de triage n’avaient aucune information transmise aux membres du CCE. De plus, lors d’entrevues menées auprès des CSI, plusieurs ont exprimé des doutes sur la pertinence de leur travail d’analyse et affirment n’avoir jamais reçu de commentaires ou de questions de la part des membres du CCE en lien avec ce travail. De plus, les tests ont démontré que dans certains cas, même si des commentaires plutôt négatifs étaient émis par les CSI quant à la faisabilité du projet, certains projets avaient tout de même reçu du financement de la part de BAC. Certains membres du CCE ont indiqué en entrevue ne pas tenir compte de l’information contenue dans les feuilles de triage pour compléter leur propre analyse.

Ces observations suggèrent que le travail d’analyse des CSI n’est pas systématiquement pris en compte par le CCE dans sa prise de décision pour le choix final des bénéficiaires du programme.

La notation des projets retenus

Le CCE est responsable de la troisième étape de l’évaluation des projets. Au moment de faire l’audit, tous les projets analysés par les CSI étaient acheminés au CCE, indépendamment du résultat de leur analyse. Le travail du CCE consiste à noter les projets en vue de déterminer un classement final de ces projets et ainsi déterminer ceux qui recevront du financement puisque les fonds disponibles sont limités et ne peuvent pas couvrir tous les projets considérés admissibles.

Depuis l’exercice financier 2017-2018, chaque projet est évalué par deux membres du CCE selon son mérite, afin de renforcer la rigueur et l’objectivité des évaluations. Chaque membre du CCE donne une note aux projets qu’il évalue. Une session de calibrage, par vidéoconférence, a lieu avant l’évaluation des membres dans le but de normaliser les notes attribuées aux différents projets et d’éviter les écarts significatifs.

Enfin, une rencontre annuelle a lieu avec tous les membres du CCE, au cours de laquelle le comité arrête ses choix en fonction des meilleures notes obtenues pour les projets soumis. Cette discussion finale a lieu pour établir la liste des projets retenus qui sera envoyée au Bibliothécaire et archiviste du Canada pour approbation. La grille d’analyse utilisée par les membres du CCE contenait très peu de détails et ne permettait pas de conclure sur la façon dont ceux-ci étaient arrivés à la notation finale des projets évalués. De plus, l’équipe d’audit n’a pu obtenir de procès-verbaux résultants de ces discussions; ceux-ci n’étant pas disponibles.

Pour ce qui est des critères de priorisation, BAC s’était engagé à définir chaque année, les priorités de financement du programme pour soutenir la priorisation et la sélection des demandes de financement.  Au moment où l’audit fût complété, aucune priorité n’avait été définie et documentée, et ce depuis la création du programme. À l’exception d’un membre qui apprécie la flexibilité offerte, il y avait consensus au sein du CCE externe sur le besoin d’une orientation ou de directives plus claires quant aux priorités du programme. Selon les membres du comité, des priorités faciliteraient le choix des projets à financer et rendraient les décisions plus objectives et transparentes. Certaines décisions de financement ont été questionnées par des membres du CCE et du CSI de même que par certains bénéficiaires et soumissionnaires.

Compte tenu des observations ci-haut, il était impossible de se prononcer sur la transparence et l’objectivité entourant l’établissement du choix final des bénéficiaires du programme de contributions.

Gestion des dossiers du programme

Nous nous attendions à ce qu’un système de tenue de dossiers efficace et complet soit en place et que tous les documents pertinents pour l’analyse et la prise de décisions soient disponible dans le dossier.

Afin de tester le système de gestion des dossiers, un échantillon aléatoire de 50 dossiers a été sélectionné et des entrevues ont été menées auprès des membres de l’équipe du programme.  De ces dossiers, 18 étaient aussi des dossiers de bénéficiaires ayant reçu du financement. L’échantillon couvrait les trois années du programme.

L’équipe du programme a créé un espace de travail dans le Portail de collaboration (le répertoire désigné de BAC pour la sauvegarde et la gestion de son information). Des dossiers électroniques ont été créés pour chaque soumissionnaire dans le Portail de collaboration, et les copies papier des demandes de financement ont été numérisées et y ont été placées. Les documents étaient également copiés dans BAC en direct, afin de permettre aux membres du CCE d’y avoir accès. Le CCE étant constitué de membres externes à BAC, ceux-ci ne peuvent avoir accès au Portail de collaboration. Les dossiers électroniques étaient par conséquent enregistrés en double, dans le Portail de collaboration et dans BAC en direct.

L’examen des dossiers échantillonnés dans l’espace de travail du programme a permis de constater que des documents essentiels manquaient, tels que l’accusé de réception, la lettre d’acceptation ou de refus ou les rapports intérimaires ou finaux. Au moment de compléter notre audit, des 50 dossiers examinés, 16 étaient incomplets. Le tableau suivant montre la ventilation concernant les dossiers incomplets.

Tableau 4

Type de dossier	# de dossiers dans l’échantillon	# de dossiers incomplets
Bénéficiaires	18	12
Soumissionnaires non financés	32	4
Total	50	16

Des entrevues menées auprès des membres du CCE ont révélé que les documents au dossier n’étaient pas toujours placés dans le même ordre dans BAC en direct, ce qui obligeait les membres du CCE à passer plus de temps à chercher les documents requis pour leur analyse, réduisant ainsi l’efficacité du processus. Les membres du CCE ont également indiqué que des documents superflus se retrouvaient parfois au dossier, ce qui constitue une autre source de ralentissement de leur travail. Ces observations découlent du fait qu’aucun protocole n’existait quant au contenu des dossiers et l’ordre dans lequel les documents devraient être classés. Il n’existait pas non plus de méthodologie, telle qu’une liste de contrôle, pour s’assurer que tous les documents requis avaient été reçus et mis au dossier.

La gestion du programme n’a pas mis en place un système de gestion structuré des dossiers des soumissionnaires et des bénéficiaires, tel qu’il était prévu au départ.

Gestion financière du programme

Nous nous attendions à ce que les paiements versés aux bénéficiaires soient exacts, approuvés et effectués en temps opportun, conformément aux ententes de contributions, aux normes de services et aux politiques en vigueur. Ceci implique que l’article 34 de la LGFP (exigeant que tout paiement d’un secteur de l’administration publique fédérale est subordonné à la remise des pièces justificatives et à une attestation selon laquelle le service a été rendu) soit exercé, signé et daté par une personne autorisée, que toutes les conditions requises soient remplies pour le relâchement des paiements et que l’information financière contenue dans les rapports soumis par les bénéficiaires soit exacte.

Nous nous attendions aussi à ce que les dépenses administratives du programme soient codées de manière à pouvoir les retracer et les compiler facilement. Enfin, nous nous attendions à ce qu’un mécanisme d’analyse soit en place pour s’assurer que les budgets soumis par les soumissionnaires soient raisonnables et conformes aux critères d’admissibilité du programme de contribution.

L’analyse des dossiers des soumissionnaires démontre que le programme reçoit beaucoup plus de demandes de financement que BAC est capable de financer (1.5 million de dollars).  Il est donc impératif d’optimiser l’usage des fonds limités disponibles du programme par une gestion efficace.

Signature des ententes de contribution

Dans le cadre des tests effectués sur les ententes de contributions, nous voulions confirmer que celles-ci avaient été signées par toutes les parties concernées avant le paiement, car elles constituent les ententes officielles. Au total, pour les trois exercices financiers révisés, 140 ententes de contributions ont été conclues entre BAC et les bénéficiaires du PACPD.^{Note de bas de page 11} Nos tests indiquent que toutes les ententes ont été signées par un représentant accrédité de BAC, cependant une entente n’avait pas été signée par le bénéficiaire (en 2015-2016), et le paiement a quand même été émis pour cette entente.

Pour l’exercice financier 2016-2017, nous avons identifié 23 cas dont l’entente était signée mais non datée. De plus, 13 autres cas où la date avait été ajoutée ultérieurement, et avait été rétro datée d’avant la signature du bénéficiaire. Il est à noter que la gestion du programme a pris des mesures correctives depuis cet exercice financier et que toutes les ententes de contributions de 2017-2018 ont été signées et datées de façon conforme et ce, par les deux parties concernées.

Article 34 de LGFP et le paiement en temps opportun

Afin de tester l’application de l’article 34 de la LGFP, nous avons vérifié l’ensemble des dossiers des bénéficiaires couvrant les trois années financières du programme.  Les tests ont démontré que toutes les preuves de la signature se trouvaient en dossier avec l’équipe des services financiers et que tous les documents étaient signés et datés par une personne détenant la délégation financière.

Pour ce qui est du test lié au paiement selon les normes, sur les 50 dossiers constituant notre échantillon pour analyse, 18 projets avaient reçu du financement de BAC. L’analyse de ces dossiers nous a permis de constater que 15 des 18 paiements avaient été émis dans les 28 jours civils suivant la signature de l’entente de contribution et ainsi respecte les normes de service établies. Les trois autres paiements ont été effectués avec trois jours ou moins de retard.

Dépenses administratives du PACPD

Lors de l’approbation du programme, la gestion s’était engagé à ce que les dépenses administratives soient de 200 000$ par année,^{Note de bas de page 12} pour chacun des cinq exercices financiers du programme. BAC prévoyait aussi avoir besoin de 1,2 équivalent temps plein (ÉTP) pour gérer ce programme.

Un code de projet a été établi afin de comptabiliser ces dépenses. Toutefois, notre analyse a révélé que la plupart des dépenses administratives, telles que les salaires, n’ont pas été codées à ce projet. Par conséquent, il n’était pas possible de connaître le montant exact de ces dépenses. Une estimation des coûts a été faite en se basant sur les ÉTP réels et les salaires du personnel impliqué dans la gestion du PACPD. Les dépenses administratives estimées du PACPD excédaient les prévisions faites lors de la création du programme. Le tableau suivant donne le détail des dépenses administratives et des ÉTP estimés pour les trois exercices financiers vérifiés :^{Note de bas de page 13}

Tableau 5

Exercice financier	Frais administratifs estimés	ETP estimés
2015-2016	210 380$	2,25
2016-2017	273 260$	3,25
2017-2018	361 217$	4,00

Dans le cadre de l’évaluation de programme menée en parallèle à l’audit, une analyse comparative a été effectuée avec d’autres programmes de contributions à vocation culturelle de petite taille. Il ressort de cette analyse que, bien que les frais administratifs du PACPD soient supérieurs à ce qui avait été prévu, ils se situent dans une fourchette comparable à ce qui se fait ailleurs, soit entre 15 et 20% de frais administratifs.^{Note de bas de page 14}

Analyse du budget lors de la demande de financement

Lorsque les soumissionnaires font une demande de financement dans le cadre du PACPD, ils doivent soumettre un budget détaillant les coûts de leur projet. Ce budget doit faire l’objet d’une analyse pour confirmer que :

• les dépenses mentionnées dans le budget sont admissibles en vertu des critères du programme;
• les frais administratifs du projet ne dépassent pas 20% du total du coût du projet; et
• les estimations des coûts soumis sont raisonnables.

Durant les deux premiers exercices financiers du PACPD, le groupe des services financiers était impliqué dans cette analyse. Dans 7 des 14 dossiers pour lesquels le groupe des services financiers a confirmé le caractère raisonnable des coûts, leur expertise a permis d’ajuster de façon notable certains montants soumis par les demandeurs, notamment les taux estimés pour défrayer les coûts de consultants, en se basant sur les normes de l’industrie en cette matière. Cependant, depuis l’exercice financier 2017-2018, cette analyse est faite par la gestion du PACPD, qui se limite à une analyse sommaire centrée surtout sur l’admissibilité des dépenses soumises et non sur le caractère raisonnable des dépenses. Sans une comparaison avec les tarifs en vigueur dans l’industrie pour des projets similaires, il est possible que BAC paie davantage que la valeur réelle de certains services.  

Mécanisme de suivi

La Directive sur les paiements de transfert stipule que les gestionnaires chargés de la gestion des programmes de paiements de transfert sont responsables, entre autres, de s’assurer, par l’évaluation des rapports du bénéficiaire et d’autres activités de surveillance jugées nécessaires, que le bénéficiaire de la contribution s’est conformé aux obligations et aux objectifs de rendement de l’entente de financement.^{Note de bas de page 15} Des activités de surveillance s’inscrivent dans les bonnes pratiques de la gestion des programmes de paiements de transfert et constituent un contrôle efficace pour assurer l’atteinte des objectifs dudit programme. Nous nous attendions à ce que la gestion du PACPD ait en place un mécanisme de suivi afin de s’assurer que toutes les conditions stipulées dans les ententes de contributions soient respectées et que les fonds octroyés soient utilisés selon ces mêmes conditions.

Mécanisme de suivi

La gestion du programme a mis en place une série de contrôles destinés à encadrer le processus de financement des bénéficiaires. Parmi les contrôles mis en place par le programme, citons l’exigence en matière de rapports et les conditions de financement qui s’y rattachent. Le tableau suivant détaille les exigences en matière de rapports :

Tableau 6

Montant de la contribution	Évaluation intérimaire et rapport financier (15 janvier)	Évaluation finale et rapport financier	Retenue de 15%
Contribution de < 15 000$	N/A	✔	N/A
Contribution de > 15 000$	✔	✔	✔
Contributions pluriannuellesNote de bas de page 16	✔	✔	✔

Nos tests portaient sur un échantillon de 50 dossiers de bénéficiaires, dont neuf exigeaient un rapport intérimaire. Au total, six de ces neuf rapports intérimaires ont été déposés en retard. Enfin, sur les onze dossiers de notre échantillon exigeant un rapport final, trois étaient manquants au moment de compléter les tests; ils ont été ultérieurement fournis par l’équipe du programme.  De plus, il n’y avait pas de mécanisme de suivi formel auprès des bénéficiaires afin d’assurer que les rapports sont déposés ou de suivi afin de s’assurer que les fonds sont utilisés pour les activités identifiées.

Rapports financiers des bénéficiaires

Afin d’assurer un suivi sur les sommes attribuées aux bénéficiaires, un rapport financier doit être soumis à la mi- année et à la fin de l’exercice financier démontrant l’utilisation des fonds.  En effectuant nos tests avec le même échantillon de 50 dossiers de bénéficiaires, nous avons trouvé quatre dossiers dont l’information financière présentée dans les rapports finaux par les bénéficiaires ne correspondait pas au montant accordé en vertu de l’entente de contribution signée. Au moment où s’est terminé l’audit, aucune documentation n’était disponible démontrant que la gestion du PACPD avait fait un suivi pour tenter d’expliquer ces écarts. L’audit n’a donc pu conclure sur la raison de ces écarts. Le tableau suivant indique les écarts entre les ententes de contributions et les rapports financiers soumis par les bénéficiaires :

Tableau 7

Exercice financier	Entente de contribution	Rapport financier du bénéficiaire	Écart
2015-2016	23 917$	20 329$	3 588$
2015-2016	69 946$	68 310$	1 636$
2016-2017	40 095$	39 971$	124$
2016-2017	71 530$Note de bas de page 17	44 430$	27 100$

Un mécanisme de suivi, proportionnel aux besoins de l’organisation, permettrait au programme de s’assurer que tous les bénéficiaires déposent les rapports, que les fonds sont utilisés selon les modalités des ententes de contribution et qu’au besoin, les fonds sont retournés suffisamment tôt pour permettre l’attribution à d’autres projets admissibles.

Outils et formation

Afin de soutenir une gestion efficace du programme, nous nous attendions à ce que des outils, de l’orientation et/ou de la formation soient développés et mis en place à l’intention des parties impliquées dans la gestion ou l’évaluation des demandes de financement.

La gestion du PACPD a développé un éventail de gabarits, ainsi que des directives opérationnelles à l’intention des employés destinés à gérer le programme. Des gabarits et des guides ont aussi été développés à l’intention des CSI et des membres du CCE. Ces gabarits ont été révisés à la fin de chaque cycle de financement du programme et des améliorations y ont été apportées selon les suggestions de ses usagers. Les CSI et les membres du CCE ont témoigné que ces outils les aidaient dans leur travail.

Les CSI nous ont confirmé que le document contenant les instructions à suivre pour compléter leur analyse est clair et facile à comprendre. De plus, les CSI ont reçu chaque année une session d’orientation sur l’utilisation de l’espace de travail dans le Portail de collaboration dédié à la compilation des résultats de leurs analyses. Ils nous ont confirmé que les sessions d’orientation et les instructions fournies étaient suffisantes pour leur permettre de s’acquitter de leurs responsabilités.

Les membres du CCE avaient accès à un guide leur fournissant un aperçu du mandat du programme et de leurs rôles et responsabilités. En entrevue, ces personnes ont confirmé avoir reçu des directives et de la documentation afin de les préparer dans leur travail d’évaluation des projets admissibles. Lors du lancement du programme, de la formation a été dispensée aux membres du CCE, cependant il n’y avait pas de formation prévue chaque année pour eux. Une formation annuelle identifiant les changements au programme, aiderait les membres du CCE à mieux comprendre le processus d’évaluation. Par exemple, en entrevue, certains nous ont indiqué n’être pas au courant des commentaires formulés par les CSI dans le cadre de leurs analyses des demandes de financement, ce qui suggère que certaines lacunes existent dans la formation des membres du CCE.  

Depuis la mise en place du programme, le CCE éprouve des difficultés à conserver ses membres, ce qui pourrait s’expliquer par les nombreuses responsabilités et la charge de travail importante de ces professionnels, qui sont recrutés sur ce comité à titre de bénévole. En 2017-2018, le programme a décidé de doubler le nombre de membres du CCE – passant de sept à quinze –  afin d’introduire l’évaluation par les pairs, et ainsi améliorer le processus d’évaluation des demandes de financement. Ce changement a eu pour résultat d’accentuer le défi du recrutement et de la rétention des membres du CCE. Le haut taux de roulement des membres du CCE a eu pour conséquence de compromettre la stabilité et l’efficacité du processus d’évaluation, car certains membres ont dû être recrutés à la hâte pour remplacer des membres sortants pour l’exercice financier 2017-2018, et ainsi ils n’ont pu recevoir une formation adéquate pour les préparer à faire le travail d’évaluation des projets soumis. Le programme nous a confirmé qu’ils sont conscients du problème et qu’ils ont développé une liste de candidats potentiels tenue régulièrement à jour.

Les employés et la gestion du PACPD ont suivi la formation de l’École de la fonction publique du Canada sur la gestion des programmes de paiements de transfert, mais seulement au cours de l’exercice financier 2017-2018. Pour les exercices précédents, les employés du programme ont mentionné en entrevue qu’ils ont dû apprendre par eux-mêmes et ne disposaient pas de lignes directrices telle qu’une liste de vérification pour la gestion des dossiers des soumissionnaires.

Annexe A – Plan d’action de la direction

Recommandations de l’examen	Niveau de risque	Mesure(s) à prendre	Date d’achèvement prévue	Responsabilité
1 -  Le Secrétariat général devrait revoir le processus d’évaluation des demandes de financement afin d’optimiser l’utilisation de l’expertise des CSIs et permettre la transmission de toute l’information pertinente pour une prise de décision éclairée.	Élevé	Pour le cycle de financement 2018-2019, le Secrétariat général a mis en œuvre un nouveau processus d'évaluation des demandes de financement à l’aide d'une plate-forme en ligne. Cette nouvelle plate-forme permet aux différents intervenants d’avoir un accès facile à l'ensemble de l'information pertinente pour l’évaluation d’une demande. Lors de la formation des membres du comité externe, en février 2018, entre autres, on a souligné l’importance de consulter les commentaires des CSI. De plus, le Secrétariat a ajusté les critères d’évaluation de manière à éliminer la duplication de questions chez les spécialistes internes et externes pour mieux cibler l’expertise de chaque groupe. Finalement, pendant la préparation du bilan du quatrième appel de 2018-2019, le Secrétariat a sollicité la rétroaction des CSI et des membres du CCE à propos du travail des CSI et leur rôle. Le Secrétariat continuera cette pratique annuellement dans le but d’améliorer les processus connexes et de s’assurer de la valeur ajoutée du travail des CSI.	Complété	Secrétariat général
2 - Le Secrétariat général devrait revoir le processus d’évaluation des demandes de financement afin de mieux documenter les discussions menant au choix final des projets qui seront financés et ainsi assurer la transparence et l’équité du processus d’évaluation.	Élevé	Pour le cycle de financement 2018-2019, le Secrétariat général a mis en place un processus pour documenter d’une façon systématique les discussions ayant lieu lors des rencontres du Comité consultatif externe. Le Secrétariat général travaillera à optimiser davantage la documentation du raisonnement des évaluateurs pour l’appel de proposition 2019-2020, par exemple, en rendant obligatoire les champs de commentaires dans les formulaires d’évaluation électroniques.	Complété         Décembre 2018	Secrétariat général
3 -  Le Secrétariat général devrait s’assurer qu’un système de tenue de documents structuré est en place afin d’améliorer le repérage des documents et l’efficience du processus d’analyse.	Modéré	Pour le cycle de financement 2018-2019, le Secrétariat général a mis en place une structure de dossiers organisée dans le Portail de collaboration de BAC en se basant sur un protocole défini. Il a établi une convention de dénomination pour l’ensemble des documents relatifs aux soumissions. Le Secrétariat général continuera à apporter des améliorations à cette nouvelle structure, particulièrement à l’utilisation d’une nomenclature cohérente et d’une liste de contrôle pour la sauvegarde des fichiers essentiels. Il travaille aussi à consolider davantage les informations relatives aux cycles de financement et au Programme, afin de faciliter l’analyse des données.	Complété           Décembre 2018	Secrétariat général
4 -  Le Secrétariat général devrait revoir le processus d’analyse des budgets des demandeurs afin de s’assurer que tous les coûts sont raisonnables.	Modéré	Pour le cycle de financement 2018-2019, le Secrétariat général, en collaboration avec la direction générale Services financiers et approvisionnement, a revu le processus d’évaluation des budgets proposés et établi une liste de contrôle à utiliser par l’équipe du programme, au stade du triage. Ce processus comprend l’assistance d’une personne ressource des Services financiers et approvisionnement pour l’analyse des coûts, le cas échéant.	Complété	Secrétariat général et Services financiers et approvisionnement
5 -  Le Secrétariat général devrait développer un mécanisme de suivi axé sur le risque et proportionnel à ses besoins afin de s’assurer que les fonds sont utilisés selon les modalités des ententes de financement.	Élevé	Le Secrétariat général examinera les risques liés aux organismes selon un ensemble de critères (p. ex. le montant de la contribution, ancien récipiendaire) et élaborera un mécanisme de suivi qui cible les organismes comportant un risque moyen. Le Secrétariat s’attend à ce qu’un nombre limité d’organismes soient cotés à risque moyen, car les récipiendaires du programme font partie d’un secteur à faible risque et reçoivent des contributions assez modérées (la contribution moyenne des quatre premiers cycles de financement est de 32 000$). Le Secrétariat ne s’attend qu’à des changements minimes dans les profils des récipiendaires.	Décembre 2018	Secrétariat général
6 -  Le Secrétariat général devrait s’assurer que tous les membres du CCE impliqués dans l’évaluation des demandes de financement reçoivent la formation requise au moment opportun pour faire leur travail.	Modéré	Pour l’évaluation des demandes de financement 2018-2019, le Secrétariat a développé une formation en ligne (webinaire) pour tous les membres du CCE. La formation et le matériel connexe distribué aux membres clarifient le rôle et les responsabilités des membres et expliquent comment utiliser le nouvel outil pour effectuer les évaluations en ligne.	Complété	Secrétariat général