​Évaluation de l’initiative Co-Lab pour la période de 2016-2017 à 2018-2019

Sommaire

Le présent rapport renferme les constatations et les recommandations de l’évaluation de l’initiative Co-Lab. L’évaluation a été effectuée en conformité avec la fonction d’évaluation des programmes de la Direction de la planification et de l’imputabilité organisationnelles de Bibliothèque et Archives Canada (BAC). Elle est conforme aux directives de la Politique sur les résultats du gouvernement du Canada. L’évaluation a porté sur la période ayant précédé le lancement de Co-Lab (2016-2017) incluant sa mise en œuvre (avril 2018 à mars 2019).

Aperçu de l’initiative

L’initiative Co-Lab a été lancée en avril 2018. Il s’agit d’une approche novatrice en matière de programmation de services au public, car elle expérimente une nouvelle application Web de production participative pour la transcription, la traduction, l’étiquetage et la description des fonds d’archives de BAC. L’initiative vise à accroître le contenu numérique de la collection de BAC ainsi que son accessibilité et sa repérabilité, et à susciter l’intérêt de la population canadienne pour la collection.

L’initiative s’inscrit dans le Programme des services au public de BAC et est gérée par la Division des expositions et du contenu en ligne, Direction générale des services au public. La Direction générale de l’innovation et du dirigeant principal de l’information (DGIDPI) a participé à la conception et à la mise au point de l’application Web Co-Lab et offre un soutien technique continu.

Méthodes d’évaluation

L’évaluation portait principalement sur la conception de l’initiative, l’efficacité de sa mise en œuvre à ce jour et l’utilisation des ressources. Les documents administratifs et financiers sur l’initiative, les statistiques sur le rendement et d’autres documents internes et externes pertinents ont été consultés. Huit entrevues ont été menées auprès d’intervenants clés, à savoir des gestionnaires et des employés ayant participé à la conceptualisation, à la gestion et à l’exécution de l’initiative. De plus, une enquête a été menée auprès des 124 utilisateurs inscrits à Co-Lab. Les nombreuses méthodes d’évaluation utilisées et la triangulation des données ont servi à corroborer les constatations.

L’évaluation répond aux questions suivantes :

• La conception de l’initiative Co-Lab est-elle solide?
• La conception de l’initiative Co-Lab est-elle conforme aux pratiques exemplaires?
• L’initiative a-t-elle connu du succès à ce jour?

Constatations et recommandations

Dans l’ensemble, la conception de Co-Lab est conforme aux principes de la production participative et aux pratiques exemplaires dans les institutions culturelles. La mise en œuvre de l’initiative s’est bien déroulée. Elle a suscité l’intérêt du public, la participation augmente et une collectivité d’utilisateurs a commencé à se former. Globalement, l’expérience des utilisateurs et du personnel de Co-Lab a été positive.

Toutefois, les éléments stratégiques, comme la vision, la gouvernance, les rôles et la conceptualisation de Co-Lab ne sont pas suffisamment documentés. Il faudrait aussi préciser le rôle des utilisateurs et offrir plus de soutien à leur collectivité. Co-Lab n’est toujours pas doté d’un système de rapports robuste et les mesures du rendement sont en voie d’élaboration.

Recommandation 1 : À mesure que l’initiative évolue, documenter la réflexion stratégique entourant Co-Lab et ses orientations futures.

Recommandation 2 : Définir et documenter le succès de l’initiative et la façon de le démontrer.

Recommandation 3 :

1. Voir à ce que le système de rapports, dont l’élaboration se poursuit, identifie des mesures du rendement utiles qui comprennent des indicateurs d’extrants et de résultats.
2. S’assurer de recueillir des données cohérentes sur le rendement à mesure que l’initiative évolue afin de démontrer, au fil du temps, les progrès dans l’atteinte des résultats attendus.
3. Documenter la justification de tout changement important dans les mesures du rendement.

La réponse de la direction aux recommandations et le plan d’action se trouvent à l’annexe A.

1 Introduction

L’initiative Co-Lab récemment mise en œuvre repose sur une approche novatrice des programmes de services au public de BAC. Elle est donc conforme aux directives du Conseil du Trésor qui exigent que les ministères consacrent un pourcentage des fonds de programme à l’expérimentation de nouvelles approches et à la mesure des répercussions sur leurs programmes. Il est attendu des ministères qu’ils communiquent le plus largement possible les résultats de leurs expériences, qu’ils soient positifs, négatifs, neutres ou nuls, en privilégiant la diffusion au public. Il était prévu dans le Plan d’évaluation des programmes 2018-2023 de BAC que l’initiative Co-Lab ferait l’objet d’une évaluation.

1.1 But de l’évaluation

L’évaluation visait à déterminer le bien-fondé de la conception de l’initiative, l’efficacité de sa mise en œuvre à ce jour et l’utilisation des ressources.

2 Profils de Bibliothèque et Archives Canada et de l’initiative Co-Lab

2.1 Aperçu de Bibliothèque et Archives Canada

BAC est une institution fédérale chargée d’acquérir et de préserver le patrimoine documentaire du Canada et d’y donner accès. BAC a été créé en 2004 à la suite de la fusion des Archives nationales du Canada (fondées en 1872) et de la Bibliothèque nationale (fondée en 1953). La Loi sur la Bibliothèque et les Archives du Canada^{Note de bas de page 1} est entrée en vigueur la même année. On retrouve les éléments suivants dans le préambule :

• préserver le patrimoine documentaire du Canada pour les générations actuelles et futures;
• être une source de savoir permanent accessible à tous et contribuer à l’épanouissement culturel, social et économique de la société libre et démocratique que constitue le Canada;
• faciliter au Canada la concertation des divers milieux intéressés à l’acquisition, à la préservation et à la diffusion du savoir;
• être la mémoire permanente de l’administration fédérale et de ses institutions.

2.2 Aperçu de l’initiative Co-Lab

Contexte

L’initiative Co-Lab a d’abord été inspirée par les tendances évolutives dans le secteur des bibliothèques, des archives et des musées et par des projets expérimentaux de production participative d’autres institutions culturelles canadiennes et étrangères, plus particulièrement l’application pour citoyens archivistes de la National Archives and Records Administration (NARA) des États-Unis. BAC travaille depuis plusieurs années à l’élaboration d’un outil de production participative. En 2016-2017, BAC a mené deux projets pilotes de production participative pour la transcription du Rapport Coltman et du Journal de lady Macdonald. Les deux projets ont suscité beaucoup d’intérêt auprès du public et ont excédé les attentes du personnel de BAC en ce qui concerne l’achèvement rapide et la qualité du travail des contributeurs bénévoles. Ces résultats ont incité BAC à entreprendre une initiative de production participative officielle.

Co-Lab a officiellement été lancé en avril 2018. L’initiative visait à accroître le contenu numérique de la collection de BAC ainsi que son accessibilité et sa repérabilité.^{Note de bas de page 2} L’initiative repose sur une application Web de production participative, au moyen de laquelle les membres du public peuvent transcrire, étiqueter, traduire et décrire des images numériques dans la collection de BAC.^{Note de bas de page 3}

Les utilisateurs ont la possibilité de relever un « défi » conçu par des spécialistes de BAC ou d’utiliser le nouvel outil Recherche dans la collection(bêta) pour désigner du contenu auquel contribuer dans Co-Lab aux fins d’amélioration. Les défis portent sur des ensembles de documents de la collection de BAC, regroupés par thèmes, qui ont été numérisés. Ils sont essentiellement de nature textuelle, mais peuvent aussi contenir des photographies. Les métadonnées créées par les utilisateurs de Co-Lab sont immédiatement accessibles et peuvent être consultées, dans les 24 heures, dans la version bêta de l’outil Recherche dans la collection.^{Note de bas de page 4} Les utilisateurs peuvent aussi participer de façon anonyme ou créer un profil pour faire le suivi de leur historique de contribution.^{Note de bas de page 5}

Les utilisateurs de Co-Lab peuvent consulter les lignes directrices sur la façon d’utiliser l’application et ont accès à un tutoriel exposant en détail les défis et les types de contributions qu’ils peuvent apporter. Ils peuvent obtenir de l’aide et des conseils supplémentaires du personnel de BAC au moyen d’un service de courriel. Les défis sont regroupés par thèmes et décrivent le type de matériel à améliorer et la langue des documents; l’état d’achèvement des défis est aussi indiqué.^{Note de bas de page 6}

Les erreurs commises dans les contributions peuvent être corrigées par les utilisateurs eux-mêmes ou par d’autres. Les participants sont encouragés à positionner l’état de leurs contributions sur « Révision nécessaire » pour que les utilisateurs puissent passer en revue leur travail afin de relever toutes les erreurs. En outre, le personnel de BAC peut intervenir et verrouiller, pour une raison quelconque, les inscriptions afin d’empêcher les contributions ultérieures, y compris celles qui ne sont pas appropriées. Habituellement, les inscriptions ne sont verrouillées que si les pairs et le personnel de BAC ont examiné la contribution et que ce dernier souhaite maintenir l’intégrité d’une inscription terminée.^{Note de bas de page 7} Enfin, les utilisateurs de Co-Lab peuvent suggérer des défis au personnel de BAC au moyen de la boîte de courriel de l’application.^{Note de bas de page 8}

Mise au point de l’application Web Co-Lab

L’application Web a été mise au point à l’interne à BAC par une équipe de projet multidisciplinaire composée d’employés de la Direction générale des services au public et de la DGIDPI. Avant de développer l’application, l’équipe de projet a exploré diverses options relatives à ses exigences opérationnelles et à sa fonctionnalité technique. L’élaboration de l’application s’est déroulée en trois phases. Un délai estimatif a été établi à 13 mois et reposait sur une approche de mise en œuvre progressive. La phase 1 comprenait l’élaboration d’une interface administrative pour la sélection du contenu, d’une interface publique pour la collecte du contenu contribué par les utilisateurs pour les images et d’une base de données où entreposer ce contenu. L’interface administrative permet au personnel de BAC de rendre certaines images de la collection de BAC accessibles aux contributions des utilisateurs, tandis que l’interface publique permet aux clients et aux utilisateurs de BAC d’accéder au site Web de Co-Lab et d’y naviguer ainsi que de contribuer au contenu qui y est présenté.^{Note de bas de page 9} La phase 2 a comporté la mise au point du site Web de Co-Lab et des fonctions de recherche et de révision, au moyen desquelles les utilisateurs peuvent réviser le contenu et en ajouter sur le site de Co-Lab et ouvrir des images aux fins de contribution. Au cours de la phase 3, les modules d’inscription et de gestion des utilisateurs ont été mis en place pour permettre à ces derniers de créer un compte et d’ouvrir une séance à partir de leur compte. Une fonction de soutien des objets audio et vidéo a aussi été intégrée et en accorde l’accès aux fins de contribution.^{Note de bas de page 10}

2.3 Ressources

L’initiative Co-Lab n’est pas une activité autonome de BAC. Par conséquent, un budget distinct ne lui est pas affecté, et les ressources qui y sont consacrées proviennent des dépenses de la Direction générale des services au public et de la DGIDPI. Les ressources sont présentées dans le tableau 1 ci-dessous.

2.4 Gouvernance

Conformément au Cadre ministériel des résultats, l’initiative Co-Lab relève du Programme des services au public de BAC. Le Programme permet à la population canadienne d’accéder facilement à la collection de BAC et de la consulter et, ainsi, de mieux connaître le patrimoine documentaire du Canada.^{Note de bas de page 11}

La responsabilité de l’initiative incombe à la Division des expositions et du contenu en ligne de la Direction générale des services au public. La Division est, entre autres, chargée des activités suivantes :

• élaborer des ressources spécialisées en ligne afin de faciliter l’accès, y compris des blogues, des balados et d’autres initiatives de conservation en ligne;
• créer des bases de données en ligne, des guides de recherche et des instruments de recherche numériques;
• gérer les initiatives de production participative;
• créer des ensembles de données à l’intention du public par l’entremise du Portail de données ouvertes du gouvernement du Canada;
• élaborer et administrer des projets d’exposition de BAC, y compris le prêt de matériel aux musées et à d’autres institutions.

Les décisions et les approbations relatives à l’initiative reviennent aux directeurs de la Direction générale des services au public.

2.5 Priorités de BAC relatives à l’initiative

L’initiative Co-Lab vise à enrichir le contenu numérique de la collection de BAC et à accroître son accessibilité et sa repérabilité.^{Note de bas de page 12} Elle vise aussi les objectifs suivants :

• rendre la collection et le fonds documentaire de BAC plus accessibles ou utilisables;
• faire participer les clients à l’enrichissement de la collection;
• améliorer les métadonnées.

L’initiative contribue aux priorités 1 et 4 du Plan triennal 2016-2019 de BAC par l’entremise de ses objectifs et de l’utilisation de l’application Web de production participative, c’est‑à‑dire :

Priorité 1 : BAC est une institution résolument au service de tous ses clients : les institutions gouvernementales, les donateurs, les universitaires, les chercheurs, les archivistes, les bibliothécaires, les étudiants, les généalogistes et le grand public.^{Note de bas de page 13}

Priorité 4 : BAC est une institution dotée d’un profil public affirmé, valorisant ses collections et ses services.^{Note de bas de page 14}

Le but et les objectifs de l’initiative appuient en outre les engagements suivants pris par BAC pour répondre aux priorités ci‑dessus :

• améliorer l’accès à sa collection en offrant des solutions et des outils novateurs et rendre sa collection plus accessible en format numérique au moyen d’initiatives de numérisation, de contenu amélioré et d’instruments de recherche en ligne;^{Note de bas de page 15}
• accroître la visibité des collections grâce à une programmation publique dynamique et en mettant les médias et réseaux sociaux à contribution;^{Note de bas de page 16}
• faire preuve d’innovation en expérimentant le développement d’une plateforme Web pour la participation citoyenne afin que le public puisse contribuer à transcrire et à décrire la collection de BAC.^{Note de bas de page 17}

De plus, l’initiative cadre avec les priorités en matière de service et les résultats suivants de la Stratégie de services au public de BAC :^{Note de bas de page 18}

• servir tous les clients actuels de BAC et entrer en communication avec de nouveaux groupes de clients;
• mettre en valeur la collection et les services de BAC pour qu’ils soient bien connus du public;
• offrir des outils pratiques de numérisation, d’étiquetage et de transcription, afin que les chercheurs puissent de plus en plus travailler de façon autonome, sur place et en ligne, et appuyer le partage ouvert de renseignements et de contenus numériques en ligne.

3 Méthode d’évaluation

3.1 Période d’évaluation

L’évaluation ciblée a porté sur une initiative clé particulière du Programme des services au public. Puisque l’initiative avait récemment été mise en œuvre, l’évaluation a porté sur la période ayant précédé le lancement de Co-Lab (2016-2017) et incluant sa mise en œuvre (avril 2018 à mars 2019).

3.2 Questions et méthodes d’évaluation

Les questions d’évaluation suivantes ont servi à structurer l’analyse :

• La conception de l’initiative de Co-Lab est-elle solide?
• La conception de l’initiative Co-Lab est-elle conforme aux pratiques exemplaires?
• L’initiative a-t-elle connu du succès à ce jour?

Des méthodes mixtes ont été employées pour effectuer l’évaluation, qui regroupaient des champs d’enquête qualitatifs et quantitatifs.

Examen des documents et des données

L’examen de documents (p. ex. rapports internes et externes, documents de programme, statistiques, rapports administratifs et financiers) et de données a servi de méthode d’analyse pour évaluer la conception et la mise en œuvre de l’initiative.

Entrevues auprès d’intervenants clés

Huit entrevues ont été menées auprès d’intervenants clés de la haute direction (directeurs généraux et directeurs), de l’équipe de gestion de l’initiative et des employés participant à sa mise en œuvre. Les questionnaires d’entrevue étaient basés sur les indicateurs définis dans la matrice d’évaluation et comprenaient des questions ouvertes et fermées. Chaque questionnaire comptait une série de questions de base et de questions personnalisées en fonction du niveau de connaissance du répondant et de sa participation à l’initiative.

Enquête auprès des utilisateurs

Une enquête en ligne a été mené auprès des participants à Co-Lab. Ellel visait à recueillir des données sur l’expérience des utilisateurs inscrits à Co-Lab. Le questionnaire renfermait des questions démographique, de classement, d’échelonnage ainsi que des questions ouvertes. Les données ont servi à évaluer la conception et la mise en œuvre de l’initiative.

Le questionnaire a été distribué aux 124 utilisateurs inscrits (au moment de l’enquête). La sélection a été faite dans un but précis, car l’évaluation visait à comprendre ce groupe en particulier et son expérience de l’initiative Co-Lab. La documentation sur la production participative dans le secteur des bibliothèques, des archives et des musées révèle que peu importe la taille de la collectivité des utilisateurs, un petit nombre d’entre eux effectue la majorité du travail et témoigne d’un engagement plus ferme et d’une participation soutenue.^{Note de bas de page 19Note de bas de page 20Note de bas de page 21} On a donc supposé que les utilisateurs inscrits à Co-Lab seraient plus susceptibles d’afficher ces caractéristiques que les utilisateurs anonymes. De plus, on s’inquiétait de la sollicitation excessive des clients de BAC en raison de l’utilisation de sondages contextuels sur son site Internet et d’un tutoriel contextuel sur le site de Co-Lab.

Le taux de réponse s’est élevé à 21,77 %, ce qui est considéré comme acceptable compte tenu du lancement récent de Co-Lab.

3.3 Limites de l’évaluation

L’analyse documentaire des initiatives de production participative réalisées dans les institutions culturelles n’a pas permis de définir clairement ce qui constitue une réussite, et il n’existe pas de normes de production participative que ces institutions sont tenues de respecter. Toutefois, la documentation a permis de déterminer les principes de conception de base et les pratiques exemplaires qui ont servi à évaluer la conception de l’initiative Co-Lab. La participation du public semble être le principal indicateur de réussite des initiatives de production participative qui a été dégagé jusqu’à présent de l’analyse documentaire. L’ampleur, la cohérence et la viabilité de la participation du public au fil du temps représentent des facteurs valides et fiables pour évaluer le rendement de telles initiatives.

Aucune étude d’évaluation n’a été publiée sur les initiatives de production participative dans les institutions culturelles. Par conséquent, la documentation sur la production participative a été utilisée dans le cadre de l’évaluation pour élaborer la matrice et les critères d’évaluation.

Enfin, il y a peu d’information sur le budget et les coûts des initiatives de production participative dans le secteur culturel, de sorte qu’aucune analyse comparative n’a pu être effectuée pour démontrer la pertinence des ressources consacrées à Co-Lab.

3.4 Codification des constatations

Les constatations de l’évaluation ont été codées en couleurs pour mettre l’accent sur les aspects de l’initiative qui nécessitent une attention particulière.

•  Vert : aucune amélioration requise
•  Jaune : améliorations potentiellement requises là où des améliorations sont possibles
•  Rouge : améliorations requises; recommandations

4 Constatations

4.1 Conception de l’initiative

L’évaluation utilise une définition générale du terme « conception ». Dans l’évaluation, ce terme s’entend de la conception et de la planification de l’exécution de l’initiative Co-Lab. L’évaluation a porté sur les éléments suivants :

• la façon d’élaborer le concept sous-tendant Co-Lab;
• la conceptualisation de l’approche pour réaliser Co-Lab;
• la planification de l’initiative (c.-à-d. les résultats attendus, les ressources, la gouvernance et la surveillance).

L’initiative définit-elle clairement les besoins à satisfaire ou les problèmes à résoudre?

Les entrevues avec l’équipe de direction de Co-Lab ont révélé son intérêt de longue date à développer à BAC un outil de contenu alimenté par les utilisateurs. L’équipe a fait savoir que la source d’inspiration était le travail en cours dans d’autres institutions culturelles, plus particulièrement l’application pour citoyens archivistes de la NARA. Elle a ajouté que la haute direction de BAC s’est montrée peu à peu favorable à l’idée, car un nombre croissant d’institutions culturelles entreprenait des initiatives de ce genre, et des données probantes supplémentaires de leur efficacité ont été recueillies.

La direction a consulté d’autres institutions culturelles, comme la Bibliothèque du Congrès, la NARA, la Bibliothèque nationale de France et certaines institutions canadiennes qui avaient déjà mis en place des initiatives ou des projets de production participative. Elle s’est renseignée sur le genre de problèmes que ces institutions avaient rencontrés et la façon de les régler. Les employés de BAC ont aussi été consultés pour recueillir leurs commentaires sur la réalisation d’une initiative de production participative à BAC.

Les personnes rencontrées en entrevue ont mentionné que BAC, Canadiana et OurDigitalWorld avaient signé un protocole d’entente pour mettre au point un outil de production participative en 2007. Le rapport Coltman a ensuite été utilisé pour mettre à l’essai un tel outil. Il a été choisi en raison de son importance historique et de son caractère unique (c.-à-d. il s’agit de la seule copie en existence et il revêt une importance particulière pour la communauté métisse). La Direction générale des services au public a travaillé en étroite collaboration avec la communauté métisse. Selon certaines personnes interrogées, il s’agit de la raison pour laquelle le projet a été achevé si rapidement. En fin de compte, cela a mené à l’élaboration de l’initiative Co-Lab en 2017, car elle démontrait l’intérêt du public pour de telles initiatives.

La direction de Co-Lab a reconnu que même si l’initiative relative au rapport Coltman était particulièrement ciblée et visait une collectivité en particulier, l’initiative Co-Lab était très différente, car elle comprenait différents documents et de nombreuses tâches et elle faisait appel à un public beaucoup plus étendu. À l’heure actuelle, les efforts de la direction visent à sonder l’intérêt du public à participer à Co-Lab et, d’après les résultats recueillis, elle a l’intention d’approfondir l’initiative.

Selon l’équipe de direction, les objectifs de l’initiative Co-Lab visent à :

• rendre la collection et le fonds documentaire de BAC plus accessibles ou utilisables;
• faire participer les clients à l’enrichissement de la collection;
• améliorer les métadonnées.

La direction a aussi expliqué que Co-Lab se distingue du catalogue spécialisé MIKAN^{Note de bas de page 22} de BAC. Selon son point de vue, Co-Lab est une version publique du catalogue, en ce sens que les mots clés et les descriptions sont ceux du public utilisant un langage courant (plutôt que la terminologie spécialiséenormalisée). L’outil est donc plus accessible au grand public et peut être repéré par les moteurs de recherche externes comme Google. Selon les personnes interrogées, Co-Lab offre l’avantage d’une dimension supplémentaire dans les descriptions de la collection de BAC, ce qui l’enrichit et en facilite la recherche.

Les attentes à court terme de la direction relatives à l’initiative étaient de lancer l’application Co-Lab, de mobiliser le public, d’améliorer la fonctionnalité de l’application et d’approfondir la description de la collection de BAC afin d’accroître sa facilité de recherche. À long terme, la direction entend continuer d’améliorer la fonctionnalité de l’application.

La conception de l’initiative Co-Lab est-elle adéquatement documentée?

La documentation des éléments conceptuels et stratégiques de l’initiative est fragmentée et insuffisante. Il n’existe pas de document général pour :

• donner un aperçu de la vision de la direction à propos de l’initiative et de ce qu’elle compte accomplir;
• démontrer le raisonnement qui sous-tend l’approche de mise en œuvre retenue;
• donner des précisions sur la structure de gouvernance de l’initiative;
• décrire les rôles des divers intervenants;
• définir les concepts clés et la terminologie;
• déterminer ce qui constitue le succès et la façon de le mesurer.

Tous les éléments ci-dessus sont répartis dans différents documents, comme le Plan ministériel, des présentations PowerPoint et le site Web de Co-Lab et, dans certains cas, ils ne sont pas explicites. De plus, la structure de gouvernance de l’initiative et le processus de sélection et d’élaboration des défis de Co-Lab ne sont pas suffisamment documentés.

Par ailleurs, les renseignements recueillis lors des entrevues avec la direction et le personnel indiquaient que les mesures du rendement étaient toujours à l’étape de l’élaboration et des données minimales sur le rendement étaient recueillies. Cela s’explique par le fait que la mise en œuvre de l’initiative n’en est qu’aux premières étapes.

La documentation de la réflexion stratégique s’appliquant à Co-Lab ne se limite pas aux exigences opérationnelles en matière de TI dont il faut tenir compte dans la mise au point de l’application Web. Elle fournit une source essentielle de données et d’éléments probants et permet d’évaluer les progrès de l’initiative et l’atteinte des résultats à mesure qu’elle évolue. La direction de Co-Lab est donc appelée à combler cette lacune.

La conception de l’initiative Co-Lab est-elle solide et conforme aux pratiques exemplaires?

Pour déterminer le bien-fondé de la conception de Co-Lab, l’équipe d’évaluation a examiné sa cohérence par rapport aux principes clés de la conception de la production participative énoncés dans la documentation sur la production participative dans les institutions culturelles. L’analyse s’appuie sur plusieurs études réalisées par des experts du domaine. Les études sont fondées sur des sources variées, comme des examens de première main de projets de production participative menés dans différentes institutions culturelles, des sondages auprès de bénévoles, de participants et du personnel, ainsi que des revues par des praticiens de la production participative. Les principes clés de la conception répertoriés dans les études s’inscrivent dans les trois catégories suivantes :

• la définition du but de l’initiative;
• la définition des rôles;
• les relations avec la collectivité des utilisateurs.

Définition du but de l’initiative

La documentation révèle que les initiatives ou projets de production participative doivent comporter les éléments suivants pour susciter l’intérêt et la participation :^{Note de bas de page 23Note de bas de page 24Note de bas de page 25}

• énoncer clairement le but de l’initiative;
• démontrer la façon dont le but des initiatives ou projets répond à la mission et aux objectifs de l’institution culturelle;
• définir la valeur qu’ils produisent pour tous les intervenants (l’institution, les participants et les destinataires ou le public cible).

La documentation de Co-Lab établit un lien clair et logique entre le but de l’initiative et la mission et les priorités de Bibliothèque et Archives Canada, ce qui a été démontré et examiné à la section 2.4 du rapport.

Valeur produite par Co-Lab à BAC

La documentation de Co-Lab et les entrevues avec la direction et le personnel de l’initiative indiquent clairement que la valeur recherchée par BAC est d’enrichir la description de sa collection et de son fonds documentaire.

Valeur pour les participants

La documentation et les données d’entrevue indiquent que la valeur attendue de Co-Lab pour les utilisateurs est de leur donner l’occasion de s’imprégner de l’histoire canadienne et de vivre une expérience plus intime du patrimoine documentaire du Canada. L’outil permet aussi aux utilisateurs d’utiliser leurs compétences. L’enquête auprès des utilisateurs de Co-Lab a révélé que leurs motivations à y participer sont conformes à la valeur que l’initiative vise à produire pour eux et soulignent la valeur que les utilisateurs tirent de leur participation. Les répondants ont mentionné les motivations suivantes :

• le plaisir de travailler avec des documents archivistiques ou historiques;
• le souhait de contribuer au patrimoine documentaire du Canada et d’apporter une contribution en retour à BAC;
• la volonté de rendre la collection repérable pour d’autres utilisateurs;
• l’intérêt pour l’histoire, la bibliothéconomie, l’archivistique et la généalogie;
• le souhait d’améliorer leurs compétences;
• la curiosité.

Valeur pour la population canadienne

L’examen des documents, les données d’entrevue et les observations de l’équipe d’évaluation de la fonctionnalité de Co-Lab signalent que les extrants des activités liées à Co-Lab (transcriptions, traductions, étiquettes et descriptions) procurent de précieux avantages à tous les utilisateurs de la collection de BAC, car ils facilitent l’accès au contenu. Par exemple, le public et les chercheurs peuvent avoir accès au dossier numérisé original, à son contenu transcrit et à sa traduction. De plus, la transcription permet de découvrir toutes les parties d’un document manuscrit au moyen de la recherche par mots clés et facilite la traduction et l’extraction de données. Par ailleurs, les personnes ayant une déficience visuelle ou qui ne peuvent lire un texte en écriture cursive peuvent consulter le contenu transcrit et traduit. De plus, grâce aux balises créées par les utilisateurs de Co-Lab, les membres du public peuvent faire des recherches dans la collection à l’aide de mots clés en langage courant.

Définition des rôles

Selon la documentation, les initiatives ou projets de production participative doivent préciser clairement le type de participation attendu des contributeurs, l’utilisation de leur travail par l’institution et leurs droits (s’il y a lieu) à l’égard des produits de leur travail. Ces précisions aident les utilisateurs à déterminer si le projet ou l’initiative leur convient et s’il répond aux besoins particuliers de leur participation.^{Note de bas de page 26Note de bas de page 27Note de bas de page 28}

En outre, la documentation fait ressortir l’importance de disposer de lignes directrices ou de renseignements clairs et explicites sur le comportement des utilisateurs et le contenu acceptable, car cela influence les types d’utilisateurs que l’initiative est susceptible d’attirer, et donne le ton aux interactions entre les utilisateurs.^{Note de bas de page 29} Par ailleurs, des lignes directrices claires témoignent du respect pour les participants, le temps qu’ils investissent, leurs efforts et leurs capacités. Elles permettent aussi d’établir un lien de confiance entre la collectivité des utilisateurs et l’institution.^{Note de bas de page 30Note de bas de page 31}

Il ne semble pas y avoir de lignes directrices explicites qui définissent et orientent le comportement des utilisateurs de Co-Lab. La Foire aux questions (FAQ) sur le site de Co-Lab contient des références indirectes au comportement des utilisateurs, qui les encouragent à supprimer le contenu qu’ils jugent inapproprié et précisent que le contenu de Co-Lab peut être verrouillé par le personnel lorsque des contributions inappropriées sont détectées.^{Note de bas de page 32} Toutefois, ce qui constitue une contribution inappropriée n’est pas défini. Plus précisément, il n’y a pas de définition d’une utilisation acceptable et inacceptable, de la violation des conditions d’utilisation et des conséquences d’une violation. D’ailleurs, on constate l’absence de lignes directrices ou de renseignements sur le traitement par BAC du travail des utilisateurs de Co-Lab ou de leurs droits concernant leur travail.

Relations avec la collectivité des utilisateurs

Il ressort de la littérature que la relation entre l’équipe de projet et les utilisateurs affecte le niveau de participation, la motivation et la qualité des contributions^{Note de bas de page 33Note de bas de page 34} des utilisateurs. Par conséquent, les initiatives devraient être conçues de manière à promouvoir la création et la viabilité d’une collectivité dynamique. À cette fin, des mécanismes de soutien efficaces doivent être mis en place.^{Note de bas de page 35Note de bas de page 36Note de bas de page 37} De tels mécanismes peuvent comprendre des outils, des documents de formation ou d’orientation, des plateformes de communication et d’interaction, des remerciements, des mécanismes de reconnaissance, un régime de récompenses, etc., ou toute combinaison de ceux-ci.

Divers outils ont été mis au point pour appuyer les utilisateurs de Co-Lab : un tutoriel interactif donnant un aperçu de l’application et de sa fonctionnalité, et une FAQ fournissant des renseignements généraux en réponse aux questions et préoccupations courantes que les utilisateurs peuvent soulever. De plus, le personnel a rédigé des lignes directrices et des instructions sur la façon d’exécuter les principales tâches de Co-Lab, à savoir la transcription, la traduction, l’étiquetage et la description. Toutefois, une autre tâche, la révision des contributions des utilisateurs, n’est pas clairement définie et n’est pas mise en relief comme les autres tâches. Mis à part une brève référence dans la FAQ sur le site de Co-Lab, il n’y a pas de définition de ce que la tâche implique ni de lignes directrices ou d’instructions précises sur la façon de l’accomplir. De l’aide supplémentaire est offerte aux utilisateurs au moyen de la boîte aux lettres électronique sur le site de Co-Lab et par le personnel du service de référence du secteur des services au public de BAC au 395, rue Wellington à Ottawa.

Outre les mécanismes de soutien efficaces, la documentation fait état de plusieurs éléments de conception qui devraient être pris en compte dans l’élaboration d’une initiative de production participative. Ils sont importants parce qu’ils renforcent la confiance des utilisateurs, assurent l’utilisation optimale des connaissances, du temps et des compétences de ces derniers, et favorisent la cohérence.^{Note de bas de page 38Note de bas de page 39Note de bas de page 40} Par surcroît, ils procurent une expérience plus satisfaisante aux utilisateurs, contribuent au sentiment de réussite et encouragent une participation continue. Le tableau 2 présente ces éléments et la façon dont ils ont été pris en compte dans la conception de Co-Lab.

Les données de l’enquête auprès des utilisateurs de Co-Lab révèlent que la plupart ont lu les lignes directrices et utilisé le tutoriel. Dans l’ensemble, les répondants déclarent avoir vécu une expérience positive avec les outils d’orientation à leur disposition, qu’ils décrivent comme utiles, clairs, simples et faciles à suivre et à utiliser. Les données de l’enquête indiquent aussi qu’en général, les répondants peuvent facilement utiliser Co-Lab et y naviguer ainsi que suivre les progrès des défis auxquels ils contribuent. Toutefois, certains ont signalé des difficultés avec les outils d’orientation et à utiliser l’application Co-Lab, ainsi qu’à y naviguer. Par exemple, ils ont déclaré ne pas savoir s’ils révisaient leurs propres contributions ou celles d’autres utilisateurs. D’autres répondants ont fait part de difficultés à utiliser la fonction de traduction (l’absence d’affichage en parallèle et la difficulté à retrouver sa place dans le texte lorsqu’on navigue d’une fenêtre à l’autre).

Quelques répondants seulement ont dit avoir eu besoin de communiquer avec le personnel de Co-Lab pour obtenir de l’aide et des précisions. Ceux qui l’ont fait ont indiqué que leurs interactions avec le personnel étaient positives, que ce dernier était professionnel et courtois et qu’il leur avait répondu en temps opportun.

Selon la litérature, une autre façon d’offrir un soutien efficace aux utilisateurs et d’assurer de bonnes relations avec eux est de favoriser le sentiment d’appartenance à la collectivité. Pour ce faire, les moyens suivants sont recommandés : le soutien de l’interaction avec les utilisateurs, la reconnaissance de leur participation, l’attention portée aux utilisateurs réguliers, et l’incitation à partager le contenu auquel ils ont contribué avec des personnes à l’extérieur de la collectivité.^{Note de bas de page 41Note de bas de page 42} Ces facteurs ont influencé la motivation de certains utilisateurs à participer et, plus particulièrement, à poursuivre leur participation à un projet ou à une initiative. En outre, des outils interactifs, comme des forums de discussion ou des plateformes d’affichage, faciliteraient l’autogestion de la collectivité. Ces outils interactifs ont été utilisés par certaines institutions culturelles comme mécanismes d’auto-modération et de coordination par les utilisateurs.^{Note de bas de page 43}

Les observations de l’évaluateur, l’examen des documents et les entrevues avec la direction et le personnel ont révélé que Co-Lab n’est pas actuellement doté d’une fonction pour faciliter l’interaction directe entre les utilisateurs, et leur interaction avec le personnel est très limitée. Le personnel de Co-Lab a précisé que ses interactions avec les utilisateurs consistent principalement à répondre aux questions ou à offrir de l’aide en utilisant la boîte aux lettres électronique de l’application. Les données de l’enquête auprès des utilisateurs confirment qu’ils n’ont pas interagi les uns avec les autres, et certains répondants ont explicitement fait savoir qu’ils préféraient ne pas le faire. Fait intéressant, certains ont mentionné des interactions positives avec d’autres utilisateurs, mais ils n’ont pas fourni de détails sur la méthode de communication utilisée. Des répondants ont exprimé un vif intérêt pour l’interaction avec d’autres utilisateurs et pour un espace interactif réservé sur le site de Co-Lab.

En outre, les entrevues avec la direction et le personnel de Co-Lab ont révélé que l’outil ne dispose pas de mécanisme officiel pour reconnaître la contribution des utilisateurs ou pour leur permettre de partager du contenu dans Co-Lab. Les répondants ont cependant fait savoir qu’ils parleront de Co-Lab à d’autres personnes. Toutefois, peu d’entre eux ont confirmé avoir établi un lien entre leurs contributions à Co-Lab et leurs comptes de médias sociaux.

L’initiative a-t-elle défini ce qui constitue le succès et la façon de le mesurer?

La gestion de Co-Lab a précisé plusieurs éléments qui, à son avis, contribuent au succès global de l’initiative, qui semblent être répartis dans deux catégories principales : les éléments opérationnels et ceux liés aux utilisateurs (voir le tableau 3). Toutefois, on ne sait trop ce qui constitue le succès de l’initiative.

Les entrevues avec la gestion de Co-Lab indiquent qu’à l’heure actuelle, cette dernière n’a pas établi de paramètres pour mesurer le succès, bien qu’elle ait l’intention d’en élaborer. Jusqu’à maintenant, elle mesure principalement l’interaction des utilisateurs avec l’application Co-Lab.

4.2 Efficacité de la mise en œuvre

Dans le cadre de l’évaluation, la « mise en œuvre » s’entend du processus et des moyens pour mettre en place et administrer l’initiative Co-Lab, y compris ses livrables et ses résultats préliminaires ou l’indication de l’atteinte de résultats.

La litérature fait ressortir qu’il n’est pas nécessaire de concevoir les plateformes participatives dans l’ombre. Il est plus avantageux de les mettre en place lorsqu’elles sont encore inachevées, puis d’élaborer et d’adapter leurs fonctionnalités en tenant compte de la réaction des participants, de leur interaction avec celles-ci et de la nature de leur expérience. L’objectif d’une telle approche est l’amélioration continue fondée sur l’utilisation (c.-à-d. plus une plateforme est utilisée, plus elle est efficace), ce qui cadre avec l’attente que le projet ou l’initiative changera et évoluera au fil du temps. L’avantage de ce type d’approche de conception réside dans sa capacité de fournir une boucle de rétroaction en temps réel, qui peut générer de précieuses suggestions de conception et améliorer l’expérience des participants.^{Note de bas de page 44}

Les entrevues avec la gestion et le personnel de Co-Lab ont révélé que l’initiative utilise une approche de développement itératif pour assurer une souplesse et une adaptabilité maximales. Comme l’a démontré l’examen des documents, l’élaboration de l’application Co-Lab s’est initialement déroulée en trois étapes, chacune comportant des essais exhaustifs par les utilisateurs. Il est ressorti des entrevues que des améliorations des fonctionnalités actuelles de Co-Lab sont envisagées, ainsi que l’ajout de nouvelles fonctions qui sont fondées sur les commentaires des utilisateurs.

Quels moyens sont utilisés pour surveiller la mise en œuvre de l’initiative?

L’examen des documents et les données des entrevues ont démontré que Co-Lab fait actuellement l’objet d’une surveillance limitée et les mesures du rendement sont toujours en élaboration. La gestion de Co-Lab a mentionné qu’un système robuste de production de rapports n’a toujours pas été mis en place et qu’elle doit mieux comprendre les utilisateurs. Elle a ajouté que le personnel de Co-Lab surveille la participation aux défis et effectue un examen sommaire du contenu fourni par les utilisateurs. Le contenu lui-même n’est pas surveillé et le personnel intervient seulement lorsqu’il est informé de l’utilisation de langage inapproprié.

Le personnel de Co-Lab a indiqué que la priorité a été accordée à l’élaboration et au lancement de l’application et qu’il est en train de définir les méthodes pour mesurer le succès de l’initiative et son rendement. Le nombre d’indicateurs de rendement dont fait rapport le personnel est limité. Les commentaires du public sont recueillis au moyen de la boîte courriel de Co-Lab. De plus, le personnel a précisé que Co-Lab n’a pas atteint sa pleine maturité et ses fonctionnalités font l’objet d’un développement continu. L’application a initialement été mise à l’essai en circuit fermé, mais depuis qu’elle est accessible au public, le personnel reçoit davantage de commentaires sur son rendement et les améliorations nécessaires. Il a apporté de légères modifications pour régler les problèmes signalés par les utilisateurs, mais le concept général demeure inchangé.

4.3 Résultats obtenus à ce jour

En raison de la nature novatrice et expérimentale de l’initiative Co-Lab, et compte tenu du fait qu’elle a été lancée en avril 2018, l’évaluation n’a porté que sur l’état d’avancement de la mise en place de ses extrants immédiats. L’évaluation s’est donc attardée aux éléments suivants :

• le lancement de l’application Web;
• le taux d’achèvement des défis de Co-Lab;
• la réponse du public et son taux de participation.

Participation du public et taux d’achèvement des défis de Co-Lab

Dans l’ensemble, les statistiques sur Co-Lab montrent que le nombre d’utilisateurs inscrits a augmenté de façon constante, passant de 125 en novembre 2018 à 148 en mars 2019. Elles démontrent aussi que le nombre de contributions s’est accru (voir la figure 1). Il est intéressant de noter que le nombre de contributions anonymes est beaucoup plus élevé que celui des contributions des utilisateurs inscrits.

Figure 1. Contributions des utilisateurs de Co-Lab^{Note de bas de page 45}

On observe aussi une tendance positive concernant les niveaux d’achèvement de diverses tâches de Co-Lab,^{Note de bas de page 46} ce qui démontre l’ampleur de la participation des utilisateurs. D’après les données, les tâches de transcription et d’étiquetage en particulier affichent les taux d’achèvement les plus élevés, alors que les taux d’achèvement des autres tâches sont demeurés stables (voir la figure 2).

Figure 2. Tâches de Co-Lab achevées^{Note de bas de page 47}

Une autre tendance intéressante qui se dégage des données statistiques sur Co-Lab est que le volume des tâches de transcription, dont l’état indique « Révision nécessaire », augmente constamment depuis le lancement de l’initiative et est en proportion étroite à celui des tâches de transcription terminées (voir la figure 3).

Figure 3. État des tâches de Co-Lab indiquant « Révision nécessaire »

L’enquête menée par l’équipe d’évaluation auprès des utilisateurs de Co-Lab donne des précisions sur cette tendance. On y demandait aux utilisateurs inscrits d’indiquer à quelles tâches de Co-Lab ils avaient contribué. Une catégorie a été créée pour chaque tâche (transcription, traduction, étiquetage, description). Les évaluateurs ont ajouté la catégorie « Révision des contributions » pour définir l’autre tâche que les utilisateurs peuvent exécuter. Il était nécessaire de le faire pour combler une lacune dans les données, car la révision des contributions des utilisateurs ne figure pas dans la documentation de Co-Lab à titre de tâche distincte, et aucune donnée n’est recueillie pour déterminer si les utilisateurs l’exécutent. Ainsi, les données de l’enquête (voir la figure 4) indiquent qu’un petit nombre seulement d’utilisateurs révisent les contributions à Co-Lab.

Figure 4. Contributions des utilisateurs aux tâches de Co-Lab^{Note de bas de page 48}

Les répondants semblent surtout exécuter des tâches de transcription et des tâches d’étiquetage. Ils contribuent moins à la traduction et à la description. Toutefois, en raison de la méthode d’échantillonnage utilisée dans l’enquête, il n’est pas possible de tirer de conclusions définitives, à savoir si les mêmes tendances s’affichent pour la population des utilisateurs.

Les tendances qui se dégagent des données statistiques sur Co-Lab et des données de l’enquête pourraient dénoter un problème potentiel lié à la fonctionnalité de la tâche d’examen et de révision et à la conceptualisation des tâches (c.-à-d. des données sur l’examen et la révision des contributions des utilisateurs ne sont pas saisies, et ceux-ci ne peuvent indiquer s’ils ont effectué ces activités). Toutefois, il y a lieu d’examiner plus à fond ces tendances pour déterminer l’importance, la nature exacte et la portée du problème.

Expérience du personnel de Co-Lab

Selon les données des entrevues avec le personnel, celui-ci indique avoir eu jusqu’ici une expérience positive concernant l’initiative. Il apprécie le caractère novateur et expérimental de l’outil, car il procure une nouvelle façon d’interagir avec les clients dans une approche inhabituelle pour BAC.

Le personnel a mentionné que la collaboration entre la Direction générale des services au public et la DGIDPI pendant le processus de planification, de mise au point et de lancement de Co-Lab a été l’aspect le plus gratifiant. À son avis, il s’agissait d’une véritable collaboration, car les deux équipes ont aussi participé à toutes les phases du projet, qui a représenté une excellente occasion d’apprentissage et un nouveau mode d’exécution. Le lancement et le fonctionnement réussi de l’application, l’intérêt témoigné à Co-Lab et l’appréciation de la haute direction de BAC ont aussi été une source de satisfaction pour le personnel.

L’aspect le plus difficile mentionné par certains membres du personnel de Co-Lab était le processus de planification et d’affectation des ressources. Selon eux, les projets de TI ne sont pas planifiés en prévision d’un déroulement continu. Puisque Co-Lab n’est pas un projet, mais plutôt un produit, il doit faire l’objet d’une gestion en tant que produit, ce qui diffère sensiblement de la gestion de projet et comporte des aspects particulièrement complexes. Il faut adopter une approche de développement agile où interviennent la planification, la mise à l’essai et la modification continues des exigences. Le personnel a fait face aux problèmes principaux suivants :

• l’intégration des commentaires des utilisateurs;
• la planification aux fins du développement agile;
• l’exécution de Co-Lab en tenant compte d’autres priorités;
• les affectations budgétaires.

Expérience des utilisateurs de Co-Lab

Les données de l’enquête auprès des utilisateurs ont révélé qu’en général, ces derniers ont eu une expérience positive de Co-Lab (voir le tableau 4). Le nombre croissant d’utilisateurs de Co-Lab et de leurs contributions depuis le lancement de l’initiative corrobore cette constatation. Dans l’ensemble, les répondants ont indiqué que Co-Lab leur avait permis de découvrir de nouveaux éléments de la collection de BAC et a accru leur intérêt à l’explorer davantage.

Les répondants ont aussi affirmé que Co-Lab avait :

• rehaussé leur expérience de la collection;
• renforcé leur sentiment d’appartenance et de responsabilité à l’égard du patrimoine documentaire du Canada;
• accru leur confiance en BAC.

La seule critique émanant de certains utilisateurs concernait l’absence de contenu en français.

Les répondants ont mentionné qu’ils partagent leur expérience de Co-Lab et qu’ils en encouragent d’autres à y participer (voir le tableau 5). Cependant, peu de répondants ont dit avoir établi de liens entre leurs contributions à Co-Lab et leurs comptes de médias sociaux. Les utilisateurs ont aussi fait savoir qu’ils avaient la ferme intention de poursuivre leur participation à l’initiative.

Défis de Co-Lab

Dans l’ensemble, les utilisateurs ont exprimé une opinion favorable à propos des défis, qu’ils décrivent comme intéressants, éclairants et stimulants. Toutefois, certains répondants aimeraient que de nouveaux défis soient ajoutés plus souvent, qu’il y ait plus de contenu en français et qu’il soit plus intéressant. Les observations des évaluateurs ont confirmé que sur les huit défis textuels actuellement affichés sur le site de Co-Lab, deux seulement ont du contenu en français. Certains répondants ont dit souhaiter accroître le nombre de défis qui comprennent des lettres et des documents personnels et qui se rapportent aux provinces maritimes ou à l’Acadie.

Fonction « Modifier ou contribuer à l’aide de Co-Lab » de l’outil Recherche dans la collection (bêta)

Les opinions des répondants sur la fonction « Modifier ou contribuer à l’aide de Co-Lab » de l’outil Recherche dans la collection(bêta) sont quelque peu mitigées. Certains en ont eu une expérience positive, tandis d’autres la trouvent déroutante et ont eu de la difficulté à l’utiliser. Des utilisateurs ont dit ne pas connaître la fonction et quelques-uns ont indiqué ne pas l’avoir utilisée.

Suggestions des utilisateurs pour améliorer Co-Lab

Les répondants à l’enquête ont fait plusieurs suggestions pour améliorer Co-Lab (voir le tableau 6). Les suggestions se répartissent en deux catégories : les améliorations des fonctionnalités de l’application et les améliorations de la communication à propos de l’initiative et de sa promotion.

Plusieurs répondants ont mentionné un problème technique particulier avec la plateforme. Ils ont dit avoir éprouvé de la difficulté à sauvegarder les tâches de transcription, c’est-à-dire qu’après avoir sauvegardé leur travail, ils ont été ramenés au début du document qu’ils transcrivaient plutôt qu’à l’endroit où ils travaillaient. Il ont décrit ce problème comme fastidieux et frustrant.

4.4 Utilisation des ressources

Il n’existe pas de pratiques exemplaires connues se rapportant au nombre de ressources financières et d’équivalents temps plein (ETP) consacré aux initiatives de production participative. De plus, il n’y a pas de données disponibles sur les coûts estimatifs d’autres institutions culturelles. Selon les tendances dégagées de la littérature, les ressources consacrées à ce genre d’initiative tendent à se situer entre 1,0 et 9,0 ETP.

L’utilisation des ressources est définie dans l’évaluation comme le nombre d’ETP prévus et réels. Les autres aspects de l’utilisation des ressources sont la charge de travail du personnel, les outils et le soutien à sa disposition et les mécanismes d’assurance de la qualité.

Planification et estimation des ressources

La direction de Co-Lab a précisé qu’il n’y avait pas de budget distinct pour l’application et que les ressources étaient exprimées en dollars salariaux, en ETP et en temps. Les coûts de la mise au point de l’application Co-Lab ont été estimés. La planification et la surveillance de l’utilisation des ressources s’inscrivent dans le processus général de la Direction générale des services au public et de la DGIDPI. Puisque l’initiative est intégrée aux activités des deux directions générales, elle est gérée à titre d’activité opérationnelle plutôt que de projet distinct. C’est pourquoi le codage financier est incohérent. Il a été impossible d’obtenir des renseignements suffisants pour effectuer une analyse détaillée de la planification et de l’utilisation des ressources.

Charge de travail et soutien du personnel

Le personnel du secteur opérationnel de Co-Lab a indiqué que sa charge de travail liée à l’application était lourde. Le personnel de TI a, quant à lui, mentionné que sa charge de travail était conforme à la norme. Selon la direction de Co-Lab, aucun soutien à la formation n’est offert aux employés et ceux-ci sont réputés avoir l’expérience et les compétences nécessaires pour accomplir le travail. Une certaine formation a été offerte au personnel du service de référence pour qu’il puisse répondre aux questions sur Co-Lab et son fonctionnement. Les personnes interrogées ont indiqué que le personnel de Co-Lab a accès au soutien interne offert dans les directions générales respectives.

D’après les employés, leur principale source de soutien est les partenaires de la DGIDPI. Ils ont aussi souligné qu’en raison de la nature novatrice de l’initiative, les besoins en termes de travailleurs, d’outils ou de formation est difficile à estimer.

Contrôle de la qualité

La direction et le personnel de Co-Lab font une distinction entre le contrôle de la qualité du contenu (c.-à-d. les contributions des utilisateurs de l’application) et le contrôle de la qualité du format (les défis et les aspects techniques de l’application).

Contrôle de la qualité des contributions des utilisateurs de Co-Lab

Les personnes interrogées ont souligné que Co-Lab, en tant qu’initiative de production participative, se veut ouvert, ce qui signifie que n’importe qui peut modifier les contributions. De plus, Co-Lab est supposé comporter des fonctions d’autogestion, d’autosurveillance, d’autocorrection et d’autoréparation. La direction a signalé qu’elle avait initialement prévu une période d’attente de 24 heures pour donner au personnel le temps d’examiner le contenu fourni par les utilisateurs avant de le rendre public. Toutefois, cela n’a pas été possible en raison des taux élevés et croissants anticipés de la participation du public. Selon la direction de Co-Lab, le contrôle de la qualité est assuré par le biais des défis de Co-Lab (c.-à-d. assurer un nombre suffisant de défis et leur caractère approprié et voir à ce qu’ils favorisent la participation du public). La direction veille aussi à ce que la rétroaction et les commentaires des utilisateurs soient pris en compte.

Le personnel de Co-Lab a confirmé qu’il n’existe actuellement aucun processus officiel pour contrôler systématiquement la qualité et déterminer le contenu inapproprié, et qu’il n’exerce aucune forme active de contrôle de la qualité. Il a ajouté qu’un contrôle officiel de la qualité n’est pas une pratique courante dans les autres institutions culturelles, ce qui est ressorti des consultations auprès d’elles. Toutefois, le personnel n’exclut pas la possibilité d’effectuer des vérifications ponctuelles à l’avenir. Il a souligné que les contributions inappropriées sont repérées directement par les utilisateurs ou le public au moyen de la boîte courriel de Co-Lab et que des mesures sont prises en conséquence. Les personnes interrogées ont aussi mentionné les mécanismes en place pour repérer les utilisateurs faisant des contributions inappropriées et pour en faire un suivi et, dans les cas extrêmes où des contributions inappropriées sont récurrentes, le contenu sera verroullé et le compte de l’utilisateur sera bloqué.

Les observations des évaluateurs ont permises de confirmer que les pratiques de Co-Lab sont conformes à celles d’autres institutions culturelles. Par exemple, la NARA et la Bibliothèque du Congrès ne surveillent pas officiellement les contributions des utilisateurs,^{Note de bas de page 49Note de bas de page 50} et n’interviennent que pour supprimer le contenu jugé inapproprié en conformité avec leurs politiques d’utilisation.^{Note de bas de page 51Note de bas de page 52}

Contrôle de la qualité de l’élaboration des défis et de la mise au point de l’application

Les entrevues avec la direction et le personnel de Co-Lab ont révélé que la responsabilité principale de la sélection et de la préparation des défis incombe à la Direction générale des services au public et au gestionnaire du projet de Co-Lab. Des défis sont élaborés autour des événements commémoratifs canadiens ou les événements de BAC, mais ils peuvent aussi être fondés sur les suggestions des experts de BAC et du public. Habituellement, une fois qu’un thème est retenu, le personnel cherche le matériel approprié dans la collection de BAC et décide des types de tâches à intégrer (transcription, étiquetage, etc.). Le thème est choisi en fonction de critères comme la pertinence, la nouveauté ou la tendance et l’accessibilité. De plus, la sélection du matériel à inclure dans un défi doit répondre aux exigences suivantes : il doit être en format .jpg, il doit être indexé et accessible au moyen de l’outil Recherche dans la collection(bêta) ainsi qu’en ligne et être d’accès libre et exempt de droits d’auteur. Le délai de préparation varie, soit de deux semaines à quelques mois, selon la nature et la complexité du défi et l’état du matériel. Les personnes interrogées ont indiqué que les idées de base des défis sont approuvées à l’interne par la Direction générale des services au public, et l’approbation du directeur général n’est pas requise. Dans certains cas, il peut être nécessaire d’obtenir l’approbation d’autres directions générales concernant certains aspects liés à la préparation des défis (p. ex. promotion ou communication).

Le contrôle de la qualité des aspects techniques du développement de l’application est effectué dans un processus interne d’approbation et de surveillance et au moyen d’essais continus des fonctions de l’application par les utilisateurs.

5 Conclusions et recommandations

Conception de l’initiative Co-Lab

Dans l’ensemble, la conception de Co-Lab est solide. La direction de Co-Lab a clairement défini le but de l’initiative et a établi des objectifs qui sont conformes à la mission et aux priorités de BAC. La valeur que produit l’initiative pour BAC, les utilisateurs de Co-Lab et la population canadienne est clairement énoncée. La conception de l’initiative est aussi conforme aux pratiques exemplaires en matière de production participative des institutions culturelles. Sauf en ce qui concerne les exigences opérationnelles en matière de TI relatives au développement de l’application Web, il y a peu de documentation qui démontre la justification de l’initiative et le choix de l’approche. De plus, il reste à préciser certains aspects du rôle des utilisateurs. Enfin, ces derniers semblent avoir besoin de plus de soutien pour favoriser le développement et l’autogestion de la collectivité et assurer de bonnes relations en son sein.

Efficacité de la mise en œuvre et résultats obtenus à ce jour

La mise en œuvre de l’initiative s’est bien déroulée. L’initiative a suscité l’intérêt du public, et une collectivité d’utilisateurs a commencé à se former. Dans l’ensemble, l’expérience des utilisateurs et du personnel de Co-Lab a été positive. Les défis liés à Co-Lab ont été bien accueillis, la participation a augmenté de façon constante depuis le lancement et le taux d’achèvement des tâches a été relativement stable.

Néanmoins, Co-Lab ne dispose toujours pas d’un système de rapports robuste et les mesures du rendement demeurent à l’étape de l’élaboration. De plus, le nombre de tâches de transcription dont l’état a été fixé à « Révision nécessaire » a augmenté de façon proportionnelle au volume de tâches terminées. Les raisons de cette tendance et ses ramifications potentielles ne sont pas claires et doivent faire l’objet d’un examen approfondi.

Les résultats de l’évaluation offrent l’occasion à la direction de Co-Lab d’apporter des améliorations à l’initiative afin d’être mieux en mesure de démontrer son rendement et l’atteinte des résultats au fil du temps.

Recommandations

Recommandation 1 : À mesure que l’initiative évolue, documenter la réflexion stratégique entourant Co-Lab et ses orientations futures.

Recommandation 2 : Définir et documenter le succès de l’initiative et la façon de le démontrer.

Recommandation 3 :

1. Voir à ce que le système de rapports, dont l’élaboration se poursuit, serve à définir des mesures du rendement utiles qui comprennent des indicateurs d’extrants et de résultats.
2. Recueillir des données cohérentes sur le rendement à mesure que l’initiative évolue afin de démontrer, au fil du temps, les progrès dans l’atteinte des résultats attendus.
3. Documenter la justification de tout changement important dans les mesures du rendement.

Mesures à envisager aux fins d’amélioration

Mesure à prendre en considération 1 : Définir et documenter ce qui constitue une contribution inappropriée et adopter des lignes directrices claires sur le comportement des utilisateurs et les mesures à prendre en cas d’infraction.

Mesure à prendre en considération 2 : Un soutien accru devrait être offert à la collectivité des utilisateurs pour s’assurer qu’elle dispose de tout ce dont elle a besoin pour collaborer et s’autogérer efficacement.

Annexe A : Réponse de la direction et plan d’action

Annexe B : Bibliographie

Carletti, Laura, et al. (2013). « Digital Humanities and Crowdsourcing : An Exploration ». Annual Conference of Museums and the Web, Portland, OR, U.S.A.

Holley, Rose (2010). « Crowdsourcing: How and Why Should Libraries Do it? ». D-Lib Magazine, vol. 16, no 3/4.

Loi sur la Bibliothèque et les Archives du Canada, L.C. 2004, chap. 11, version à jour au 17 janvier 2017, dernière modification le 26 février 2015; publiée par le ministère de la Justice à : laws-lois.justice.gc.ca/.

Library of Congress, By The People, Welcome Guide.

BAC, Plan ministériel 2018-2019.

BAC, Plan ministériel 2017-2018.

BAC, Plan triennal 2016-2019.

BAC, Stratégie de services au public.

McKinley, Donelle (2016). « Design principles for crowdsourcing cultural heritage [report] ». Retrieved from http://nonprofitcrowd.org/crowdsourcing-design-principles/

National Archives and Records Administration, What is History Hub?

National Archives and Records Administration, Citizen Archivist, FAQ.

National Archives and Records Administration, Citizen Contribution Policy.

Oomen, J. et Aroyo, L. (2011). « Crowdsourcing in the Cultural Heritage Domain: Opportunities and Challenges ». C&T’11, 29 juin-2 juillet.

Owens, T. (2013). « Digital Cultural Heritage and the Crowd ». Curator: The Museum Journal, vol. 56, no 1.

Simon, Nina (2010). « The Participatory Museum ». MUSEUM 90, Santa Cruz, California.

Spindler, Robert P. (juin 2014). « An Evaluation of Crowdsourcing and Participatory Archives Projects for Archival Description and Transcription ». Arizona State University Libraries.