TNA, 80 millions de pages en ligne : qui dit mieux et à quel prix ?

Le partenariat avec des sociétés commerciales est au cœur de la stratégie de numérisation les Archives nationales du Royaume-Uni (TNA). C'est par ce biais qu'ont été mises en ligne la majeure partie des 80 millions de pages aujourd'hui disponibles sur internet, et que le seront 20 millions de pages supplémentaires d'ici 2011.

Un récent rapport du JISC  (dont je n'extrais que ce qui m'intéresse, une lecture intégrale vaut le coup d'autant plus qu'il s'agit d'un retour d'expérience sur les pratiques d'une dizaine de centres d'archives, dont l'INA) met en lumière la façon dont TNA parvient à maîtriser ces partenariats. Toutefois, un doute subsiste sur la pérennité de l'offre : qu'adviendra-t'-il si les partenaires modifient leur stratégie ou viennent à disparaître ?

J'admire la façon dont TNA boucle ses partenariats.  Mais la petite Frenchie (plutôt favorable aux partenariats public-privé, comme vous l'avez sans doute remarqué)  est heurtée par bien des choses et notamment cette façon de laisser le marché réguler la mise en ligne de données publiques, en n'en compensant les effets pervers qu'à la marge. D'autre part, tout se passe comme si TNA jugeait que la mise en ligne est un service "en plus", et donc facturable : les documents mis en ligne sur ses fonds propres ne sont visualisables, eux-aussi, que contre paiement. Pourquoi pas, après tout, mais cela semble aller tellement de soi, là-bas, que cela n'est même pas expliqué, justifié, argumenté.

Spéciale dédicace à la bibliothèque municipale de Lyon

 

Merci à la bibliothèque municipale de Lyon pour, entre autres choses :

- Le Guichet du Savoir

- Les Points d'actu

- avoir, un jour,  recruté B. Calenge

- Avoir essuyé les plâtres (français) avec Google (vous ne vous en êtes pas si mal tirés, tout seul, face à l'Ogre)

Grâce à vous, peut-être que plus rien ne sera comme avant...

 

 

 

Du nouveau sur la commission sur la numérisation des fonds patrimoniaux des bibliothèques

Finalement c'est Marc Tessier, et non Claude Durand, qui prend la tête d'une commission "sur la numérisation des fonds patrimoniaux des bibliothèques" (voir communiqué ministériel). La commission sera chargée d’étudier l’opportunité et les modalités d’un éventuel
accord avec un opérateur privé, pour numériser ou mettre en ligne les fonds des bibliothèques. Ses conclusions sont attendues pour la mi-décembre.

Claude Durand, ancien président des éditions Fayard, a "jeté l'éponge", selon l'expression du Figaro. Marc Tessier est ancien directeur général du Centre national de la cinématographie (CNC), ancien président de France Télévisions et actuel directeur général de Vidéo futur entertainment group.

Dernière minute : Claude Durand explique les raisons de son retrait à Livres Hebdo.  Il souhaitait simplement répondre à la question "faut-il traiter avec Google", mais pas étudier les modalités d'un accord. Manifestement pas tout compris au film, M. Durand.

Et si vous vous demandez quoi penser de tout ça, allez faire un petit tour sur le blog Affordance d'Olivier Ertzcheid et son post "Google Books : quoi faire ?" dont j'extrais la recommandation suivante :" arrêter de réfléchir, de colloquer, de soliloquer, de journéed'étudier ... Nous avons en main tous les éléments. Essayons de les appliquer."

 

 

La commission Durand sur la numérisation des livres : c’est pas déjà tout réfléchi ?

L’annonce d’un éventuel partenariat entre la BNF et Google a déclenché une importante polémique. Le ministre de la culture, Frédéric Mitterrand nomme une commission de réflexion sur la numérisation des livres, dont il confie la présidence à Claude Durand, ancien PDG de Fayard. Elle a deux mois pour proposer une stratégie.

Sauf qu’on a déjà réfléchi, beaucoup et intelligemment, au ministère de la culture : rapport Ory-Lavollée (disponible en pdf) sur la diffusion numérique du patrimoine en 2002, rapport du groupe de travail sur la diffusion et la réutilisation des données culturelles plus récemment. La démarche de la Bnf, explorant les possibilités de partenariat avec le privé, n’est pas un acte aventureux et surprenant, pas plus que l’accord effectivement conclu entre Google et la bibliothèque de Lyon.

Bon, on avait un peu oublié le rapport passionnel que semblent entretenir les Français avec le Patrimoine, la Culture, la Mémoire. On avait oublié de donner à cette réflexion un caractère public, d’expliquer, de permettre aux intéressés (public, medias, professionnels) de suivre le même chemin. On s’apprêtait enfin à diffuser une charte du ministère sur la diffusion et la réutilisation des données culturelles, sans mesurer la transgression qu’elle représenterait sans doute pour beaucoup. Alors on ne se vante pas d’avoir réfléchi, on dit qu’on va réfléchir.

Dans un laps de temps si court, il serait étonnant que la commission Durand renouvelle profondément la réflexion. Rendez-vous dans deux mois.

La numérisation et les partenariats public/privé

J'ai dépouillé rapidement le dernier numéro de la revue Culture et recherche, réunissant les actes de la conférence européenne qui s'est tenue en novembre 2008 sur la numérisation du patrimoine culturel. Toutes les présentations sont très succinctes et c'est souvent frustrant, mais le tout compose un panorama très vivant et accessible, un état sommaire de la question à l'échelle européenne.

Mention spéciale pour les communications visant à présenter les modalités et surtout les raisons (tout simplement parce que c'est plus efficace) des partenariats conclus pour la numérisation de leurs collections par la BM de Lyon avec Google, et par les Archives nationale du Royaume-Uni avec plusieurs  sociétés. Intéressante aussi, l'intervention de Patrick Danowski, du comité allemand Wikimedia, sur la réutilisation des données des bibliothèques, pour sa critique des pratiques des bibliothèques "traditionnelles" qui considèrent que, puisqu'elles numérisent les documents, le produit de cette numérisation leur appartient et n'entre pas dans le domaine public (même si l'original relève de ce dernier), et pour cette petite phrase "Mais surtout l'expérience du projet Wikipédia montre que c'est principalement la possibilité de réutilisation commerciale qui génère les projets les plus intéressants".

 

Les archives des unités de la guerre 14-18 en ligne

Les sites et forums de généalogistes en bruissent déjà : le ministère de la Défense vient de mettre en ligne "les journaux des unités de la Guerre 14-18". Cela s'est fait très discrètement en attendant l'inauguration officielle prévue demain, 5 novembre. Il s'agit des archives des unités françaises engagées dans le conflit  (Journaux de marche et d'opérations des unités de l'armée de terre ou de l'armée de l'Air, complétés pour ces derniers par des comptes-rendus d’opérations, des rapports techniques d’ascensions, des carnets de vol,  etc. Journaux de bord des bâtiments de la marine mais aussi registres de correspondance, journaux de bord, journaux de navigation).

3,3 millions de pages, numérisées en environ 18 mois par la société SAFIG (corrigez-moi si je me trompe) et mis en ligne par AJLSM via Pleade3 (oui, je touche des royalties à chaque clic). Coût ? Allez, environ 700 000 euros, hébergement non compris.

Conservation à long terme des documents numérisés

Via @rchinet-aedaa (c'est bien, cette initiative des étudiants en archivistique d'Angers), j'apprends la publication par le MINCUL (oui, c'est facile) d'un document relatif à la conservation des documents numériques.

Dénué de toute prétention, il se fixe pour seule ambition de sensibiliser les acteurs du ministère de la Culture ainsi que les autres acteurs culturels aux enjeux de la conservation à long terme des documents numérisés, en présentant thématiquement des ressources déjà publiées sur les réseaux. Les thèmes : normes et standards, politique de conservation, production de documents numérisés, supports et infrastructures de stockage, questions juridiques, projets et expériences en cours.

Utile.

 

 

Un accord TGN/NARA

Le 20 mai dernier, NARA (Archives nationales des USA) a annoncé qu'elle venait de conclure un accord avec TGN (sites Ancestry), pour la numérisation et la mise en ligne d'archives intéressant la généalogie. La numérisation se fera sur place, dans les locaux de NARA, la consultation en ligne des documents sera (bien sûr) payante, mais des accès libres seront possibles à partir de postes de consultation installés dans toutes les salles de consultation de NARA. TNG fournira à NARA une copie des fichiers numériques ainsi que des métadonnées, dont NARA pourra se servir librement à l'issue d'une période de 5 ans. Je n'ai pas regardé en détail les termes de l'accord, qui me paraît assez proche de l'accord TNG/TNA.

C'est moins cet accord lui-même qui m'a intéressé que le fait que NARA en ait soumis le projet à commentaires sur internet dès le 10 mars. Je sais, je me suis déjà pâmée devant cette transparence, mais cette pratique est tellement difficile à imaginer en France, où on semble préfèrer les effets d'annonce (au fait, où il en est, ce projet de portail généalogique ?). Dommage, cependant, les commentaires n'étaient pas publics, cette transparence a donc quand même des limites. Mais le débat s'est tout de même engagé, via certains blogs et sites. Voir notamment, le billet d' Archivesnext, un archiviste de NARA réagissant à un billet de Free government information, et les 11 commentaires qu'il a suscités. Avec ça, on a un éventail assez complet des positions possibles.

 

 

Le TIFF est trop lourd

De plus en plus en plus nombreuses sont les institutions qui croulent déjà sous le poids des fichiers résultant de leurs campagnes de numérisation et qui, planifiant les campagnes à venir, se rendent compte que cela va coûter cher, très cher en simple stockage. Partant de ce constat, la Koninklijke Bibliotheek (la bibliothèque nationale néerlandaise) a décidé de réviser sa stratégie de conservation. Jusqu"à présent, elle faisait comme tout le monde, en conservant ses masters au format TIFF, sans compression aucune. Dans un rapport tout récent, elle livre les résultats de la réflexion et des tests qu'elle a menés pour déterminer quels formats pourraient constituer une alternative au TIFF pour la conservation à long terme de ses masters. En introduction, l'acception du terme master est précisée (Images bitmap qui sont des copies de haute qualité d'un original et dont, le plus souvent, on dérive des fichiers destinés, eux, à l'accès et l'utilisation) comme sont précisées les raisons pour lesquelles on peut envisager de conserver ces masters dans le long terme : parce que ce sont les fichiers de substitution d'un original fragile et qu'aucun autre mode de substitution n'est possible, parce que la numérisation a été si coûteuse et dévoreuse de temps que la renumérisation est inenvisageable, parce que le master est en même temps le fichier d'usage. Cette très rapide mise au point montre d'ailleurs au passage combien leur politique de numérisation est au clair et je me promets bien de revenir sur la question, comme sur la notion de master, mais restons-en aux formats. Quatre formats ont été passés en revue :

• JPEG 2000, partie 1 : compression avec (lossy) et sans perte (lossless)
• PNG 1.2
• Basic JFIF 1.02 (JPEG)
• TIFF LZW

Les conclusions du rapport permettent de recommander :

JPEG 2000 sans perte et PNG pour la substitution, avec plutôt un avantage à JPEG 2000.

JPEG 2000 et JPEG quand la renumérisation n'est pas envisageable et que l'on peut s'accomoder d'une perte d'information. Sinon retour à la case 1.

JPEG 2000 avec perte et JPEG avec un fort taux de compression quand le master est aussi le fichier d'usage.

Bref, JPEG 2000, le nouveau standard qu'il faut connaître !

 

 

NARA sur le point de conclure un accord cadre avec TGN

NARA a soumis à commentaires (quelle transparence, quand même, moi je n'en reviens pas !) les termes d'un accord cadre qu'elle souhaite conclure avec TG N(mais oui, cette même société qui essaie de mettre un pied en France, voir mon précédent billet) pour la numérisation et la mise en ligne de documents qu'elle conserve. Les principales dispositions de l'accord sont les suivantes :

1. Les documents à numériser seront choisis d'un commun accord entre TGN et NARA
2. NARA recevra une copie des fichiers numériques
3. Les chercheurs auront un accès libre aux images numérisées et à l'indexation réalisée par TNG à partir des salles de lecture de NARA.
4. L'accord est non exclusif
5. TGN paye les frais liés à la numérisation, la conservation (à vérifier en ce qui concerne celle des copies remises à NARA), la création des metadonnées...

 

Réutilisation des données publiques : le cas des Archives nationales du Royaume-Uni

Au moment où Ancestry.com et autres Geneanet se lancent à l'assaut des services d'archives français et, surtout, des sources numérisées ou numérisables dont ils pourraient monnayer l'accès en ligne, j'ai cru bon d'aller voir ce qui se faisait chez nos voisins britanniques.

Les Archives nationales du Royaume-Uni (TNA) proposent des licences non-exclusives à tous ceux qui désirent exploiter leurs données, contre royalties qui vont de 7 à 15%.

Pour numériser plus rapidement ses collections, TNA propose également depuis quelques années une LIA (licensed internet Associateships), pour une durée de 10 ans renouvelables. Les partenaires financent tout (de la préparation et la numérisation des documents au développement des applications nécessaires à leur exploitation en passant par l'hébergement des fichiers), et bénéficient d'une exclusivité tandis que les Archives nationales perçoivent des royalties sur les transactions tout en promouvant de diverses manières les services du partenaire, notamment en faisant de leur propre site un portail d'accès vers ces services.TNA s'entoure quand même de quelques précautions d'ordre éthique (le partenaire et ses pratiques doivent être compatibles avec la mission, les règles, les valeurs de TNA), financier (le partenaire doit pouvoir prouver qu'il a les épaules assez solides), technique (le site du partenaire doit respecter les règles gouvernementales pour l'accessibilité des sites internet et se conformer à certaines spécifications), juridique (le partenaire n'acquiert aucun droit de propriété intellectuelle sur les documents numérisés ou les fichers dérivés de cette numérisation. En revanche, sa propriété sur les applications développées, l'indexation ou les transcriptions qu'il aurait réalisé, etc., est bien entendu reconnue). TNA demande également un accès gratuit multi-utilisateurs pour ses sites de consultation de Kew et Islington. De plus, TNA reste maître de la stratégie puisque c'est elle qui fixe les ensembles qui peuvent faire l'objet d'une LIA.

C'est sur ces bases que TNA a conclu un accord avec findmypast.com, pour la mise en ligne des listes de passagers au départ des Iles britaniques entre 1890 et 1960, ou avec S&N Genealogy Supplies pour celle de registres d'état-civil.

Le tout s'inscrit  dans un dispositif national, piloté par l' Office of Public Sector Information (OPSI) et visant à mettre en oeuvre la directive européenne sur la réutilisation des données publiques, inscrite dans la législation nationale depuis 2005.

 

Archives en ligne : 5 points à garder en tête

Le 25 janvier dernier, table ronde organisée dans le cadre des Rencontres 2008 du cinéma de patrimoine et des films restaurés et prix Henri Langlois (c'est peut-être un peu long, comme intitulé de manifestation, non ?). Trop d'intervenants, qui ont présenté leur institution et leur problématique en guise d'introduction à un échange qui n'a pas eu le temps d'avoir lieu, dommage. Seul Jean-Yves de Lépinay, qui intervenait avec la double casquette de directeur des programmes du Forum des images et membre du P.I.A.F (Professionnels des images et des archives de la francophonie, à ne pas confondre avec le Portail international archivistique francophone !), a su d'emblée poser un discours fort, récapitulant heureusement en 5 points des idées que je n'avais jusqu'ici vu surgir dans mon agrégateur que de façon dispersée. J'ai malheureusement perdu les notes que j'avais prises, mais voici ce dont je me souviens :

1- La numérisation n'est pas un moyen de préservation, mais de diffusion.

OK, mais au prix que cela coûte, mieux vaut penser à conserver les fichiers dans le long terme ! D'autre part, ne pas utiliser les originaux permet de les préserver (logique de substitution). Enfin, l'intervenant n'a pas vraiment dégagé les perspectives que permettent d'ouvrir ce constat (Voir le rapport de l'OCLC, Shifting gears : gearing up to get into the flow, dont j'ai déjà parlé dans un billet).

2- Ce qui est sur internet oblitère ce qui n'y se trouve pas.

OK, sauf si je ne néglige pas de mettre en ligne mes instruments de recherche (aussi sommaires soient-ils ?), même si les documents correspondants ne sont pas en ligne. Evidemment ce qui est décrit (en ligne ou pas) oblitère ce qui ne l'est pas, mais c'est une vieille problématique !

3- Une mise en ligne ne se conçoit pas sans documentarisation (= description, indexation), voire une redocumentarisation, longue et coûteuse.

OK, mais on part rarement de rien en la matière ! Tout le problème est de savoir si on se satisfait de l'existant, aussi imparfait soit-il, du moment qu'il permet un accès aux documents, ou si on s'astreint à le peaufiner afin de multiplier les accès et accroître la granularité de l'ensemble. Là encore, voir Shifting gears : gearing up to get into the flow.

4- Mise en ligne = fragmentation.

J'ai tout de suite acquiescé mentalement en pensant  à mes propres stratégies de lecture sur internet (butinage, focalisation) et au fait qu'un coup de Google peut vous propulser au milieu d'une page du contexte de laquelle on ne connaît rien, mais Lépinay ne parlait pas de cela mais tout simplement des possibilités offertes à l'internaute de "sampler", mixer, "mashuper", voire redocumentariser lui-même les documents mis à sa disposition.

5- La mise en ligne oblige les "médiateurs", (médiateur entre le public et le document) au rang desquels se rangeait J.-Y. de Lépinay et au rang desquels je me range volontiers, à reconsidérer leur rôle. Une des voies s'ouvrant à eux consiste en l'animation de communautés visant à construire collaborativement un savoir, une redocumentarisation (voir mon post sur les usages de Flickr, qui mériterait d'être mis à jour quant à l'initiative de la Bibliothèque du Congrès qui vient de mettre, pour ceux qui l'ignoreraient encore, près de 3000 photos sur ce site, et pour les réfractaires, affordance vous explique en quoi c'est chouette).

La numérisation aux Archives municipales d'Amsterdam

Le dernier numéro de la Gazette des archives (septembre-octobre 2007) contient le compte-rendu de la rencontre des archivistes municipaux au sein de l'ICA (conseil international des archives), qui s'est tenue à Amsterdam. Cela nous vaut d'apprendre que les Archives municipales de cette ville ont calculé que, pour numériser leurs 32 km l d'archives, il leur faudrait 431 années à raison de 10000 prises de vues par semaine et en comptant 7000 vues en moyenne par ml ! Dans ces conditions, ils ont choisi de laisser leur politique de numérisation se construire sur la base des demandes du public, lequel peut commander la numérisation des documents à partir des instruments de recherche disponibles sur leur site internet. Je suis allée y faire un tour et j'ai été un peu déçue. La commande a en effet l'air d'être très aisée (un simple clic sur "aanvragen" en regard de la description de l'article concerné) mais il semble que les documents numérisés ne puissent être visualisés que sous la forme de vignettes basse définition (lecture des textes impossible !). Mais le barrage de la langue m'a peut-être empêché de trouver le moyen de passer en mode consultation.

Numérisation : just do it !

L'OCLC a récemment fait paraître, en guise de synthèse d'une journée d'études qui s'est tenue au mois d'août dernier à la Newberry library de Chicago (dans le cadre du congrès annuel de la SAA, société des archivistes américains), un rapport au ton et au contenu volontairement provocateurs sur la numérisation et la mise en ligne des "sources primaires" ("primary sources", au rang desquels les fonds d'archives, les collections de manuscrits ou de cartes..), lesquelles restent très marginales par rapport aux imprimés. Comment "changer de vitesse et rejoindre le courant (Shifting gears : gearing up to get into the flow)" ?

De cette synthèse, on peut retenir deux idées-forces.

La 71e réunion de la société des archivistes américains (août 2007)

Le n°29 du Bulletin des Archives de France sur l'EAD contient un intéressant compte-rendu de certains ateliers et séances pleinières de la dernière réunion annuelle de la société des archivistes américains, qui s'est tenue durant l'été 2007 à Chicago.

Sessions pleinières

Session 104. Solutions logicielles libres pour la gestion et l’affichage sur le web des collections numériques

Session 205. Évaluer les outils archivistiques dans une approche centrée utilisateurs

Session 305. Etat de développement de l’application logicielle « Outil des archivistes Â» (Archivists Toolkit, AT).

Session 406. Appliquer les recommandations de Greene et Meissner dans une institution

Session 503. Repenser les pratiques descriptives et l’accès aux archives dans un environnement numérique

Session 607. Les dynamiques dans l’agrégation : métadonnées partageables et prochaine génération de systèmes d’accès

Session 707. Le projet de mise en ligne de reliures de livres imprimés (Publishers’ Bindings Online ou PBO)

Session 804. Préserver le contexte et l’ordre originel dans un monde numérique

Groupes et comités techniques de la SAA

Comité des normes et sous-comité technique des normes de description

Section sur la description

Table ronde EAD : L’application Outil des archivistes (Archivists’Toolkit ou AT) et l’EAD, le programme « Ouvrir les archives en Floride Â»

Groupe international EAD

 

 

Guide technique pour la numérisation des archives en vue d'un accès en ligne (NARA, USA)

Technical Guidelines for Digitizing Archival Materials for Electronic Access:   Creation of Production Master Files - Raster Images

For the Following Record Types - Textual, Graphic Illustrations/Artwork/Originals, Maps, Plans, Oversized, Photographs, Aerial Photographs, and Objects/Artifacts

June 2004

Concerne la création de documents de substitution en vue de la mise en ligne et de la reproduction, pas en vue d'une préservation à long terme.

Le plan de numérisation du NARA

Le mois dernier, le NARA (National Archives and Records administration des Etats-Unis) a soumis à commentaires son plan de numérisation (Plan for digitizing archival materials for public Access : 2007-2016), comme l'a d'ailleurs signalé avant moi le blog "Sous la poussière". [MAJ du 18 août 2008 : le document final a été publié en mai 2008]

L'introduction présente le NARA et ses collections et précise qu'il a déjà mené une expérience de numérisation à la fin des années 1990, portant sur environ 70 000 documents, à l'issue de laquelle ils'est rendu compte que la mise en ligne et la préservation de documents numérisés était alors une tâche sans commune mesure avec ses ressources. Cependant, l'évolution des technologies, les attentes des utilisateurs et l'espoir de partenariat l'autorise, en ce début du XXIe siècle, à retenter l'expérience.

Le plan précise ensuite les objectifs de la numérisation (accès en ligne à un nombre croissant de documents, préservation des originaux, "contextualisation" des documents numérisés..). Parmi ces points, l'un l'est tout particulièrement. Mon anglais n'est pas fameux mais je pense que "improve our service to customers consistent with their evolving expectations, and with consideration of NARA's available resources and customers' willingness to pay for value-added or convenience service" peut se traduire par quelque chose du genre : améliorer le service offert aux utilisateurs en tenant compte de leurs attentes, mais en tenant compte également des ressources du NARA comme du fait que les utilisateurs s'avèrent prêts à payer pour des services commodes et à valeur ajoutée. (Intéressant point de vue, au moment où les AD de l'Hérault mettent en ligne différents fonds dont l'accès serait payant, suscitant des réactions de la part d'une partie du public comme de celle de certains archivistes).

Le document insiste ensuite sur le fait que la numérisation est loin de se résumer à une simple opération de transfert de support mais comprend une série d'opérations : identification et sélection des documents à numériser, préparation des documents, établissement des métadonnées (description archivistique mais aussi techniques), numérisation elle-même, contrôle de la qualité, mise en ligne pour consultation, offre de commande de reproduction en ligne..

Le NARA prévoit de combiner 4 stratégies pour la numérisation et la mise en ligne :

- Mise en ligne de documents déjà numérisés mais, pour une raison ou une autre, pas encore disponibles en ligne. Inventaire en cours.

- Mise en place de partenariats avec des organismes de nature privée ou publique. Les partenaires potentiels sont d'ailleurs encouragés à prendre contact.  Pourgarder le contrôle, le NARA a mis au point quelques principes devant présider à l'établissement des partenariats. Le plus important de ces principes consistant dans le fait que le partenariat n'est pas exclusif (l'accès aux documents numérisés restant libre tout au moins dans les salles de consultation du NARA) et qu'au bout d'un certain délai LE NARA a le droit de fournir au public un accès libre en ligne aux données.

On notera que c'est cette stratégie qui est en oeuvre dans l'accord qui lie le NARA et Footnotes, dont j'ai déjà parlé ici. Parmi les partenariats recensés en section IV, on notera également une opération menée avec Google.

- Assumer seul des opérations de numérisations en se concentrant sur des documents peu susceptibles de partenariats.

- Poursuivre des opérations de numérisation conçues comme étant partie intégrante d'opérations de préservation (documents trop fragiles pour continuer à être communiquer au public).