Réponse courte

Il est impossible de garantir une longue période de temps à cause de l'entropie (aussi appelée mort !). Les données numériques se dégradent et meurent, comme toute autre chose dans l'univers. Mais on peut la ralentir.

Il n'existe actuellement aucun moyen infaillible et scientifiquement prouvé de garantir l'archivage à froid des données pendant plus de 30 ans. Certains projets visent à le faire, comme le projet Projet Rosetta Disks du musée Long Now mais ils sont encore très coûteux et leur densité de données est faible (environ 50 Mo).

En attendant, vous pouvez utiliser des supports optiques résilients scientifiquement prouvés pour le stockage à froid, comme les disques Blu-ray de type HTL comme ceux de Panasonic, ou les DVD+R de qualité archive comme les Gold Archival de Verbatim, et les conserver dans des boîtes hermétiques dans un endroit frais (évitez les températures élevées) et à l'abri de la lumière.

Aussi être REDONDANT : Faites plusieurs copies de vos données (au moins 4), et calculez des hachages pour vérifier régulièrement que tout va bien, et tous les quelques années vous devriez réécrire vos données sur de nouveaux disques. Utilisez également beaucoup de codes de correction d'erreurs ils vous permettront de réparer vos données corrompues !

Réponse longue

Pourquoi les données sont-elles corrompues avec le temps ? La réponse tient en un mot : entropie . C'est l'une des forces primaires et inévitables de l'univers, qui fait que les systèmes deviennent de moins en moins ordonnés dans le temps. Corruption de données est exactement cela : un désordre dans les bits orde l'Univers déteste vos données .

Combattre l'entropie, c'est exactement comme combattre la mort : vous n'avez aucune chance de réussir, jamais. Mais vous pouvez trouver des moyens de ralentir la mort, tout comme vous pouvez ralentir l'entropie. Vous pouvez également tromper l'entropie en réparant les corruptions (en d'autres termes : vous ne pouvez pas arrêter les corruptions, mais vous pouvez les réparer après qu'elles se soient produites si vous avez pris des mesures au préalable !) Comme pour tout ce qui touche à la vie et à la mort, il n'y a pas de solution miracle, ni de solution unique pour tous, et les meilleures solutions exigent que vous vous engagiez directement dans le processus de l'entropie. curation numérique de vos données. Et même si vous faites tout correctement, vous n'êtes pas assuré de garder vos données en sécurité, vous ne faites que maximiser vos chances.

Passons maintenant aux bonnes nouvelles : il existe désormais des moyens assez efficaces de conserver vos données, si vous moissonneuse-batteuse bonne qualité supports de stockage et bon stratégies d'archivage/curation : vous devriez conception pour l'échec .

Quelles sont les bonnes stratégies de curation ? Mettons les choses au clair : la plupart des informations que vous trouverez porteront sur les sauvegardes, et non sur l'archivage. Le problème est que la plupart des gens vont transférer leurs connaissances sur les stratégies de sauvegarde à l'archivage, et donc beaucoup de mythes sont maintenant communément entendus. En effet, le stockage de données pendant quelques années (sauvegarde) et le stockage de données pendant la période la plus longue possible, c'est-à-dire pendant des décennies au moins (archivage), sont des objectifs totalement différents et nécessitent donc des outils et des stratégies différents.

Heureusement, il existe un grand nombre de recherches et de résultats scientifiques, et je conseille donc de se référer à ces articles scientifiques plutôt qu'aux forums ou aux magazines. Je vais résumer ici certaines de mes lectures.

Méfiez-vous également des affirmations et non indépendant des études scientifiques, affirmant que tel ou tel support de stockage est parfait. Rappelez-vous le fameux projet Domesday de la BBC : "Le Domesday Book numérique dure 15 ans et non 1000" . Vérifiez toujours les études avec des documents réellement indépendants, et s'il n'y en a pas, supposez toujours que le support de stockage n'est pas bon pour l'archivage.

Précisons ce que vous recherchez (d'après votre question) :

• Archivage à long terme : vous souhaitez conserver des copies de vos données "personnelles" sensibles et irreproductibles. Archivage est fondamentalement différent d'un sauvegarde comme bien expliqué ici : les sauvegardes sont destinées aux données techniques dynamiques qui sont régulièrement mises à jour et doivent donc être rafraîchies dans les sauvegardes (c'est-à-dire le système d'exploitation, la disposition des dossiers de travail, etc.), tandis que les archives sont statique données que vous auriez probablement n'écrire qu'une seule fois et juste lire de de temps en temps . Les archives sont pour les données intemporelles qui sont généralement personnelles.

• Stockage du froid Vous voulez éviter la maintenance de vos données archivées autant que possible.

Pour faciliter notre analyse, étudions d'abord les solutions de stockage à froid, puis les stratégies d'archivage à long terme.

Supports de stockage à froid

Nous avons défini plus haut ce que doit être un bon support de stockage à froid : il doit conserver les données pendant une longue période sans qu'aucune manipulation ne soit nécessaire (c'est pourquoi il est dit "froid" : il suffit de le ranger dans un placard et il n'est pas nécessaire de le brancher à un ordinateur pour conserver les données).

Papier Le papier peut sembler être le support de stockage le plus résistant au monde, car nous trouvons souvent de très vieux manuscrits datant de l'Antiquité. Cependant, le papier présente des inconvénients majeurs : tout d'abord, la densité des données est très faible (on ne peut pas stocker plus de 100 Ko sur un papier, même avec des caractères minuscules et des outils informatiques), et il se dégrade avec le temps sans qu'il soit possible de le surveiller : le papier, tout comme les disques durs, souffre de corruption silencieuse. Mais alors que vous pouvez surveiller les corruptions silencieuses sur les données numériques, vous ne pouvez pas le faire sur le papier. Par exemple, vous ne pouvez pas garantir qu'une photo conservera les mêmes couleurs pendant une dizaine d'années : les couleurs se dégradent, et vous n'avez aucun moyen de retrouver les couleurs d'origine. Bien sûr, vous pouvez curate vos photos si vous êtes un pro de la restauration d'images, mais cela prend beaucoup de temps, alors qu'avec les données numériques, vous pouvez automatiser ce processus de conservation et de restauration.

Disques durs (HDD) son connu sous le nom de a ont une durée de vie moyenne de 3 à 8 ans : ils ne se dégradent pas seulement avec le temps, ils sont garantie de mourir un jour (c'est-à-dire inaccessible). Les courbes suivantes montrent cette tendance de tous les disques durs à mourir à un rythme effarant :

Courbe de la baignoire montrant l'évolution du taux de défaillance des disques durs en fonction du type d'erreur (également applicable à tout dispositif technique) :

Courbe montrant le taux de défaillance des disques durs, tous types d'erreurs confondus :

Source : Backblaze

Vous pouvez constater qu'il existe trois types de disques durs en termes de défaillance : ceux qui meurent rapidement (erreur de fabrication, disques durs de mauvaise qualité, défaillance de la tête, etc.), ceux dont le taux de mortalité est constant (bonne fabrication, ils meurent pour diverses raisons "normales", c'est le cas de la plupart des disques durs), et enfin les disques robustes qui vivent un peu plus longtemps que la plupart des disques durs et finissent par mourir peu après les disques "normaux" (disques durs chanceux, pas trop utilisés, conditions d'environnement idéales, etc.) Ainsi, vous avez la garantie que votre disque dur va mourir.

Pourquoi les disques durs meurent-ils si souvent ? Je veux dire, les données sont écrites sur un disque magnétique, et le champ magnétique peut durer des décennies avant de s'estomper. La raison pour laquelle ils meurent est que le support de stockage (disque magnétique) et le matériel de lecture (carte électronique+tête de filage) sont couplé En effet, la carte électronique (qui convertit les données physiques en données numériques) est différente pour presque tous les disques durs (même de la même marque et de la même référence, cela dépend de l'usine d'origine), et le mécanisme interne de la tête tournante est si complexe qu'il est aujourd'hui impossible pour un humain de placer parfaitement une tête tournante sur des disques magnétiques sans les tuer.

En outre, les disques durs sont connus pour démagnétiser avec le temps s'ils ne sont pas utilisés (y compris les SSD). Ainsi, vous ne pouvez pas vous contenter de stocker des données sur un disque dur, le ranger dans un placard et penser qu'il conservera les données sans aucune connexion électrique : vous devez brancher votre disque dur à une source électrique au moins une fois par an ou par couple d'années. . Par conséquent, les disques durs ne sont manifestement pas adaptés au stockage à froid.

Bandes magnétiques Le problème des bandes magnétiques est qu'elles sont TRÈS sensibles : les particules d'oxyde magnétique peuvent facilement être détériorées par le soleil, l'eau, l'air, les rayures, démagnétisées par le temps ou tout autre appareil électromagnétique, ou simplement tomber. Le problème des bandes magnétiques est qu'elles sont TRÈS sensibles : la partie oxyde magnétique impression par transparence . C'est pourquoi ils ne sont généralement utilisés que dans les centres de données par des professionnels. En outre, il n'a jamais été prouvé qu'ils pouvaient conserver les données plus d'une décennie. Alors, pourquoi sont-ils souvent conseillés pour les sauvegardes ? Parce qu'ils étaient autrefois bon marché : à l'époque, il était 10 à 100 fois moins cher d'utiliser des bandes magnétiques que des disques durs, et les disques durs avaient tendance à être beaucoup moins stables que maintenant. Les bandes magnétiques sont donc principalement conseillées pour les sauvegardes pour les raisons suivantes rapport coût-efficacité et non pas en raison de la résilience, qui est ce qui nous intéresse le plus lorsqu'il s'agit d'archiver des données.

Cartes CompactFlash et Secure Digital (SD) sont connus pour être assez solides et robustes, capable de survivre à des conditions catastrophiques .

Selon le magazine Digital Camera Shopper, les cartes mémoire de la plupart des appareils photo sont pratiquement indestructibles. Cinq formats de cartes mémoire ont survécu à l'ébullition, au piétinement, au lavage et au trempage dans du café ou du cola.

Cependant, comme tout autre support magnétique, elle dépend d'un champ électrique pour conserver les données, et donc si la carte tombe en panne de courant, les données peuvent être totalement perdues. Elle n'est donc pas idéale pour le stockage à froid (car il faut de temps en temps réécrire toutes les données sur la carte pour rafraîchir le champ électrique), mais elle peut être un bon support pour les sauvegardes et l'archivage à court ou moyen terme.

Supports optiques : Les supports optiques sont une catégorie de supports de stockage reposant sur le laser pour lire les données, comme les CD, DVD ou Blu-ray (BD). On peut considérer qu'il s'agit d'une évolution du papier, mais nous écrivons les données dans une taille si minuscule qu'il nous fallait un matériau plus précis et plus résistant que le papier, et c'est précisément ce que sont les disques optiques. Les deux plus grands avantages des supports optiques sont que le support de stockage est découplé du matériel de lecture (c'est-à-dire que si votre lecteur de DVD tombe en panne, vous pouvez toujours en acheter un autre pour lire votre disque) et qu'il est basé sur le laser, ce qui le rend universel et à l'épreuve du temps (c'est-à-dire que tant que vous savez comment fabriquer un laser, vous pouvez toujours le modifier pour lire les bits d'un disque optique par émulation, tout comme le fait de savoir lire un disque optique). CAMILEON a fait pour le projet Domesday BBC ).

Comme toute technologie, les nouvelles itérations offrent non seulement une plus grande densité (espace de stockage), mais aussi une meilleure correction des erreurs et une meilleure résistance à la dégradation environnementale (pas toujours, mais généralement vrai). Le premier débat sur la fiabilité des DVD a opposé les DVD-R et les DVD+R, et même si les DVD-R sont encore courants de nos jours, les DVD+R sont reconnus comme étant les plus fiables. plus fiable y précis . Il existe aujourd'hui des DVD de qualité archive, spécialement conçus pour le stockage à froid, qui prétendent pouvoir résister à un minimum de ~20 ans sans aucune maintenance :

Le DVD-R Gold Archival Verbatim [...] a été classé comme le DVD-R le plus fiable lors d'un test approfondi de résistance à long terme effectué par le magazine allemand réputé c't (c't 16/2008, pages 116-123) [...], qui a obtenu un résultat minimum de 1,5 %.

De LinuxTech.net .

En outre, certaines entreprises spécialisées dans très l'archivage à long terme des DVD et les commercialisent abondamment, comme le M-Disc de Millenniata ou le DataTresorDisc, affirmant qu'ils peuvent conserver les données pendant plus de 1000 ans, et vérifié par un peu de (non-indépendant) études (à partir de 2009) parmi d'autres moins scientifiques .

Tout cela semble très prometteur ! Malheureusement, il n'y a pas assez d'études scientifiques indépendantes pour confirmer ces affirmations, et les quelques études disponibles ne sont pas si enthousiastes :

L'humidité (80% HR) et la température (80°C) ont accéléré le vieillissement de plusieurs DVD sur 2000 heures (environ 83 jours) de test avec une vérification régulière de la lisibilité des données :

Traduit de l'institution française pour l'archivage des données numériques (Archives de France), étude de 2012.

Le premier graphique montre un DVD avec une évolution lente de la dégradation. Le deuxième DVD avec des courbes de dégradation rapide. Et le troisième concerne les DVD spéciaux "à très long terme" comme le M-Disc et le DataTresorDisc. Comme nous pouvons le constater, leurs performances ne correspondent pas tout à fait à ce qui est annoncé, elles sont inférieures ou égales à celles des DVD standard, de qualité non archivistique !

Toutefois, les disques optiques inorganiques tels que le M-Disc et le DataTresorDisc présentent un avantage : ils sont tout à fait insensibles à la dégradation par la lumière :

Vieillissement accéléré à la lumière (750 W/m²) pendant 240 heures :

Ce sont d'excellents résultats, mais un DVD de qualité archive tel que le Verbatim Gold Archival permet d'obtenir les mêmes performances. De plus, la lumière est le paramètre le plus contrôlable pour un objet : il est assez facile de mettre un DVD dans une boîte ou un placard fermé, et donc de supprimer tout impact possible de la lumière. Il serait beaucoup plus utile d'obtenir un DVD qui résiste très bien à la température et à l'humidité qu'à la lumière.

Cette même équipe de recherche a également étudié le marché des Blu-ray pour voir s'il existait une marque proposant un bon support pour le stockage à long terme du froid. Voici ce qu'ils ont trouvé :

L'humidité et la température ont accéléré le vieillissement sur plusieurs marques de Blu-ray, selon les mêmes paramètres que pour les DVD :

Vieillissement légèrement accéléré sur plusieurs marques de BluRays, mêmes paramètres :

Traduit de cette étude des Archives de France, 2012.

Deux résumés de tous les résultats (en français) aquí y aquí .

In fine, le meilleur disque Blu-ray (de Panasonic) a eu des performances similaires à celles du meilleur DVD de qualité archive dans le test humidité+température, tout en étant pratiquement insensible à la lumière ! Et ce disque Blu-ray n'est même pas de qualité archive. De plus, les disques Blu-ray utilisent un code correcteur d'erreurs amélioré par rapport aux DVD (eux-mêmes utilisant une version améliorée par rapport aux CD), ce qui minimise encore les risques de perte de données. Il semble donc que certains disques BluRay puissent être un très bon choix pour le stockage à froid.

Et en effet, certaines entreprises commencent à travailler sur des disques Blu-ray de qualité archive et à haute densité de stockage, comme Panasonic et Sony, annonçant qu'ils seront en mesure d'offrir de 300 Go à 1 To de stockage avec une durée de vie moyenne de 50 ans. Aussi, les grandes entreprises se tournent vers les supports optiques pour le stockage du froid (parce qu'il consomme beaucoup moins de ressources puisque vous pouvez les stocker à froid sans aucune alimentation électrique), comme Facebook qui a mis au point un système robotique permettant d'utiliser les disques Blu-ray comme "chambre froide". pour des données auxquelles leur système a rarement accès.

Initiative archivistique Long Now : Il existe d'autres pistes intéressantes, comme le Projet de disque Rosetta par le musée Long Now Il s'agit d'un projet visant à écrire des pages de la Genèse à l'échelle microscopique dans toutes les langues de la planète dans lesquelles la Genèse a été traduite. Il s'agit d'un grand projet, qui est le premier à offrir un support permettant de stocker 50 Mo pour un stockage à froid à très long terme (puisqu'il est écrit en carbone), et avec un accès futuriste puisqu'il suffit d'une loupe pour accéder aux données (pas de spécifications de format bizarres ni de problèmes technologiques à gérer comme le rayon violet du Blu-ray, il suffit d'une loupe !) Cependant, ils sont encore fabriqués manuellement et leur coût est estimé à environ 20 000 dollars, ce qui est un peu trop pour un projet d'archivage personnel, je suppose.

Solutions basées sur Internet : Le réseau est un autre moyen de stocker à froid vos données. Cependant, les solutions de sauvegarde dans le nuage ne sont pas une bonne solution, pour la principale préoccupation que les sociétés d'hébergement dans le nuage m

Une alternative aux fournisseurs de sauvegarde en nuage est de louer votre propre serveur privé en ligne, et si possible, choisissez-en un qui offre une mise en miroir/sauvegarde automatique de vos données en cas de défaillance matérielle de leur part (certains vous garantissent même contre la perte de données dans leurs contrats, mais c'est bien sûr plus cher). C'est une excellente solution, d'une part parce que vous restez propriétaire de vos données, et d'autre part parce que vous n'aurez pas à gérer les défaillances du matériel, c'est la responsabilité de votre hébergeur. Et si un jour votre hébergeur fait faillite, vous pourrez toujours récupérer vos données (choisissez un hébergeur sérieux pour qu'il ne s'arrête pas la nuit mais vous prévienne avant, vous pouvez peut-être demander à ce que cela figure dans le contrat), et vous réhéberger ailleurs.

Si vous ne voulez pas vous embêter à mettre en place votre propre serveur privé en ligne, et si vous pouvez vous le permettre, Amazon propose un nouveau service d'archivage de données, appelé Glacier . Le but est justement de stocker à froid vos données pour le long terme. Il offre 11 9s de durabilité par an par archive, ce qui est identique à leurs autres offres S3, mais à un prix beaucoup plus bas. Le problème est que l'extraction n'est pas gratuite et peut prendre de quelques minutes (extraction standard de Glacier Archive) à 48 heures (extraction groupée de Glacier Deep Archive).

Les inconvénients de l'entreposage frigorifique : Cependant, il y a un gros défaut dans tout support de stockage à froid : il n'y a pas de vérification de l'intégrité, parce que les supports de stockage à froid NE PEUVENT PAS vérifier automatiquement l'intégrité des données (ils peuvent simplement mettre en oeuvre des schémas de correction d'erreurs pour "guérir" un peu des dommages après que la corruption se soit produite, mais elle ne peut pas être empêchée ni gérée automatiquement !) parce que, contrairement à un ordinateur, il n'y a pas d'unité de traitement pour calculer/journaliser/vérifier et corriger le système de fichiers. Alors qu'avec un ordinateur et de multiples unités de stockage, vous pourriez vérifier automatiquement l'intégrité de vos archives et créer automatiquement un miroir sur une autre unité si nécessaire en cas de corruption d'une archive de données (pour autant que vous ayez plusieurs copies de la même archive).

Archivage à long terme

Même avec les meilleures technologies actuellement disponibles, les données numériques ne peuvent être stockées à froid que pendant quelques décennies (environ 20 ans). Ainsi, à long terme, vous ne pouvez pas vous contenter d'un simple stockage à froid : vous devez mettre en place une méthodologie de conservation des données. conservateur numérique de vos données, en réparant les corruptions lorsqu'elles se produisent et en recréant de nouvelles copies si nécessaire.

Il n'y a pas de règles infaillibles, mais en voici quelques unes établies stratégies de conservation et en particulier un outil magique qui vous facilitera la tâche :

• Principe de redondance/réplication : La redondance est le seul outil qui peut inverser les effets de l'entropie. qui est un principe basé sur la théorie de l'information. Pour conserver des données, il faut les dupliquer. Les codes d'erreur sont exactement une application automatique du principe de redondance. Cependant, vous devez également vous assurer que vos données sont redondantes Il s'agit de copies multiples des mêmes données sur différents disques, de copies multiples sur différents supports (de sorte que si un support tombe en panne à cause de problèmes intrinsèques, il y a peu de chances que les autres sur des supports différents tombent également en panne au même moment), etc. En particulier, vous devriez toujours disposer d'au moins 3 copies de vos données, également appelées redondance 3-modulaire en ingénierie, de sorte que si vos copies sont corrompues, vous pouvez voter à la majorité simple pour réparer vos fichiers à partir de vos 3 copies. N'oubliez jamais le conseil de la boussole du marin :

Il est inutile d'emporter deux boussoles, car si l'une d'entre elles se dérègle, vous vous ne pourrez jamais savoir laquelle est correcte, ou si les deux sont fausses. Prenez toujours une boussole, ou plus de trois.

• Codes de correction d'erreurs Les codes correcteurs d'erreurs (ECC) sont des outils magiques qui vous faciliteront la vie et rendront vos données plus sûres. Les codes correcteurs d'erreurs (ECC) sont une construction mathématique qui va générer des données qui pourront être utilisées pour réparer vos données. C'est plus efficace, car Les ECC peuvent réparer beaucoup plus de vos données en utilisant beaucoup moins d'espace de stockage que la simple réplication. (c'est-à-dire faire plusieurs copies de vos fichiers), et ils peuvent même être utilisés pour vérifier si votre fichier est corrompu, et même localiser où sont ces corruptions . En fait, il s'agit exactement d'une application du principe de redondance, mais d'une manière plus intelligente que la réplication. Cette technique est largement utilisée dans toutes les communications à longue portée de nos jours, comme la 4G, la WiMax, et même les communications spatiales de la NASA. Malheureusement, si les ECC sont omniprésents dans les télécommunications, ils ne le sont pas dans la réparation des fichiers, peut-être parce que c'est un peu complexe. Cependant, certains logiciels sont disponibles, tels que le célèbre (mais désormais ancien) PAR2, Le désastre du DVD (qui propose d'ajouter des codes de correction d'erreurs sur les disques optiques) et pyFileFixity (que j'ai développé en partie pour surmonter les limitations et les problèmes de PAR2). Il existe également des systèmes de fichiers qui implémentent optionnellement Reed-Solomon, comme ZFS pour Linux ou ReFS pour Windows, qui sont techniquement une généralisation de RAID5.

• Vérifier l'intégrité de vos fichiers régulièrement : Hachez vos fichiers, et vérifiez-les de temps en temps (par exemple, une fois par an, mais cela dépend du support de stockage et des conditions environnementales). Lorsque vous constatez que vos fichiers sont corrompus, il est temps de les réparer en utilisant les ECCs que vous avez générés si vous l'avez fait, et/ou de faire une nouvelle copie fraîche de vos données sur un nouveau support de stockage. Vérifier les données, réparer la corruption et faire de nouvelles copies fraîches est un très bon cycle de conservation qui garantira la sécurité de vos données. La vérification en particulier est très importante car les copies de vos fichiers peuvent être silencieusement corrompues, et si vous copiez ensuite les copies qui ont été altérées, vous vous retrouverez avec des fichiers totalement corrompus. Ceci est encore plus important avec les supports de stockage à froid, tels que les disques optiques, qui NE PEUVENT PAS vérifier automatiquement l'intégrité des données (ils implémentent déjà les ECC pour réparer un peu, mais ils ne peuvent pas vérifier ni créer de nouvelles copies fraîches automatiquement, c'est votre travail !) Pour surveiller les changements de fichiers, vous pouvez utiliser le rfigc.py script de pyFileFixity ou d'autres outils UNIX tels que md5deep . Vous pouvez également vérifier l'état de santé de certains supports de stockage comme les disques durs en utilisant des outils tels que Hard Drive Sentinel ou le logiciel libre smartmontools .

• Stockez vos supports d'archives sur différents sites (avec au moins une copie en dehors de votre maison !) pour éviter les catastrophes réelles comme les inondations ou les incendies. Par exemple, un disque optique sur votre lieu de travail, ou une sauvegarde dans le nuage peuvent être une bonne idée pour répondre à cette exigence (même si les fournisseurs de nuages peuvent être fermés à tout moment, tant que vous avez d'autres copies, vous serez en sécurité, les fournisseurs de nuages ne serviront que d'archives hors site en cas d'urgence).

• Stocker dans un endroit spécifique des conteneurs avec des paramètres environnementaux contrôlés : pour les supports optiques, stocker à l'abri de la lumière et dans une boîte étanche pour éviter l'humidité. Pour les disques durs et les cartes sd, stockez-les dans des pochettes anti-magnétiques pour éviter que l'électricité résiduelle ne vienne altérer le disque. Vous pouvez également les stocker dans des sacs/boîtes étanches à l'air et à l'eau et les placer dans un congélateur : les températures basses ralentissent l'entropie, et vous pouvez prolonger considérablement la durée de vie de tout support de stockage de cette manière (assurez-vous simplement que l'eau ne pénètre pas à l'intérieur, sinon votre support mourra rapidement).

• Utilisez matériel de bonne qualité et les vérifier au préalable (par exemple, lorsque vous achetez une carte SD, testez toute la carte avec un logiciel tel que HDD Scan pour vérifier que tout va bien avant d'écrire vos données). Ceci est particulièrement important pour les lecteurs optiques, car leur qualité peut changer radicalement la qualité de vos disques gravés, comme le démontre l'étude des Archives de France (un mauvais graveur de DVD produira des DVD qui dureront beaucoup moins longtemps).

• Choisissez soigneusement vos formats de fichiers : Tous les formats de fichiers ne sont pas résistants à la corruption, certains sont même clairement faibles. Par exemple, les images .jpg peuvent être totalement cassées et illisibles en modifiant seulement un ou deux octets. Idem pour les archives 7zip. C'est ridicule, alors faites attention au format des fichiers que vous archivez. En règle générale, un texte simple et clair aquí , aquí y aquí .

• Conservez avec vos archives de données tous les logiciels et spécifications nécessaires à la lecture des données. N'oubliez pas que les spécifications changent rapidement et qu'à l'avenir, vos données pourraient ne plus être lisibles, même si vous pouvez accéder au fichier. Vous devez donc préférer les formats et les logiciels open source, et stocker le code source du programme avec vos données afin de pouvoir toujours adapter le programme à partir du code source pour le lancer à partir d'un nouvel OS ou d'un nouvel ordinateur.

• De nombreuses autres méthodes et approches sont disponibles aquí , aquí et dans diverses parties de l'Internet.

Conclusion

Je conseille d'utiliser ce que vous pouvez avoir, mais de toujours respecter le principe de redondance (faites 4 copies !), et de toujours vérifier régulièrement l'intégrité (vous devez donc générer au préalable une base de données de hashs MD5/SHA1), et de créer de nouvelles copies en cas de corruption. Si vous faites cela, vous pouvez techniquement conserver vos données aussi longtemps que vous le souhaitez, quel que soit votre support de stockage. Le temps entre chaque vérification dépend de la fiabilité de vos supports de stockage : s'il s'agit d'une disquette, vérifiez tous les 2 mois, s'il s'agit d'un Blu-ray HTL, vérifiez tous les 2/3 ans.

Maintenant, dans l'optimal, je conseille pour la chambre froide à utiliser Blu-ray HTL disques ou DVD de qualité archive les disques sont conservés dans des boîtes opaques étanches et stockés dans un endroit frais. En outre, vous pouvez utiliser des cartes SD et des fournisseurs de services en nuage tels que SpiderOak pour stocker les copies redondantes de vos données, ou même des disques durs s'ils sont plus accessibles pour vous.

Utilisez beaucoup de codes correcteurs d'erreurs ils vous sauveront la mise. Vous pouvez également faire plusieurs copies de ces fichiers ECCs (mais les copies multiples de vos données sont plus importantes que les copies multiples d'ECCs car les fichiers ECCs peuvent se réparer eux-mêmes !)

Ces stratégies peuvent toutes être mises en œuvre en utilisant l'ensemble des outils que je développe (open source) : pyFileFixity . Cet outil est en fait né de cette discussion, après avoir constaté qu'il n'existait aucun outil libre permettant de gérer complètement la fixité des fichiers. Veuillez également consulter le fichier readme et le wiki du projet pour plus d'informations sur la fixité des fichiers et la conservation numérique.

Pour terminer, j'espère vraiment que davantage de R&D sera consacrée à ce problème. Il s'agit d'un problème majeur pour notre société actuelle, qui a de plus en plus de données numérisées, mais sans aucune garantie que cette masse d'informations survivra plus de quelques années. C'est assez déprimant, et je pense vraiment que cette question devrait être davantage mise en avant, de sorte qu'elle devienne un point de marketing pour les constructeurs et les entreprises afin de fabriquer des dispositifs de stockage qui puissent durer pour les générations futures.

/EDIT : lisez ci-dessous pour une routine pratique de curation .

Suivi rapide sur ma réponse précédente ci-dessus Dans le cas d'une réponse à une question, celle-ci sera rendue plus concise et complétée par des informations et des références supplémentaires (mais pas de première importance) que je ne peux pas ajouter dans la première réponse en raison des contraintes de longueur de 30K.

L'archivage à long terme étant un processus de conservation, voici d'autres éléments auxquels vous pouvez prêter attention pour rendre votre processus plus efficace et moins consommateur de temps (et de ressources) :

• Déduplication L'archivage à long terme n'étant possible qu'au moyen d'une redondance délibérément conçue, il convient d'éviter les données redondantes inutiles (par exemple, les copies de fichiers que vous avez récupérées sur votre disque dur d'archivage à partir de votre clé USB, mais dont vous avez déjà une copie provenant de votre ordinateur principal). Les données redondantes inutiles, qui sont généralement appelées doublons sont mauvaises, à la fois en termes de coût de stockage (elles prennent plus de ressources de stockage mais vous aurez du mal à les retrouver en cas de besoin), pour votre processus (que se passe-t-il si vous avez différentes versions du même fichier ? Comment pouvez-vous savoir quelle copie est la bonne ?) et pour votre temps (cela augmentera les temps de transfert lorsque vous synchroniserez la sauvegarde avec toutes vos archives). C'est la raison pour laquelle les services d'archivage professionnels proposent généralement des systèmes automatisés de sauvegarde et d'archivage. déduplication Les fichiers qui sont exactement similaires obtiendront le même inode, et ils ne prendront pas d'espace supplémentaire. C'est ce que fait SpiderOak par exemple. Il existe des outils automatisés que vous pouvez utiliser, et les systèmes de fichiers ZFS (Linux) ou ReFS (Windows) peuvent le faire automatiquement pour vous.

• Hiérarchisation/catégorisation Comme vous pouvez le constater, l'archivage à long terme est un processus qui prend du temps et qui doit être mené régulièrement (pour vérifier l'intégrité, synchroniser les archives entre les supports, créer de nouvelles archives sur de nouveaux supports pour remplacer celles qui sont en train de mourir, réparer les fichiers en utilisant des codes correcteurs d'erreurs, etc.) ). Pour minimiser le temps qu'il vous coûte, essayez de définir différents schémas de protection en fonction de la nature des fichiers. priorité de vos données en fonction catégories . L'idée est que lorsque vous déplacez vos données informatiques vers un de vos disques durs externes que vous utilisez pour l'archivage à long terme, vous les placez directement dans un dossier définissant la priorité de sauvegarde : "sans importance", "personnel", "important", "critique". Vous pouvez ensuite définir différentes stratégies de sauvegarde pour chaque dossier : réservez la protection complète (ex : sauvegarde sur 3 disques durs + cloud + codes correcteurs d'erreurs + BluRays) uniquement pour les données les plus critiques que vous souhaitez conserver toute votre vie (le dossier critique), puis une protection moyenne pour les données "importantes" (ex : sauvegarde sur 3 disques durs + cloud) et ensuite les "personnelles" sont juste copiées sur au moins deux disques durs externes, et les "sans importance" ne reçoivent aucune copie (ou peut-être sur un disque dur si la synchronisation n'est pas trop longue...). En général, vous verrez que "sans importance" contiendra la plupart des données, puis "personnel" moins, puis "important" beaucoup moins et "critique" sera assez minuscule (moins de 50 Go pour moi). Par exemple, dans "critique" vous mettrez votre contrat de maison et vos photos de mariage et d'accouchement. Puis dans "important" vous mettrez les documents que vous ne voulez pas perdre comme les documents légaux, quelques photos et vidéos importantes d'événements mémorables, etc. Dans "personal" vous mettrez toutes vos photos personnelles, vos vidéos de vacances et vos documents de travail, ce sont des documents et médias que vous aimeriez garder, mais que vous ne mourrez pas de regret si vous les perdez (et c'est bien parce que généralement ce dossier est ÉNORME donc vous perdrez probablement quelques fichiers à la longue...). "Les fichiers sans importance sont tous ceux que vous téléchargez sur Internet ou les divers fichiers et médias que vous avez obtenus et dont vous ne vous souciez pas vraiment (comme les logiciels, les jeux et les films). L'essentiel est que : plus le nombre de fichiers que vous souhaitez archiver à long terme est important, plus cela sera difficile (et long). Essayez donc de limiter au maximum le nombre de fichiers qui bénéficient de ce traitement spécial.

• Les méta-données sont un point critique Les méta-données : même avec de bonnes stratégies de conservation, il y a généralement une chose qui n'est pas protégée : les méta-données. Les méta-données comprennent les informations sur vos fichiers, par exemple : l'arborescence des répertoires (oui, ce ne sont que quelques octets, si vous les perdez, vos fichiers sont dans le désordre total !), le nom du fichier et son extension, l'horodatage (cela peut être important pour vous), etc. Cela peut sembler anodin, mais imaginez que demain, tous vos fichiers (y compris les fichiers fournis avec les logiciels et autres) soient placés dans un seul dossier plat, sans nom de fichier ni extension. Serez-vous capable de récupérer les fichiers dont vous avez besoin parmi les milliards de fichiers présents sur votre ordinateur, par une inspection manuelle ? Ne pensez pas qu'il s'agisse d'un scénario inhabituel, cela peut arriver aussi facilement que si vous avez une coupure de courant ou un crash au milieu d'une copie : la partition en cours d'écriture peut être totalement détruite (le fameux type RAW). Pour surmonter ce problème, vous devez être préparé et préparer vos données pour la récupération des données : pour être sûr de conserver les méta-données, vous pouvez agglomérer les fichiers avec leurs méta-données à l'aide de archives non solides comme ZIP DEFLATE ou DAR (mais pas de goudron ). Certains systèmes de fichiers offrent une redondance automatisée des méta-données, comme DVDisaster (pour les disques optiques) et ZFS/ReFS (pour les disques durs). Ensuite, en cas de panne des méta-données, vous pouvez essayer de récupérer vos partitions à l'aide de TestDisk ou GetDataBack (qui permettent une récupération partielle de l'arborescence des répertoires) ou ISOBuster (pour les disques optiques), pour récupérer l'arborescence des répertoires et d'autres méta-données. En cas d'échec, vous pouvez vous rabattre sur l'extraction de fichiers en utilisant PhotoRec : il extraira tous les fichiers qu'il reconnaît mais dans le désordre total et sans le nom de fichier ni l'horodatage, seules les données elles-mêmes seront récupérées. Si vous avez zippé des fichiers importants, vous pourrez récupérer les méta-données à l'intérieur du zip (même si le zip lui-même ne contient plus de méta-données, au moins à l'intérieur les fichiers posséderont encore les méta-données correctes). Cependant, vous devrez vérifier manuellement tous les fichiers récupérés un par un, ce qui prend du temps. Pour se prémunir contre cette possibilité, vous pouvez générer au préalable un fichier de somme de contrôle d'intégrité en utilisant pyFileFixity ou PAR2, puis utiliser ce fichier de somme de contrôle d'intégrité après le filescraping pour reconnaître et renommer automatiquement les fichiers en fonction de leur contenu (c'est la seule façon d'automatiser la récupération des méta-données du filescraping, car le filescraping ne peut techniquement récupérer que le contenu, pas les méta-données).

• Testez par vous-même vos formats de fichiers et vos stratégies de curation Nous vous conseillons de ne pas vous fier aux articles sur le type de format qui est le meilleur que l'autre, mais d'essayer par vous-même avec pyFileFixity filetamper.py ou tout simplement par vous-même en remplaçant quelques caractères hexadécimaux dans certains fichiers : vous verrez que la plupart des formats de fichiers peuvent tomber en panne avec aussi peu que 3 octets différents. Vous devez donc vraiment choisir avec soin vos formats de fichiers : préférez les fichiers texte simples pour les notes, et utilisez des formats de fichiers résilients pour les médias (ils sont encore en cours de développement comme le MPEG-4 Variable Error Correcting Code, ffmpeg l'implémente, ref sera ajouté), ou générez vos propres codes correcteurs d'erreurs.

• Lisez les études statistiques, ne croyez pas les affirmations : Comme je l'ai dit dans la réponse précédente, des affirmations extravagantes sont faites en permanence sur la longévité des supports de stockage sans aucun fait scientifique, et vous devriez vous en méfier particulièrement. En effet, rien dans la loi n'empêche le fabricant de se vanter d'allégations fausses, et invérifiables, sur la longévité. Pr Le rapport annuel de BackBlaze sur les taux de défaillance des disques durs .

• Prenez longue garantie support de stockage. Une garantie ne peut pas vous ramener vos données, mais elle vous renseigne sur la façon dont le producteur évalue le taux de défaillance de son produit (car sinon, il coûterait trop cher si le taux est trop élevé pendant la période de garantie).

Une mise à jour sur le schéma que j'utilise : J'applique la stratégie de hiérarchisation décrite ci-dessus, et j'ai ajouté le service de sauvegarde en nuage SpiderOak à mon schéma, car il propose un plan avec un stockage infini et il est totalement crypté, de sorte que je conserve la propriété exclusive de mes données. Je n'utilise PAS ce service comme unique moyen de sauvegarde pour toutes mes données, il ne s'agit que d'une couche supplémentaire.

Voici donc mon schéma actuel :

• 3 copies de disques durs régulièrement vérifiées et synchronisées et stockées dans deux endroits différents et 1 qui est toujours sur moi (je l'utilise pour stocker les déchets et pour faire des sauvegardes rapides).
• SpiderOak avec plan de stockage infini
• disques BluRay pour les données vraiment très sensibles mais pas trop grosses (je limite à 50 Go les données que je peux stocker sur ces disques)
• pyFileFixity et DVDisaster pour les dossiers que je veux vraiment m'assurer de conserver à long terme.

Ma routine quotidienne est la suivante : J'ai toujours un disque dur USB 2,5 portable que je peux utiliser pour cacher des choses sans importance (en déplaçant des fichiers de mon ordinateur vers le disque dur) ou pour sauvegarder des choses importantes (en copiant des fichiers sur le disque dur mais en gardant une copie sur mon ordinateur). Pour les fichiers vraiment critiques, j'active en plus la sauvegarde en ligne sur SpiderOak (j'ai un dossier sur mon ordinateur avec les fichiers critiques, il me suffit donc d'y déplacer les fichiers critiques et ils sont synchronisés automatiquement par SpiderOak). Pour les fichiers VRAIMENT critiques, je calcule également un fichier de correction d'erreur en utilisant pyFileFixity.

En résumé, pour les documents essentiels, je les stocke sur le disque dur portable, sur le nuage SpiderOak et sur mon ordinateur. 3 exemplaires à tout moment avec seulement deux actions rapides (copier sur le disque dur portable et déplacer dans le dossier SpiderOak). Si une copie est corrompue, je peux faire un vote majoritaire pour les réparer en utilisant pyFileFixity. C'est un régime à très faible coût (à la fois en termes de prix et de temps) mais très efficace et mettant en œuvre tous les principes fondamentaux de la conservation numérique (triple redondance, différentes copies à différents endroits, différents supports, contrôle d'intégrité et ecc par SpiderOak).

Ensuite, tous les 3 à 6 mois, je synchronise mon disque dur portable avec mon deuxième disque dur à la maison, puis tous les 6 à 12 mois, je synchronise mon disque dur portable avec mon troisième disque dur qui se trouve dans une autre maison. Cela offre l'avantage supplémentaire de la rotation (si, dans 6 mois, je me rends compte que quelque chose s'est mal passé lors de ma dernière sauvegarde et que j'ai supprimé des fichiers importants, je peux les récupérer sur l'un des deux disques durs de la maison).

Enfin, j'ai écrit quelques fichiers très critiques sur des disques BluRay en utilisant DVDisaster (et des fichiers ecc supplémentaires avec pyFileFixity mais je ne suis pas sûr que ce soit nécessaire). Je les stocke dans une boîte hermétique dans un placard. Je ne les vérifie que tous les quelques années.

Vous voyez donc que mon système n'est pas vraiment un gros fardeau : au quotidien, il me faut quelques minutes pour copier des fichiers sur le disque dur portable et dans mon dossier SpiderOak, puis je synchronise tous les 6 mois sur l'un ou l'autre des disques durs domestiques. Cela peut prendre jusqu'à une journée en fonction de la quantité de données à synchroniser, mais c'est automatisé par des logiciels, il suffit donc de laisser un ordinateur exécuter le logiciel pendant que vous faites autre chose (j'utilise un netbook à 100$ que j'ai acheté juste pour faire ça, comme ça je peux travailler sur mon ordinateur principal en même temps sans me préoccuper de planter mon ordinateur au milieu d'une copie, ce qui peut être redoutable et détruire le disque dur en cours d'écriture. ). Les codes de correction d'erreurs et les schémas BluRay ne sont que rarement utilisés pour des données vraiment critiques, ce qui demande un peu plus de temps, mais c'est rare.

Ce schéma peut être amélioré (comme toujours), par exemple en utilisant les éléments suivants ZFS/ReFS sur les disques durs ce qui permettrait de mettre en œuvre un Reed-Solomon automatisé protection par code de correction d'erreur et contrôle d'intégrité (et Blocs de débiles !) sans aucune interaction manuelle de ma part (contrairement à pyFileFixity). Bien que ZFS ne peut pas fonctionner sous les OS Windows (pour le moment) En revanche, il existe ReFS qui permet un contrôle similaire de la correction des erreurs au niveau du système de fichiers. De plus, ce pourrait être une bonne idée d'utiliser ces systèmes de fichiers sur des disques durs externes ! Un disque dur portable exécutant ZFS/ReFS avec correction d'erreur RS automatisée et déduplication devrait être génial ! (et ZFS semble être assez rapide donc la copie devrait être rapide !).

Une dernière remarque : faites attention aux déclarations concernant les capacités ECC de systèmes de fichiers tels que dans cette liste parce que, pour la plupart, il se limite aux métadonnées (telles que les noms de domaine). APFS ) ou à la mise en miroir RAID 1 ( btrfs ). À ma connaissance, seuls ZFS et ReFS fournissent de véritables codes de correction d'erreurs (et non une simple mise en miroir) des métadonnées et des données, ZFS étant le plus avancé actuellement (bien qu'encore quelque peu expérimental en 2018), notamment parce que les disques ReFS ne peuvent pas être amorçables.

/UPDATE 2020 : Il y a de nouvelles solutions qui émergent, elles sont encore en phase expérimentale précoce, utilisent une approche décentralisée souvent basée sur des blockchains immuables, et sont très intéressantes à explorer bien que probablement non utilisables pour le moment pour la plupart d'entre elles (je ne compterais pas sur elles pour sauvegarder des données critiques, mais elles pourraient être utilisées comme sauvegarde secondaire si vous vous sentez aventureux) :

• Perkeep (comparaison avec autres logiciels ). Un projet similaire est Upspin . Tous deux sont activement développés à partir de début 2020.
• Sia
• Syncthing peut faciliter les sauvegardes en miroir entre plusieurs appareils, il est gratuit et opensource
• libchop pour les développeurs
• poussière de bitume (la reconstruction n'est pas encore prête, soyez prudent !)

Il n'y a pas de solution facile. La maintenance des archives est un processus n'est pas un travail ponctuel. Les trois types de supports d'archives actuellement disponibles ont chacun leurs avantages et leurs inconvénients, mais ces arguments s'appliquent à tous les types de supports :

1. Personne ne stocke les DVD ou les disques durs pendant 30 ou 100 ans, pour des raisons évidentes. Il n'y a donc pas d'antécédents et personne ne sait comment le support va vieillir. Les tests de vieillissement artificiel ne prouvent pas grand-chose, et vous vous fiez aux tests des fournisseurs (qui ne sont pas impartiaux).

2. Vous devez stocker le support dans un environnement contrôlé pour obtenir les meilleurs résultats (température/humidité constante, faible lumière, etc.). Dans le cas contraire, la durée de vie du support est considérablement réduite.

3. Vous devez entretenir le matériel et les logiciels qui lit le support (par exemple, les interfaces SATA pourraient ne pas être facilement disponibles dans 30 ans).

Donc, à mon avis, la seule solution viable pour les utilisateurs à domicile ou les petites entreprises est la suivante :

1. Conserver des copies multiples de toutes les données sur divers types de supports (disques durs et DVD).
2. Conservez plusieurs copies de toutes les données en plusieurs endroits (à la maison et dans le coffre-fort de votre banque).
3. Copiez toutes les données sur de nouveaux supports de temps en temps (par exemple, copiez sur un nouveau disque dur et de nouveaux disques DVD tous les 2 ans. Au fur et à mesure que la densité des données augmente, vous aurez probablement besoin de moins de disques également.
4. Conservez des copies papier de toutes les données essentielles, si possible (par exemple, imprimez les grands livres annuels de votre entreprise, les photos de famille les plus précieuses, etc.)

Je choisirais le microfilm. Je ne sais pas s'il est encore fabriqué, mais je serais surpris que ce ne soit pas le cas. Les négatifs à base d'argent durent des centaines d'années s'ils sont stockés correctement. Bien sûr, cela représente un investissement énorme, et occupera une pièce entière pour la photographie et la visualisation, sans compter le stockage. Donc c'est seulement si vous voulez vraiment dire 100 ans et plus sans entretien.

Si ce n'est pas le cas - et il y a de fortes chances que ce ne soit pas le cas, à moins que vous ne vouliez créer une capsule temporelle -, utilisez simplement des sauvegardes sur disque dur et copiez le tout sur un nouveau support tous les 10 à 15 ans. Vraiment, il n'y a pas de meilleure assurance contre le vieillissement du support que de copier le tout tous les 10 ans environ. Mieux que les microfilms, mieux que les tablettes d'argile, mieux que les obélisques de pierre enterrés dans le sable du désert.