J'ai une grande collection de musique et il y a quelques doublons. Existe-t-il un moyen de trouver les fichiers en double ? Au minimum en faisant un hachage et en voyant si deux fichiers ont le même hachage.
Des points bonus pour trouver également des fichiers portant le même nom, à l'exception de l'extension. Je pense que j'ai quelques chansons avec des versions au format mp3 et ogg.
Je suis heureux d'utiliser la ligne de commande si c'est le moyen le plus simple.
J'utilise fdupes pour ça. C'est un programme en ligne de commande qui peut être installé depuis les dépôts avec sudo apt install fdupes . Vous pouvez l'appeler comme fdupes -r /dir/ect/ory et il imprimera une liste de doublons. fdupes a également une fonction Page d'accueil simple et un Article de Wikipedia qui énumère d'autres programmes.
Liste des programs/scripts/bash-solutions qui peut trouver les doublons et s'exécute sous nix :
rmlint-gui paquet avec GUI (peut être lancé par rmlint --gui ou à partir du lanceur de bureau nommé Shredder Duplicate Finder )
FSlint a une interface graphique et quelques autres fonctionnalités. L'explication de l'algorithme de vérification des doublons dans leur FAQ :
1. exclude files with unique lengths
2. handle files that are hardlinked to each other
3. exclude files with unique md5(first_4k(file))
4. exclude files with unique md5(whole file)
5. exclude files with unique sha1(whole file) (in case of md5 collisions).
Si votre tâche de déduplication est liée à la musique, exécutez d'abord le programme picard pour identifier et étiqueter correctement votre musique (afin de trouver les fichiers .mp3/.ogg en double, même si leur nom est incorrect). Notez que picard est également disponible sous forme de paquetage Ubuntu.
Cela fait, sur la base de la musicip_puid tag vous pouvez facilement trouver toutes vos chansons en double.
Un autre script qui fait ce travail est rmdupe . De la page de l'auteur :
rmdupe utilise les commandes linux standard pour rechercher dans les dossiers spécifiés les fichiers en double, quel que soit leur nom ou leur extension. Avant que les candidats doublons ne soient supprimés, ils sont comparés octet par octet. rmdupe peut également vérifier les doublons par rapport à un ou plusieurs dossiers de référence, peut mettre les fichiers à la corbeille au lieu de les supprimer, permet une commande de suppression personnalisée et peut limiter sa recherche aux fichiers de taille spécifiée. rmdupe inclut un mode simulation qui indique ce qui sera fait pour une commande donnée sans supprimer réellement de fichiers.
SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.
