Une meilleure recherche unix avec un traitement parallèle ?

GNU parallel peut également aider.

find /dump -type f -name '*.xml' | parallel -j8 java -jar ProcessFile.jar {}

Notez que sans l'argument -j8, parallel utilise par défaut le nombre de cœurs de votre machine :-)

Il n'est pas nécessaire de "corriger" find - utilisez plutôt make lui-même pour gérer le parallélisme.

Faites en sorte que votre processus crée un fichier journal ou tout autre fichier de sortie, puis utilisez un fichier Makefile comme celui-ci :

.SUFFIXES:  .xml .out

.xml.out:
        java -jar ProcessFile.jar $< 1> $@

et appelez-le ainsi :

find /dump -type f -name '*.xml' | sed -e 's/\.xml$/.out/' | xargs make -j8

Mieux encore, si vous vous assurez que le fichier de sortie n'est créé qu'à la fin réussie du processus Java, vous pouvez tirer profit de la gestion des dépendances de make pour vous assurer que seuls les fichiers non traités sont gérés la prochaine fois.

Find a une option parallèle que vous pouvez utiliser directement en utilisant le symbole "+"; aucun xargs n'est nécessaire. En le combinant avec grep, il peut parcourir rapidement votre arborescence à la recherche de correspondances. Par exemple, si je cherche tous les fichiers de mon répertoire sources contenant la chaîne 'foo', je peux invoquer

find sources -type f -exec grep -H foo {} +

Toutes les suggestions font fonctionner l'exécution en parallèle, mais si votre arborescence de fichiers est suffisamment grande, le goulot d'étranglement peut se trouver dans la recherche elle-même. Un de mes collègues a écrit locar comme une recherche parallèle qui est très utile lorsque votre système de fichiers peut effectuer des analyses en parallèle. Cela peut ne pas aider si votre système de fichiers est sur un seul disque dur, mais s'il s'agit d'un périphérique RAID, d'un SSD ou encore mieux d'un système de fichiers distribué, cela aidera énormément.

locar effectuera l'analyse des fichiers en parallèle sur plusieurs répertoires, vous obtiendrez donc la liste des fichiers plus rapidement et pourrez ensuite également la combiner avec xargs ou parallel pour exécuter des tâches en parallèle également.