Triage d'un fichier texte délimité VRAIMENT GRAND sous UNIX / VMS

Peut-être cette question devrait-elle vraiment être sur un autre site SE, mais voici mon avis sur cette question.

1) Est-ce que le tri de base que vous avez fourni dans votre question est assez rapide? À quelle vitesse devrait-il être? Mon ordinateur de bureau de 2 ans trie 270 Mo de fichiers journaux d'accès Apache en 21 secondes.

2) Si ce n'est pas assez rapide, vous pouvez essayer de trier d'abord chaque fichier individuellement, puis les fusionner avec "sort -m"

3) Si ce n'est toujours pas assez rapide et que vous avez plus d'un CPU/core, parallélisez le processus avec GNU Parallel

4) Si ce n'est toujours pas assez rapide et que vous avez plus de machines disponibles, parallélisez le processus de tri sur plusieurs machines avec GNU Parallel