Nous aurons une machine au travail, qui, au maximum de ses performances, devrait pouvoir pousser 50 ("têtes d'écriture") x 75GB de données par heure. Cela représente une performance de pointe de ~1100MB/s en vitesse d'écriture. Pour obtenir cela de la machine, il faut deux lignes de 10GBi. Ma question est la suivante : quel type de serveur et de technologie peut gérer/stocker un tel flux de données ?
Actuellement, pour le stockage des données, nous travaillons avec ZFS, bien que les vitesses d'écriture n'aient jamais été un problème. (nous ne sommes même pas proches de ces vitesses) ZFS (zfs sur linux) serait-il une option ? Nous avons également besoin de stocker beaucoup de données, le "guide informatique" suggère quelque chose entre 50-75 TB au total. Donc, il ne peut probablement pas y avoir que des SSD, sauf si nous voulons offrir notre premier enfant.
Quelques ajouts basés sur les excellentes réponses :
- le maximum est de 50x75GB/heure pendant la période de pointe qui est inférieure à 24h (la plupart des probablement <6h)
- Nous ne nous attendons pas à ce que cela se produise bientôt, mais il est plus probable que nous 5-10x75GB/heure
- il s'agit d'une machine pré-alpha, mais les exigences devraient être satisfaites (même si de nombreux points d'interrogation sont en jeu).
- nous utiliserions NFS comme connexion de la machine au serveur
- disposition : machine génératrice -> stockage (celui-ci) -> (raid 6 sécurisé) -> cluster de calcul
- donc la vitesse de lecture n'est pas essentielle mais il serait agréable de l'utiliser à partir du cluster de calcul (mais c'est totalement facultatif).
- il s'agira très probablement de gros fichiers de données (pas beaucoup de petits)
