1 votes

Système de stockage recommandé pour un serveur de streaming vidéo

Je développe un système de vidéosurveillance qui enregistre et restitue de nombreux flux vidéo provenant de plusieurs caméras IP distantes.

Un serveur serait exécuté sur une machine qui gère environ 500 flux vidéo (250kbps par flux vidéo). Un serveur ferait partie d'une grande ferme de serveurs contrôlée par un simple serveur (sans importance ici).

Maintenant, je suis un ingénieur logiciel, et ils m'ont chargé de trouver le bon matériel pour faire fonctionner mes serveurs... Et je ne sais pas de quoi j'ai besoin !

  1. Puis-je installer linux et configurer quelques disques durs rapides en RAID et obtenir les mêmes performances qu'une solution de stockage coûteuse ?

  2. De combien de processeurs ai-je besoin, carte mère, autres ?

  3. Quelle est la meilleure marque de disques durs pour cela ?

  4. Le refroidissement par eau existe-t-il pour les disques durs ?

Désolé de poser des questions stupides, mais je suis dans l'écriture de logiciels, j'utilise le PC et c'est tout ce que j'ai besoin de savoir sur le matériel dans mon travail... : )

2voto

TomTom Points 50635

Puis-je installer linux et configurer quelques disques durs rapides en RAID et puis-je avoir les mêmes performances que certaines entreprises ? avoir les mêmes performances qu'une solution de stockage coûteuse ?

Non. Je choisirais au moins un contrôleur raid matériel décent (Adaptec est mon pari). La principale raison est que votre installation Linux est nulle en termes de réglage, simplement parce qu'elle ne dispose pas de matériel optimisé. À savoir : vous ne pouvez pas utiliser en toute sécurité la mise en cache en écriture parce que si l'alimentation tombe en panne, les disques peuvent être fous. Vous POUVEZ le faire avec un Adaptec 5805Z ou un 5805 avec BBU car si l'alimentation est coupée, le cache embarqué est sûr (pour un temps plus ou moins long - la BBU fonctionne 2 jours, le modèle Z écrit les données sur un module flash). Techniquement, j'utilise toujours Linux (sur le contrôleur).

De combien de processeurs ai-je besoin, carte mère, autres ?

Assez peu pertinent. Vous n'êtes pas limité par le CPU, sauf si vous faites de la compression. N'importe quel CPU devrait suffire, même un ATOM. Encore une fois, à moins que vous ne fassiez beaucoup plus que simplement passer les flux sur le disque, vous n'êtes pas susceptible d'avoir un problème de CPU.

Quelle est la meilleure marque de disques durs pour cela ?

Western Digital. Plus précis : Les Velociraptors, si vous avez besoin de performances décentes pour un prix décent. Le seul lecteur 10k RPM à l'exception d'un lecteur SAS beaucoup plus cher. En fonction de vos besoins en E/S, vous pouvez vous en sortir avec des disques plus grands et plus lents. Cela doit être testé et beaucoup dépend de votre codage.

Achetez un serveur de SuperMicro - 2 unités de rack de haut, place pour 24 disques durs (facteur de forme 2.5). Beaucoup d'espace pour s'étendre. Je commencerais éventuellement avec 8 disques dans une configuration RAID 10. Plusieurs cages peuvent être asservies les unes aux autres. Nécessite un contrôleur RAID SAS (comme les Adaptec mentionnés ci-dessus).

Le refroidissement par eau existe-t-il pour les disques durs ?

Oui, mais c'est totalement hors de propos pour le serveur. C'est surtout pour osmoen emaking un PC silencieux avec watercooling total et en voulant se débarrasser de la chaleur HD sans un ventilateur.

1voto

Sven Points 95985

Je retire ma réponse initiale, car j'ai confondu 125 Megabit et 125 Gigabit. Honte à moi.

Mais bien sûr, cela rend tout cela un peu plus facile :)

Donc, pour vos questions :

  1. En quelque sorte. Vous pouvez obtenir des performances assez bonnes qui devraient être plus que suffisantes pour ce cas. Je recommanderais cependant d'utiliser autant de disques que possible, et éventuellement un contrôleur raid matériel. Cela permet, entre autres avantages, de remplacer facilement les disques cassés sans aucun problème pour le système d'exploitation. Et BTW, prenez un boitier avec des baies de disques amovibles.

  2. Cela dépend surtout de ce que vous voulez faire. Une carte mère de qualité serveur avec deux sockets pour CPUS 4-core et des CPUs appropriés devrait faire l'affaire pour le stockage uniquement. Je recommanderais beaucoup de RAM, cependant, pour avoir une mémoire tampon lorsque, pour une raison quelconque, l'écriture sur le disque se bloque pendant un court moment. Pensez à au moins 16 ou 24GB.

  3. Le temps d'accès est important dans ce scénario, vous devez donc opter pour des disques durs de qualité serveur avec au moins 10 000 tr/min ou mieux, voire 15 000 tr/min. La capacité dépend de la durée pendant laquelle vous souhaitez conserver les données (à 125 Mega bit/s au total pour votre flux, vous obtenez environ 50 Go/heure).

  4. Pourquoi le refroidissement par eau ? Je ne connais aucun système qui offre un refroidissement par eau pour les baies de disques amovibles.

1voto

lanoxx Points 1081

Combien de temps devez-vous conserver les enregistrements ?

Vous pousserez environ 16 Mo par seconde, soit environ 1,25 To par jour.

Votre réseau de disques devra être volumineux, mais pas très rapide. Si votre logiciel d'enregistrement met un peu en mémoire tampon, vous n'aurez même pas beaucoup d'iops. Je peux facilement voir un raid logiciel linux comme vous le mentionnez gérer cette charge, surtout si vous lui donnez quelques Go de RAM pour la mise en mémoire tampon. Cela suppose un logiciel décent.

Si vous ne transcodez pas la vidéo dans un format différent, vous n'aurez pas besoin d'un processeur très puissant, n'importe quel processeur intel/amd moderne fera l'affaire. Vous aurez besoin d'un réseau gigabit.

En marque Il est difficile de répondre à cette question, mais j'opterais pour une certaine redondance (raid5) et j'achèterais des disques SATA bon marché d'une marque réputée.

Pour le refroidissement (et la fiabilité), j'opterais pour un châssis séparé qui abrite le nombre de disques requis. Le châssis fournira le flux d'air nécessaire pour maintenir les disques au frais. Avec les informations actuelles, je ne vois pas l'intérêt de passer au refroidissement par eau.

1voto

snuggles Points 196

Je suggère de demander à ces gars du MIT : http://www.media.mit.edu/cogmac/projects/hsp.html

Dans le cadre du projet "Human Speechome", ils ont enregistré 3 ans avec 11 caméras de haute qualité et 14 microphones dans une maison. La maison était équipée d'une matrice de disques de 5 To et d'un cluster de 10 nœuds. Après compression, 300 Go s'accumulaient chaque jour. Les données étaient périodiquement transférées vers la ferme de serveurs du MIT via des disques portables.

Vous disposez d'environ 100 fois plus de flux vidéo qu'eux, mais ils peuvent tout de même avoir des informations importantes que vous pouvez très probablement obtenir par une rapide conversation par e-mail. Leur matériel a plus de 5 ans et demi.

Voici un exposé Ted de 20 minutes sur le projet : http://www.ted.com/talks/deb_roy_the_birth_of_a_word.html (si vous n'avez pas le temps, faites défiler jusqu'au point 1m 00s et regardez pendant quelques minutes).

Publication : http://www.media.mit.edu/cogmac/publications/cogsci06.pdf

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X