Je travaille avec hadoop et j'ai besoin de changer le nombre de fichiers ouverts. ulimit -n . J'ai vu des questions similaires sur stackoverflow et ailleurs et j'ai essayé tout ce qui est indiqué dans ces réponses, mais cela ne fonctionne toujours pas. Je travaille avec ubuntu 12.04 LTS . Voici ce que j'ai fait :
modifier les limites en /etc/security/limits.conf J'ai défini des paramètres pour * et root . J'ai également modifié les limites en les remplaçant par des nombres comme 10000 y unlimited .
* soft nofile 1513687
* hard nofile 1513687
root soft nofile 1513687
root hard nofile 1513687J'ai également essayé le réglage ci-dessus avec - 代わりに soft y hard . Après ces changements, j'ai modifié /etc/pam.d/ tels que :
common-session
common-session-noninterative
login
cron
sshd
su
sudoJ'ai ajouté session required pam_limits.so au début de chaque fichier. J'ai redémarré la boîte en question et les réglages n'ont pas pris effet.
J'ai également découvert qu'il y avait des fichiers à l'intérieur /etc/security/limits.d/ pour les utilisateurs hbase mapred y hdfs . J'ai également essayé de modifier les limites dans ces fichiers individuels, mais en vain.
J'ai essayé de mettre ulimit -S -n unlimited en /etc/profile également. Cela n'a pas fonctionné.
Enfin, j'ai essayé de mettre limit nofile unlimited unlimited en /etc/init.d/hadoop* en première ligne. N'a pas fonctionné.
Une chose intéressante cependant, je n'ai pas installé hbase sur la boîte mais j'ai un hbase.conf fichier à l'intérieur /etc/security/limits.d/ répertoire. Les paramètres de ce fichier sont reflétés par ulimit -n . Mais les paramètres de hdfs.conf y mapred.conf ne sont pas reflétées. Ce qui suggère que quelque chose écrase les paramètres des hdfs y mapred .
Je pense que j'ai essayé tout ce que les gens ont suggéré sur plusieurs forums, y a-t-il quelque chose d'autre que j'ai pu manquer ou que j'ai fait incorrectement ?
J'utilise CDH 4.4.0 comme distribution hadoop.
