Je suis en train d'auto-apprendre Hadoop, depuis hier. Dans le but d'apprendre, j'ai installé Ubuntu 13.04 64-bit sur VMWare Fusion sur mon MacBook Pro. Et je suis ce excellent tutoriel. Avant cela, je n'avais jamais utilisé Ubuntu comme plateforme de développement.
Jusqu'à présent, j'ai réussi à configurer Hadoop et à exécuter avec succès l'exemple WordCount. Mais en cours de route, je dois utiliser sudo
pour faire quoi que ce soit, par exemple démarrer les services Hadoop :
/usr/local/hadoop/hadoop-1.1.2/bin/start-all.sh
ne fonctionne jamais, donnant des exceptions, mais sudo /usr/local/hadoop/hadoop-1.1.2/bin/start-all.sh fonctionne bien. Il en est de même avec stop-all.sh
et pour pratiquement tout le reste.
De plus, lors du démarrage des services Hadoop, le système d'exploitation demande le mot de passe plusieurs fois (une fois avant le démarrage de chaque composant). stop-all.sh
.
Je n'ai pas pu copier les fichiers téléchargés sur /usr/local/hadoop
en utilisant l'interface utilisateur. J'ai dû les copier en utilisant le terminal en utilisant sudo
.
Si j'ouvre '/usr/local' dans l'interface utilisateur, il n'y a pas de permission pour copier, déplacer, supprimer ou créer un nouveau dossier. J'ai cherché comment modifier les autorisations, mais pour ce dossier, le propriétaire n'est pas l'utilisateur connecté, mais l'utilisateur root, de sorte que l'interface utilisateur permettant de définir les autorisations est désactivée. Et on ne peut pas se connecter en tant que root et utiliser l'interface utilisateur connectée en tant que root.
Aussi, quand est venue l'étape d'ajouter des configurations aux /usr/local/hadoop/bin/start-all.sh
, conf/mapred-site.xml
y conf/hdfs-site.xml
je n'ai pas pu sauvegarder les modifications en utilisant GEdit, et j'ai dû faire des modifications en utilisant nano
(précédé de sudo
), ce qui est à nouveau dû aux permissions.
Une chose différente dans ma configuration est qu'au lieu de /usr/local/hadoop/
J'ai utilisé /usr/local/hadoop/hadoop-1.1.2/
comme dossier d'extraction d'Hadoop.
Mes questions sont les suivantes :
- Comment ajouter des permissions pour que je puisse utiliser l'interface utilisateur, et GEdit ou n'importe quel autre logiciel de gestion de l'information ? éditeur de mon choix ?
- Comment faire en sorte que toutes les commandes s'exécutent sans
sudo
? - Et une question sans rapport avec le sujet, quel est le meilleur IDE pour Hadoop ? Venant de Visual Studio et XCode, je cherche un IDE gratuit que je peux utiliser pendant que je m'habitue à faire des choses en utilisant le logiciel Hadoop. libre que je peux utiliser tout en m'habituant à faire des choses en utilisant le terminal et en utilisant GEdit pour les changements simples dans le code ?