J'ai rencontré le même problème et je l'ai résolu en cliquant dans le groupe VirtualBox de mon utilisateur. Vous pouvez y accéder en installant gnome-system-tools (il n'est pas inclus dans Ubuntu 12.04 Precise Pangolin), soit via le Centre logiciel Ubuntu, Synaptic ou en tapant dans le terminal :
sudo apt-get install gnome-system-tools
N'oubliez pas que pour coller dans le terminal, vous devez utiliser les touches Ctrl+Shift+V, contrairement à Ctrl+V.
Vous devrez probablement entrer votre mot de passe pour autoriser l'installation et ajouter un Y (pour oui) pour terminer l'installation des paquets.
Ensuite, allez dans votre menu Dash et tapez utilisateurs. Vous verrez deux applications. La bonne est Utilisateurs et Groupes.
Ensuite, cliquez sur Paramètres avancés pour votre utilisateur et entrez votre mot de passe.
Vous verrez ensuite une fenêtre avec trois onglets. Cliquez sur Privilèges utilisateur. Trouvez la ligne qui indique Utiliser la solution de virtualisation VirtualBox et cliquez sur OK.
Il se peut que l'on vous demande à nouveau votre mot de passe. Ensuite, cliquez sur Fermer, déconnectez-vous et reconnectez-vous.
Lorsque vous démarrez VirtualBox, vous devriez voir toute une série de nouveaux périphériques USB.
Bonne chance !