Si vous l'avez installé à partir des dépôts Ubuntu, c'est
sudo apt-get purge phpmyadmin
Le "purge" au lieu de "remove" lui indique de supprimer aussi ses fichiers de configuration, y compris la configuration qu'il a ajoutée aux répertoires de configuration d'Apache.
Il se peut que vous soyez invité à savoir si vous voulez également supprimer sa base de données. Cela supprimera la base de données spécifique à phpMyAdmin de votre serveur MySQL. Cela ne nuira pas au serveur MySQL. Dans votre cas, sélectionnez Oui. Si vous n'êtes pas invité à le faire, vous devrez supprimer sa base de données manuellement.
Si vous l'avez installé manuellement en extrayant les fichiers dans un répertoire de serveur web, il vous suffit de supprimer tous ces fichiers et de supprimer sa base de données de votre serveur MySQL, en supposant que vous soyez allé aussi loin dans l'installation.