Puis-je supprimer tout le système de package?

Oui, vous pouvez le faire mais ce serait une très mauvaise idée.

Si vous exécutez :

sudo apt-get remove 'apt.*'

apt affichera l'avertissement :

AVERTISSEMENT : Les paquets essentiels suivants seront supprimés.
Cela NE doit PAS être fait sauf si vous savez exactement ce que vous faites !

Mais encore une fois, vous pouvez effectuer l'opération car les tâches de niveau inférieur seront effectuées par dpkg.

apt-get est le gestionnaire de paquets, l'outil qui supprime les packages. Ne le supprimez pas sinon vous ne pourrez rien supprimer.

Pour supprimer des packages depuis le terminal, exécutez :

sudo apt-get remove firefox

À titre d'exemple