Fichier '/etc/sudoers' : Pourquoi dois-je utiliser la commande sudo si je suis dans le groupe sudo ?

Mon compte utilisateur sur Ubuntu est olivier.

Quand je tape la commande groups olivier, cela renvoie :

olivier : olivier adm cdrom sudo dip plugdev lpadmin sambashare

Je conclus donc que je fais partie du groupe sudo.

J'ai les lignes suivantes dans mon fichier /etc/sudoers :

# Autoriser les membres du groupe sudo à exécuter n'importe quelle commande
%sudo    ALL=(ALL:ALL) ALL

Si les membres du groupe sudo peuvent exécuter n'importe quelle commande, pourquoi ai-je besoin d'utiliser la commande sudo lorsque je veux exécuter une commande avec des privilèges (par exemple, un rm sur un dossier dont je ne suis pas le propriétaire) alors que je suis connecté avec l'utilisateur olivier ?