Apache - écouter uniquement sur un domaine spécifique, pas sur une adresse IP

Comment puis-je configurer Apache pour qu'il refuse les connexions provenant directement de l'adresse IP (http://xxx.xxx.xxx.xxx) au lieu du nom vhost http://example.com?

Ma configuration VirtualHost :

ServerName example.com

        ServerName example.com

        DocumentRoot /var/www/

                AllowOverride All
                Order allow,deny
                allow from all