J'ai eu un problème similaire aujourd'hui. Après la mise à niveau de (K)Ubuntu 10.04 à 12.04 (je sais que c'est un peu tard), X ne réagissait plus vraiment. Il était extrêmement lent, absolument inutilisable.
Après avoir désinstallé les pilotes Nvidia, il a fonctionné sans problème, mais la résolution graphique était intolérablement petite.
J'ai essayé toutes sortes de remèdes suggérés partout sur le web, mais rien n'a aidé.
Seule l'installation de la version 304 des pilotes Nvidia a aidé. Toutes les autres, comme 96, 173, nvidia-current ou 310 n'ont pas fait l'affaire. La plupart d'entre eux ne fonctionnaient pas du tout, de sorte que le programme nvidia-settings respectif me disait toujours que je n'utilisais pas de pilotes Nvidia, bien qu'ils soient les seuls installés et qu'il y ait un écran X devant moi. Les programmes ne faisaient que mentir.
Je recommande donc le pilote 304 (expérimental).
Et ma recommandation pour les gens de Nvidia et d'Ubuntu est de tester un peu le logiciel et de s'abstenir de publier des pilotes bogués ! C'est une vraie plaie !