La réponse est ici https://askubuntu.com/a/1080512/740291 grâce à Hatsune qui est légèrement différente de la solution de HattinGokbori87...
sudo apt install ffmpegthumbnailer
Ensuite, j'ai redémarré l'ordinateur mais je ne pouvais toujours pas voir les miniatures des vidéos dans le gestionnaire de fichiers, alors j'ai essayé d'installer un autre paquet comme ceci : (edit: c'est la partie importante pour le faire fonctionner pour Ubuntu 20.10)
sudo apt install gstreamer1.0-libav
Ensuite, j'ai nettoyé le répertoire comme ceci :
rm -r ~/.cache/thumbnails/fail
J'ai réouvert le gestionnaire de fichiers Ubuntu, ça marche !
Mise à jour : Pour Ubuntu 20.04, cette méthode s'applique toujours (je viens de mettre à niveau le système d'exploitation de mon ordinateur de Ubuntu 19.10 à Ubuntu 20.04). edit: Cela fonctionne aussi pour 20.10.