La connexion a été refusée par l'autre partie : 111 : Connexion refusée

J'ai fait quelques recherches à ce sujet et j'ai trouvé un fil de discussion très similaire sur serverfault. aquí . Il semble que votre noyau puisse être un facteur limitant dans ce cas particulier, car un nombre aussi élevé de connexions simultanées n'est pas très courant. La réponse acceptée indique que cela pourrait être dû à un débordement de la table ip_conntrack.

Sur Ubuntu (serveur), une solution pourrait consister à définir des paramètres personnalisés dans le fichier /etc/sysctl.conf

net.ipv4.netfilter.ip_conntrack_max = 32768
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_orphan_retries = 1
net.ipv4.tcp_fin_timeout = 25
net.ipv4.tcp_max_orphans = 8192
net.ipv4.ip_local_port_range = 32768    61000

Jetez un coup d'œil au fil de discussion dont j'ai fait le lien, et soyez toujours très prudent avec des configurations personnalisées.

J'ai eu le même problème. Essayez d'exécuter votre spider en tant que superutilisateur. J'exécutais le spider directement avec la commande scrapy runspider alors que je viens d'essayer de l'exécuter avec :

sudo scrapy runspider

ça a marché.