Comment configurer le client Spark fonctionnant dans un conteneur Docker pour une communication bidirectionnelle avec un cluster Spark distant ?

Vous pouvez exécuter les conteneurs docker avec host mode réseau. Dans votre fichier de composition, vous pouvez ajouter la configuration suivante :

services:
  worker0:
    container_name: container0
    cpuset: 0-4
    entrypoint: /entrypoint.sh
    environment:
        - SPARK_MASTER=10.34.221.247
        - RAM=16g
        - NUM_WORKERS=5
        - SHUFFLE_PORT=7338
    expose:
        - 7000-64000
    image: 10.47.7.214/spark-worker
    mem_limit: 16g
    network_mode: bridge
    tty: true

Cependant, je rencontre encore des problèmes avec cette configuration. Les travaux démarrent normalement mais le pilote docker ne parvient pas à se connecter aux exécuteurs. Vous pouvez au moins essayer ceci pour le moment.