Je suis en train de mettre en œuvre un workflow hybride utilisant des ressources de calcul locales + la plateforme Google Cloud. Le système fonctionne parfaitement, cependant nous avons rencontré des vitesses de téléchargement terribles, ce qui était le principal obstacle dans notre pipeline (environ 300 Go de données / exécution) et nous avons environ (5 - 10 / semaine) et la vitesse de téléchargement habituelle avec gsutil est d'environ 5,5 mbps - terrible!
Pour télécharger beaucoup de données, nous avons fait nos recherches et avons réussi à obtenir une connexion interconnectée attachée à un projet spécifique (projectIC). [L'Interconnect est essentiellement un tuyau dédié pour accéder plus rapidement à GCP] - Cela a été un succès et si je lance une machine virtuelle dans projectIC, je peux faire un ping sur l'adresse IP interne depuis notre réseau interne. Je pourrais également faire un simple scp et transférer à environ 22mbps - ce qui est une excellente nouvelle!
Cependant, nous dépendons de gsutil pour transférer nos données vers le Cloud. C'est une partie du workflow et c'est la méthode recommandée pour stocker les données (dans un bucket, plutôt que sur une machine virtuelle)
Un autre problème est que l'interconnect est spécifique au projet, et nous aimerions connecter d'autres projets à ce projet (recherche ci-dessous)
Je suis un développeur de logiciels avec une expérience de base dans le cloud, et je suis également prêt à apprendre mais j'ai juste besoin que quelqu'un me dirige dans la bonne direction.
Il semble y avoir deux solutions évidentes : 1. Télécharger de LOCAL à VM vers BUCKET 2. Connecter l'Interconnect à Cloud API - pas sûr si c'est possible.
Après quelques recherches, je crois que voici les étapes que je dois suivre :
- Créer un réseau VPC dans projectIC et projectOTHER
- Mettre à jour les règles de pare-feu pour les deux
- Créer un VPN pour projectIC et projectOTHER
- Créer un CloudRouter pour projectIC et projectOTHER
- Créer (au moins 2) tunnels VPN pour projectIC et projectOTHER
- Routeur BGP (pour router le trafic)
Et à ce stade, je devrais être capable de communiquer de projectOTHER à projectIC via le tunnel VPN. Si ce qui précède est correct, cela résout l'un de mes problèmes. S'il y a ensuite un moyen pour moi de connecter l'API cloud afin que lorsque j'utilise gsutil cp gs:// cela utilise le tuyau dédié et me donne (au moins 22.2mbps au lieu des 5.5mbps actuels)
J'espère avoir réussi à expliquer mon problème de manière assez claire. Tout conseil ou orientation serait grandement apprécié. Si vous avez besoin de plus d'informations, faites-le moi savoir!
Il semble qu'il n'y ait eu aucune activité sur cette question et je ne peux toujours pas utiliser mon interconnect avec les Buckets de stockage GCP. N'y a-t-il pas de professionnels GCP ici?
