C'est vrai, avec Hadoop et quelques astuces, vous pouvez faire la même chose que ce qu'un DWH est capable de faire.

Cependant, il n'est pas utile de réinventer la roue pour que Hadoop fasse les mêmes choses qu'un entrepôt de données de manière inefficace. Beaucoup peuvent dire qu'Hadoop est moins cher qu'un entrepôt de données en termes de matériel et de logiciel : c'est vrai, il y a une grande différence, mais nous devons considérer le temps passé à mettre en œuvre un tel système, le savoir-faire et les compétences requises, la maintenance du cluster, les mises à niveau des services et le risque d'utiliser des outils immatures ou des outils qui pourraient être abandonnés à l'avenir.

Les véritables aspects à prendre en compte pour choisir entre Hadoop et un entrepôt de données sont les suivants :

• Type de charges de travail (lecture vs écriture, tactique vs rapport, etc.)
• Type de données (structurées ou non structurées)
• Intégration des données (schéma sur lecture vs schéma sur écriture)
• Interroger les SLA (temps d'exécution, concurrence, etc.)
• Compétences requises (quantité de ressources et de savoir-faire nécessaires à la mise en œuvre)
• Conformité SQL (intégration avec les outils)
• Optimisation (gestion des charges, index, cartes de hachage, etc.)
• Maturité (sécurité, bogue, etc.)
• Type d'analyse (analyse SQL ou non SQL)

Une architecture hybride composée des deux s'adapte parfaitement à de nombreux cas d'utilisation. Je peux économiser les ressources (CPU, stockage) de l'entrepôt de données en déchargeant les données historiques et le traitement ETL sur Hadoop. et en même temps, je peux obtenir des performances plus élevées, une intégration des données et une haute concurrence en interrogeant les données "chaudes" stockées dans l'entrepôt de données.

Réponse au commentaire :

Cela dépend de ce que vous voulez faire avec Hadoop, vous pouvez remplir l'entrepôt de données directement en mettant les données brutes sur Hadoop et faire l'ETL dessus pour charger l'entrepôt.

Il existe de nombreux cas d'utilisation liés à l'intégration d'Hadoop avec un entrepôt de données, par exemple :

• Lac de données : toutes les données brutes stockées sur Hadoop. Cela peut vous donner un endroit où vous pouvez capturer, affiner et explorer les données brutes originales et les les métadonnées et éventuellement faire des agrégations ou des ETL pour remplir un modèle de données dans le entrepôt de données.
• Historicisation : vous pouvez développer des scripts pour décharger des données froides vers Hadoop (par exemple, les transactions de l'année dernière sur DWH et les transactions plus anciennes sur Hadoop). Vous pouvez accéder aux deux données via un fédérateur de requêtes (par ex. Presto) qui peut vous donner la possibilité de joindre des données qui résident sur des différentes plates-formes (par exemple, pour faire l'UNION ALL entre la partie historique d'une table sur Hadoop et la partie récente sur l'entrepôt de données).

Si vous voulez utiliser Hadoop comme un lac de données, le flux de données est le suivant : source -> HDFS (nettoyage) -> entrepôt de données.

Si vous utilisez Hadoop uniquement pour l'historisation : source -> entrepôt de données -> HDFS

Les fédérateurs de requêtes comme Presto ouvrent de nombreux cas d'utilisation et la possibilité d'utiliser des données provenant de différents systèmes dans une même requête. Cela ouvre la possibilité d'avoir des données froides sur Hadoop et des données chaudes sur l'entrepôt de données OU la possibilité d'avoir les données "principales" sur l'entrepôt de données et le reste sur Hadoop.

Hadoop est une option parmi d'autres pour les situations que vous avez énumérées. Il semble que vous recherchiez un seul système/fédérateur/datapipe à partir duquel vous pouvez interroger de manière ad hoc plusieurs sources de données. Les autres options pour les fonctions Hadoop sont Spark, Pentaho, Apache Pig et Hortonworks.

Mais au lieu de considérer d'abord cet outil, penchez-vous sur vos besoins en matière de données et d'analyse.

1. Vous disposez de plusieurs sources de données
2. Vous voulez exécuter des requêtes ad-hoc
3. Vous devez gérer ces multiples sources de données pour qu'elles soient accessibles et "interrogeables" par vos analystes et utilisateurs finaux. Et vous (en pensant en termes informatiques) devez être capable d'effectuer cette gestion sans que cela ne devienne un second travail.
4. Je suppose que vous ajouterez d'autres sources de données au fil du temps.
5. Je suppose que vos sources de données vont croître et que le potentiel existe pour des requêtes sur des ensembles de données plus importants. 6. Vous voulez une reprise après sinistre et une sécurité/conformité.
6. Vous aimeriez avoir la possibilité d'utiliser une variété de méthodes d'interrogation, y compris les procédures stockées.

En regardant d'abord cela, déterminez quels outils répondent à ces besoins. Il existe des fournisseurs d'IPaaS (Integration Platform as a Service - essentiellement l'intégration de données dans le nuage) tels que Mulesoft et SnapLogic. Vous avez Hadoop et ses cousins, je dis cousins parce que dans cet espace, les produits ont tendance à avoir suffisamment de différences pour que je ne puisse pas les mettre dans le même panier que les bases de données SQL. Vous avez les lacs de données, qui utilisent des données brutes et facilitent ainsi le travail de transformation lourd. Il y a aussi le traitement des flux de données, qui gère plusieurs flux de données et filtre les données au lieu de les rejeter.

Examinez les besoins de votre entreprise (y compris le budget et les ressources), comparez-les à ce qui est disponible et déterminez ensuite le meilleur outil pour votre entreprise.

Hadoop est un cadre et l'entrepôt de données est un logiciel... Confusion ? L'entrepôt de données ne fait que coordonner les données et vous. Il s'occupera simplement de stocker et de maintenir le cycle de vie des données. Alors qu'Hadoop, en plus de la coordination entre les données et vous, effectue des opérations simples/complexes sur les données si vous lui demandez de le faire.

La raison pour laquelle Hadoop ne peut pas être mieux adapté à l'entreposage de données est qu'il existe plusieurs autres outils permettant d'accomplir la même tâche de manière plus efficace qu'Hadoop.