1 votes

Quel est l'effet secondaire des tables Cassandra dont la taille des partitions est supérieure à 100 Mo ?

J'exécute Apache Cassandra 3.11.1 et j'ai 6 tailles de tables en état d'échec.

Max partition is larger than 100MB.

Pour ces 6 tables, la taille des partitions est en moyenne comprise entre 200 Mo et plus de 5 Go. Ces 6 tables sont réparties sur 3 espaces clés et sont spécifiques à Persistance Akka eventsByTag (c'est-à-dire eventsByTag1, eventsByTag2).

Une grande partie des données figurant dans ces tableaux n'est pas utilisée ; elle doit encore être disponible.

J'envisage de modifier le modèle de données, mais j'essaie en même temps de mieux comprendre l'impact de la taille des partitions.

À part le fait de manquer de mémoire ou de frapper Limites de Cassandra Quels sont les autres impacts négatifs d'une partition de grande taille si la plupart des données ne sont pas accessibles ?

Un cas spécifique qui pourrait être lié (non confirmé) est que j'exécute actuellement Cassandra avec des vues matérialisées et elasticsearch. Parfois, les projections utilisées pour mettre à jour elasticsearch avec les données de Cassandra échouent et je ne sais pas encore si cela est lié.

Le message d'erreur que je reçois dans ce cas est le suivant :

Caused by: com.datastax.driver.core.exceptions.ReadTimeoutException: 
Cassandra timeout during read query at consistency LOCAL_QUORUM (2 
responses were required but only 1 replica responded)

0voto

Alex Ott Points 306

Avec cette version de Cassandra, cela devrait être mieux qu'avant, bien qu'il puisse y avoir des problèmes de performance liés à l'accès à de nombreuses SSTables, aux sélections effectuées uniquement sur la clé de partition, etc.

Cette présentation donne une bonne vue d'ensemble du travail effectué pour prendre en charge les "partitions larges", bien que ce soit toujours la façon recommandée de remodeler les données.

0 votes

Merci beaucoup Alex. Le PPT et la vidéo sont très utiles. Les SSTables et l'augmentation du nombre d'objets sur la JVM qui doivent être sérialisés et récupérés sont les principaux points que j'ai retenus lorsque la taille des partitions augmente.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X