Comment écrire 1 million de données/sec ?

Comment écrire 1 million de données/sec ? - BI/Big Data - Programmation

Marsh Posté le 04-12-2014 à 21:42:14    

Deux tests sur des clusters sous Google Compute Engine:

 

Cassandra sur 330 serveurs (3 milliards de messages)

 

Aerospike sur 50 serveurs (100 millions de messages, dataset en RAM, donc ce n'est pas comparable avec le test de Cassandra)

 

Retours d'expérience entre les deux: http://stackoverflow.com/questions [...] -cassandra


Message édité par el muchacho le 07-12-2014 à 06:17:39

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien
Reply

Marsh Posté le 04-12-2014 à 21:42:14   

Reply

Marsh Posté le 11-12-2014 à 09:44:48    

Au tour de la base key-values FoundationDB de la jouer gros bras:
14,4M d'insertions/sec sur 32 instances Amazon c3.8xlarge, dans des transactions ACID qui plus est ! (1 milliard de couples clé-valeur, les transactions sont bien commitées sur disque)

 

A noter que le test ne dure que 5 mn, donc les clefs pourraient être entièrement en RAM, et que la base ne gère pas plusieurs data centers. Pas open source, payant au-dela de 6 processes, mais il faut compter le coût total du cluster: si une BD nécessite un cluster 4x plus petit, le coût total en production peut être inférieur.


Message édité par el muchacho le 11-12-2014 à 13:17:20

---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien
Reply

Marsh Posté le 11-12-2014 à 13:07:42    

Sans oublier des requêtes limitées à 5 secondes  [:cerveau zytrasnif]


---------------
Python Python Python
Reply

Marsh Posté le 11-12-2014 à 14:01:43    

Ouais, ça peut être un peu ennuyeux. De toute façon, cette base ne me paraît pas mature pour le moment, même si elle a l'air prometteuse. A 500 000 inserts/s/node, les perfs sont vraiment au top (et en lecture, ils atteignaient >8,5M reads/s). Tellement que ça en est presque suspect...


---------------
Les aéroports où il fait bon attendre, voila un topic qu'il est bien
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed