Quel hébergeur pour BDD POSTGRESQL ? - SQL/NoSQL - Programmation
Marsh Posté le 14-02-2021 à 10:57:55
Euh, c'est pas gros, c'est plutôt "énorme" ça.
Et j'imagine qu'il ne faut pas juste la poser dans un coin et l'oublier, mais plutôt prévoir des plans de backup donc de l'espace en plus, des accès en R/W depuis un peu partout donc de la bande passante réseau, de la haute disponibilité...
A ce stade de volume, c'est plus vraiment une question de techno supportée par l'hébergeur : tu prends le plus sérieux du marché, tu fais installer ta machine dimensionnée selon tes besoins, et tu fais ce que tu veux dessus.
Donc je pense que tu vas devoir être un peu plus précis .
Marsh Posté le 14-02-2021 à 11:33:33
C'est clair que c'est pas chez 1&1 ou similaire que tu vas pouvoir aller comme ça tranquillou. Faudra surement discuter avec un commercial pour qu'il te fasse une offre.
OVH, peut-être, AWS ?
Marsh Posté le 14-02-2021 à 12:30:55
ça dépende tes traitements, mais chez AWS tu peux mettrepostgresql sur un db.m5.24xlarge ( 48 coeur, 96 thread, 384go de ram ) au plus
Marsh Posté le 14-02-2021 à 15:34:30
flo850 a écrit : ça dépende tes traitements, mais chez AWS tu peux mettrepostgresql sur un db.m5.24xlarge ( 48 coeur, 96 thread, 384go de ram ) au plus |
Et tout ça pour la modique somme de 50000€/an environ . Donc encore une fois il faut être sûr de ce dont tu as besoin et des moyens que tu peux y mettre, ça revient un peu plus cher qu'un disque dur de 5To...
Marsh Posté le 14-02-2021 à 15:57:45
BrytlytDB, aka PostgreSQL accéléré par des GPU nVidia
https://tech.marksblogg.com/benchmarks.html
Marsh Posté le 14-02-2021 à 19:04:14
Merci à tous pour vos réponses.
Quand je dis 5To c'est en capa maximale.
Pour le moment je fais des tests en local et j'en suis loin mais ça pourrait grimper vite.
Donc effectivement, des backup et tout le tralala sur une capacité de données de 1 To
J'ai des sites chez OVH mais en MySQL et là, je peux pas faire en MySQL, c'est pas assez rapide, et je teste depuis quelques temps, l'architecture est en PostGreSQL
Merci en tout cas.
Marsh Posté le 14-02-2021 à 19:57:34
ReplyMarsh Posté le 14-02-2021 à 20:08:17
flo850 a écrit : je suis curieux de ton use case pour de tels volumes |
Ha ha ha secret défense...
Marsh Posté le 14-02-2021 à 20:09:50
en tout cas, ça a intérêt a cracher des €€ parceque ça va te couter une blinde à faire tourner
Marsh Posté le 14-02-2021 à 20:34:20
ReplyMarsh Posté le 14-02-2021 à 21:45:34
erwan83 a écrit : Merci à tous pour vos réponses. |
T'as essayé de tuner le fichier de conf de Mysql pour être aussi définitif sur les perfs de Mysql par rapport à Postgres ?
Marsh Posté le 14-02-2021 à 22:17:17
rufo a écrit : |
Oui j'ai passé les capacités au maximum de ma machine et vraiment ça n'a rien à voir. Essentiellement je tourne sur de la gestion de gros paquets de texte et je trouve la différence plutôt flagrante.
Marsh Posté le 14-02-2021 à 22:53:47
Si t'as des pbs de perfs lors d'imports, j'avais constaté qu'il valait mieux supprimer les index avant l'import puis les remettre après.
Pour les select, il peut être nécessaire de modifier la taille des buffers des infos remontées et ceux nécessaires au tri.
Marsh Posté le 15-02-2021 à 09:33:47
tu peux aussi regarder du cote d'elastic search si ton cas est de recharcher dans du texte
Marsh Posté le 15-02-2021 à 12:51:38
C'est clair que si c'est des documents, un BD NoSQL orienté docu serait plus adaptée.
Marsh Posté le 16-02-2021 à 13:23:55
Avec le budget on peut mieux te diriger.
Soit tu te tournes sur une solution cloud autogéré hors de prix soit un serveur (dédié ou virtuel) et là c'est à toi de gérer les sauvegardes replicas et autres mais c'est beaucoup moins chères
Marsh Posté le 16-02-2021 à 15:20:47
erwan83 a écrit : Hello... |
C'est tellement vague que honnêtement tu auras une réponse parfaitement inutile...
Et vu que tu ne souhaites pas en dire plus, ben ca n'ira nulle part.
Pelle melle dans les techniques couramment utilisé sur ce genre de volume, tes deux grosses limites seront la ram et le disque, donc:
- Avec postgresql, ca commence quasi systématiquement par partitionner tes tables via "ton champ le plus utile a partionner (rien que ca, vaste question)" ( https://www.postgresql.org/docs/13/ [...] oning.html )
- avoir 2 bdd est assez courant, une "hot" qui gère les données en accès ultra rapide, et une moins chere, plus lente. Et donc 4x BDD vu que tu dois backup.
- ensuite si c'est un jeu de données "standard", il faut aussi se poser la question des indexes. Stocker un index en ram n'est pas toujours la solution et là encore ca s'étudie: https://www.cybertec-postgresql.com [...] rformance/
Enfin bref c'est très très large, et il y a énormément de choses a faire/n'est pas du tout a la portée d'un simple test pour être franc.
Quand a la machine: chez toi si tu veux un cout pas trop élevé, en housing pour un cout modéré, chez AWS & co pour certaines garanties.
Sachant que, pour n'importe laquelle de ces solutions, si c'est une vrai boite et pas un truc pour le fun, tu vas avoir du boulot spécialement lié au provider que tu as choisis a ces tailles là (cad le tuning pour AWS ne sera pas pareil qu'en housing et pas pareil que chez toi).
EDIT: et vu que tu sembles plus familier avec MySQL tu peux regarder du côté de MyRocks: http://myrocks.io/docs/getting-started/
Qui est l'engine utilisé par Facebook pour palier a InnoDB et MySQL (en gros c'est MySQL avec RocksDB ce truc)
Marsh Posté le 22-02-2021 à 09:42:42
Devil'sTiger a écrit : |
Merci beaucoup pour ces précisions.....
Marsh Posté le 14-02-2021 à 09:04:51
Hello...
La question est dans le titre.
Je cherche un hébergeur sérieux qui puisse me loger une grosse BDD PostgreSQL (5 To env)
Auriez-vous une idée ??
MERCI !!