Quel hébergeur pour BDD POSTGRESQL ?

Quel hébergeur pour BDD POSTGRESQL ? - SQL/NoSQL - Programmation

Marsh Posté le 14-02-2021 à 09:04:51    

Hello...
La question est dans le titre.
Je cherche un hébergeur sérieux qui puisse me loger une grosse BDD PostgreSQL (5 To env)
Auriez-vous une idée ??
MERCI !!

Reply

Marsh Posté le 14-02-2021 à 09:04:51   

Reply

Marsh Posté le 14-02-2021 à 10:57:55    

Euh, c'est pas gros, c'est plutôt "énorme" ça.
Et j'imagine qu'il ne faut pas juste la poser dans un coin et l'oublier, mais plutôt prévoir des plans de backup donc de l'espace en plus, des accès en R/W depuis un peu partout donc de la bande passante réseau, de la haute disponibilité...
A ce stade de volume, c'est plus vraiment une question de techno supportée par l'hébergeur : tu prends le plus sérieux du marché, tu fais installer ta machine dimensionnée selon tes besoins, et tu fais ce que tu veux dessus.
Donc je pense que tu vas devoir être un peu plus précis [:spamafote].


Message édité par TotalRecall le 14-02-2021 à 11:00:49

---------------
Réalisation amplis classe D / T      Topic .Net - C# @ Prog
Reply

Marsh Posté le 14-02-2021 à 11:33:33    

C'est clair que c'est pas chez 1&1 ou similaire que tu vas pouvoir aller comme ça tranquillou. Faudra surement discuter avec un commercial pour qu'il te fasse une offre.
OVH, peut-être, AWS ?


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Marsh Posté le 14-02-2021 à 12:30:55    

ça dépende  tes traitements, mais chez AWS tu peux mettrepostgresql  sur un db.m5.24xlarge ( 48 coeur, 96 thread,  384go de ram  ) au plus


---------------

Reply

Marsh Posté le 14-02-2021 à 15:34:30    

flo850 a écrit :

ça dépende  tes traitements, mais chez AWS tu peux mettrepostgresql  sur un db.m5.24xlarge ( 48 coeur, 96 thread,  384go de ram  ) au plus


Et tout ça pour la modique somme de 50000€/an environ [:caloub]. Donc encore une fois il faut être sûr de ce dont tu as besoin et des moyens que tu peux y mettre, ça revient un peu plus cher qu'un disque dur de 5To...


---------------
Réalisation amplis classe D / T      Topic .Net - C# @ Prog
Reply

Marsh Posté le 14-02-2021 à 15:57:45    

BrytlytDB, aka PostgreSQL accéléré par des GPU nVidia :o
https://tech.marksblogg.com/benchmarks.html

Reply

Marsh Posté le 14-02-2021 à 19:04:14    

Merci à tous pour vos réponses.
Quand je dis 5To c'est en capa maximale.  
Pour le moment je fais des tests en local et j'en suis loin mais ça pourrait grimper vite.  
Donc effectivement, des backup et tout le tralala sur une capacité de données de 1 To
J'ai des sites chez OVH mais en MySQL et là, je peux pas faire en MySQL, c'est pas assez rapide, et je teste depuis quelques temps, l'architecture est en PostGreSQL
Merci en tout cas.

Message cité 1 fois
Message édité par erwan83 le 14-02-2021 à 20:09:19
Reply

Marsh Posté le 14-02-2021 à 19:57:34    

je suis curieux de ton use case pour de tels volumes


---------------

Reply

Marsh Posté le 14-02-2021 à 20:08:17    

flo850 a écrit :

je suis curieux de ton use case pour de tels volumes


Ha ha ha secret défense...


Message édité par erwan83 le 14-02-2021 à 20:09:07
Reply

Marsh Posté le 14-02-2021 à 20:09:50    

en tout cas, ça a intérêt a cracher des €€ parceque ça va te couter une blinde à faire tourner


---------------

Reply

Marsh Posté le 14-02-2021 à 20:09:50   

Reply

Marsh Posté le 14-02-2021 à 20:34:20    

Oui je voyais pas ça si cher franchement.....


---------------
http://www.ypikay.com
Reply

Marsh Posté le 14-02-2021 à 21:45:34    

erwan83 a écrit :

Merci à tous pour vos réponses.
Quand je dis 5To c'est en capa maximale.  
Pour le moment je fais des tests en local et j'en suis loin mais ça pourrait grimper vite.  
Donc effectivement, des backup et tout le tralala sur une capacité de données de 1 To
J'ai des sites chez OVH mais en MySQL et là, je peux pas faire en MySQL, c'est pas assez rapide, et je teste depuis quelques temps, l'architecture est en PostGreSQL
Merci en tout cas.


T'as essayé de tuner le fichier de conf de Mysql pour être aussi définitif sur les perfs de Mysql par rapport à Postgres ?


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Marsh Posté le 14-02-2021 à 22:17:17    

rufo a écrit :


T'as essayé de tuner le fichier de conf de Mysql pour être aussi définitif sur les perfs de Mysql par rapport à Postgres ?


Oui j'ai passé les capacités au maximum de ma machine et vraiment ça n'a rien à voir. Essentiellement je tourne sur de la gestion de gros paquets de texte et je trouve la différence plutôt flagrante.


---------------
http://www.ypikay.com
Reply

Marsh Posté le 14-02-2021 à 22:53:47    

Si t'as des pbs de perfs lors d'imports, j'avais constaté qu'il valait mieux supprimer les index avant l'import puis les remettre après.
Pour les select, il peut être nécessaire de modifier la taille des buffers des infos remontées et ceux nécessaires au tri. ;)


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Marsh Posté le 15-02-2021 à 09:33:47    

tu peux aussi regarder du cote d'elastic search si ton cas est de recharcher dans du texte


---------------

Reply

Marsh Posté le 15-02-2021 à 12:51:38    

C'est clair que si c'est des documents, un BD NoSQL orienté docu serait plus adaptée.


---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Reply

Marsh Posté le 16-02-2021 à 13:23:55    

Avec le budget on peut mieux te diriger.
Soit tu te tournes sur une solution cloud autogéré hors de prix soit un serveur (dédié ou virtuel) et là c'est à toi de gérer les sauvegardes replicas et autres mais c'est beaucoup moins chères


---------------
Application 1km https://play.google.com/store/apps/ [...] ology.unkm
Reply

Marsh Posté le 16-02-2021 à 15:20:47    

erwan83 a écrit :

Hello...
La question est dans le titre.
Je cherche un hébergeur sérieux qui puisse me loger une grosse BDD PostgreSQL (5 To env)
Auriez-vous une idée ??
MERCI !!


C'est tellement vague que honnêtement tu auras une réponse parfaitement inutile...
 
Et vu que tu ne souhaites pas en dire plus, ben ca n'ira nulle part.
 
Pelle melle dans les techniques couramment utilisé sur ce genre de volume, tes deux grosses limites seront la ram et le disque, donc:
  - Avec postgresql, ca commence quasi systématiquement par partitionner tes tables via "ton champ le plus utile a partionner (rien que ca, vaste question)" ( https://www.postgresql.org/docs/13/ [...] oning.html )
  - avoir 2 bdd est assez courant, une "hot" qui gère les données en accès ultra rapide, et une moins chere, plus lente. Et donc 4x BDD vu que tu dois backup.
  - ensuite si c'est un jeu de données "standard", il faut aussi se poser la question des indexes. Stocker un index en ram n'est pas toujours la solution et là encore ca s'étudie: https://www.cybertec-postgresql.com [...] rformance/
 
Enfin bref c'est très très large, et il y a énormément de choses a faire/n'est pas du tout a la portée d'un simple test pour être franc.
 
Quand a la machine: chez toi si tu veux un cout pas trop élevé, en housing pour un cout modéré, chez AWS & co pour certaines garanties.
Sachant que, pour n'importe laquelle de ces solutions, si c'est une vrai boite et pas un truc pour le fun, tu vas avoir du boulot spécialement lié au provider que tu as choisis a ces tailles là (cad le tuning pour AWS ne sera pas pareil qu'en housing et pas pareil que chez toi).
 
EDIT: et vu que tu sembles plus familier avec MySQL tu peux regarder du côté de MyRocks: http://myrocks.io/docs/getting-started/
Qui est l'engine utilisé par Facebook pour palier a InnoDB et MySQL (en gros c'est MySQL avec RocksDB ce truc)

Message cité 1 fois
Message édité par Devil'sTiger le 17-02-2021 à 11:09:30
Reply

Marsh Posté le 22-02-2021 à 09:42:42    

Devil'sTiger a écrit :


C'est tellement vague que honnêtement tu auras une réponse parfaitement inutile...
 
Et vu que tu ne souhaites pas en dire plus, ben ca n'ira nulle part.
 
Pelle melle dans les techniques couramment utilisé sur ce genre de volume, tes deux grosses limites seront la ram et le disque, donc:
  - Avec postgresql, ca commence quasi systématiquement par partitionner tes tables via "ton champ le plus utile a partionner (rien que ca, vaste question)" ( https://www.postgresql.org/docs/13/ [...] oning.html )
  - avoir 2 bdd est assez courant, une "hot" qui gère les données en accès ultra rapide, et une moins chere, plus lente. Et donc 4x BDD vu que tu dois backup.
  - ensuite si c'est un jeu de données "standard", il faut aussi se poser la question des indexes. Stocker un index en ram n'est pas toujours la solution et là encore ca s'étudie: https://www.cybertec-postgresql.com [...] rformance/
 
Enfin bref c'est très très large, et il y a énormément de choses a faire/n'est pas du tout a la portée d'un simple test pour être franc.
 
Quand a la machine: chez toi si tu veux un cout pas trop élevé, en housing pour un cout modéré, chez AWS & co pour certaines garanties.
Sachant que, pour n'importe laquelle de ces solutions, si c'est une vrai boite et pas un truc pour le fun, tu vas avoir du boulot spécialement lié au provider que tu as choisis a ces tailles là (cad le tuning pour AWS ne sera pas pareil qu'en housing et pas pareil que chez toi).
 
EDIT: et vu que tu sembles plus familier avec MySQL tu peux regarder du côté de MyRocks: http://myrocks.io/docs/getting-started/
Qui est l'engine utilisé par Facebook pour palier a InnoDB et MySQL (en gros c'est MySQL avec RocksDB ce truc)


 
Merci beaucoup pour ces précisions.....


---------------
http://www.ypikay.com
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed