Bonjour,
 
Je souhaiterais monter une mini ferme de rendu GPU avec 5 render nodes.
Chaque render node comporterait 6 Titans.
Vu que chaque titan prend 2 slot en aircooling aucune carte mère ne peut les accueillir.  C'est pourquoi je souhaiterais avoir vos lumières pour savoir si c'est possible de refroidir en watercooling 6 titans sur une seul machine avec des solutions "standards" et intégrables existant sur le marché.  
 
En gros la config pour chaque node est la suivante:
carte MSI Big Bang XPower 2(une des rare à avoir 7slot Pci-exp)
6 Titans
Intel Core i7 3820
16 Go DDR3
1To de disque dur
alim 1500w
Boitier (pas encore choisi, vu que j'imagine qu'il doit être adapter à la solution watercooling)
et le système complet de watercooling.
 
le tout ne devrait pas dépasser 10 000€ par node.
 
merci d'avance.
 
 

 
Connais tu le domaine du rendu Video/3D GPU en réseau?

Question place, ca donne quoi ? salle dédié ou pièce perso ?

hum... 50k euros de matos et pas de quoi payer un spécialiste ?  

bref par curiosité

Par contre pour la carte mère avec six cartes d'extension c'est du 16x, 16x, 8x, 8x, 1x, 1x, c'est pas génant pour tes rendu ?  

et beh !    
 
donc en gros un nodes = 1 cartes mère à 7 slot = 6 titan = 1 circuit
le tout x5  
 
 
Tu veux passer le proc' sous flotte ?
 
Techniquement possible oui, après va falloir adapter le tout :
- avoir un boitier pour placer tout ça et surtout niveau rad ... vu la consommation d'une titanx6 ... ça va en faire du rad    
- 2 pompes en séries ?

Bonjour
1500 watts pour l'alim, ça ne passe de toute façon pas en charge.

Les Titan sont double-slot aussi à cause des sorties DVI!
Même en enlevant le rad, tu garderas l'encombrement
 
Seule solution, déporter les cartes via des risers, mais comme Romiinet l'a dit, la mobo n'est pas en full 16/8x, ce serait ridicule une Titan en 1x.
 
Le mieux que tu puisses faire AMHA, c'est une Rampage IV Extreme et 4 Titans.
Et le watercooling ne sera pas superflu.
 

Merci pour vos réponses

C'est une pièce dédiée.
Je travaille dans la production video,3D et le motion design. Nous avons déjà construit nous même une ferme de rendu CPU avec 8 machines dual cpu, sans passez par un prestataire spécialisé pour évidement une question de coût.

Nous cherchons une solution pour migrer vers le rendu GPU  du type http://www.thinkmate.com/ qui propose des solutions à base de Tesla pour environ 20-25k€. par machine.
Je cherche avant tout à m’informer sur la possibilité de réaliser les machines nous même. (toujours pour des questions de coût).  Mais  les watercooling nous allons éventuellement chercher un prestataire pour le montage (si on en trouve) car nous n'avons aucune compétence dans ce domaine, d'ou ma question ici
 

 
Non, que les titans, enfin si j'ai la possibilité de les laisser en aircooling pour éviter de complexifier le montage des machine, mais avec 6 cartes ce n'est pas possible.
 

 
Tu verrais quel boitier? combien de rad et lesquels?

Si c'est une pièce dédié, je ne mettrais pas les config' dans des boitiers mais plutot sur des étagères avec le système de water monté dessus.
Pour ca, il va falloir prévoir du gros matos pour chaque circuit.
L'idéal est de taper dans des pompes pro qui ont un peu plus de puissance

Par contre je suppose que c'est pour une utilisation pro et que votre matos doit être dispo rapidement et continuellement.
 
Le water c'est une bonne solution mais ça nécessite tout de même un entretient et des connaissance minimale.
un soucis sur le water ça peut devenir un carnage si vous ne connaissez rien, au moins pour éviter de faire des bêtises.
 
Des gpu en air cooling on peut en virer une si elle fonctionne pas/mal ou plus mais "bidouiller" du matos sous water sans connaissance c'est tout de suite problématique.

 
Dans l'idéal évidement les Tesla K20X sont parfaites mais à 6-6,5k€ pièce ça passe mal niveau porte feuille, surtout qu'au niveau hardware elles sont presque identiques aux Titans avec des optimisation en sup, surtout au niveau de la mémoire.  
Nous somme une petite structure et nous devons au maximum optimiser le ratio puissance prix.
 
Mais aux vus de vos recommandation, nous allons plutôt réfléchir à une config plus modeste à base de 4 Titans en aircooling.
 
En tout cas merci de vos conseils.

Hello,
 
Je pense qu'utiliser du watercooling pour des serveurs est un surcoût non négligeable en terme d'infrastructure et support. Dans les datacenter, cela sert à réduire les coûts en clim en mettant les radiateurs dehors. http://www.asetek.com/datacenter/d [...] h-d2c.html
 
Travaillant dans le domaine du HPC, je pense que vous avez meilleur temps de mettre au moins deux bonnes clim dans la pièce.
 
Et encore selon mon avis, de prendre de vrais serveurs racks ! J'ai déjà vu de gros rabais (jusqu'à 50% !) sur certaines commandes que l'on a fait en négociant bien. Avoir un cluster beowulf qui freeze ou plante régulièrement risque d'être au final moins rentable suivant l'utilisation. Franchement, avoir un serveur de prod' avec alimentation redondante c'est un minimum, à moins de vivre dans la salle serveur...

Et avec 3gtx 690 sa reviendrait pas a la même puissance que 6 titan?  

Effectivement c'est une solution nickel, mais j'imagine le budget pour ce genre d’installation. Nos render nodes CPU ressemblent beaucoup plus à un cluster Beowulf... la solution du pauvre en somme, mais qui nous rend bien service depuis 2 ans sans lacher. mais ce qui est bien avec les render nodes comme les notres c'est que même si un node lâche, ce n'est pas trop grave.
 

 
Pour les rendu GPU, le sli n'est pas utile, tu peux même mélanger des GPU différents, le render (si compatible CUDA) utilise tous les core CUDA disponibles
 

 
En fait, La génération de 6XX n'est terribles pour les calculs CUDA ( pour les softs que l'on utilise Octane/After Effects ray tracing...) même les Fermis faisaient mieux. la 580 gtx est plus rapide que la 680 gtx pour ce type de calcul. Pour la nouvelle génération de kepler il faut taper dans les 770GTX pour avoir de meilleurs résultats. Du coup la Titan est ce qui ce fait de mieux pour ça (pour un prix contenu)enfin pour le moment.

Sans vouloir être de mauvais augure...une machine que l'on monte soi-même, c'est une machine que l'on maintient soi-même. Et, en cas de panne, tu es sans outil de production le temps du SAV...qui peut durer longtemps.

Avec une machine pro tu as un contrat de dépannage sur site à J+1...

Salut!
 
Bon fais attention à ne pas te distraire par les plus scéptiques et oui tu peux le faire à une seule condition, c'est de pouvoir démonter les prises arrière de 5 titans.
 
Pour la puissance avec deux grosses alim ca passe et prévois quand même un dual xeon ou quelquechose de bien caustaud. CUDA ont fait bcp d'efforts pour alleger le travail avec GPU/CPU ca doit porter ses fruits mais quand même.
 
Pour toi le problème sera le refroidissement... 6 titans c'est environ 1200w à dissiper, si tu le multiplie par le nombre de node il te faudra limite une armoire full radiateur... Selon la longueur de ton circuit il va falloir égallement doubler voir tripler les pompes ou carrément les circuits. Et le pour la question du SLI il ne fait pas l'utiliser à moins qu'il y a une mise à jour qui m'échappe. CUDA s'occupera de tous les faire fonctionner en cumulant les unités de calcul de chaque carte peut importe si c'est une 780 ou 760 ou une 650 SE à 3 franc six sous, enfin l'efficassité dépend diréctement de ses cartes  
 
C'est réalisable mais tu va devoir cracher les billets... 10.000€ à mon sens ca semble juste. En général ce genre de solution en dual xeon et 6 titans c'est dans les 25.000€ mais bon après coté calcul tu as moyen de pirater la NSA

 
- Je rejoins Alein dans le sens où avoir du matos de travail (donc qui doit être dispo H24) avec une solution water lorsqu'on ne maitrise pas plus que ça c'est assez risqué.
Pour un utilisateur lambda qui a monté son water c'est pas difficile à "réparer" un soucis ou à rester une journée sans PC ... mais bon un professionnel se passer de son matos pendant plus de 24h j'imagine que c'est assez problématique.
Et un soucis de fuite ou autre problème sur un carte ne se réglera pas en virant une Titan de son slot et en laissant tourner le reste ! (chose qui reste possible en aircooling pour n'importe quel enfant de 7 ans et + jouant aux légo).
 
- j'ai pas cru comprendre qu'il voulais un seul circuit pour ses 5 nodes ... là ça fait en effet assez monstrueux en monocircuit !

Oui c'est clair mais un circuit pour deux node par exemple ca permetterai d'invervenir en gardant de quoi calculer. Peut être un système de vanne pouvant isoler un circuit? Ce doit être réalisable.
 
Il faut clairement prévoir un système de purge sérieux et facile à l'utilisation mais il est clair et net que ce genre de montage c'est clairement pour quelqu'un d'expérimenté et de motivé. De l'entretient il y en aura et il te faudra prévoir des créneaux de manutention à n'en pas douter.

Je peux monter un tel systeme, mais ça ne va pas être donné

Discussion intéressante, je drap

Ba moi aussi je peux le faire si on m'envois le matos

Et si on arrive pas on peut garder le matos ?

Pas de soucis d'assurance avec du WC maison non plus ? Je me rappelle un topic où le mec voulait faire ce genre de gros projet pour utilisation professionnelle, abandonné pour cause d'assurance qui n'aime pas l'idée de la flotte et le home made dans la machine.

Ca c'est encore à cause d'une conseillère aussi conne que ses pieds qui ne comprends pas que l'eau n'est pas un conducteur éléctrique... Elles font des BTS assurence à apprendre par coeur comment arnaquer le client... qu'il change d'assurence sérieux.
 
Enfin sauf si le mec c'est un blaireaux et qu'il remplit son WC à l'eau du robinet

l'eau n'est pas conductrice (l'eau pure bien entendu) mais l'eau qui va rentrer en contact avec la poussière deviendra condutrice... a moins d'avoir une pièce hermétique a toute forme de poussière l'eau deviendra conductrice si il y a une fuite, de plus le liquide de water est pratiquement éléctriquement neutre mais il l'ai quand même, du moment que tu ouvre la bouteille celui-ci l'ai encore plus, des fois ta dla chance ta une fuite tu n'a rien du tout et des fois tu fais flamber la cm (je ne sais plus ou est le topic ici même)

ouais ma première fois, une goutte tombe sur le PCB du GPU avec le pc en fonctionnement, je veux toucher pour voir si c'est de l'eau ... pouf extinction du PC

Biensûr il est difficile d'avoir une eau suffisament pure mais en théorie c'est le cas, il suffit juste de fournir quelques renseignements génériques à la conseillère montrant que l'eau n'est pas conductrice à condition qu'elle soit pure puis bon... Elle va pas venir tester la conductimétrie de l'eau de ton cirtcuit
 
Bref on s'éloigne du sujet mais c'est clair que ce genre de config est déjà un bon petit défi.  
 
Perso j'aurais tendence à dire de laisser Sassa, Polo ou un autre modeur un peu expérimentés mêttre la main à la pâte et nous pondre un mod de malade (Projet m³, un mètre cube d'eau dans un watercooling mouahhahaha )

Au vu de la complexité de mise en oeuvre (qui implique un coût réalisation+maintenance supplémentaire non négligeable),
Nous allons plutôt réfléchir à une solution plus simple en aircooling.
 
Merci à la communauté Hardware pour ses conseils!!

Faut commencer par le commencement: l'assurance.
 
Je connais pas d'assurance qui assure du matériel pro refroidis à la flotte par un inconnu...J'entend par inconnu un personne ni qualifiée et ni reconnu pour créer des systèmes de refroidissement professionnel!

Est-ce que déjà ça existe une boite qui propose des systèmes pro de refroidissement à l'eau ??

Parc Astérix?

 
Non, c'est que des système tout compris!

Hello,
 
Une petite photo de la tour avec les 6 Titan ?? SSSSTTTPPP veux voir lol par la suite biensur Oo

Bon c'est pas des titan mais c'est le même principe  
 

Ah ouai sympa j'ai jamais eux l'occasion d'en voir une en vrai xD

J'te dis pas le bruit que doivent faire les ventilos d'intraction pour arriver à tenir autant de cartes si collées à température viable

Moi je me demande celle qui est la plus chaude

Bah tu mets une grille à barbecue, des merguez, et tu regarde laquelle cuit le plus vite

vu l'espace entre les GPU j'aurai plutôt pensé à une tranche de lard ...
 
bon ça troll sec ici