Bonjour à tous,
 
J'espère poster au bon endroit et si ce n'est pas le cas, excusez-moi d'avance.
 
Je dois mettre en place une solution de stockage qui permette d'avoir 10 GB/s en sortie    
 
Voici le schéma de l'architecture :
 
http://hpics.li/87ab0c9
 
Pour la partie "buffer", je pensais m’orienter vers des SSD en PCI Express 8x en RAID 0 de ce type : http://www.materiel.net/disque-ssd [...] 81453.html
 
Par contre, côté contrôleur je ne sais pas vers quoi m'orienter. Est-ce que quelqu'un pourrait me proposer quelque chose ?
 
Merci d'avance,
 
Jahz

fusion i/o
autrement regardes chez netapp, emc ibm ds

Merci, je vais regarder ca !  

quel besoin ? besoins en iops ?

En fait, quelque soit la méthode, il faut lire un seul gros fichier de 1 à 2 To.
 
Toutes les propositions sont bonnes, je peux aussi rester sur des SSD classiques (sata) avec des contrôleurs RAID mais il faut atteindre ces 10 Go/s en lecture  

10 Go/sec ? o_O
La machine qui reçoit le flux ne pourra JAMAIS encaisser un tel débit, même en interne les bus montent pas aussi haut, alors réaliser un traitement en plus derrière ...

Faut clairement identifier les débits de toute la chaine de traitement
PciE 3.0 16x c'est 12 giga/s théoriques il me semble, ça va être compliqué
2 contrôleurs raid  peuvent-ils cumuler complétement ou partiellement leurs bandes passantes?

Il faudrait aussi savoir par quels tuyaux derrière ça passe... car qui dit "stockage" dira sûrement "réseau".
Le réseau est donc sur du 10Gb ethernet ? de la fibre ?
 
En solution technique, je dirais du EquaLogic mais bon c'est du SAN, pas du NAS, il faut là aussi savoir à quoi tu veux le brancher.
En NAS un QNAP TS-879U-RP pourrait le faire, mais là tu seras limité car pas fait comme buffer  
 
Il n'y aurait pas moyen de mettre tes 30To directement en 10Gb ? ça va coûter 1 bras (voire un rein), mais bon...

Non, tu peu pas faire un raid logique de raid physique (je vois se que tu compte faire), ton volume serais lut de manière linéaire même si c'était possible. (en gros il ira remplir DD sur carte 1 puis DD sur carte 2) avec la GPTable uniquement sur une grappe (donc c'est hyper risqué)
 

 
Il veux 10 giga octets, pas bits ...  
Y'a bien une solution mais bon ... C'est d'aller voir des solutions du genre Exadata Storage, EMC Isilon, ou IBM SONAS, mais je connais aucune machine qui traiterais les flux de ce genre de solution a elle toute seule, on tape plutôt dans du stockage de supercalculateur la ...
Edit : En iSCSI over infiniband x4 on atteint 4Go/s, te faudra un agrégat de 4 liens minimum soit 4 Exadata Storage sur un serveur d'agrégation > infiniband EDR x4 vers ta machine de traitement, reste a voir quoi mettre en disques pour atteindre les 4Go/serveur, sachant qu'avec une carte infiniband EDR x4 on sature un PCI-E 3.0 x16 avec des taux pratiques a 10Go/s, cette solution tiendrai "juste" mais ça couterait cher ... Sinon, une autre solution serait d'attendre que le iSCSI over 100G ou le FCoE over 100g soit officialisé mais même là ...

sur wikipedia j'ai bien lu à propos du raid 100, bon, dans une optique disques durs et pour une utilisation base de données disons.
Ils disent qu'on peut faire plusieurs raid 10, chacun sur un contrôleur, et les mettre en raid 0 logiciel.
Je ne comprends peut-être pas tout mais j'ai l'impression qu'avec ton argument le raid 10, le raid 50, le raid 60 sont déjà impossibles..

Sinon.. un ramdisk?
il ya un seul fichier?, et il fait 1 à 2To?
un PC à 1To de ram cela peut se fabriquer, un PC à 2To je sais pas, ptet avec des barrettes hors de prix ou en attendant les serveurs en ddr4.
c'est un peu débile : on mettrait plein de Xeon EX dans un PC, la variante avec le moins de coeurs, pour qu'ils aient 1To de ram ou plus et pour qu'ils ne foutent rien, juste balancer des données par le réseau. Sinon il faut chercher un "SSD fait en RAM" pantagruélique.

Pour seulement $99,995.00 un petit SSD y arrive presque
http://www.solidstateworks.com/ioDrive-Octal.asp

 
Je pensait pas à ça, pour une solution en interne, il me semble que certains contrôleurs sont capables de fonctionner en groupe pour gérer plus de disques/grappes en utilisant donc plusieurs bus séparés, par contre niveau performance je ne sais pas ce que ça pourrait donner.

Oui mais dans tout les cas ils lisent en linéaire sur la grappe logicielle donc tes débits/iops sont ceux de la grappe en court, tu n'augmente pas les perfs, juste la taille.
Mais la problématique reste la même, il a 30TO de données (surement des images layouts) et il doit les balancer par packs de 2TO a 10GO/s > la problématique ici n'est pas le stockage mais bel et bien les bus interne, la machine qui traite le flux et sur quoi "cacher", et a ma connaissance le "seul" moyen de faire ca c'est de passer en infiniband via un clust de stockage dédié exadata ou isilon. Ou encore d'aller voir un concepteur de mainframe/supercalculateur, parceque 10Gigots c'est juste ...

Ah ouais quand même  
J'avais compris en réseau 10Gb, mais là ça explose... jahz tu travailles dans quoi ? La recherche ? La défense ? T'as des fonds illimités ?

Et au fait c'est quoi le budget du monsieur ? Parce que là on parle pas de quelques milliers d'euros...

tu peux sortir 500 Mo seconde en lecture d'une baie SAN (avec du SSD en cache) mais sortir 10 Go/s , je vois pas comment , les PC ne pourront pas encaisser

Le plus rapide a priori :
 
http://www.materiel.net/disque-ssd [...] 81453.html
 
2Go/s en lecture et 1Go/s en écriture.

 
Non, le plus rapide niveau cache en single board, sans parler des systèmes homemade ou clustering pour mainframe/supercalculateur, c'est le fusion IO octal qui sature un PCI-e 2.0/3.0 a 7GO, mais il coute 20 fois plus cher. Je le redit là, y'a qu'une seule solution a son problème, c'est infiniband 4x EDR et passer sur un OS custom a base de *BSD, gentoo, Solaris pour le clust, et encore, des débits a 10gigos, j'en ai vue 2 fois dans ma vie en vrai, un sur une archi bluegène (sequoia/roadrunner), l'autre sur l'interconnect d'un XK7 ...