Bonjour à tous,
 
Avez-vous des liens intéressants vers du benchmarking/point de vue sur le GPU à choisir pour faire du "local AI" demain ?
 
On parle pas mal de la 4090 aujourd'hui car 24 go de VRAM. Mais demain les gros modèles demanderont peut être + que 32 go de VRAM (donc + que la 5090) là où les plus petits modèles seront potentiellement suffisant pour toutes les taches et demanderont "seulement" du 16 go.
 
Autrement dit sous ces considérations il y a plusieurs choix possibles et je n'arrive pas à m'orienter :
- 4090 si on reste sur le standard 24 go
- 5090 si on veut le max, en espérant qu'il y ait des modèles opti à 32 à l'avenir
- 50...70 Ti ? si on mise sur les plus petits modèles (voire moins ?)

Salut.
 
Je n'y connais rien en IA, mais bon, vu que tu es là dedans, je pense que pourrais détailler ton utilisation pour aider ceux qui s'y connaissent à t'orienter = quels programmes / quel matériel tu as actuellement.
 
J'utilise juste Rescayl et Video2x pour du rescaling image/video et la RAM n'a pas un impact notable dans ces deux cas, certes particuliers, mais c'est de l'IA aussi, donc...quelle utilisation. Et dans ce cas, ce qui impacte ça n'est pas la VRAM mais la quantité de tensor cores et la taille du bus mémoire (ma 3080 fait 2x plus vite que ma 3060Ti)

Si on parle de Mistral malheureusement le ticket d'entrée pour l'instant c'est la 4090 (à partir de 24 Go de Vram) pour pas mal de leurs IA calibrés pour du local et performants, sinon ils ont des plus petits modèles mais qui ne seront pas à la hauteur espéré. En sachant que Mistral est spécialisé dans les petits modèles je te laisse imaginer les autres.  
 
J'ai testé des modèles avec mes 12 Go de Vram et c'est pas concluant comparé à ChatGPT même gratuit alors que cela aurait été le cas en 24 Go de Vram.
 
Tu peux peut être attendre pour une hypothétique 5080 SUPER 24 Go début 2026. Sinon la 5090 est à surveiller sur Dealabs.

Les LLM en local faut les faire tourner sur CPU, ou alors en hybride CPU/GPU, avec KoboldCpp
Tu met 128 Go de RAM sur la carte mere, ou alors a defaut 96 Go, et ca roule.
Pour ce qui est de la generation d'images, je n'en fait pas, mais la oui c'est plus pour la carte graphique