Bonjour !
 
Ma compagne étudie le machine learning (ML), et plus particulièrement le deep learning (DL).
Elle a un vieux macbook pro qui ne lui suffit pas. Pour faire ses calculs de DL, elle utilise actuellement les machines de sa fac ou les services de google. Elle est amenée à se déplacer dans différents pays pour faire des stages. Elle voudrait un portable qui accélère en local ses calculs. Je n'y connais personnellement rien en ML et en accélération matérielle de ces calculs.
 
 
1. Est-ce que cela existe, ou bien est-ce illusoire par rapport aux solutions à distance (i.e. remote connection sur les machines de la fac, service google) ?
2. Si ça existe, faut-il privilégier les portables avec carte graphique (si oui lesquelles ?), ou bien est-ce qu'on peut ajouter une carte graphique externe (si oui laquelle ?)
3. Si ça existe, avez-vous des conseils à donner (quelle marque, quelle carte, ou autres), et avez vous des modèles à conseiller pas (trop) chers, idéalement des modèles d'occase récente.
 
Voila !
Merci pour votre réponse !

C'est mon domaine d'expertise ça
 
Pour le deep leraning, la priorité c'est la carte graphique. Pour cela il faut mieux utiliser AWS que s'ennuyer dans son PC. Après tu as une option intéressante : le boitiers externes en TB3 avec carte vidéo de PC de bureau. https://www.amazon.fr/Razer-graphiq [...] 2622&psc=1
 
Pour le coup tu préserves un PC sympa (même un mac va bien) avec une puissance de calcul qui va bien.
 
Mais un service managé cloud avec n cartes vidéo clusterisées sera toujours meilleur.

Ok merci.!
J'avoue que je ne sais pas pourquoi elle veut spécifiquement faire tourner ses algo en local plutôt que sur le cloud. Je lui demanderais. Ya peut-être beaucoup du fait quelle veut changer son macbook vieillissant...
Mais je crois aussi que prendre un laptop léger et sympa avec un boitier externe,  
vu que tu me dis que ça marche, ca permet d'avoir un laptop bcp plus léger et sympa !
Donc sinon apparemment c'est 300 pour le boitier et pareil pour la CG !
 
Merci beaucoup.

AWS c'est sympa, mais très très cher. Il vaut mieux acheter une CG si c'est pour un usage régulier:
https://www.reddit.com/r/MachineLea [...] mputer_is/

Pas trop d'accord sur les couts, car il faut calculer l'investissement en matos, son courant, l'usure, et les perfs pas top... et plus faut installer tes soft, maj tes framework, etc...
 
Forcément un service managé comme AWS coute plus cher que faire sur son PC, mais avec 500€ tu peux déjà t'amuser sur le cloud... a rapprocher de ce que tu dois acheter en matos.
 
Et enfin quand ton PC fait tourner du deep learning durant des heures ou jours, tu en fais quoi à coté ? Alrs que sur AWS tu peux maximiser les perfs sur un laps de temps.
 
Enfin sur le cloud tu as la bourse au CPU en Cloud Public, et diviser d'un facteur 5 à 10 le cout normal.
 
Mais pour bosser en local il faut une bonne carte vidéo, type RTX 2070 ou 2080... le top pour le deep-learning chez soi c'est un RIG de minage

Tout le calcul est fait dans le post que j'ai linké:
https://medium.com/the-mission/why- [...] c91b55ce8c
 
En gros, en usage régulier, sachant que AWS c'est 3$/h pour un GPU équivalent à une 1080Ti.  
 
"p3.2xlarge has NVIDIA Tesla V100 GPU which is NVIDIA's most recent deep learning GPU, but it's $3.06/hr."
 
Autrement dit, une RTX 3060 ti est rentabilisée en 160h de temps gpu environ. Pour un rendu unique de quelques heures, il faut louer. Mais dans le cas contraire, l'achat est une option sérieuse.
 
Donc la réponse n'est pas si simple. Tout dépend de l'usage.

Oui, mais je n'ai jamais payé le prix catalogue chez aws...
 
Ce article ne mentionne pas les instances spot, le CPU non utilisé de leur cloud que tu payes jusque 10 fois moins cher. Et avec eux y'a pas de panne, de pc immobilisé quand il tourne, etc...  
https://aws.amazon.com/fr/ec2/spot/
 
Le gars qui a fait l'article que tu mentionnes cherche à démontrer qu'un pc fait maison c'est mieux, moi je dis que pour un particulier qui n'a pas besoin d'engagement de service type cloude privé va y gagner avec spot.
 
Après à chacun de voir si son objectif c'est monter les PCs, les dépanner, passer son temps à gérer les softs, les maj windows, etc... ou faire du machine learning à plein temps. L'autre problème de l'article c'est qu'il ne mentionne pas les tensor core, dont tu ne tires l'utilisation optimale qu'en quado... raisonnement de l'époque GTX 1XXX

Hello,
 
Pour ajouter ma pierre a l'édifice, j'en ai fais avec un GS30 + Dock GTX960 puis GS40 avec GTX970 (pour éviter l'immobilisation sur le dock).  
J'ai du mal a imaginer l'usage du dock/boitier-externe si il y a déplacements fréquents/à l'étranger...
 
J'en refais en utilisant des VMs GCP que j'allume/coupe a la demande c'est pratique mais ça coute cher quand les entrainements commencent a prendre du temps. On va bientôt passer 2 mois d'utilisation continue, l'achat d'une workstation commence a devenir une option qui serait plus rentable (mais ce n'est pas le débat pour toi).
 
SI je peux me permettre je demanderai quel cas applicatif (NLP, signal ?) ou quelle application (prédiction VS entrainement).
 
Il y a aussi le cas d'usage car une fois entrainés certains modèles peuvent aussi avoir de bon rendu en CPU (sur les Ryzen...) pour ne faire que de la prédiction (je pense a du Kaldi qui tourne sur un macbook air âgé sans soucis une fois entrainé).
 
Selon les temps d'entrainement, une instance GPU chez AWS,GCP ou chez des prestataires spécialisés (qui sont moins cher et parfois plus a la pointe) peut faire le job de manière très pratique (on allume, on utilise, on coupe).
 
Je met un bémol certains modèles proposés actuellement en cloud (les p100 ou v100 amputées en mémoire) peuvent poser problème si elle n'a pas de gestion multi GPU. Un portable ne fera pas mieux...

 
Je connais très bien AWS, on l'utilise au quotidien au boulot. Les instances spot ont un point faible non négligeable: tu peux perdre l'instance à tout moment (ou alors tu paies très cher pour la garder si le bid price augmente). Et si t'es au milieu d'un deep learning qui dure 100h et que tu perds l'instance, c'est tout sauf marrant. Dans ce cas, pourquoi ne pas acheter une workstation également accessible via internet à distance? Pourquoi ne pas sous louer ta propre machine ou la partager à plusieurs étudiants pour maximiser son utilisation?
 
Encore un article complet qui parle des spots et de leurs prix aux fluctuations imprédictibles:
https://timdettmers.com/2020/09/07/ [...] ktopserver
 
"AWS spot instances are a bit cheaper at about 0.9$ per hour. However, many users on Twitter were telling me that on-demand instances are a nightmare, but that spot instances are hell. AWS itself lists the average frequency of interruptions of V100 GPU spot instances to be above 20%. This means you need a pretty good spot instance management infrastructure to make it worth it to use spot instances."
 
Donc ta solution de se passer d'un GPU connecté à ta machine, c'est de devenir admin sys certifié solutions AWS et expert en management d'instances spot, youpie    
 
Une p3.2xlarge, c'est environ 1$/h, soit 24$/j, 720$/mois en utilisation continue. Si tu veux pousser l'usage des spot encore plus loin: https://spot.io/
 
Quant à l'argument "monter les PCs, les dépanner, passer son temps à gérer les softs, les maj windows, etc.", il ne tient pas. Il faut de toute façon un PC pour travailler.
 
Encore une fois, chaque solution a ses avantages et inconvénients. Mais AWS, je trouve juste que c'est une fumisterie au niveau prix pour des VMs aux perfs minables.  
 
De toute façon, en l'état, vu le peu d'infos sur le besoin initial (soft utilisé, puissance de calcul nécessaire etc), c'est difficile de conseiller quoique ce soit.

Hello, elle va effectivement faire plusieurs stages dans des pays différents, et le boitier est moyennement transportable.
Après disposera-t-elle sur place du bon matos, je ne sais pas.
 
Concernant le cloud, apparament, le soft qu'elle utilise actuellement pour son projet est développé en interne dans son labo, avec une licence qui l'empèche de l'installer sur le cloud.
Et quant à favoir si c'est de l'entrainement ou de la prédiction, je lui demanderais, parceque je n'y connais vraiment rien, même si je crois que vu que c'est plutot axé recherche, sans application concrète pour l'instant, ça doit plutôt être entrainement (je me fourre peut etre le doigt dans l'oeil ...)