Aspirer HFR : quel soft ?

Aspirer HFR : quel soft ? - Logiciels - Windows & Software

Marsh Posté le 13-09-2006 à 20:02:31    

Bonsoir.  
 
Soit un post sur HFR, m'intéressant, et dont je voudrais récupérer les photos. De préférence seulement les photos mises en ligne par les foromeurs. Il s'agit du post sur Montpellier... et il compte des centaines de pages  :sweat:  
 
Quel logiciel utiliser ?  
 
Un aspirateur de sites ? WebZip, HttRak, Net Transport, MemoWeb ?  
 
J'ai essayé avec Net Transport, mais je m'y prends si mal qu'il n'aspire que la première page :(
 
Que dois-je faire ?

Reply

Marsh Posté le 13-09-2006 à 20:02:31   

Reply

Marsh Posté le 14-09-2006 à 12:04:50    

De base les aspirateurs aspirent par répertoire et/ou sous repertoires... hors dans le même repertoire se trouve tous les topics de la (sous-)catégorie.
Il faudrait un logiciel qui puisse reconnaitre le format d'une URL et incrémenter le compteur de page et aspirer uniquement les photos de l'URL renvoyé... dur dur.

Reply

Marsh Posté le 14-09-2006 à 12:13:56    

HTTrack doit te permettre de faire ça, dans le pire des cas tu n'auras qu'à jeter ce qu'il taura aspiré et qui ne sera pas de la photo.

Reply

Marsh Posté le 14-09-2006 à 12:56:20    

Si tu souhaites aspirer HFR il faudra que tu parametres ton aspirateur pour qu'il utilise un seul thread et une connexion au minimum toute les 10s


Message édité par nithril le 14-09-2006 à 12:56:41
Reply

Marsh Posté le 14-09-2006 à 12:59:38    

je l'avais fait en python pour récupérer toutes les photos d'un topic.  
 
En gros mon bot se logguait, affichait le maximum de pages du topic en une fois (icone imprimante), stockait les urls des photos sur les pages, puis à la fin récupérait les photos.
 
Si ca intéresse suffisament de monde, je vais ptet voir pour le nettoyer (choses en dur) et le rendre public sous GPL.

Reply

Marsh Posté le 14-09-2006 à 18:11:56    

spida a écrit :

De base les aspirateurs aspirent par répertoire et/ou sous repertoires... hors dans le même repertoire se trouve tous les topics de la (sous-)catégorie.
Il faudrait un logiciel qui puisse reconnaitre le format d'une URL et incrémenter le compteur de page et aspirer uniquement les photos de l'URL renvoyé... dur dur.


"incrémenter le compteur de page " : c'est bien ça le plus dur, si elles ne sont pas liées entre elles (j'ignore comment est fabriqué le forum.  
 
Je peux toujours pomper :
   - tout (et je virerai ce qui n'est pas illustration de Montpellier
   - seulement les formats .JPG .PNG etc
Reste bien le pb du compteur :/

Reply

Marsh Posté le 14-09-2006 à 18:37:39    

ory a écrit :

je l'avais fait en python pour récupérer toutes les photos d'un topic.  
 
En gros mon bot se logguait, affichait le maximum de pages du topic en une fois (icone imprimante), stockait les urls des photos sur les pages, puis à la fin récupérait les photos.
 
Si ca intéresse suffisament de monde, je vais ptet voir pour le nettoyer (choses en dur) et le rendre public sous GPL.


Bizarre  :heink:  
 
Httrak aspirait ceci lorsque je l'ai stoppé pr éviter de saturer mon 36 Go :D
http://www.ifrance.com/art555/topimpl.png
 

Reply

Marsh Posté le 30-08-2014 à 21:11:42    

Hello, je déterre ce topic car je souhaite aspirer un topic HFR et je ne connais rien à httrack.
J'aurais voulu savoir si mettre la 1ère page suffit (?)

 

J'ai regardé sur le net, je n'ai pas trouvé de réponse...

 

EDIT : Bon apparemment, httrack est nase pour pomper un topic :/ Si quelqu'un a des propositions de soft, je prend :)


Message édité par Lugz le 30-08-2014 à 21:45:01
Reply

Marsh Posté le 31-08-2014 à 07:06:21    

Pour telecharger tout les elements qu il sont afficher, ill a y l addon downthem all pour firefox mais je suis pas sur que ce soit exacetement se que tu demande


---------------
#mais-chut
Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed