'web crawler' (suite) : quel langage choisir ?

Marsh Posté le 25-02-2002 à 14:57:24

Je recherche des sources de 'web crawler' (code de moteur de recherche) en langage Python si possible, sinon en C-like.

[jfdsdjhfuetppo]--Message édité par chicha--[/jfdsdjhfuetppo]

Marsh Posté le 25-02-2002 à 14:57:24

Marsh Posté le 07-03-2002 à 08:28:22

Vu les sources que je trouve sur le Net, et comme je ne veux pas demarrer "from scratch" : je m'oriente vers le PERL. Pensez-vous que je fais fausse-route ? Devrais-je plutot m'orienter vers le PHP par exemple ?
Habituellement, je programme en C ou en Ada, donc ces 2 languages sont nouveau pour moi... mais j'apprend vite :sol:

D'autre part, les données recoltées seront stockées dans une BD mySQL. Voila les infos pour mes bons conseilleurs

Marsh Posté le 07-03-2002 à 10:17:15

Tu veux pas un larbin ? :

http://larbin.sourceforge.net/

C'est un webcrawler qui contient la partie parcours des pages, derrière, il y a plus qu'a rajouter la partie indexation.

---------------
brisez les rêves des gens, il en restera toujours quelque chose... -- laissez moi troller sur discu !

Marsh Posté le 07-03-2002 à 11:17:08

ya 1 bouquin en ligne qui s'appelle "Web Client Programming with Perl" http://www.oreilly.com/openbook/webclient/
Ils parlent surement de crawlers dedans

Marsh Posté le 07-03-2002 à 12:42:43

c'est vrai kil est bien mais chez moi ca marche pas... peut etre a cause des proxy ?

Marsh Posté le 07-03-2002 à 18:21:15

:bounce:

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed

Name *

Email *

URL

Message *