Bonjour,
 
Voici le topo :
 
J'aimerais concevoir une appli qui parcour plusieurs URL (d'un magasin de e-commerce) concernant la description de plusieurs produits en vente par exemple. (on passera d'un objet à un autre en itérant de 1 le numéro qui diférencie une page d'un autre)
 
Qui permettre ensuite de parcourir le code HTML de chaque page visité et de récupérer certaine information clé (qui sont délimités pas des balises spécifique) par exemple : le nom du produit et son prix.
 
Toutes ses info seront stockés sur un BD, ensuite j'utiliserais du PHP pour l'exploiter.
 
Est-ce réalisable, avec quelle langage, en PHP ça serait le top ( vu que je connais bien le langage) ?
 
Merci  

oui c'est faisable
le plus gros problème n'étant pas technique mais légale : as tu l'accord de ce magasin ?

Légalement il faut un accord tu penses ?

Meme si c'est un site de petites annonces ou quelque chose comme ça ?

Google a-til l'accord de toutes les sites web qu'il référencent  ?

Up

Je ne pense pas qu'il y ait de problème légal. Par contre il est de bon ton de respecter le /robots.txt.

La plus grosse difficulté est de construire un robot qui aille de page en page sur le site.

Et si toutes les URL à parcourir sont connus d'avance ?
 
Ce qui j'ai se passe effectivement, un id dans l'URL qui change (en s'incrémentant).
 
Pour le légal, qqun pourrais donner plus de détail ?

Up

Avec CURL en php, c'est pas très compliqué.

Merci pour le tuyau je vais essayer ça

Et au niveau légal, si par ex je récupère des info sur des enchères sur ebay :
 
-prix de la vente
-catégorie de l'objet (disque dur, télé,....)
 
Est-ce que j'ai le droit ?

A propos de google, ce sont les magains en ligne qui paient pour afficher sur google, et non l'inverse ...

Et pour ebay ?

Il ne faut pas tout confondre. Dans google, t'as les pubs de "google adsence" et les "Liens commerciaux" du moteur de recherche qui sont payants. Le référencement par contre est gratuit.
 
Les magasins/sociétés qui sont dans la partie résultat de la recherche ne payent rien pour y être (même quand il y a plusieurs liens comme pour hardware.fr) mais il y a alors le risque de se retrouver en page 15 du résultat. Par contre ceux qui "louent" des mots clés payent à chaque fois qu'on clique sur le "lien commercial" correspondant. Quand au "google adsence", c'est une régie publicitaire comme une autre.
 
En tout cas, c'est sur que google n'a pas besoin de payer pour référencer des sites web ... sauf quand ils perdent des procés mais c'est une autre histoire.
 
 
 
Pour la légalité de la récupération d'infos sur ebay, contacte les. Ils sauront te répondre mieux que nous.