Faire base de données(prix) à partir site d'un web
Faire base de données(prix) à partir site d'un web - PHP - Programmation
Marsh Posté le 18-03-2015 à 21:24:32
- Curl pour récupérer la page
- Xpath / Xquery pour sortir les de la page
- Mysql pour stocker tout ca. Le stockage dans les fichiers texte c'est vraiment du bricolage
T'as de quoi t'occuper
Marsh Posté le 19-03-2015 à 09:52:11
Et en toute rigueur, pour effectuer un traitement automatisé sur un site web qui ne t'appartient pas, demander l'autorisation du proprio pour effectuer ce traitement...
En effet, suivant le nb de données que tu vas collecter et à quelle fréquence, ça pourrait perturber le bon fonctionnement du site (genre, si tu fais pleins de requêtes sur plusieurs pages dans un intervalle de temps court, ralentir le chargement des pages pour les autres visiteurs car trop de sollicitation du serveur).
---------------
Astres, outil de help-desk GPL : http://sourceforge.net/projects/astres, ICARE, gestion de conf : http://sourceforge.net/projects/icare, Outil Planeta Calandreta : https://framalibre.org/content/planeta-calandreta
Marsh Posté le 19-03-2015 à 14:59:13
| scvo0ne a écrit : - Curl pour récupérer la page |
Je n'ai jamais touché à ce genre de programmation et je suis débutant en java.
Avec des tutos et en cherchant à droite à gauche ça peut le faire?
| rufo a écrit : Et en toute rigueur, pour effectuer un traitement automatisé sur un site web qui ne t'appartient pas, demander l'autorisation du proprio pour effectuer ce traitement... |
Alors, je ne compte pas saturer le site, puis que je note à la main les prix ou que ce soit le pc. Après je comprends le fait que cela peut être reproché. Merci de me prévenir. Si jamais que je vois que je cause du tord au site, j’arrêterai.
Marsh Posté le 20-03-2015 à 17:35:29
Bon j'ai du nouveau.
J'ai trouvé un site qui propose des api avec programmation partielle.
J'ai donc la possibilité d'exporter un json ou csv file. https://www.kimonolabs.com/api/dh15 [...] rj8LRpbFIz
https://www.kimonolabs.com/api/csv/ [...] rj8LRpbFIz
je suis entrain de voir pour nettoyer tout çà, et ne garder qu'un prix, le plus petit pour chaque catégorie.
Après j'ai trouvé un api highchats pour tracer le graphique.
Sujets relatifs:
- Faire base de données à partir site d'un web public
- Intégration de compte client dans site e-commerce
- gestion nom domaine site wp sur mon syno
- Site converti en version mobile : risque de duplicate content ?
- Appel d'une autre page a partir d'une page HTML ou PHP
- modification de données
- Débutant BDD en général / liens entre tables
Marsh Posté le 18-03-2015 à 18:53:47
Bonjour,
J'aimerai récupérer des prix d'un tableau sur un site puis tracer un graphique. C'est faire en quelque sorte un historique des prix comme un peu un graphique de bourse.
Je pense que si on m'aide à récupérer les données proprement après je peux faire la partie traitement des graphiques dans un second temps.
Voici le site en question:
http://www.viagogo.fr/psg/Billets- [...] s/E-667345
Avec mon navigateur quand je fais inspecter l'élément j'ai du code où les prix apparaissent, on peut passer par là?
Après on peut parser le code, récupérer les prix puis les stocker dans un tableau. Je ne sais pas si c'est envisageable de stocker dans un fichier txt, comme ça c'est facile pour moi derrière de faire mes graphiques et mes calculs.
L'idéal c'est d'avoir le prix associé à la catégorie.
Merci.