FTPhpIndex V 0.22 - Plus de 700 000 fichiers indexés dans mysql :) - PHP - Programmation
Marsh Posté le 21-01-2003 à 13:08:52
bravo
Marsh Posté le 21-01-2003 à 13:08:53
chacal_one333 a écrit : ca consiste? |
A lister automatiquement tous les fichiers du ftp à partir d'un repertoire. Mon script va scanner automatiquement tous les dossiers supérieurs.
Reste plus qu'à récupérer le nom des fichiers de chaque rep (ça c'est fastoche) et à les insérer dans une base de données.
Après le moteur de recherche fera le reste
Marsh Posté le 21-01-2003 à 13:12:25
Format_C a écrit : |
Si c'est du mysql derriere tu vas pleurer
j'aais fait l'equivalent en python y'a quelques temps, et apres avoir indexé 2 ftp (redhat.com et freebsd.org, des gros, donc), je devais avoir dans les 500 mille lignes. Ben il fallait plus de 30 seconde par requete
Marsh Posté le 21-01-2003 à 13:13:48
lorill a écrit : |
Merci, je suis anéanti
Marsh Posté le 21-01-2003 à 13:32:28
Hop si ça tente certains de tester le moteur de scan
http://80.11.170.111/ftplister/index.php
Marsh Posté le 21-01-2003 à 13:33:32
Warning: ftp_login() expects parameter 1 to be resource, boolean given in d:\program files\easyphp\www\ftplister\scan.php on line 6
Marsh Posté le 21-01-2003 à 13:34:30
HappyHarry a écrit : Warning: ftp_login() expects parameter 1 to be resource, boolean given in d:\program files\easyphp\www\ftplister\scan.php on line 6 |
C'est si le ftp est dead ça en prinicpe
Marsh Posté le 21-01-2003 à 13:35:23
ReplyMarsh Posté le 21-01-2003 à 13:36:27
Fatal error: Maximum execution time of 30 seconds exceeded in d:\program files\easyphp\www\ftplister\scan.php on line 23
Marsh Posté le 21-01-2003 à 13:36:30
HappyHarry a écrit : |
Il faut que je mette un truc pour éviter ça mais le principal c'est quand même pas ce détail à mon avis
Marsh Posté le 21-01-2003 à 13:37:18
HappyHarry a écrit : Fatal error: Maximum execution time of 30 seconds exceeded in d:\program files\easyphp\www\ftplister\scan.php on line 23 |
Je sais pas comment modifier le Max excec
Je suis sous izi php
Marsh Posté le 21-01-2003 à 13:38:05
et moi j'connais pas trop php, mais une appli dans le genre qui peut pas tourner plus de 30 secondes, ca sert pas a grand chose
Marsh Posté le 21-01-2003 à 13:38:14
dans le php.ini >> max_execution_time
Marsh Posté le 21-01-2003 à 13:38:18
moi j'essaye pas parce que mon ftp n'autorise pas les anonymes et je sais pas ce que tu fais derriere avec les mots de passe
Marsh Posté le 21-01-2003 à 13:39:03
HappyHarry a écrit : et moi j'connais pas trop php, mais une appli dans le genre qui peut pas tourner plus de 30 secondes, ca sert pas a grand chose |
Ca peut tourner autant que tu veux mais le pb c'est que je ne sais pas configurer le max excec
Marsh Posté le 21-01-2003 à 13:39:49
lorill a écrit : moi j'essaye pas parce que mon ftp n'autorise pas les anonymes et je sais pas ce que tu fais derriere avec les mots de passe |
et moi je lui ai balancé le ftp de debian
Marsh Posté le 21-01-2003 à 13:40:21
Moi de borland
Marsh Posté le 21-01-2003 à 13:41:40
y en a un qui va plus avoir de bp s'il garde ce truc en ligne
Marsh Posté le 21-01-2003 à 13:42:23
Vous pouvez essayer avec ça si vous n'avez pas de ftp anonyme sous la main :
ftp://145.24.145.100/mirrors/padu [...] fairlight/
ou
ftp://145.24.145.100/mirrors/padua/Demos/ <= si le max exectime tien le coup
Marsh Posté le 21-01-2003 à 13:42:54
regarde mon post plus haut pour ton max_execution_time
Marsh Posté le 21-01-2003 à 13:43:25
ReplyMarsh Posté le 21-01-2003 à 14:13:46
juste à titre documentaire... ça sert à quoi ?
(à part à faciliter les recherches d'un soft piratz sur un FTP undergroundz )
Marsh Posté le 21-01-2003 à 14:41:35
c'est une réponse comme une autre.
Marsh Posté le 21-01-2003 à 14:59:57
TBone a écrit : juste à titre documentaire... ça sert à quoi ? |
faciliter les recherches d'un soft libre sur un FTP connu mais gros
Marsh Posté le 21-01-2003 à 15:53:34
j'étais pas loin donc
Marsh Posté le 21-01-2003 à 16:08:05
TBone a écrit : |
Ce que tu en fais c'est pas mon pb
Le but était juste de fournir une alternative gratuite et en sources libres au seul indexer de ftp que je connaisse : mnoGoSearch -> http://search.mnogo.ru
Marsh Posté le 21-01-2003 à 17:08:01
Scusez moi de polluer mais c'était juste pour dire que j'avais rajouté un moteur de recherche
http://80.13.153.225/ftplister/ <= Pour tester la rapidité sur 3500 enregistrements (spa bcp je sais)
Marsh Posté le 21-01-2003 à 17:39:04
dis donc c'est pas mal ton truc, ça te permet de récupérer des login/pass sur pas mal d'accès FTP
Marsh Posté le 21-01-2003 à 17:40:58
THE REAL SMILEY a écrit : dis donc c'est pas mal ton truc, ça te permet de récupérer des login/pass sur pas mal d'accès FTP |
C'est un peu le prinicpe même d'un indexeur...
Maintenant rien n'empèche d'indexer des ftp anonymes
Marsh Posté le 21-01-2003 à 19:39:15
Hop, 37 000 enregistrements
Si ca vous tente de voir si c'est rapide
Marsh Posté le 21-01-2003 à 21:54:23
Aaaaarg je reste bloqué à 32765 enregistrements dans ma base, après ça veut plus
J'imagine que j'ai dû me planter gravement quelque part lors de ma création de table et des champs ?
CREATE TABLE link
(
id smallint(100) NOT NULL auto_increment,
host longtext NOT NULL,
file longtext NOT NULL,
date date NOT NULL default '0000-00-00',
PRIMARY KEY (id)
) TYPE=MyISAM;
Marsh Posté le 21-01-2003 à 13:04:28
Si le code intéresse quelqu'un je le donne avec plaisir tellement j'ai galéré
Ce que ça fait pour le moment :
- Scanne tous les repertoires supérieurs du FTP que vous ajoutez.
- Indexe tous les fichiers présents dans ce répertoire.
- Permet de recherche par mot clef, un fichier, un dossier, une IP.
Ce que ça fera en plus quand j'aurais le temps :
- Afficher les date de dernier chek du ftp
- Cheker automatiquement les ftp de la base et effacer ceux qui sont obsoletes.
- Controler les permissions de download.
- Trier plus élégemment les résultats.
Si ça vous tente de tester cet indexeur :
http://www.autoloto.net/ftphpindex
Serveurs indexés :
ftp.redhat.com
ftp.microsoft.com (partiellement)
ftp.freebsd.org (partiellement)
ftp.debian.org
ftp.linux.cz
Nbr total de fichiers : environ 415 000
Message édité par format_c le 29-01-2003 à 11:36:43