Compression lors d'un envoi reseau

Compression lors d'un envoi reseau - Win NT/2K/XP - Windows & Software

Marsh Posté le 18-07-2003 à 12:41:00    

Voila je cherche sous windows2000, une commande permettant de compresser un fichier seulement lors de l'envoie réseaux.
 
Je m'explique.
 
Sur un serveur je ne dispose pas d'assez de place en local pour compresser le fichier. Je souhaite donc directement envoyé ce fichier vers un autre serveur, mais comme le fichier est conséquent j'aimerais que lors de l'envoie réseau il soit compressé à la volet (paquet par paquet :) )
 
 
Ca existe ce genre de truc?

Reply

Marsh Posté le 18-07-2003 à 12:41:00   

Reply

Marsh Posté le 18-07-2003 à 14:21:25    

Je ne suis pas assez clair ou vous ne savez pas?

Reply

Marsh Posté le 18-07-2003 à 14:23:59    

je doute sincérement qu'une telle chose soit possible


---------------
Cherche geekette | Traquez vos billets d'€ | Don du sang | Don de moelle osseuse
Reply

Marsh Posté le 18-07-2003 à 14:24:36    

bah tu fias en sorte que ca l'enregistre sur le serveur distant

Reply

Marsh Posté le 18-07-2003 à 14:25:45    

Oui mais j'aimerais qu'il soit compresser à la "volé" car le réseau ne peut pas accepter autant de charge

Reply

Marsh Posté le 18-07-2003 à 14:27:04    

quand on avait nos vieux modem analogique, on pouvait activer la compression. Mais je crois que c'est plutôt une compression matériel  et non logiciel. :(
 
Si t'as bcp de ram, tu peux créer un lecteur virtuel et mettre la version compressée dessus, mais je pense que tu parles de fichier de plusieurs Go donc ça va pas.

Reply

Marsh Posté le 18-07-2003 à 14:27:21    

bah tu compresse sur le serveur local, mais le ficheir de destination est sur le serveur distant. donc il écrit directement le ficheir compressé sur le serveur distant

Reply

Marsh Posté le 18-07-2003 à 14:30:13    

Je vois ce que tu veux faire et je pense pas que ce soit possible. Par contre si ta priorité c'est la bande passante,
il suffit que tu ecrive sur un lecteur distant un fichier compresse... Tu prend tous les fichiers que tu veux copier sur l'ordi distant, tu ecris un fichier rar par exemple sur l'ordi distant. En faisant comme ca, tu est sur qu'il n'y aura qu'un minimum de paquets transfere. Par contre il faudra apres que tu
les decompresse sur l'ordi distant.. mais bon :)
 
Edit : c'est la solution de farib en fait, je suis arrive un peu tard  :D


Message édité par Alana le 18-07-2003 à 14:30:53
Reply

Marsh Posté le 18-07-2003 à 14:31:15    

Alana a écrit :

Je vois ce que tu veux faire et je pense pas que ce soit possible. Par contre si ta priorité c'est la bande passante,
il suffit que tu ecrive sur un lecteur distant un fichier compresse... Tu prend tous les fichiers que tu veux copier sur l'ordi distant, tu ecris un fichier rar par exemple sur l'ordi distant. En faisant comme ca, tu est sur qu'il n'y aura qu'un minimum de paquets transfere. Par contre il faudra apres que tu
les decompresse sur l'ordi distant.. mais bon :)
 
Edit : c'est la solution de farib en fait, je suis arrive un peu tard  :D  


merci, c'est exactement ce que je dis

Reply

Marsh Posté le 18-07-2003 à 14:32:22    

sinon tu peux activer la compression NTFS de windows 2000, c'est transparent, mais il faut que les 2 partitions soient en NTFS

Reply

Marsh Posté le 18-07-2003 à 14:32:22   

Reply

Marsh Posté le 18-07-2003 à 14:34:21    

je vais essayer de m expliquer un peu mieu
 
Jai un pc1 avec un fichier de 10go à compresser, mais il ne me reste plus de 2go de libre. Je ne peux pas le compresser en local car pas assez de place et je ne peux pas l'envoyer non plus tel quel sur le reseau (trop long).
 
BRef je fais comment pour que un script compresse morceau par morceau le fichier et envoi morceau par morceau sur le serveur distant (bien sur sur le serveur destination il n'y aura qu'un seul fichier hein :) )
 

Reply

Marsh Posté le 18-07-2003 à 14:35:29    

Pour la compression ntfs c pas possible ca va me ralentir mon systeme, le fichier c'est pour faie une sauvegarde à froid de oracle, cela doit duré le moins de temps possible

Reply

Marsh Posté le 18-07-2003 à 14:37:58    

tu decoupes le fichier en plusieurs parties pour l'envoyer à ton destinatiares par paquets
il y plusieurs prog qui font ca : decoupe25 par exemple...

Reply

Marsh Posté le 18-07-2003 à 14:38:49    

Yeke a écrit :

je vais essayer de m expliquer un peu mieu
 
Jai un pc1 avec un fichier de 10go à compresser, mais il ne me reste plus de 2go de libre. Je ne peux pas le compresser en local car pas assez de place et je ne peux pas l'envoyer non plus tel quel sur le reseau (trop long).
 
 


 
tu aurais commencer a l'envoyé au lieu de faire un topic il serait deja arriver ;)


---------------
Cherche geekette | Traquez vos billets d'€ | Don du sang | Don de moelle osseuse
Reply

Marsh Posté le 18-07-2003 à 14:45:47    

Citation :

u aurais commencer a l'envoyé au lieu de faire un topic il serait deja arriver ;)


 
Mci pour ton aide ;)
 
C un script quoi tournera tous les soir bien entendu

Reply

Marsh Posté le 18-07-2003 à 14:55:37    

Yeke a écrit :

Citation :

u aurais commencer a l'envoyé au lieu de faire un topic il serait deja arriver ;)


 
Mci pour ton aide ;)
 
C un script quoi tournera tous les soir bien entendu  


 
bah le soir, ta le temps....
 
non le mieux c'est de ne pas ce soucier de la compression mais plutot de l'intégrité du fichier (un fichier de 10go ?  :ouch: )
 
Par exemple avec l'outil de synchonisation de rsync (outils unix donc faut instaler cygwin sous windows pour l'avoir)
 


---------------
Cherche geekette | Traquez vos billets d'€ | Don du sang | Don de moelle osseuse
Reply

Marsh Posté le 18-07-2003 à 14:56:07    

Ben WinZip, WinRAR, WinACE etc... dans ton cas un compresseur en ligne de commande
 
Tu compresses le file ou le rep avec comme destination un lecteur mappé du serveur distant

Reply

Marsh Posté le 18-07-2003 à 14:59:31    

Yeke a écrit :

je vais essayer de m expliquer un peu mieu
 
Jai un pc1 avec un fichier de 10go à compresser, mais il ne me reste plus de 2go de libre. Je ne peux pas le compresser en local car pas assez de place et je ne peux pas l'envoyer non plus tel quel sur le reseau (trop long).
 
BRef je fais comment pour que un script compresse morceau par morceau le fichier et envoi morceau par morceau sur le serveur distant (bien sur sur le serveur destination il n'y aura qu'un seul fichier hein :) )


J'ai l'impression que c'est surtout nous qui n'arrivons pas a nous faire comprendre... Farib et moi on arrete pas de te dire
de le compresser sur un lecteur distant. Donc si tu parametre bien ton soft de compression, il n'ecrira rien du tout en local, mais crera simplement le fichier sur l'ordi distant...

Reply

Marsh Posté le 18-07-2003 à 15:00:10    

tout a fait d'accord

Reply

Marsh Posté le 18-07-2003 à 15:02:37    

Citation :

J'ai l'impression que c'est surtout nous qui n'arrivons pas a nous faire comprendre... Farib et moi on arrete pas de te dire  
de le compresser sur un lecteur distant. Donc si tu parametre bien ton soft de compression, il n'ecrira rien du tout en local, mais crera simplement le fichier sur l'ordi distant...


 
Cela veut dire que le fichier sera compresse par le serveur envoyeur c ca?
 
si oui tu peux me dire quoi utliser (gratuit si possible) et comment le parametter
 

Reply

Marsh Posté le 18-07-2003 à 15:04:41    

tu prends winzip et tu precises que le repertoire temporaire se trouve sur ton destinataire.
 

Reply

Marsh Posté le 18-07-2003 à 15:05:27    

en ligne de commande c possible?

Reply

Marsh Posté le 18-07-2003 à 15:06:08    

pkzip peut etre

Reply

Marsh Posté le 18-07-2003 à 15:09:55    

Citation :


Cela veut dire que le fichier sera compresse par le serveur envoyeur c ca?  


C'est bien ca.

Citation :


 si oui tu peux me dire quoi utliser (gratuit si possible) et comment le parametter  


Heu... moi a ta place j'utiliserai WinRar, mais c'est un shareware... mais bon en 30j tu devrai avoir le temps  :lol:  
Et dans les options, tu peux indiquer le lecteur a utiliser comme emplacement temporaire, il suffit que tu lui indique le lecteur distant. du coup tout sera fait sur la machine distante.

Reply

Marsh Posté le 18-07-2003 à 15:39:24    

Oui mais le prog va deja compressé le fichier puis le transféré non?
 
Moi je veux (mail envoyé à une connaissance)
 
 
Imagine je veux copier un fichier de A vers B
 
Le fichier doit etre compressé. En fait il voudrait que le fichier soit compressé petit à petit.
 
Il ne veut pas que le fichier soit compressé puis envoyé apres, il veut que une parti du fichier soit compressé puis envoyé et ainsi de suite.
 
Il parait que sous unix cela ce fait sans prob (il recherce un script pour me montrer)
 

Reply

Marsh Posté le 18-07-2003 à 15:44:59    

Yeke a écrit :

Oui mais le prog va deja compressé le fichier puis le transféré non?
 


 
si le disque est mappé comme disque réseau, il va commencé a compresser puis va écrire sur le disque réseau.
 


---------------
Cherche geekette | Traquez vos billets d'€ | Don du sang | Don de moelle osseuse
Reply

Marsh Posté le 18-07-2003 à 16:51:57    

en gros je veux ca sous windows (reposne de ma connaissance)
 
En fait l'action que tu veux faire s'appelle "on the fly" sous unix.
La philosophie d'unix est basée sur "TOUT EST FICHIER" (sortie d'ecran, impression, ...)
à partir de là tu peux créer des fichiers "pipes" qui permettent de faire 2 actions à la volet...
 
un exemple sur un export compressé :
2 façcons :
1.1 - tu exportes
1.2 - tu compresses (sachant que gzip sous unix doit être patché pour des fichiers > 4Go, pas de pb pour compress)
Cette méthode là ne marche pas sur les anciens unix car ils étaient limités par la taille des fichiers (2 Go). Mais avec l'implémentation de nouveaux FS (jfs, ext[n]fs, vxfs...) + le mode 64 bits il n'y a plus de pb sur ce point.
 
2.1 - tu crées un fichier pipe (+/- un tuyau) (mknod, mkfifo)
2.2 - tu exportes vers l'entrée du tuyau  
2.3 - tu compresses à la sortie du tuyau
Cette méthode marche avec n'importe quelle version d'unix.
 
A ma connaisance, NT ne peut pas faire cette opération en natif. Mais il doit y avoir des farfelus qui ont développé des fonctions similaires.

Reply

Marsh Posté le 18-07-2003 à 16:57:52    

Entre le temps de compression et celui de decompression d'un fichier de 10Go, je suis pas sur du tout que tu y gagnes quelque chose par rapport a un simple transfert...

Reply

Marsh Posté le 18-07-2003 à 17:03:26    

Le fichier un fois à destination restera compressé.
 
Et la je demande pour un fichier, mais il y en aura plusieurs (4 srv devront exporté leur fichier vers un autre, ce qui representera environ 20go, à tranféré le plus vite possible, donc compression obligatoire)


Message édité par yeke le 18-07-2003 à 17:04:12
Reply

Marsh Posté le 18-07-2003 à 17:06:46    

A mon avis le mieux serait de passer par une compression hard.
Soit au niveau de le carte réseau, avec un carte réseau spécialisée, soit au niveau du matériel réseau. (routeurs)
 
Quoiqu'il arrive compresser 10Go sur une machine va nécessité au moins deux CPU.
Le surcout carte bipro + second proc risque d'être plus important que du matériel réseau dédié.
En plus ce matériel gèrera les aspects corruption de données pendant la tramsission, ce qui déchargera les serveurs.
 
Je ne connais pas ton environnement (si c'est une étude, ou si tout est déjà en place).
 
WW


Message édité par WESTWOOD le 18-07-2003 à 17:07:10
Reply

Marsh Posté le 18-07-2003 à 17:29:51    

Non tout est deja en place. Pour linstant on n'effectue pas de sauvegarde à froid (arret des base) mais seulement à chaud.
 
L'archi est deja en place donc, il n y a pas vraiment d etude, mais je me pose la question de comment faire.
 
Et ma question : comment faire ça sous windows (juste pour info, car c'est pas con comme méthode)
 
2.1 - tu crées un fichier pipe (+/- un tuyau) (mknod, mkfifo)  
2.2 - tu exportes vers l'entrée du tuyau  
2.3 - tu compresses à la sortie du tuyau  
Cette méthode marche avec n'importe quelle version d'unix.

Reply

Marsh Posté le    

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed