Meilleur systeme de backup?

Meilleur systeme de backup? - Divers - Linux et OS Alternatifs

Marsh Posté le 13-10-2006 à 17:55:37    

:hello:
 
 j'ai cherche parmi les sujets qui traitent de backup, mais je n'ai pas trouve de reponse qui me satisfaisait, donc je me permets de creer un topic.
Voila, j'ai une certaine quantite de donnees (plusieurs dizaines de Go, entierement legaux je precise) que j'aimerais sauvegarder de maniere fiable.
J'ai pour l'instant un petit serveur sous FreeBSD (cf config), et j'envisage de lui rajouter des disques durs pour faire de la sauvegarde. La grande question que je me pose avant de me lancer est "quelle est la meilleure strategie de sauvegarde"? Je m'explique:
 
Au debut j'etais bien tente par le RAID5, qui assurait bien niveau perfs, mais quand j'ai regarde le prix des cartes controleurs, ca m'a refroidit direct :D
J'ai donc regarde du cote du RAID1, un peu moins performant, mais assez fiable aussi. Et puis la je me suis dit "c'est cool, mais avec un rm malencontreux, je suis completement ***** quand meme"
 
Donc j'ai cogite encore un peu, et puis je me suis dit et si je faisais un "RAID 1 asynchrone", c'est-a-dire une replication vers un 2ieme disque, mais pas en meme temps, disons un cron chaque nuit qui copie d'un disque sur l'autre... J'ai pas encore etudie les differentes methodes pour faire ca (dump, rsync, dd :D), mais j'aimerais bien avoir quelques avis,  si certains utilisent ce genre de trucs, etc...
 
Merci :)

Reply

Marsh Posté le 13-10-2006 à 17:55:37   

Reply

Marsh Posté le 13-10-2006 à 18:23:55    

Reply

Marsh Posté le 13-10-2006 à 18:24:13    

Salut  
 
DD pour une utilisation à partir d'un boot cd, afin que les partitions ne soient pas montées au moment du clonage.
j'utilise dd pour faire des backups de partitions, et de mbr, dd travaille bit à bit, donc ça roule :)
 
tu peux faire tourner dd en sur 2 disques locaux, comme via ssh :)
utilisation de dd : "part1" > "fichier sur part2" ou "part1" > "part2"   et inversement
                         "mbr" > fichier ou "mbr du dur1" > "mbr du dur2"
ex:
Dans l'exemple suivant , la partition que je souhaite sauvegarder se trouve en /dev/sda1 , et ma 2ème partition qui va accueillir les fichiers est /dev/sda2  
 
#dd if=/dev/sda1 | gzip -c | split -b 2230m - /mnt/backup/image-os/backup-os.img.gz.  (j 'ai fait en plus un split pour graver sur dvd)
#dd if=/dev/sda of=/mnt/backup/image-os/backup.mbr bs=512 count=1    (backup du mbr)
 
d'une partition1 vers une partition2
#dd if=/dev/sda1 of=/dev/sda2
 
je penserais plutot donc un rsync pour que cela puisse se faire sans rebooter la machine :/

Reply

Marsh Posté le 13-10-2006 à 18:38:47    

mirtouf a écrit :

2 disques ou 4 disques ?


2 devraient suffire pour le moment :)

l4nkou a écrit :

Salut  
 
DD pour une utilisation à partir d'un boot cd, afin que les partitions ne soient pas montées au moment du clonage.
j'utilise dd pour faire des backups de partitions, et de mbr, dd travaille bit à bit, donc ça roule :)
 
tu peux faire tourner dd en sur 2 disques locaux, comme via ssh :)
utilisation de dd : "part1" > "fichier sur part2" ou "part1" > "part2"   et inversement
                         "mbr" > fichier ou "mbr du dur1" > "mbr du dur2"
ex:
Dans l'exemple suivant , la partition que je souhaite sauvegarder se trouve en /dev/sda1 , et ma 2ème partition qui va accueillir les fichiers est /dev/sda2  
 
#dd if=/dev/sda1 | gzip -c | split -b 2230m - /mnt/backup/image-os/backup-os.img.gz.  (j 'ai fait en plus un split pour graver sur dvd)
#dd if=/dev/sda of=/mnt/backup/image-os/backup.mbr bs=512 count=1    (backup du mbr)
 
d'une partition1 vers une partition2
#dd if=/dev/sda1 of=/dev/sda2
 
je penserais plutot donc un rsync pour que cela puisse se faire sans rebooter la machine :/


Ah oui c'est vrai j'avais pas pense qu'il fallait demonter pour dd... Bah au pire je peux reduire la frequence a 2 par semaine, si c'est inaccessible pendant la nuit c'est pas catastrophique. Mais niveau perfs, je sais pas ce qu'il vaut mieux, avec dd ca va vite mais ca copie tout, mais avec rsync ya pas besoin de tout recopier a chaque coup, parce que bon il y aura pas enormement de modifications une fois qu'il sera rempli.


Message édité par P-Y le 13-10-2006 à 18:39:48
Reply

Marsh Posté le 13-10-2006 à 19:04:31    

man rsync:
 
rsync [OPTION]... SRC [SRC]... DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
  or   rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
  or   rsync [OPTION]... [USER@]HOST:SRC [DEST]
  or   rsync [OPTION]... [USER@]HOST::SRC [DEST]
  or   rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
 
Quelques options qui me paraissent interessentes:
 
 -r, --recursive             recurse into directories
 -b, --backup               make backups (see --suffix & --backup-dir)
      --backup-dir=DIR     make backups into hierarchy based in DIR
      --suffix=SUFFIX       set backup suffix (default ~ w/o --backup-dir)
 -u, --update                skip files that are newer on the receiver
      --inplace                update destination files in-place (SEE MAN PAGE)
  -l, --links                   copy symlinks as symlinks
 -H, --hard-links            preserve hard links
 -p, --perms                 preserve permissions
 -E, --executability        preserve the file's executability
 -o, --owner                 preserve owner (super-user only)
 -g, --group                 preserve group
      --progress             show progress during transfer
      --delete                delete files that don't exist on the sending side
      --delete-before       receiver deletes before transfer (default)
      --delete-during       receiver deletes during transfer, not before
      --delete-after         receiver deletes after transfer, not before


Message édité par l4nkou le 13-10-2006 à 19:07:03
Reply

Marsh Posté le 14-10-2006 à 00:22:05    

Chez moi, ca marche comme ca pour sauver mon stock de zique sur un deuxieme DD :

rsync -av --delete --progress /home/Musique/ /sauvegarde

(Je fais ca a la main, sans cronjob parce que je change vraiment pas tous les jours le dossier en question)

Reply

Marsh Posté le 01-09-2009 à 14:26:33    

Le RAID (quelque soit son niveau) ne doit jamais être considèré comme un système de backup.

Reply

Marsh Posté le 01-09-2009 à 16:08:20    

Le dd c'est mauvais et inefficace comme méthode car :
- tu copies un système de fichiers dans un état incohérent s'il n'est pas démonté;
- tu copies tous les bloques sans exception.

Reply

Marsh Posté le 02-09-2009 à 08:12:11    

perso j'utilise backintime qui se lance tous les soirs à minuit, ce qui est bien c'est que si tu as suffisamment de place il garde la trace des fichiers que tu as modifiés ou supprimés


---------------
dam's (debianer), ma galerie Flickr
Reply

Marsh Posté le 03-09-2009 à 19:34:58    

Tu veux sauver des données ou un système ? Ce n'est pas pareil. Tu dis "données", on parle donc d'une partition avec des images, des vidéos toussa ? Pas de base de données, de serveur mail ?

 

Si tu veux sauver des données, tu peux utiliser rsnapshot. Ce sont de simples scripts basés sur rsync. Ca te crée une copie complète d'une arborescence avec des versions. Si tes données changent peu, c'est très bien. Si tu as des gros fichiers qui changent beaucoup, genre encodage vidéo, c'est nul.

 

Si tu veux sauver un système déja configuré, sans t'ennuyer à sauver chaque fichier de config, chaque petit bidule, le mieux c'est le snapshot de partition LVM d'une machine virtuelle. C'est redoutable. Pense simplement à arrêter les services qui peuvent contenir des données en mémoire (en attente d'être écrites sur le disque). Ensuite tu lance le snapshot, puis tu fais un dd et voilà. Ca se script, c'est assez simple et tu peux dormir tranquille.

 

Moi je serais tenté par de l'opensolaris rien que pour explorer les possibilités de ZFS.

 

Mais je suis toujours content de connaître d'autres solutions, c'est pas toujours simple de se tenir au courant sur tout les fronts.

 
Taz a écrit :

Le dd c'est mauvais et inefficace comme méthode car :
- tu copies un système de fichiers dans un état incohérent s'il n'est pas démonté;
- tu copies tous les bloques sans exception.

 

Disons qu'au lieu inefficace on peut dire "radical".


Message édité par roscocoltran le 03-09-2009 à 19:36:00

---------------
"Your god is too small", Giordano Bruno, 1548 - 1600
Reply

Marsh Posté le 03-09-2009 à 19:34:58   

Reply

Marsh Posté le 13-09-2009 à 12:20:20    

perso je fais des backups incrémentaux avec rsync et cp -al

Reply

Marsh Posté le 15-09-2009 à 10:55:40    

Bonjour,
 
Je me permets de m'incruster dans ce post ;-)
 
Pensez-vous que rsync soit une bonne solution pour effectuer un backup complet de +/- 100Go de données chaque jour sur un disque dur USB en faisant une tournante avec 9 disques durs ?
 
Bonne journée

Reply

Marsh Posté le 15-09-2009 à 11:30:48    

Oui si tu prends les données à froid.

Reply

Marsh Posté le 15-09-2009 à 13:47:21    

A froid?  
Tu veux dire non utilisé au moment de la sauvegarde?
 
Mecri pour ta contribution

Reply

Marsh Posté le 15-09-2009 à 16:35:17    

Oui, parce que sauvegarde les fichiers d'une base de données ouverte, ça ne sert à rien.

Reply

Marsh Posté le 15-09-2009 à 17:00:04    

- dump (pgdump, mysqldump, slapcat)
- snapshot disque (lvm ou san) + snapshot des VM
- tar.gz
- bacula
- rdiffbackup
oui je donne des idées en vrac :o

Message cité 1 fois
Message édité par gug42 le 15-09-2009 à 17:00:23
Reply

Marsh Posté le 17-09-2009 à 09:16:14    

gug42 a écrit :

- dump (pgdump, mysqldump, slapcat)
- snapshot disque (lvm ou san) + snapshot des VM
- tar.gz
- bacula
- rdiffbackup
oui je donne des idées en vrac :o


 
La partie pénible reste la synchro entre l'arrêt de la BDD (locale) et le snapshot LVM (remote).


---------------
"Your god is too small", Giordano Bruno, 1548 - 1600
Reply

Marsh Posté le 17-09-2009 à 10:40:23    

roscocoltran a écrit :


 
La partie pénible reste la synchro entre l'arrêt de la BDD (locale) et le snapshot LVM (remote).


Si t'as un vrai SGBD, tu poses une étiquette pour backup tu veux sauvegarder les fichiers à chaud.

Reply

Marsh Posté le 17-09-2009 à 14:59:00    

trueslash a écrit :

perso je fais des backups incrémentaux avec rsync et cp -al


 
Pareil, très bonne méthode, avec historique sur 30 jours et pour les paranos réplications sur site à distance (frère, soeur, cousin, cousine... :D)


---------------
Mon projet de coffret multimédia: http://maison2valerie.wordpress.co [...] hapitre-1/
Reply

Marsh Posté le 17-09-2009 à 15:14:20    

Taz a écrit :


Si t'as un vrai SGBD, tu poses une étiquette pour backup tu veux sauvegarder les fichiers à chaud.


 
des noms stp :o  
 
;)

Reply

Marsh Posté le 17-09-2009 à 18:44:55    

Au fait pour le rsync et cp -al, je me suis basé la dessus: http://www.mikerubel.org/computers/rsync_snapshots/
 
NewB compliant [:bien]

Reply

Marsh Posté le 17-09-2009 à 20:09:17    

trueslash a écrit :

Au fait pour le rsync et cp -al, je me suis basé la dessus: http://www.mikerubel.org/computers/rsync_snapshots/
 
NewB compliant [:bien]


 
rsnapshot :o


---------------
"Your god is too small", Giordano Bruno, 1548 - 1600
Reply

Marsh Posté le 06-01-2010 à 20:39:32    

Bonjour a tous,
 
Je suis en train de mettre en place une solution de backup pour des donnees sur ma workstation, et j’ai quelques questions pratiques.
 
Mes donnees de travail sont sur disqueA (interne). J’ai disqueB (usb) et disqueC (reseau local) de la meme taille que disqueA. Egalement un disqueD (reseau distant).
Je prevoie de faire la chose suivante:
1) Backup journalier de A sur B (vitesse estimee >100 Mbps)
2) Backup hebdomadaire de B sur C (vitesse estimee 10 Mbps)
3) Backup hebdomadaire d’une portion de A vers D (vitesse estimee <1 Mbps)
 
Plusieurs questions:
- Entre les backups, est il recommande d’umount les disques de backup? De modifier leur etat de rotation avec hdparm?
- Pour 2), en pratique, fait on un tiers backup a partir du second ou plutot a partir de l’original? A premiere vue ca ne doit pas changer grand chose?
- Y a t’il un moyen de detecter un gros changement? Je m’explique… admettons qu’un jour par erreur je supprime 10% de mes donnees. Si je ne m’en rends pas compte, une semaine plus tard cette destruction sera propagee sur mes disques B et C et je n’aurai plus rien. Y a t’il des moyens de detection (configurables)?
- EDIT:  Pour un backup de DB, je suppose qu'il faut s'arranger pour eteindre mysql/postgresql avant de rsync le repartoire /var/lib/{postgresql|mysql}/, ou bien y a t'il une meilleure solution? Sont ce de vrais SGBDs? Qu'est ce qu'une "etiquette de backup"?
- Y a t’il une faille (ou mauvaise pratique) evidente dans mon plan?
 
Merci et bonne soiree.


Message édité par ztg le 06-01-2010 à 20:55:03
Reply

Marsh Posté le 07-01-2010 à 13:42:53    

Bonjour,
 
Peut être que je ne comprends pas ton explication, mais moi pour il y a un truc qui cloche.
1) le backup journalier écrase t il celui de la veille, ou est ce que tu effectues une rotation sur 7 jours ?
2) Idem, il faudrait prévoir une rotation sur 3 à 4 semaines.
3) Est ce vraiment nécessaire ??
 
Mis à part la considération des DB sql. Tu pourrais mettre en place un backup "rsync + cpal" (snapshot) journalier avec un historique de "n" jours. A toi de définir "n" en fonction de la taille des données, du débit et de la sécurité recherchée. Moi je tourne sur 28jours.
 
Tu te retrouves avec toutes tes datas + l'historique sur le disque B. Tu peux faire la même chose sur ton disque C, mais est ce vraiment utile ? (si le matos est dispo, autant ne pas s'en priver c'est sur). Et enfin tu fais une synchro journalière (+ cpal pour l'historique) aussi de B vers D, à un horaire décalé. Grace au rsynch journalier tu peux certainement t'en sortir avec une faible quantité de données et arriver à traiter ça dans la nuit...à voir !
 
Pour le sql. Soit tu traites ça comme décrit précédemment. Mais ça veut dire qu'il faut éteindre le serveur sql, faire le back up et le rallumer. L'inconvénient majeur pour moi est que tu ne sauras restaurer que l'intégralité de la database d'un seul coup.
Sinon tu utilises un soft dédié (qui a un cout), genre Symantec sql, qui sait faire du back up par granularité, mais qui du coup va tourner en parallèle du système décrit plus haut...
 
Le umount des disques de back up garantit de ne pas faire une fausse manip pendant la journée,et de n'utiliser le disque que pendant la phase de back up. Permet aussi de ne pas laisser ouvert un accès à tes données supplémentaires..
 
Je ne suis pas du tout expert, mais j'ai mis en place un back up rsync/cp al dans mon entreprise, avec redondance sur site distant également..


Message édité par senado le 07-01-2010 à 13:45:18

---------------
Mon projet de coffret multimédia: http://maison2valerie.wordpress.co [...] hapitre-1/
Reply

Marsh Posté le 07-01-2010 à 15:53:42    

1) c'est du rsync, donc il resynchronise les disques chaque nuit de A vers B et chaque semaine de A vers C... rotation? de quoi?
2) idem?
3) oui, A, B et C etant sur le meme site... et je ne ferai ca que pour la portion de A qui est vitale
 
avoir un historique c'est pas trop important pour l'instant... ce qui a besoin d'un historique est en version control
donc a un instant T j'ai une copie sur B de mon disque a T-1 et sur C de mon disque a T-7

Reply

Marsh Posté le 07-01-2010 à 16:20:34    

Des gens ont testé des solutions simples avec Amazon S3 ? Je tenterais bien quelque chose avec duplicity mais là limitation à 5Go / bucket va être vite atteinte.

Reply

Marsh Posté le 07-01-2010 à 16:39:35    

ztg a écrit :

1) c'est du rsync, donc il resynchronise les disques chaque nuit de A vers B et chaque semaine de A vers C... rotation? de quoi?
2) idem?
3) oui, A, B et C etant sur le meme site... et je ne ferai ca que pour la portion de A qui est vitale
 
avoir un historique c'est pas trop important pour l'instant... ce qui a besoin d'un historique est en version control
donc a un instant T j'ai une copie sur B de mon disque a T-1 et sur C de mon disque a T-7


 
Suis d'accord avec toi, mais il n'a jamais dit qu'il faisait du rsync, il a dit "backup" ! :D Si il fait du rsync, effectivement pas de rotation, mais il faut mettre en place le cp -al pour avoir l'historique sur n jours. C'est absolument nécessaire !


---------------
Mon projet de coffret multimédia: http://maison2valerie.wordpress.co [...] hapitre-1/
Reply

Marsh Posté le 07-01-2010 à 22:17:46    

senado a écrit :


 
Suis d'accord avec toi, mais il n'a jamais dit qu'il faisait du rsync, il a dit "backup" ! :D Si il fait du rsync, effectivement pas de rotation, mais il faut mettre en place le cp -al pour avoir l'historique sur n jours. C'est absolument nécessaire !


 
Salut,
 
alors en fait non ;)  
 
depuis rsync 3, il y a l'option --link-dest, qui fait en même temps que le rsync le cp -al  
 
man rsync > cherchez --link-dest et les 3 autres options associées autour, vous aurez toutes les explications.
 

Reply

Marsh Posté le 08-01-2010 à 14:07:14    

Pour faire de l'historisation basé sur rsync : rdiffbackup ;)

Reply

Marsh Posté le 08-01-2010 à 14:52:23    

Bonjour,
Pour ma part j'utilise backintime pour mes sauvegarde, ya un client graphique qui permet de naviguer dans les sauvegardes, de restaurer un fichier anciens, je le trouve assez complet et simpliste.
 
Sinon j'ai une question, ma mère utilise un portable, donc un seul disque. Avant je synchronisait ses documents avec un répertoire présent sur mon serveur perso. Seulement depuis peu j'ai décidé d'arrêter de laisser tourner mon pc 24h/24. Donc je me pose la question comment lui faire sauvegarder ces documents? Sachant qu'il faut que ça soit le plus simple possible, et si ça peut être automatique ça serai pas mal.
 
Merci de vos retour d'expériences


---------------
dam's (debianer), ma galerie Flickr
Reply

Marsh Posté le 08-01-2010 à 16:03:59    

gug42 a écrit :

Pour faire de l'historisation basé sur rsync : rdiffbackup ;)


De mon expérience, ce soft est beaucoup trop lent, je me tapais des gros 100% CPU et au final c'est ça qui bridait.
Et comme le format de stockage interne n'a pas arrêté de changer, d'une version à l'autre, ça niquait tout.
 
Du coup je n'utilise plus même si sur le principe c'est séduisant.

Reply

Marsh Posté le 08-01-2010 à 17:23:49    

Salut,
 
On l'utilise actuellement pour de petits volumes (<500Go) et ca marche bien. Ca mange un peu plus de ressources que m'enfin ca va (surtout que maintenant le moindre ordi est au mini un C2Duo).
 
Pas eu de problème lors du passage de etch à lenny. (Après je n'en sais pas beaucoup plus, ce n'est pas moi qui gère le truc).

Reply

Marsh Posté le 02-12-2011 à 08:37:21    

Taz a écrit :

Des gens ont testé des solutions simples avec Amazon S3 ? Je tenterais bien quelque chose avec duplicity mais là limitation à 5Go / bucket va être vite atteinte.


c'est 5To/bucket, mais 5Go par PUT ( [:pingouino] )

 

Sinon, je suis en galère, duplicity a pas l'air de faire du snapshot comme le fait rdiff-backup (enfin, je capte pas, il donne pas la liste des snapshots).

 

Je cherche à backuper des répertoires vers S3, toutes les heures pendant une semaine, tous les jours pendant 2 mois et toutes les semaines indéfiniment après.
Mais avec duplicity, si je peux pas lister les dates de backup, je vois pas comment faire (j'ai pas envie d'y aller à l'aveugle à coup de -t).

 

vous avez des idées ?

 

edit: l'auteur de duplicity m'a répondu, la commande duplicty collection-status  sert à avoir la liste des points de recovery.


Message édité par nraynaud le 03-12-2011 à 15:59:01

---------------
trainoo.com, c'est fini
Reply

Marsh Posté le    

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed