Mon cycle de traitement et de sauvegarde pour mes photos
Cycle de backup de mes photos
Depuis l’achat de mon Nikon D60, je produit entre 500 et 1000 photos par mois. 
C’est bien, je suis productif… cependant, cela a assez rapidement soulevé d’autres problématiques : celles du stockage, de l’accès via plusieurs postes à ces photos, ainsi que la sauvegarde.
Je viens de faire le compte, j’ai très exactement :
- 55,3 Go de photos,
- pour un compte de 35 800 fichiers.
Je suis plutôt du genre « parano » pour les sauvegardes et la pérennité des données. Je pense que ça vient d’une mauvaise expérience où j’ai perdu des fichiers suite à un mauvais cryptage de disque dur.
C’est pourquoi j’ai déployé toute une stratégie de sauvegarde afin d’éviter toute perte de données future.
Les explications sur ma méthodologie sont dans la suite de l’article !
J’ai fait un schéma récapitulatif permettant de mieux comprendre.
Premièrement, je prends les photos bien entendu : en ce moment, je privilégie le format RAW pour un post-traitement sur Lightroom !
- Je transfère les photos sur mon poste principal,
- Je retouche le format RAW et je produit 3 fichiers images :
- un fichier original (RAW),
- une version JPEG pleine taille,
- une « miniature » JPEG de 1600 pixels,
- Je transfère la totalité des photos sur mon NAS de 2 Téraoctets, sur une partition en RAID 1,
- Je copie les versions JPEG de 1600 pixels sur chacun des postes du « foyer » (2 PC portables, et un autre PC fixe),
- Une sauvegarde mensuelle est faite sur un disque dur connecté en USB,
- Une sauvegarde en ligne de la version JPEG 1600 pixels est faite régulièrement (pour l’instant, sur Flickr).
Par ailleurs, pour une meilleure gestion, mes photos sont sauvegardées dans des répertoires dont les noms indiquent :
- la date de prise de vue,
- une mini description en quelques mots,
- le lieu.
Exemples :
Enfin, quand j’importe les photos depuis mes cartes SD, la date de prise de vue est automatiquement ajoutée au nom du fichier (20090214-DSC_0642.JPG par exemple).
Voilà, mon système est mis à nu : qu’en pensez-vous ?
Je cherche encore à optimiser mes sauvegardes sur mon disque externe et en ligne : quelqu’un a une application et/ou un service en ligne à me proposer ?
Commentaire by borkmadjai — 19 février 2009 @ 22:59
« je privilégie le format RAW pour un post-traitement sur Lightroom » ce n’es pas un post-traitement mais du développement numérique. ^^
pour ton dis externe je pense un script sous linux qui va bien (si linux tu as) et pour les services lignes par contre à par faire son script avec les api flickr quoi..
Commentaire by Romain — 19 février 2009 @ 23:12
Sujet qui m’intéresse un brin, moi aussi faisant de la photo (en raw et workflow avec LR)
Pour le backup des RAW:
- des RAW propriétaires ou DNG ?
- tu as un soft qui automatise ça ou tu le fais à la main ?
Concernant les copies chez toi ailleurs que sur ton RAID1, je vois pas bien l’intérêt :s
Un RAID1 n’est-il pas déjà assez secure ?
C’est pas « un peu » contraignant de mettre tes JPEG (à la main j’imagine en plus) sur tous tes postes ?
Pas un peu « chiant » pour les utilisateurs de ces ordis de voir de l’espace dd pompé par tes photos ?
Et surtout en JPEG, « çasertàrien » le jpeg quand on a du raw :op
Et si tu te fais cambrioler, tes photos seront perdues…
À l’opposé je trouve que tu ne mets pas assez l’accent sur le backup distant.
Flickr (et ses like) ne sont que des vitrines d’exposition, pas du tout pensé pour que tu puisses récupérer facilement tes photos et en plus flickr modifie tes photos, même la « taille originale » n’est pas exactement la photo uppée je crois.
Pour ma part ce serait plutôt un système alliant ton RAID1 (ou 5 si on est riche ^^) et un service de backup online.
J’ai un peu étudié la question et 2 problèmes reviennent tout le temps.
Soit c’est vraiment cher soit les débits down sont vraiment lents.
Certains services vont même jusqu’à privilégier le « download » des données par Fedex (mozy par exemple).
L’idéal est donc de recréer online ton NAS local.
La meilleure traduction est, je pense, un serveur dédié genre dedibox.
Commentaire by borkmadjai — 19 février 2009 @ 23:18
pour le coup du backup je pense que faut devenir partner avec un collègue qui as un serveur linux chez lui, foutre un dd de 500Go et voila ton backup qui te coute pas très chère au final. Tu peux prendre un dd sur ton serveur pour lui et voila..
échange de bon procédé à pas chère
Commentaire by Amaury — 19 février 2009 @ 23:29
» Je suis plutôt du genre “parano” pour les sauvegardes et la pérennité des données »
HaHa, moi aussi depuis que j’ai fait « copier » sur un dossier, puis « effacer définitivement » puis « coller » dans un autre dossier.
J’ai mis 20 secondes à m’apercevoir que mon projet d’une semaine a rendre 4 heures après était foutu, j’ai fait le noob ^^ Resultat : Je suis pas aller manger le midi pour faire 1 semaine de boulot en 4h.
Depuis, j’ai peur que ça m’arrive sur des projets enormes ^^
PS: J’ai réussi quand même a rattraper le retard, mais j’avais jamais bosser aussi vite ^^
Commentaire by maurice — 20 février 2009 @ 7:41
@ borkmadjai :
1 disque de 500 Go ? Que voulez-vous mettre comme fichiers dans si peu d’espace ? Des photos ? Il n’y en aura pas beaucoup vu e que dit ROMAIN sur la quantité qu’il fait !!
@ ROMAIN : tu te prends le crane pour faire des sauvegardes partout, vraiment parano !
Perso, j’ai des disques ext. dans un boitier. Plusieurs quantité de stockage suivant ce qui ce fait au moment de l’achat, j’ai commencé avec un 20 Mo en 5 1/4 (il est nase maintenant)! Actu. 2 dd de 1 To, en plus de ceux qui sont en rack (tiroir).
Réponse à … cela ne prend pas de temps de faire des sauvegardes, une fois le chemin indiqué les suivants (si pas autre-chose d’enregistrer) vont au même endroit, et il y a des applications qui le font toutes seules.
Commentaire by soso — 20 février 2009 @ 9:37
@Amaury Je crois qu’il existe des softs pour récupérer ce genre de « bouletterie », unwiper, unwiser, unerase, un truc dans ce genre-là…
@Romain Tu te rends compte qu’à chaque fois que tu appuies sur le déclencheur de ton APN, tu génères en tout 100 Mo avec toutes tes réplications !
Commentaire by Fabien — 20 février 2009 @ 11:01
Voila comment je procèdé :
- Sur mon PC fixe, à partir de Lightroom, j’importe les photos dans un catalogue qui me stocke les photos en fonction de la date de prise de vue :
D:\Photos\Catalogs\Studio_2008\20082\19\20080219_143232.nef
Une fois l’importation effectuée, j’éxecute un robocopy (programme en ligne de commande pour synchroniser deux répertoires, il faut l’installer sous Windows XP, et avec Vista c’est fournit de base) qui me synchronises le répertoire D:\Photos vers E:\Photos_backup (E: étant un second disque).
Une fois par semaine, j’éxecute un robocopy mais cette fois ci vers un disque dur externe qui est debranché 95% du temps.
Pour ne pas avoir à retaper à chaque fois la ligne de commande complète, on peut la stocker dans un simple fichier .bat.
Pour retrouver mes photos, elles sont tagguées (enfin la plupart du temps, sachant que j’ai un catalog Lightroom par activité photographique et que c’est classé par date, j’ai rarement recours aux tags pour retrouver ce que je recherche).
Pour la sauvegarde à distance, je synchronises les photos avec un rsync vers une Kimsufi. La prochaine étape est de sauvegarder les photos vers Flickr. Je pense que Flickr peut être un bon endroit pour faire les backups contrairement à ce que disais un commentaire :
)
- Un compte pro n’est pas très chère pour un stockage illimité
- Possibilité de retrouver les photos facilements gràce aux données Exif et Tags
- Partager facilement une photo en la rendant simplement publique (ça enlève l’étape de l’envoi …
Et ayant aussi un côté parano, j’attend de voir comment évolu le marché des NAS pour investir dedans (apparition des disques durs de 2To, utilisation de l’intel atom dans les NAS pour offrir des solutions moins onéreuses et etc …).
(Ta quantité de photo est plutôt hallucinante …)
Commentaire by borkmadjai — 20 février 2009 @ 11:05
@maurice bah écoute en 8 mois j’ai 90Go de photos pour 25000 fichier donc pour le moment 500Go c’est pas mal ça me suffit le jour ou le 500Go est plein j’en rachète un et je le change..
Commentaire by Fabien — 20 février 2009 @ 11:05
@Romain : le soucis du DNG est que ce n’est pas réellement un standard, et une conversion d’un format proprio vers le DNG provoquera des pertes d’informations (pas forcement visible mais qui peut être ennuyeux lors d’un post traitement).
Même les Pentax qui savent faire du DNG de manière native perdent des informations par rapport aux formats proprio de Pentax (.pef) dixit les propos d’un ingénieur chez Pentax … :/
Commentaire by Romain — 20 février 2009 @ 12:04
Waouh, j’aime les commentaires constructifs !
@borkmadjai > D’accord, je parlerai de développement numérique alors.
J’ai une machine sous Vista, une Ubuntu, et deux XP : pour les scripts c’est un peu trop « hétérogène ».
Pour mettre un disque de backup chez un ami, ok, mais il faut un débit correct (c’est pas mon cas à mon appart), et un bon système de backup incrémental.
@Romain > Je prends en NEF, le RAW de Nikon.
Pour l’instant, mon backup est composé d’un ensemble de scripts .BAT, je cherche un soft assez puissant pour automatiser le tout !
Les copies en JPEG 1600px n’ont qu’une seule vocation, permettrent d’accéder à nos photos sur nos PC portables quand on vadrouille dans les familles.
Avoir tous les JPEG 1600px, ça prend 10Go d’espace sur nos PC portables.
Pour le backup sur le disque externe en plus du RAID1, que se passe-t-il si quelqu’un me vole mon NAS principal où qu’il prend la foudre ? En effet, une fois le backup mensuel fini, je débranche et je cache mon disque dur externe.
Concernant le backup distant : Flickr me permet de trier mes photos, par date, par EXIF, etc. Ya aussi un coté « financier » : Flickr me coute 25€/an.
Ton idée de la dédibox est très bonne, je n’y avais pas vraiment songé, mais ça fait un budget également : faut également trouver un bon soft de backup qui ne fait que du différentiel/incrémental pour éviter de repasser 50 Go toutes les nuits.
@Soso > J’avais pas vraiment réflechi comme ça, mais chaque version de mes photos est importante en fait… :/
@Fabien > J’avais pensé au robocopy sur Vista, mais il ne fonctionne pas avec les lecteurs réseaux (j’accède à mon NAS via plusieurs lecteurs réseaux).
Je trouve ton système bien pensé également !
Pour ma quantité de photos, 90% ne sont pas vraiment valables, mais sont plutôt des souvenirs.
Merci pour l’information sur les DNG !
Commentaire by borkmadjai — 20 février 2009 @ 12:34
bin personnellement j’ai un script qui utilise yafc et j’ai pas de soucis.. pour ce qui est du taux d’upload, j’ai pas un super débit, mais la nuit ça passe bien, si tu prend un serveur dédibox tu sera aussi limité en upload…
bref pour moi le meilleur moyens reste le nas à la maison avec du script rsync + Crontab et un hdd avec un crontab toute les nuits pour envoyé les nouveaux fichiers..
Commentaire by borkmadjai — 20 février 2009 @ 12:39
je me connecte de mon serveur vers le serveur ami avec la sauvegarde par:
yafc user:mdp@ftp.machin.com:2121 <<*
cd /home/borkmadjai/stock_photo
lcd /save/stock_photo
get -rs *
quit
et voila, yafc va envoyé tous les dossiers sauf ceux déja présent..
un crontab toutes les nuits et voila le travail pour la sauvegarde distante…
Commentaire by borkmadjai — 20 février 2009 @ 12:39
c’est pas un get mais un put pardon
Commentaire by Nobig — 21 février 2009 @ 17:04
Il existe un soft pas trop mal et gratuit pour les sauvegardes : Cobian Backup ( http://www.educ.umu.se/~cobian/cobianbackup.htm ). Il permet de faire des backup incrémentales vers un disque dur externe / Ordi sur le réseau/ Ftp …Il gère plusieurs scripts par exemple un pour tes sauvegardes journalières, un autre pour tes sauvegardes mensuelles.
Commentaire by Stéphane — 21 février 2009 @ 17:13
Content d’avoir trouvé quelqu’un d’aussi parano que moi ;). Au fait, est-ce que tu encryptes les données sur tes disques externes (la perte de données est une chose, le vol et l’exploitation une autre) ?
Sinon je suis tout comme toi confronté à la problématique de la sauvegarde à distance. Pour le moment, je m’oriente vers une solution qui consiste à utiliser une Dedibox et à créer une partition encryptée avec Truecrypt. A chaque backup, je monte la partition et je fais un rsync (ou équivalent) avant de la démonter. Le seul problème, c’est que le premier backup risque de prendre un temps fou (probablement plusieurs semaines) vu le volume de données à sauvegarder (plusieurs gigas très morcelés).
En passant, j’utilise le logiciel SyncBackPro pour faire les backups sur mes deux disques externes (il gère tout un tas de paramètres très finement).
Commentaire by NightAngel — 21 février 2009 @ 18:07
Perso je récupère mes photos sur mon iMac 24 depuis Aperture. Le logiciel se charge de tout cataloguer sur un serveur chez moi et sur un serveur distant en datacenter (région parisienne). Raid5 sur le serveur @home et Raid50 sur le serveur distant avec double alimentation redondante, disques durs en SAS, etc… L’avantage c’est que je n’ai plus à me prendre la tête à faire 50 manipulations, je peux consulter mes clichés depuis n’importe quel point d’accès internet. Soit par web, soit par FTP, soit par VPN
Commentaire by Romain — 21 février 2009 @ 18:35
@Nobig > J’ai testé Cobian Backup, mais je ne sais plus pourquoi il ne me convenait pas…
Il me semble qu’il ne me permettait pas de sauvegarder les données d’un partage réseau vers un autre disque en USB.
@Stéphane > J’ai commencé à crypter depuis que j’ai mon disque de 1 To pour les sauvegardes additionnelles.
Mais je suis encore en train de tester différents systèmes de cryptage, donc j’ai pas fait mon choix final !
Concernant le premier envoi, ça peut prendre effectivement pas mal de temps, surtout que les protocoles FTP et/ou SFTP sont bridés en vitesse d’envoi, mais je dirais que tu en aurais plus pour quelques jours non ?
Merci pour le lien vers SyncBackPro, j’avais pas testé encore…
@NightAngel > Pas mal ! T’es aussi « un peu » parano !
Commentaire by Stéphane — 21 février 2009 @ 18:48
Et bien lorsque j’ai abordé cette problématique de la sauvegarde à distance sur mon blog, un commentaire m’avait alerté sur le temps nécessaire pour le premier backup. Je n’ai pas encore testé, mais si l’on considère la taille (dans mon cas au moins 100 gigas), le nombre de fichiers (j’en ai un paquet, car il ne s’agit pas simplement de photos) et la rapidité de la ligne (a priori 128 kilos ascendant), je suppose que cela doit quand même prendre un certain temps. Un autre point embêtant avec cette approche, c’est que la partition Truecrypt reste montée pendant tout ce temps et les données ne sont plus protégées. Des fois je me dit que l’approche je prends mon disque dur (encrypté) et je le mets dans un coffre à la banque n’est pas forcément une mauvaise stratégie (encore faut-il être assez discipliné pour le faire correctement sur le long terme).
Commentaire by NightAngel — 21 février 2009 @ 18:50
@Romain > A vrai dire je ne suis pas vraiment parano en ce sens que la photographie reste une passion et non une profession néanmoins je préfère ne pas perdre mes clichés pour une raison X ou Y. De plus le serveur ne me sert pas uniquement pour mes photos mais également pour mes documents (tant pro que perso). En plus je possède une interface web qui me permet de consulter mes RAW (conversion via script dcraw) depuis le navigateur et ça c’est bien ^^
Commentaire by Romain — 22 février 2009 @ 11:52
@Stéphane > Effectivement, pour 100 Gigas, avec 128 kb/s montant, ça prendra pas mal de temps. En calculant de tête rapidement, je tombe sur 60 jours…
Dans ce cas, il serait intéressant de savoir si tu peux pas envoyer un média sur place pour chargement par DVD/disque USB ?
Ou alors, opter pour un boîtier hébergé à distance de type : http://www.idsbox.eu/
Tu le prends chez toi la première fois, puis tu le mets à distance ?
@NightAngel > C’est vrai que ta solution est très intéressante…peut-être pour plus tard de mon côté ? ^^
Commentaire by Cybervince — 22 février 2009 @ 15:44
J’aime bien ta façon de faire les backup.
Par contre comme déjà soulevé par d’autres personnes, que se passe-t-il si tu te fais piquer ton matériel (ou incendie, …) ?
Donc l’idée de backup sur un « site » distant reste la meilleure des sécurités.
A la rigueur il suffirait de s’arranger avec un pote qui dispose d’une machine up en 24/24 pour mettre une synchro en place de façon automatique chaque nuit. Ca limite les frais comparé à une Dedibox (à moins d’en avoir une déjà et que le disque soit pas trop utilisé).
A voir aussi de l’utilité de garder systématiquement les RAW. Pour ma part, une fois les post-traitement terminés, si je sais que je vais pas y revenir dessus, je les supprime pour les garder en JPEG.
Commentaire by Stéphane — 23 février 2009 @ 12:40
Pas mal du tout cette Idsbox, mais j’imagine que ça doit coûter horriblement cher. En tout état de cause, j’ai en effet vraiment l’impression qu’il faudrait trouver un hébergeur proche de chez moi et leur apporter le disque pour la première sauvegarde.