•  » Utilisation
  •  » synchronisation disque dur - gallerie web

#1 2009-12-29 16:07:03

jdd
Membre
Toulouse
2009-12-20
369

synchronisation disque dur - gallerie web

c'est parti d'une autre discussion, mais il vaut mieux ouvrir un débat sur ce sujet :-)

Je réfléchis à un système de synchronisation entre mon disque dur et le web, mais c'est complexe.

Quelques idée, en vrac:

* je gère les photos avec digiKam. Pas simple d'avoir les photos pleine définition sur digikam et les répertoires de piwigo (=dans piwi_high);
* j'ai aussi un disque de backup. en ce moment je backupe à la fois le répertoire de piwigo et celui de digikam, ca me fait presque tout en double. Vu le volume, c'est génant;
* piwigo est susceptible sur les noms de fichiers. Du coup, de temps en temps, lors de la synchro, j'ai des erreurs. Je ne sais les corriger qu'à la main, et il faut reporter les corrections sur chaque copie.

Tout ca doit pouvoir se régler avec des liens symboliques et un rsync --delete, mais vu la durée pour uploader 80Go, il faut y réfléchir à deux fois. Par exemple, si je change un tag dans digikam, comment le répercuter dans piwigo sans uploader à nouveau toutes les photos?

l'idéal est de ne transmettre que les tags, c'est faisable, mais encore délicat (script à base d'exiftools des deux cotés, gestion des répertoires...). Tout ca risque d'être trop pour mon emploi du temps surchargé.

jdd

Hors ligne

#2 2009-12-29 18:02:49

Gotcha
Equipe Piwigo
Pierrelatte (26)
2007-03-14
13324

Re: synchronisation disque dur - gallerie web

Merci d'avoir ouvert ce sujet.

En effet, je suis moi aussi soucieux de maintenir à jour tant mes photos en ligne que mes photos locales.
En local j'ai bien mes fichiers originaux (format RAW + jpg + PSD ...) et une copie de sauvegarde des photos envoyées sur ma galerie (copie conforme de mon dossier "./galeries"

Si envoyez des photos des photos via FTP est une chose maintenant rodée, le maintient des informations liées aux photos est une chose bien plus délicate.

Il est en effet facile de modifié des méta-données sur Piwigo et/ou sur ses fichiers d'origine.
A partir de là, les choses se gâtent...

Je distingue deux choses importante.
- Mes originaux sont au format RAW ce qui me permet de conserver le caractère authentique du cliché. Les méta-données sont renseignées sur la base des RAW à l'aide d'un fichier nom_de_fichier.xml via le logiciel Lightroom.
- Ma copie de sauvegarde quand à elle est constitué des photos que j'envoie vers ma galerie. Au moment de l'export, je place tout simplement une copie de mes photos dans ce dit dossier de sauvegarde.

Coté technique
Deux cas de figure sont à différencier. (un troisième subsidiaire viendra plus les plus doués)

1) Modification des méta-données avec Piwigo
Piwigo permet de synchroniser les méta-données de nos photos. Ensuite, libre à nous de les affecter ou pas.
Je pars du principe que leur utilisation est effective.

1.1) Imaginons le fichier en ligne nommé _MG_5541.jpg qui a pour tags d'inscrits dans le fichier .jpg
- france
- rhône-alpes
- drôme
- pierrelatte
- maison

1.2) Via l'administration Piwigo de cette photo, je décide de supprimer le tag "maison".
Je le fait disparâitre tout simplement.

1.3) Maintenant, imaginons que je doive synchroniser de nouveau le répertoire et surtout mettre à jour les méta-données...
Aïe, c'est là qu'un problème intervient !
En effet, Piwigo refait une lecture des tags de la photo et il va ré-afficher les tags contenus dans le fichier .jpg

1.4) L'idée c'est donc de pouvoir "exporter" la liste des tags, modifier en dur (coté local) le fichier _MG_5541.jpg pour mieux le replacer dans la galerie Piwigo.
Pour ce point, je suis à 98% de pouvoir proposer une solution. Je ne manquerai pas de demander de l'aide sur le forum car les 2% restants m'empêchent de pouvoir donner la solution.

=> Conclusion: ce cas de figure va trouver une solution pour les fichier .jpg
Je ne sais pas encore comment modifier le contenu du fichier _MG_5541.xml car c'est la source même de tous mes autres fichiers. Ca sera la question subsidiaire pour bien plus tard, là n'étant pas ma priorité du moment.


2) Modification des méta-données en local
Sur mon ordinateur j'ai, imaginons, géolocalisé toutes mes photos.
Chouette me dis-je !
Sauf que... 200Go plus tard, l'idée m'effraye de devoir ré-uploader 50.000 photos :-(

2.1) L'idée serait donc d'utiliser un serveur local (EasyPHP, WampServeur etc)
2.1.1) de monter une copie en local de sa galerie distante (sauf ./galleries)
2.1.2) de synchroniser ses photos en local
2.1.3) de récupérer dans la base de données la table piwigo_tags
2.1.4) de réinjecter tout ça dans notre galerie distante.

2.2) Oui mais...
2.2.1) déjà l'ID attribué à nos photos lors d'une synchronisation de Piwigo risque fort d'être différent entre la galerie distante et local. Donc ça risque d'être foireux.
2.2.2) QUID pour des photos qui se trouveraient sur notre galerie locale et pas en ligne.

=> Conclusion: il va falloir un sacré gros coup de mains pour avancer.






Voilà. Alors le coup de la galerie locale c'est de mon invention ^^

Peux-être pour décrire exactement comment chez moi je fonctionne, dois-je donner quelques renseignements.
Mes photos se trouvent tout d'abord dans un dossier portant toujours le même style de nom (conserver une même rigueur est très important !) par exemple:
année-mois-jour - lieu - sujet
Ainsi, pour une même sortie photos d'un même jour mais dans des lieux et des sujets différents, j'aurais autant de dossiers.

A partie de là, rentre en action un script Batch de ma facture qui va m'aider à mettre de l'ordre et automatiser certaines tâches répétitives.
Dans un sous dossier j'ai de mélangé pèle-mêle les .CR2 et .JPG
=> Pourquoi conserver les images en "double" ? Tout simplement parceque personnelement, je me sert du .JPG pour faire mon tri et que ce fichier s'affiche bien plus rapidement que le lourd .CR2
Ainsi, lorsque je supprimer un fichier .JPG sont homologue .CR2 est effacé à son tour grâce à mon script. (note qu'il devra être possible de n'avoir à gérer que les .CR2)
Les deux types de fichiers sont séparés, les .CR2 se trouvant dans le sous dossier /2009-12-25 - Pierrelatte - maison/CR2
Je travail sous Lightroom mes fichiers .CR2 (Lightroom est ouvert grâce à mon script avec le dossier de travail 2009-12-25 - Pierrelatte - maison importé).
Avec Lightroom j'en profite pour ajouter les IPTC. LR (Lightroom) étant puissant sur ce point, j'aurais tord de m'en priver ^^
Une fois mom mic-mac effectué et les réglages enregistrés pour chaque photo (CTRL + S), grâce à LR j'exporte tout mon dossier dans un sous dossier /PSD à savoir /2009-12-25 - Pierrelatte - maison/CR2/PSD et évidement en convertissant mes fichiers en .psd
=> Pourquoi ? Parceque je vais avoir besoin de ce format pour encadrer mes images avec l'aide de Photoshop, qu'avec ce dernier je rajoute une signature et que je peux aussi avoir besoin de Photoshop pour retravailler d'avantage mes photos.
A partir de là, je peux donc aussi traiter mes photos en HDR et en panorama sur le même modèle, tout ça aidé par le script qui tourne en tâche de fond qui s'occupe des fichier. (Ex: /HDR/CR2/PSD et /pano/CR2/PSD).
Toujours à l'aide de mon script, je suis le déroulement de ce dernier afin de rapatrier tous mes fichiers .psd dans un seul sous dossier 2009-12-25 - Pierrelatte - maison/PSD et à partir de là, je lance un script Photoshop automatique de ma facture qui me traite tout le dossier et qui m'enregistre le résultat dans sous dossier prévu à cet effet au format .jpg
Ces derniers fichiers sont aussi passé à la moulinette pour supprimer d'éventuelles caractères exotiques non compatibles avec Piwigo.
Enfin, mes "vieux" .jpg qui m'ont servi à faire le tri et pour ne conserver que les bons clichés, ces vieux .jpg sont remplacés par les nouveaus .jpg fraichement retravaillés et près pour Piwigo !
Pour Piwigo, j'utilise le plugin Front2Back et donc une petite intervention est nécessaire dans mon dossier 2009-12-25 - Pierrelatte - maison afin de créer un sous dossier /verso et de le remplir comme il se doit. Donc mon processus gère aussi ce plugin :-)
A partir de là, une copie de mes fichiers .jpg est effectué et va me servir de base pour lancer le formatage de ces photo pour Piwigo.
Dès à présent, toujours le même script appel l'actuel Batch_Optimisateur qui me re-travail les fichiers, s'occupe absolument de tout et grâce aux modules externe prévu, je peux même uploader dans la foulé le résultat du traitement sur mon serveur distant via FTP dans un dossier qui est renommé automatiquement 2009-12-25.
Toujours grâce aux modules externe, le fruit de cette préparation par Batch_Optimisateur est envoyé dans un dossier de sauvegarde.

Tout ça est évidement configurable.
Il ne me manque plus que la synchronisation via l'API de Piwigo pour "maitriser" mes photos de la prise de vue à leur publication en ligne.

Oui bon... je dois être maso pour chercher à contrôler à ce point mes fichiers lol
@VDigital, si tu as lu jusqu'au bout, dis moi si pour toi ça répond à ton besoin aussi :-)


Ayez comme premier réflexe de consulter le wiki.
Ensuite, veuillez effectuer une recherche sur le forum avant de poser votre question.

LE FAIRE EST LE REVELATEUR DE L'ETRE

Hors ligne

#3 2009-12-29 19:55:18

grum
Équipe Piwigo
50% Nantes - 50% Paris
2007-09-10
2502

Re: synchronisation disque dur - gallerie web

Gotcha a écrit:

2.1) L'idée serait donc d'utiliser un serveur local (EasyPHP, WampServeur etc)
2.1.1) de monter une copie en local de sa galerie distante (sauf ./galleries)
2.1.2) de synchroniser ses photos en local
2.1.3) de récupérer dans la base de données la table piwigo_tags
2.1.4) de réinjecter tout ça dans notre galerie distante.

2.2) Oui mais...
2.2.1) déjà l'ID attribué à nos photos lors d'une synchronisation de Piwigo risque fort d'être différent entre la galerie distante et local. Donc ça risque d'être foireux.
2.2.2) QUID pour des photos qui se trouveraient sur notre galerie locale et pas en ligne.

Pour ma part, c'est déjà comme çà que je procède depuis le mois de mars.

Serveur dédié (SME) à la maison avec :
- un répertoire ou toutes les images en full-res sont stockées
- une galerie piwigo, à l'image de ma galerie en ligne
- un script php que je lance en ligne de commande, et qui synchronise le répertoire "full-res" avec la galerie de Piwigo (génère des fichiers "web-res" + miniatures)

1/ Je fais un dump des bases de la galerie chez mon hébergeur
2/ Je remplis la base sur mon serveur local avec le dump
3/ Je fais les synchro et mises à jours diverses sur la galerie locale.
4/ Puis je transfère les images via FTP vers mon site chez un hébergeur (çà peut être très long....)
5/ lorsque le transfert FTP est terminé, je fais un dump des bases de la galerie locale
6/ Je rempli la base du serveur distant avec le dump

C'est long, c'est chiant, et faut pas se louper...
^^;


Mes photos avec Piwigo évidemment !
[ www.grum.fr ] [ photos.grum.fr ]

Hors ligne

#4 2009-12-29 21:26:23

jdd
Membre
Toulouse
2009-12-20
369

Re: synchronisation disque dur - gallerie web

Tout ca est bien beau, mais c'est précisément ce qu'il faudrait éviter :-). trop lourd, trop dépendant d'évènements extérieurs fréquents (nouvel appareil photo, ou photos envoyées par un ami avec un format non usuel pour moi). par exemple mon téléphone insiste pour nommer ses photos jour(numéro).jpg, il faut donc que je scripte le remplacement des () par des "_". Forcément il y a des exceptions...

De mon coté, j'ai l'organisation suivante:

* je n'utilise que très peu les raw (pas le temps de les traiter) - donc que du jpg
* je stocke localement (sur un disque dur) tous les fichiers originaux bruts sans modifs (les "négatifs" - je ferais des raw si ce n'était pas exagérément volumineux (mon 50D est tuant pour ca :-);
* je copie tout dans un répertoire "photos retouchées" (que je retouche :-)
* j'ai, en sus, un backup de mon site web
* envoyer sur le site web l'original (retouché) de chaque photo, c'est très long (80Go environ)

Mon principal problème, en ce moment, c'est ca: les logiciels de gestion (digiKam, lightroom, piwigo, gallery2) ont des exigences en matière de de noms de fichiers complets (avec le chemin) très variés. Je me retrouve avec des fichiers en double ou avec des noms différents

Une des premières choses à mettre en place serait donc sans doute une table d'équivallence: tel nom doit pouvoir être traité avec tous les logiciels, ou tel script permet de modifier le nom pour tel usage... Le but est *d'identifier la photo de façon précise*. Le but est de ne pas dupliquer plus que nécessaire les photos identiques au nom près :-(.

Est-il possible de faire une clé donnant par exemple une identification de l'image sans les compléments?

Si oui, il devrait être possible de créer une base de données des "compléments" (exifs, iptc...) et de "merger" ces données en échangeant qu'elles.

J'utilise en général rsync pour les transferts (ou fish s'ils sont brefs). Mais le moindre changement exif risque de transformer la photo en nouveau fichier.

Une autre solution serait de généraliser les couples fichier image / fichier exifs en ayant d'un coté les jpg ou raw sans infos et les infos séparées. Si les fichiers sont dans le même répertoire, c'est assez facile à synchroniser sans perte

jdd

Hors ligne

#5 2009-12-29 23:46:25

Gotcha
Equipe Piwigo
Pierrelatte (26)
2007-03-14
13324

Re: synchronisation disque dur - gallerie web

jdd a écrit:

Une autre solution serait de généraliser les couples fichier image / fichier exifs en ayant d'un coté les jpg ou raw sans infos et les infos séparées. Si les fichiers sont dans le même répertoire, c'est assez facile à synchroniser sans perte

jdd

Ca serait en effet un bonne solution à première vu car répondrait à nombre de sollicitations de la part des utilisateurs avertis. Mais pour les utilisateurs lambda, ce procédés serait source d'incompréhension et donc, les méta-données dans la photo c'est encore le mieux.
A l'image des fichiers RAW qu'utilise les photographes, on pourrait en effet demander à un logiciel de traitement de photos de nous exporter les méta-données dans un fichier (xml ?) et où Piwigo pourrait trouver et renseigner les méta-données.


En tous cas, je suis certain qu'avec cette discution on va trouver une bonne solution et qu'une fois couchée sur le papier on se dira tous "eureka !"


Ayez comme premier réflexe de consulter le wiki.
Ensuite, veuillez effectuer une recherche sur le forum avant de poser votre question.

LE FAIRE EST LE REVELATEUR DE L'ETRE

Hors ligne

#6 2010-01-01 10:01:26

jdd
Membre
Toulouse
2009-12-20
369

Re: synchronisation disque dur - gallerie web

Je viens d'avoir une idée.

Est-ce que les tags  sont écris dans toutes les variantes de la photo?

Je veux dire que quand, par exemple, on modifie dans piwigo un tag exif, est-il écrit dans le fichier high, normal ou/et thumbnail?

s'il était écrit dans tous les fichiers, il serait assez facile de synchroniser les fichiers vignette, par exemple, ou basse définition entre le disque dur de son PC et la galerie en ligne.

Si je modifie un tag sur mon PC dans une vue "normale" et que je la charge dans piwigo (sans modifier les autres), que se passe-t-il lors d'une synchronisation? le nouveau tag est-il rajouté aux anciens??

jdd

Hors ligne

#7 2010-01-01 10:04:25

ddtddt
Équipe Piwigo
Quetigny (21) - France
2007-07-27
14572

Re: synchronisation disque dur - gallerie web

Je te laisse lire en 1 cette page dans ler wiki


Vous aimez Piwigo alors n'hésitez pas à participer avec nous, plus d'infos sur la page "Contribuer à Piwigo". Si vous n'avez pas beaucoup de temps et que vous souhaitez nous soutenir vous pouvez aussi le faire par un don.

Hors ligne

#8 2010-01-01 10:09:43

jdd
Membre
Toulouse
2009-12-20
369

Re: synchronisation disque dur - gallerie web

ddtddt a écrit:

Je te laisse lire en 1 cette page dans ler wiki

je connais cette page et je viens de la relire, elle ne donne pas la réponse à ma question.

à partir de quelle image (haute définition, normale, vugnette ou les trois?) la BDD est-elle mise à jour?

les images sont-elles mises à jour quand un tag est ajouté dans piwigo?

merci
jdd
Bonne année :-)

Hors ligne

#9 2010-01-01 10:18:25

ddtddt
Équipe Piwigo
Quetigny (21) - France
2007-07-27
14572

Re: synchronisation disque dur - gallerie web

jdd a écrit:

les images sont-elles mises à jour quand un tag est ajouté dans piwigo?

non

Tu peux regarder [extension by Eric B] Tags2File / Export Image Metadata qui est utilisé par certain pour récupérer les tag de la base de données


Vous aimez Piwigo alors n'hésitez pas à participer avec nous, plus d'infos sur la page "Contribuer à Piwigo". Si vous n'avez pas beaucoup de temps et que vous souhaitez nous soutenir vous pouvez aussi le faire par un don.

Hors ligne

#10 2010-01-01 10:23:43

VDigital
Former Piwigo Team
Paris (FR)
2005-05-04
15124

Re: synchronisation disque dur - gallerie web

L'utilisation de pwg_high est facultative.
(Est-ce que tu peux faire fonctionner tes méninges en ce 1er janvier, ou aurais-tu célébré dignement l'évènement et besoin de plus de précsions?)

A Tous Année Heureuse et Bonne !


Vincent -« Plus vidéaste averti que photographe amateur... »
La galerie - Le blog   

Piwigo est une application libre de gestion de photos en ligne.

Hors ligne

#11 2010-01-01 10:29:15

ddtddt
Équipe Piwigo
Quetigny (21) - France
2007-07-27
14572

Re: synchronisation disque dur - gallerie web

jdd a écrit:

la BDD est-elle mise à jour?

Il faut refaire un syncro des méta-données

Administration -> Catégories -> Synchroniser

synchroniser les méta-données (filesize, width, height, high_filesize, date_creation)

    * même les éléments déjà synchronisés


Vous aimez Piwigo alors n'hésitez pas à participer avec nous, plus d'infos sur la page "Contribuer à Piwigo". Si vous n'avez pas beaucoup de temps et que vous souhaitez nous soutenir vous pouvez aussi le faire par un don.

Hors ligne

#12 2010-01-01 10:30:32

ddtddt
Équipe Piwigo
Quetigny (21) - France
2007-07-27
14572

Re: synchronisation disque dur - gallerie web

jdd a écrit:

à partir de quelle image (haute définition, normale, vugnette ou les trois?) la BDD est-elle mise à jour?

Je dirais normal les HD étant facultative

[edit]

grillé :-D

Dernière modification par ddtddt (2010-01-01 10:31:07)


Vous aimez Piwigo alors n'hésitez pas à participer avec nous, plus d'infos sur la page "Contribuer à Piwigo". Si vous n'avez pas beaucoup de temps et que vous souhaitez nous soutenir vous pouvez aussi le faire par un don.

Hors ligne

#13 2010-01-01 12:09:49

Gotcha
Equipe Piwigo
Pierrelatte (26)
2007-03-14
13324

Re: synchronisation disque dur - gallerie web

Hop hop hop !
Doucement VDigital quand même ^_^

Alors, pour commencer les métas-data sont bien copiés depuis la vue normale et sont copiés vers la BDD. Piwigo n'agira ensuite que sur la BDD et ne touchera pas au fichier image. Le plugin cité par ddtddt apporte en effet un élément de réponse sauf qu'il est bugé et que je n'ai pas encore trouvé le temps d'apporté les solution (je bute sur un dernier petit point) donc il faut être patient.

@jdd: on doit vouloir le même fonctionnement tous les deux à désirer maintenir une cohérence entre nos galeries distantes et nos fichiers sur nos disques durs local.
Je suis donc en mesure de comprendre certains points et je te ferais part de mes trouvailles sitôt les avancées effectives ;-)


Ayez comme premier réflexe de consulter le wiki.
Ensuite, veuillez effectuer une recherche sur le forum avant de poser votre question.

LE FAIRE EST LE REVELATEUR DE L'ETRE

Hors ligne

#14 2010-04-14 19:44:35

meynard
Invité

Re: synchronisation disque dur - gallerie web

Moi j'ai un DD chez moi, chez de la famille et de plus, j'ai un espace de stockage en ligne avec stocklii.com.

De par cette dernière option, je peux programmer de la sauvegarde automatique qui me permet de faire du backup régulièrement (selon les paramètres que j'ai appliqués) sans que par mégarde j'oublie et perde tout. Je suis travailleur autonome et cette façon de faire est pour moi essentielle et très pratique.
À vous de gérer vos données!

Bonne journée! :)

  •  » Utilisation
  •  » synchronisation disque dur - gallerie web

Pied de page des forums

Propulsé par FluxBB

github twitter facebook newsletter Faire un don Piwigo.org © 2002-2019 · Contact