Forum Piwigo

Charles69 · 2026-08-22 16:03:34

Bonjour,

Dès que le nombre de photos à synchroniser dépasse une certaine valeur ( variable de 500 à 2000 et plus ) on obtient des erreurs 504, et plus rien ne se passe ou plutôt on ne sait pas ce qui se passe.

Plusieurs plugins propose de résoudre ce problème dont Album Pilot, mais même avec lui j'ai eu des 504, et surtout il ne gère pas les erreurs de syntaxe dans les noms de fichiers ou de répertoires.

Je propose ce nouveau plugin : synchro_fast dont l'objectif est de ne plus avoir d'erreur 504 et suivre en temps réel la synchronisation.

Le plugin ajoute un onglet 'Synchro rapide' dans Admin > Outils > Synchroniser

> Les choix sont les mêmes que dans l'onglet de base 'Synchroniser' celui ci reste toujours actif.

> Le fonctionnement est complètement différent, sont traités dans l'ordre les albums, puis les photos (par groupe de 20) et enfin les métadonnées. Ce séquençage fait qu'il n'y a plus d'erreurs 504.

> Après avoir choisi les options et les albums à traiter, cliquer sur 'Synchroniser' , le processus commence par calculer le nombre d'albums et de photos à traiter ( sablier )
Ensuite on peut suivre le traitement avec une barre d'avancement.

> Un contrôle de la syntaxe des noms d'album et de photos est faite selon l'existence ou le contenu de $conf['sync_chars_regex'] ( qui autorise les espaces et accents dans les noms )
Les répertoires et fichiers dont les noms sont non conformes sont listés pour pouvoir être corrigés.

> Un tableau récapitulatif de la synchronisation s'affiche de manière dynamique.

> Si on s'aperçoit que la synchronisation dure trop longtemps on peut l'interrompre et la reprendre ultérieurement.

Le plugin est disponible pour évaluation là : https://github.com/Charles69-piwigo/syn … o_fast.zip

Merci d'avance pour vos retours.

Dernière modification par Charles69 (2026-08-22 16:50:40)

Charles69 · 2026-08-23 12:25:16

Deux modifications mineures :
- l'indicateur d'activité apparaît dès que l'on clique sur synchroniser
- l'icone de configuration dans Admin > Plugins est désactivée, ça faisait double emploi
car l'onglet 'synchro rapide' est ajouté dans Admin > Outils > Synchroniser

https://github.com/Charles69-piwigo/syn … s/tag/v1.0

J'ai chronométré deux synchros :

7808 photos dans 227 albums
Répertoires + fichiers -> 3 minutes
Répertoires + fichier + synchro des métadonnées -> 13 minutes

7415 photos dans 54 albums
Répertoires + fichiers -> 2 minutes
Répertoires + fichier + synchro des métadonnées -> 14 minutes

et sans erreur 504 !!

djdakta · 2026-08-24 21:23:58

Les erreurs 504 arrivent sur les hébergements mutualisés non?
Je vais tester ton nouveau plugin sur une installation "dev"!

Charles69 · 2026-08-25 14:08:21

djdakta a écrit:
Les erreurs 504 arrivent sur les hébergements mutualisés non?

ben non, je suis sur un nas synology et j'en avais régulièrement avant d'utiliser mon plugin ;)

Dernière modification par Charles69 (2026-08-25 14:08:40)

djdakta · 2026-08-25 20:32:38

Ah ok, c'est une erreur du gateway!

Sinon, tu peux esssayer ceci en ligne de commande, en direct via le terminal SSH du Synology:

cd /volume1/web/piwigo/tools/
php sync_cli.php --help
# Exemple de commande de sync directe :
php sync_cli.php --subcats-included --sync-files --sync-dirs

En faisant de la sorte, tu contournes totalement Nginx et les timeouts HTTP!

Charles69 · 2026-09-02 09:06:35

Bonjour ,

djdakta a écrit:
tu peux esssayer ceci en ligne de commande, en direct via le terminal SSH du Synology

La solution ligne de commande suppose de connaître le fonctionnement interne de piwigo.
Je n'ai pas pu tester ta solution : je ne sais pas comment définir le/les répertoires cibles, les options métadonnées dans la ligne de commande etc ..

Pour moi l'objectif d'un plugin en général c'est de simplifier une opération avec une interface facile d'accès.

Charles69 · 2026-09-02 09:27:20

Bonjour,

Dans la version précéente du plugin l'objectif était d'avoir une synchronisation sans erreur 504, et aussi de visualiser l'avancement de la synchronisation.

Les options étaient identiques à la synchronisation d'origine de piwigo, à l'usage j'ai constaté que je n'obtenais pas toujours ce que je souhaitais dans la gestion des métadonnées.

Dans cette nouvelle version 1.1 https://github.com/Charles69-piwigo/syn … s/tag/v1.1

Le menu des choix a été réécrit avec trois choix indépendants :
1 - Répertoires uniquement
2 - Répertoires + fichiers
3 - Mise à jour des méta-données

L'option 1 est identique à l'originale
L'option 2 correspond à "Répertoires + fichiers " originale + la lecture des méta-données des nouvelles photos

L'option 3 permet une gestion fine de la mise à jour des métadonnées :

- Mettre à jour la description
avec une sous-option : Sauf si la description est enrichie (html)
cette sous-option évite l'écrasement de description enrichie avec l'éditeur wysiwyg
- Mettre à jour le titre
- Mettre à jour l'auteur
- Mettre à jour les mots clés
avec une sous-option : Fusionner
cette sous-option évite l'écrasement des mot-clés saisis dans piwigo

L'opération de synchronisation peut être interrompue et reprise.
L'option 'Répertoires + fichiers' ne traite que les nouvelles photos/vidéos, elle peut être lancée même sur de très grossses bibliothèques où uniquement les modifications ( ajout, suppression ) seront traitées.

al.piwigo · 2026-09-03 09:19:37

Charles69 a écrit:
djdakta a écrit:
Les erreurs 504 arrivent sur les hébergements mutualisés non?
ben non, je suis sur un nas synology et j'en avais régulièrement avant d'utiliser mon plugin ;)

Bonjour,
j'arrive un peu après la bataille et mon intervention est peut être hors sujet, mais
- mes sites sont aussi hébergés sur Synology en auto-hébergement,
- quand j'ai eu des erreurs 504 à cause du nombre de photos important à traiter, j'ai simplement augmenté dans les paramètres du core PHP, la valeur de 'max_execution_time' (par défaut à 240 je crois)
cdlt,
Philippe

Charles69 · 2026-09-03 16:35:23

Bonjour Philippe !!

Non tu n'es pas hors sujet et la bataille pour faire évoluer piwigo continue ;-)

Même en bricolant les paramètres php au delà de 5000 photos ça coinçait toujours, et surtout quand on a l'erreur 504 après ça continue de mouliner et on sait pas vraiment ce qui se passe. du coup il faut faire des synchros presque album par album.

Avec le plugin 'synchro_fast' tu as une barre d'avancement et tu sais où tu en es.

Le deuxième problème ce sont les tags , avec la version originale de la synchronisation je n'arrive pas à mettre à jour les tags correctement.
En général je tague les photos en dehors de piwigo ( avec digikam ) pour ensuite créer des smart albums dans piwigo. La première synchro se passe bien.
Si je suis amené à modifier les tags, la synchro originale ne les met pas à jour, même avec les options qui vont bien.
Pour être sûr du résultat je dois sélectionner les photos, supprimer les tags avec la gestion par lot, puis refaire une synchro. C'est un peu lourd.
Avec synchro_fast + l'option Mise à jour des métadonnées + tags , les tags sont mis à jour en une seule passe.

Perso les photos, vidéos, scans sont dans des répertoires du nas, et dans ./galleries je mets des liens symboliques qui pointent sur les répertoires pour éviter les doublons.
J'ai publié un plugin pour gérer facilement les liens symboliques ( galleries_link_manager)

Dans LFE j'ai un $conf['sync_exclude_folders'] = array('@eaDir','edition') et mes répertoires on une structure de ce type
'2026 08 - vacances' qui contient les jpg,mp4;pdf
et un sous répertoire 'edition' avec des sous-répertoires 'raw', 'darktable', 'hdr', 'panoramique' etc ... qui contiennent les fichiers originaux et les variantes.

Quand je modifie l'organisation des photos ( regroupement par années par exemple ) ça m'arrive souvent d'avoir 20 ou 30 000 fichiers à synchroniser, et c'est plus sympa sans erreur 504 ...

Avec LightRoom je suppose que tu exportes les photos que tu publies directement dans ./galleries, ça doit limiter les problèmes.

Gotcha · 2026-09-03 18:05:11

Piwigo n'a pas été conçu pour être un gestionnaire de fichiers, même si ça lui ressemble. A la base c'est une web galerie et donc le fonctionnent est forcément un peu différent pour ce qui est de la gestion à proprement parler de fichiers.
Ce qui est sur Piwigo est "supposé" autonome pour ne pas travailler directement avec les originaux, en tout cas, avec des simlinks.
Voiloir détourner l'utilisation de Piwigo pour quelque chose dont il n'a pas été conçu est assez risqué même si je comprends que ce soit tentant. Sauf que d'autres le fond déjà fort bien et avec plus de facilité/sécurité.

L'auto-hébergement est un autre sujet tout aussi compliqué et passionnant et c'est là que l'on trouve des limites puisque on doit maîtriser toute l'infrastructure et tout ce qui en découle.

Perso, je fonctionne avec Lightroom avec un dev privé pour gérer mes copies que je confie à Piwigo. Mes originaux restent hors de porté de toute modifications. C'est le B-A-BA. Une seule source et le reste en copie si nécessaire.
Les originaux étant souvent d'une taille et de nature incompatible avec le web, il n'y a aucune difficulté de travailler sur des copie légères que gère très bien Piwigo à ce compte là.

Et @Charles69 rien ne t'empêche d'utiliser les webservices de Piwigo même sous le répertoire FTP ;-)

al.piwigo · 2026-09-03 18:24:35

Bonjour Charles,
je n'ai pas rencontré les soucis que tu indiques avec les tag, tout se met bien à jour si je republie.
je gère tout dans LightRoom et exporte vers /galleries en résolution adaptée au web (800px en 2011, 1920px maintenant)
j'utilise aussi le plugin lightroom 'jf Folder publisher' qui permet d'exporter dans /galleries l'arborescence de travail de Lightroom
mes originaux sont dans des dossiers d'archive jamais vus par Piwigo, qui ne voit que des photos dans /galleries : Lightroom et les services web n'ont pas de lien entre eux
et je ne rends visible que des smartalbums basés sur les tags ou les noms d'albums physiques

je vais tester ton plugin pour voir ce que cela m'amènerait
Cdlt,
Philippe

djdakta · 2026-09-03 23:52:39

Charles69 a écrit:
Bonjour ,

djdakta a écrit:
tu peux esssayer ceci en ligne de commande, en direct via le terminal SSH du Synology
La solution ligne de commande suppose de connaître le fonctionnement interne de piwigo.
Je n'ai pas pu tester ta solution : je ne sais pas comment définir le/les répertoires cibles, les options métadonnées dans la ligne de commande etc ..

Pour moi l'objectif d'un plugin en général c'est de simplifier une opération avec une interface facile d'accès.

Je peux t'expliquer tout ça si tu veux, j'ai plusieurs environnements qui ont tous une installation Piwigo sur lesquelles je fais beaucoup de tests!

Charles69 · 2026-09-10 16:42:42

la suite par là https://fr.piwigo.org/forum/viewtopic.p … 58#p245758

Forum Piwigo

#1 2026-08-22 16:03:34

[Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

#2 2026-08-23 12:25:16

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

#3 2026-08-24 21:23:58

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

#4 2026-08-25 14:08:21

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

djdakta a écrit:

#5 2026-08-25 20:32:38

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

#6 2026-09-02 09:06:35

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

djdakta a écrit:

#7 2026-09-02 09:27:20

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

#8 2026-09-03 09:19:37

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

Charles69 a écrit:

djdakta a écrit:

#9 2026-09-03 16:35:23

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

#10 2026-09-03 18:05:11

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

#11 2026-09-03 18:24:35

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

#12 2026-09-03 23:52:39

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

Charles69 a écrit:

djdakta a écrit:

#13 2026-09-10 16:42:42

Re: [Résolu] plugin en test : synchro_fast , la synchronisation sans erreur 504 !!

Pied de page des forums