Piwigo.org

clemouel · 2010-08-31 19:30:37

Bonjour / bonsoir les PiWiGôtes,

Ma galerie comportait déjà prêt de 8000 images et autres documents dans plusieurs catégories / albums et j'ai souhaité l'enrichir de 4000 photos supplémentaires d'un seul coup dans une et même catégorie / album.

La méthode utilisée a été celle du transfert de ces 4000 photos, avec les vignettes associées, chez mon hébergeur FREE par FTP puis une synchronisation via PWG.

Tout s'est bien déroulé lors du transfert par FTP et également lors de la synchronisation puisqu'aucun message d'erreur n'a été retourné par le système.

Néanmoins, en contrôlant le nombre total d'images dans cette nouvelle catégorie / album, il n'était indiqué que moins de 2800 images.

L'exploration visuelle du contenu de cette galerie corroborait bien cette indication car il manquait bien quelques 1200 photos.

Une solution de contournement a été de supprimer par FTP la moitié en nombre des images dans cette catégorie pour les mettre dans une un autre catégorie / album distincte.

Une opération qui m'a fois a été assez longue comme vous pouvez l'imaginer quand on n'a pas la chance d'avoir une connexion SDSL ou fibre.

L'un d'entre-vous est-il au courant de cette "limitation" du nombre d'images dans une catégorie et saurait-il indiquer si une solution est envisageable.

Merci par avance de vos réponses.

Cyril

Eric · 2010-08-31 22:09:42

Au moment de la synchronisation, pas de message particulier?

Il est possible que 4000 photos, cela prenne trop de temps de requête et Free "coupe le jus" lorsque des requêtes monopolisent trop les ressources (n'oublions pas que nous somme sur une structure mutualisée).

LucMorizur · 2010-08-31 22:40:21

Eric a écrit:
Au moment de la synchronisation, pas de message particulier?

Il est possible que 4000 photos, cela prenne trop de temps de requête et Free "coupe le jus" lorsque des requêtes monopolisent trop les ressources (n'oublions pas que nous somme sur une structure mutualisée).

Ça me paraît une bonne explication. Si elle est juste, tu devrais voir les 4000 photos dans le répertoire par FTP.

ddtddt · 2010-09-01 08:02:51

il n'y a pas de limitation de photo

Ce que tu peux faire c'est la synchronisation en 2 étapes
1/ les répertoires
2/ Répertoire par répertoire

ce qui peux avoir posé problème à free
a) ton espace de stockage si il est blindé
b) la longueur de la requête mais la tu aurai du aboutir sur une page blanche
c) la taille de ta base de donnée si tu arrive au maxi (ce qui ne semble pas le cas puisque tu peux faire un site distant)

Si les photos sont présente sur le FTP elles peuvent être synchronisé

Gotcha · 2010-09-01 12:40:33

Avez-vous eu une "page blanche" lors de la synchronisation. Si c'est le cas, cela va bien dans le sens des messages précédents.

Inutile de tout effacer et re-transférer. Faites une synchronisation par dossier ;-)

plg · 2010-09-01 15:30:22

Cela semble bizarre. Si mon souvenir du code est bon (ça fait longtemps que le moteur de la synchronisation ne bouge plus, c'est stable), normalement c'est tout ou rien. Par exemple il y a une seule requête pour insérer toutes références des photos dans la base. Donc soit les 4k sont ajoutées d'un coup, mais pas seulement une partie.

clemouel · 2010-09-02 20:13:11

Bonsoir à tous,

Déjà merci pour vos réponses.

- Les 4000 photos étaient bien toutes présentes chez mon hébergeur FREE dans ma catégorie ;
- j'avais bien effectuée la synchronisation uniquement des répertoires puis les photos ;
- pas de page blanche et pas de message particulier à la fin de la synchro ;
- en revanche je n'avais que 2800 photos dans la catégorie physique d'après PWG ;
- une nouvelle synchro des photos de ce répertoire n' a pas permis d'enrichir des 1200 photos manquantes.

Pour ma part aussi, je pense qu'il y a un temps limite chez FREE pour l'utilisation de la requête.

Que ceux et celles qui souhaitent donc enrichir leur PiWiGothèque de façon conséquente (plus du millier) dans une même catégorie / album soient donc vigilent(e)s.

Bien à vous toutes et tous.

Cyril

thomorph · 2010-09-05 13:30:35

Salut,
j'ai aussi envoyé pas mal de photos en une fois et depuis ce temps j'ai du mal a afficher la page de synchro en 1fois, souvent je dois la réactualiser, je me demande aussi si free ne limite pas un peu.

clemouel · 2010-09-05 17:05:19

Bonsoir Thomorph et les autres PiWiGophiles,

En fouillant sur Google, un bug quasi similaire avait déjà été signalé : http://piwigo.org/bugs/view.php?id=475

Toutefois, étant maintenant conscient de ce point, disposant qui plus est d'une solution de contournement, dans un cas somme toute assez marginal (du moins pour ma part), je me contenterai juste de prendre mes précautions à l'avenir ; l'équipe des PiWiGo-Développeurs ayant certainement beaucoup d'autres points à traiter bien plus ambitieux pour le plaisir du plus grand nombre.

Bonne fin de journée.

Cyril

Gotcha · 2010-09-06 19:46:56

Je viens de faire un essai en local avec 2000 photos et le traitement (serveur local je répète) n'a pris que 4 secondes.

laurent.duretz · 2010-09-07 09:27:55

clemouel a écrit:
Bonsoir Thomorph et les autres PiWiGophiles,

En fouillant sur Google, un bug quasi similaire avait déjà été signalé : http://piwigo.org/bugs/view.php?id=475

[...]

Bonne fin de journée.

Cyril

Bonjour,

Le problème de la synchronisation est tout bonnement "indémerdable" car on se retrouve coincé entre l'utilisateur qui a 15000 catégories avec 1 photo dans chaque et l'autre utilisateur qui a 1 catégorie avec 15000 photos. Pour arranger le tout, ces utilisateurs sont sur un serveur gratuit.

Pour ma part, j'estime qu'à partir d'un certain volume de photos, on passe sur quelque chose de semi-pro ou qui touche au hobby. Dans ces cas, il faudrait envisager de passer à un hébergement payant.

En dehors de ces considérations purement pécuniaires, il existe 2 solutions de contournement à ce problème :
-> diminuer le nombre de photos dans une catégorie et synchroniser catégorie par catégorie
-> envisager l'usage des sites distants. Le script est prévu pour parcourir des galeries volumineuses chez des hébergeurs contraignants.

plg · 2010-09-07 11:26:26

laurent.duretz a écrit:
Le problème de la synchronisation est tout bonnement "indémerdable" car on se retrouve coincé entre l'utilisateur qui a 15000 catégories avec 1 photo dans chaque et l'autre utilisateur qui a 1 catégorie avec 15000 photos. Pour arranger le tout, ces utilisateurs sont sur un serveur gratuit.

Je suis bien d'accord avec cela. La synchronisation est déjà un algorithme bien conçu en terme de performances, je le promets. Mais il y a des conditions extrêmes comme le décrit laurent.duretz qui sont impossibles à traiter.

laurent.duretz a écrit:
Pour ma part, j'estime qu'à partir d'un certain volume de photos, on passe sur quelque chose de semi-pro ou qui touche au hobby. Dans ces cas, il faudrait envisager de passer à un hébergement payant.

Oui, encore une fois je suis bien d'accord. Même un hébergement pas cher mais payant offre normalement un bien meilleur résultat. Pas besoin de passer au serveur dédié et ses 4GB de mémoire.

laurent.duretz a écrit:
-> envisager l'usage des sites distants. Le script est prévu pour parcourir des galeries volumineuses chez des hébergeurs contraignants.

C'est une excellente alternative pour ce genre de cas spéciale. En effet les sites distants permettent de séparer l'opération de recherche des photos de l'opération d'enregistrement des photos dans la base : ce découpage permet normalement de ne plus avoir de soucis sur la seconde opération.

Piwigo.org

Annonce

#1 2010-08-31 19:30:37

Synchronisation de 4000 photos

#2 2010-08-31 22:09:42

Re: Synchronisation de 4000 photos

#3 2010-08-31 22:40:21

Re: Synchronisation de 4000 photos

Eric a écrit:

#4 2010-09-01 08:02:51

Re: Synchronisation de 4000 photos

#5 2010-09-01 12:40:33

Re: Synchronisation de 4000 photos

#6 2010-09-01 15:30:22

Re: Synchronisation de 4000 photos

#7 2010-09-02 20:13:11

Re: Synchronisation de 4000 photos

#8 2010-09-05 13:30:35

Re: Synchronisation de 4000 photos

#9 2010-09-05 17:05:19

Re: Synchronisation de 4000 photos

#10 2010-09-06 19:46:56

Re: Synchronisation de 4000 photos

#11 2010-09-07 09:27:55

Re: Synchronisation de 4000 photos

clemouel a écrit:

#12 2010-09-07 11:26:26

Re: Synchronisation de 4000 photos

laurent.duretz a écrit:

laurent.duretz a écrit:

laurent.duretz a écrit:

Pied de page des forums