Annonce

#1 2010-10-23 20:42:44

grum
Former Piwigo Team
50% Nantes - 50% Paris
2007-09-10
2502

Taille des bases chez free et plugin AMD

je réponds ici suite au post [Forum, post 154513 by Gotcha in topic 18809] [GMaps] Sujet officiel, histoire de ne pas polluer le topic dédié à GMaps...

Gotcha a écrit:

Un conseil : Chez Free, faites attention à la taille de votre BDD...

Chez free, ce n'est pas la taille des bases qui pose problème : il me semble que la taille de la base n'est limitée que par l'espace disque disponible pour le compte.
Or un compte chez free, çà alloue 10Go d'espace : théoriquement, ta base chez free pourrait atteindre les 10Go.

Si free voulait limiter la taille des bases, il imposeraient des quota de taille dessus.

Ce qui pose problème, c'est plus le nombre de requêtes.

free a écrit:

Toute application de statistiques, générant un nombre de requetes disproportionné est proscrite (le compte sera suspendu, voire détruit).

On peut en déduire qu'il s'agit surtout des requêtes de type INSERT ou UPDATE qui sont surveillées...

==> pour AMD, il faut faire attention lors de l'alimentation du référentiel, le nombre de requête monte très vite en un laps de temps très court : à titre d'exemple, sur mon serveur local lors de l'alimentation du référentiel, le nombre de requêtes est d'environ 980 par secondes... et ce pendant une durée de 15minutes (environ 900000 métadonnées en table)
Autant dire que çà, çà pourrait être considéré comme un nombre de requêtes disproportionné...

Une fois le référentiel alimenté, il n'y a quasiment aucun accès dessus (pour récupérer les métadonnées d'une photo sur la page 'picture', il n'y a pas d'accès à la base, elle sont lues directement dans la photo)


Mes photos avec Piwigo évidemment !
[ www.grum.fr ] [ photos.grum.fr ]

Hors ligne

#2 2010-10-23 21:06:53

tosca
Former Piwigo Team
Cévennes (Gard)
2006-09-23
3818

Re: Taille des bases chez free et plugin AMD

grum a écrit:

Une fois le référentiel alimenté, il n'y a quasiment aucun accès dessus (pour récupérer les métadonnées d'une photo sur la page 'picture', il n'y a pas d'accès à la base, elle sont lues directement dans la photo)

Euh ... il sert à quoi, alors, ce référentiel ?

Hors ligne

#3 2010-10-23 21:15:00

grum
Former Piwigo Team
50% Nantes - 50% Paris
2007-09-10
2502

Re: Taille des bases chez free et plugin AMD

tosca a écrit:

Euh ... il sert à quoi, alors, ce référentiel ?

Ben.... ^_^;

Il sert pour faire des recherches sur les métadonnées, si tu as envie d'en faire.
Il sert aussi au niveau de la partie admin, à connaitre les domaines de valeurs d'une métadonnée (çà peut aider pour se décider à sélectionner ou non une métadonnée pour affichage)

Accessoirement, il est exploité par des plugins tiers (GMaps l'utilise pour trouver les photos géolocalisées sur une zone)

Et c'est aussi pour çà que le mode 'basique' est disponible : il n'y a pas de référentiel pour éviter les problèmes de performances et de volumétrie, mais en contrepartie le plugin fait juste le minimum syndical, à savoir afficher les métadonnées d'une photo...


Mes photos avec Piwigo évidemment !
[ www.grum.fr ] [ photos.grum.fr ]

Hors ligne

#4 2010-10-23 21:41:17

ddtddt
Équipe Piwigo
Quetigny (21) - France
2007-07-27
16784

Re: Taille des bases chez free et plugin AMD

Donc le conseil que l'on peux donner c'est de créer le révérencielle en local est de l'exporter ?

Mais cela impose d'avoir la même organisation des photos en local et d'avoir importé la base avant ?

Ou les métadonnées sont basées sur le md5sun de la photo et sont indépendante de leurs emplacement ?


Vous aimez Piwigo alors n'hésitez pas à participer avec nous, plus d'infos sur la page "Contribuer à Piwigo". Si vous n'avez pas beaucoup de temps et que vous souhaitez nous soutenir vous pouvez aussi le faire par un don.

Hors ligne

#5 2010-10-23 21:59:21

plg
Équipe Piwigo
Nantes, France, Europe
2002-04-05
12639

Re: Taille des bases chez free et plugin AMD

Je ne vais pas rentrer dans le débat de l'intérêt du référentiel car grum sait ce que j'en pense (résumé de mon opinion : c'est disproportionné par rapport à son intérêt).

Par contre je réagis à l'aspect "nombre de requetes disproportionné" chez Free.fr : de nombreuses installations Piwigo ont été bloquées à cause de la table history : 1 requête d'insert par page affichée. Autant dire que ce n'est pas grand chose par rapport au remplissage du référentiel de [extension by grum] Advanced Metadata


Les historiens ont établi que Pierrick était le premier utilisateur connu de Piwigo.

Hors ligne

#6 2010-10-23 22:40:53

grum
Former Piwigo Team
50% Nantes - 50% Paris
2007-09-10
2502

Re: Taille des bases chez free et plugin AMD

plg a écrit:

Je ne vais pas rentrer dans le débat de l'intérêt du référentiel car grum sait ce que j'en pense (résumé de mon opinion : c'est disproportionné par rapport à son intérêt).

çà réponds avant tout à mes besoins et j'ai les ressources nécessaires qui assurent derrière ;-)

Sachant que l'exemple donné se rapporte à ma base de test.
Pour ma galerie en ligne, je limite l'alimentation du référentiel aux métadonnées 'magic' (168000métadonnées, 14Mo)

Après, chacun fait comme il le sent :
- utiliser le plugin en mode 'basique'
- utiliser le plugin en mode 'avancé' avec connaissance des 'risques' que çà apporte, en alimentant plus ou moins le référentiel
- ne pas utiliser le plugin


La difficulté, c'est que demain tu auras un utilisateur qui voudra pouvoir faire des recherches sur une donnée IPTC, puis un autre utilisateur voudra donner la possibilité de travailler sur la donnée XMP machin, un troisième ne voudra aucune métadonnée, un autre juste les exif, ....

Je n'ai pas solution miracle pour répondre aux besoins de chacun, si ce n'est partir du principe de qui peut le plus peut le moins...


Après, les bases (les fonctions apportées par la classe JpegMetaData) sont là : si quelqu'un veut quelque chose de bien particulier, il peut toujours l'utiliser pour réaliser quelque chose qui réponde exactement à ses besoins (la classe est diffusée sous licence GNU GPL2).
Et la diversité de l'offre étant l'un des avantages du monde de l'open source, quiconque souhaiterait comprendre comment utiliser la classe de base peut me demander comment elle fonctionne.


Mes photos avec Piwigo évidemment !
[ www.grum.fr ] [ photos.grum.fr ]

Hors ligne

#7 2010-10-23 22:42:36

grum
Former Piwigo Team
50% Nantes - 50% Paris
2007-09-10
2502

Re: Taille des bases chez free et plugin AMD

ddtddt a écrit:

Donc le conseil que l'on peux donner c'est de créer le révérencielle en local est de l'exporter ?

Mais cela impose d'avoir la même organisation des photos en local et d'avoir importé la base avant ?

Ou les métadonnées sont basées sur le md5sun de la photo et sont indépendante de leurs emplacement ?

c'est ce que je fais chez moi, je n'aime pas intervenir directement sur ma galerie en ligne : j'ai un miroir en local et lorsqu'il est prêt je bascule le tout sur la galerie en ligne (mais c'est un poil lourd comme manip...)


Mes photos avec Piwigo évidemment !
[ www.grum.fr ] [ photos.grum.fr ]

Hors ligne

#8 2010-10-24 01:26:41

thomorph
Membre
Mulhouse
2010-01-02
318

Re: Taille des bases chez free et plugin AMD

Je suis pas assez dans le domaine, je donne juste mon expérience:

Le référentiel fait 41.10Mio et est constitué de 549773 métadonnées
Magic141942
Exif356259
IPTC2862
XMP48710
Personnelles0
9050 images ont fait l'objet d'une analyse
0 images n'ont pas fait l'objet d'une analyse
3 images ne disposent pas de métadonnées

Chez free en a peut près 20min lors de la première construction du référentiel.

Juste si j'ai bien suivit, maintenant y a encore un risque de blocage? ou alors une fois que le référentiel est construit avec MAJ "au fil de l'eau" c'est bon?

C'était mon petit retour d'expérience

Hors ligne

#9 2010-10-24 08:23:20

ddtddt
Équipe Piwigo
Quetigny (21) - France
2007-07-27
16784

Re: Taille des bases chez free et plugin AMD

thomorph a écrit:

Je suis pas assez dans le domaine, je donne juste mon expérience:

Le référentiel fait 41.10Mio et est constitué de 549773 métadonnées
Magic141942
Exif356259
IPTC2862
XMP48710
Personnelles0
9050 images ont fait l'objet d'une analyse
0 images n'ont pas fait l'objet d'une analyse
3 images ne disposent pas de métadonnées

Chez free en a peut près 20min lors de la première construction du référentiel.

Juste si j'ai bien suivit, maintenant y a encore un risque de blocage? ou alors une fois que le référentiel est construit avec MAJ "au fil de l'eau" c'est bon?

C'était mon petit retour d'expérience

réponse dans quelques jours . . . de ta part si tu as encore un site ou non
Fait donc rapidement une sauvegarde de ta base de données


Vous aimez Piwigo alors n'hésitez pas à participer avec nous, plus d'infos sur la page "Contribuer à Piwigo". Si vous n'avez pas beaucoup de temps et que vous souhaitez nous soutenir vous pouvez aussi le faire par un don.

Hors ligne

#10 2010-10-24 10:51:34

grum
Former Piwigo Team
50% Nantes - 50% Paris
2007-09-10
2502

Re: Taille des bases chez free et plugin AMD

thomorph a écrit:

Juste si j'ai bien suivit, maintenant y a encore un risque de blocage? ou alors une fois que le référentiel est construit avec MAJ "au fil de l'eau" c'est bon?

si l'on en croit les conditions d'utilisation, une fois passé la construction du référentiel, çà devrait être bon.
mais bon, les conditions d'utilisation sont au bon vouloir de free, donc seul free pourrait répondre à cette question.


Mes photos avec Piwigo évidemment !
[ www.grum.fr ] [ photos.grum.fr ]

Hors ligne

#11 2010-10-24 11:09:13

thomorph
Membre
Mulhouse
2010-01-02
318

Re: Taille des bases chez free et plugin AMD

je vais faire ça, on va prier^^

Hors ligne

#12 2010-10-24 11:29:33

Gotcha
Ex Equipe Piwigo
Pierrelatte (26)
2007-03-14
13331

Re: Taille des bases chez free et plugin AMD

thomorph a écrit:

Chez free en a peut près 20min lors de la première construction du référentiel.

20 minutes ?!!! Powaaaaa si avec ça l'administrateur de pages perso chez Free ne voit pas rouge, c'est qu'il ne devait pas être dans son état normal lol


Ayez comme premier réflexe de consulter le wiki.
Ensuite, veuillez effectuer une recherche sur le forum avant de poser votre question.

LE FAIRE EST LE REVELATEUR DE L'ETRE

Hors ligne

#13 2010-10-24 11:32:37

thomorph
Membre
Mulhouse
2010-01-02
318

Re: Taille des bases chez free et plugin AMD

arrêté de me faire peur svp, je vous tiens au jus. en tout cas j'ai fais une save

Hors ligne

#14 2010-10-27 10:16:16

ddtddt
Équipe Piwigo
Quetigny (21) - France
2007-07-27
16784

Re: Taille des bases chez free et plugin AMD

thomorph a écrit:

arrêté de me faire peur svp, je vous tiens au jus. en tout cas j'ai fais une save

As tu toujours un site ?


Vous aimez Piwigo alors n'hésitez pas à participer avec nous, plus d'infos sur la page "Contribuer à Piwigo". Si vous n'avez pas beaucoup de temps et que vous souhaitez nous soutenir vous pouvez aussi le faire par un don.

Hors ligne

#15 2010-10-27 11:22:29

thomorph
Membre
Mulhouse
2010-01-02
318

Re: Taille des bases chez free et plugin AMD

ouai et ça fait plaisir^^

Hors ligne

Pied de page des forums

Propulsé par FluxBB

github twitter newsletter Faire un don Piwigo.org © 2002-2024 · Contact