•  » Utilisation
  •  » [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

#1 2013-05-01 21:52:43

oliverfr
Membre
2013-04-27
157

[Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

Bonjour,

Après une semaine à tester piwigo avec grande satisfaction, je vois la vitesse de progression de la table piwigo_history, et je sens que ça va être préoccupant si cela passe sur un site à grosse fréquentation.

J'aimerais vous demander, s'il vous plaît, c'est à la fois une suggestion de développement et une demande d'aide, n'y aurait-il pas moyen de ne sauvegarder qu'un historique simplifié, pour que ça prenne moins de place en base de données ?

Comment dire...
Plutôt que logger en history : pour chaque ID, la date, l'heure, l'IP, le user ID, l'IP, la catégorie, les tags, l'image ID, etc...
Pourquoi ne pas, à terme, juste enregistrer en tout et pour tout : lundi premier mai 2012, 1000 visites, point barre.

Hop ! On a divisé par 10 000 la place occupée ! Sans passe par phpmyadmi ou le plugin Purge History !

On peut enregistrer ça à terme, ou alors tout de suite, peut-être une option, d'enregistrer soit les stats détaillées par défaut, soit des stats simplifiées (pour les gros sites qui de toutes façons feront appel à du Google Analytics et que sais-je encore)...

Cela ne serait-il pas possible ? Moi en tous cas j'aime l'idée... :)

Dernière modification par oliverfr (2013-05-01 21:53:51)

Hors ligne

#2 2013-05-01 22:31:15

flop25
Équipe Piwigo
2006-07-06
6465

Re: [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

Bonsoir
Honnêtement le mieux est de d'utiliser un script d'historique comme Piwik ou des services comme Google Analytics.

Hors ligne

#3 2013-05-01 23:19:48

oliverfr
Membre
2013-04-27
157

Re: [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

Ben, utiliser piwik ou tout autre script auto-hébergé ne ferait que déplacer le problème, la BDD croîtrait inexorablement en taille.

(J'ai fait une estimation, un million de pages vues représenterait 55 Mo de table history, donc un site qui ferait 10 000 images vues par jour, disons sur une base de mille visiteurs par jour, verrait sa BDD croître de 16-17 Mo par mois, donc de, allez, disons 200 Mo en un an.
En hébergement mutualisé, c'est limite.)

C'est dommage d'être forcé de s'appuyer sur un moteur de statistiques tiers comme Google Analytics à cause de cette question de taille.

Ou alors, pourquoi ne pas ajouter une option d'administration, pourquoi pas via un plugin, pour "simplifier" la BDD (à la demande, allez) et n'en garder que l'essentiel, les totaux, en supprimant les informations dont on peut se passer ?

Hors ligne

#4 2013-05-02 00:17:21

mistic100
Ex Equipe Piwigo
Lyon
2008-09-27
3556

Re: [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

Non, Piwik étant dédié aux statistiques (contrairement à Piwigo) il inclut les méthodes d'allègement que vous citez (quand il est bien configuré), le problème disparaitrait donc

Hors ligne

#5 2013-05-02 02:40:34

oliverfr
Membre
2013-04-27
157

Re: [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

Ah bon ? O_o

J'ai utilisé ce logiciel à l'époque où il s'appelait encore PhpMyVisites, soit ça n'avait pas été implémenté, soit je suis passé complètement à côté ^^;;

Merci beaucoup de la précision, alors ! :)

Hors ligne

#6 2013-05-02 07:26:44

mistic100
Ex Equipe Piwigo
Lyon
2008-09-27
3556

Re: [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

à l'époque non :-)

Hors ligne

#7 2013-05-04 19:33:24

plg
Équipe Piwigo
Nantes, France, Europe
2002-04-05
12282

Re: [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

oliverfr a écrit:

Ou alors, pourquoi ne pas ajouter une option d'administration, pourquoi pas via un plugin, pour "simplifier" la BDD (à la demande, allez) et n'en garder que l'essentiel, les totaux, en supprimant les informations dont on peut se passer ?

Piwigo permet de supprimer les données d'historique, tout en gardant le résumé d'historique. Voir écran [Administration > Outils > Maintenance].

Je suis cependant d'accord avec flop25 et mistic100 : pour des statistiques plus complètes (mais moins spécifiques que celles incluses dans Piwigo), je recommande Piwik. Je n'ai pas encore mis en place la limitation automatique du poids de la base cependant...


Dernier billet du blog Piwigo.com (20 juin 2019) Modus, nouveau thème par défaut sur Piwigo.com

Hors ligne

#8 2014-09-21 16:57:32

Eric B
Membre
2003-10-02
231

Re: [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

y a t il du neuf sur ce sujet?
C est sympa de pouvoir faire des stats sur l historique, mais avec plusieurs millions de lignes ds la table, c est difficilement exploitable...

Une idée pour l allégement de la table serait une fonction pour supprimer l historique des IP qui ont par ex plus de 10 000 entrées, typiquement les robots. A faire en collaboration avec le plugin  HistoryIPExcluder qui pourrait avoir cette tache.
En fait, il faudrait surtout que le blocage des robots soit automatique, avec par ex en s inspirant de leurs IP connues, comme celle référencées sur http://www.iplists.com/

Dernière modification par Eric B (2014-09-21 17:00:45)

Hors ligne

  •  » Utilisation
  •  » [Résolu] Taille de BDD : garder un historique simplifié, moins lourd ?

Pied de page des forums

Propulsé par FluxBB

github twitter facebook newsletter Faire un don Piwigo.org © 2002-2019 · Contact