Bonjour/Bonsoir,

nous avons une galerie piwigo qui comporte actuellement 97539 photos. Lorsqu'il y a ajout de photos via la fonction de synchronisation ( upload ftp -> synchro ), le site devient inaccessible et on note énormément de requêtes lentes avec des “Copying to tmp table” si on regarde SHOW FULL PROCESSLIST.

En lisant la doc de MySQL, on se rend compte que l'utilisation de SELECT DISTINCT ou de GROUP BY provoque presque à coup sûr l'utilisation de tables temporaires : http://dev.mysql.com/doc/refman/5.1/en/ … ation.html

Il est possible de faire quelques optimisation, mais pour cela, il faut utiliser des indexes supplémentaires et construire correctement les requêtes pour  que les indexes soient utilisés : http://dev.mysql.com/doc/refman/5.1/en/ … ation.html
http://stackoverflow.com/questions/1971 … or-sorting

Cependant, plutôt que de faire tout le temps des "SELECT DISTINCT" pour récupérer des id uniques, ne serait-il pas plus intéressant de récupérer la liste complète des id, puis de faire le uniq en PHP avec array_keys(array_flip($array)) ou array_unique($array) ou en utilisant in_array() : http://php.net/manual/fr/function.array-unique.php
http://wiki.planetoid.info/index.php/PH … ed.29_data

Voici un extrait des requêtes lentes qui se répètent en grand nombre :


# Time: 141013 16:36:33
# User@Host: xxxxxxxx[xxxxxxxx] @  [xx.xx.xx.xx]
# Query_time: 18.833075  Lock_time: 0.146129 Rows_sent: 0  Rows_examined: 0
use websalsazur3;
SET timestamp=1413210993;
UPDATE piwigo_images
  SET rotation = '0'
  WHERE id = '22725';
# Time: 141013 16:40:21
# User@Host: xxxxxxxx[xxxxxxxx] @  [xx.xx.xx.xx]
# Query_time: 12.123109  Lock_time: 0.000218 Rows_sent: 0  Rows_examined: 194810
SET timestamp=1413211221;
SELECT DISTINCT(id)
  FROM piwigo_images INNER JOIN piwigo_image_category ON id=image_id
  WHERE category_id NOT IN (0)
    AND level>8;
# Time: 141013 16:40:32
# User@Host: xxxxxxxx[xxxxxxxx] @  [xx.xx.xx.xx]
# Query_time: 19.588614  Lock_time: 0.000210 Rows_sent: 0  Rows_examined: 194810
SET timestamp=1413211232;
SELECT DISTINCT(id)
  FROM piwigo_images INNER JOIN piwigo_image_category ON id=image_id
  WHERE category_id NOT IN (0)
    AND level>8;
# User@Host: xxxxxxxx[xxxxxxxx] @  [xx.xx.xx.xx]
# Query_time: 20.968846  Lock_time: 0.000254 Rows_sent: 0  Rows_examined: 194810
SET timestamp=1413211232;
SELECT DISTINCT(id)
  FROM piwigo_images INNER JOIN piwigo_image_category ON id=image_id
  WHERE category_id NOT IN (0)
    AND level>8;
# Time: 141013 16:40:34
# User@Host: xxxxxxxx[xxxxxxxx] @  [xx.xx.xx.xx]
# Query_time: 21.700114  Lock_time: 0.000058 Rows_sent: 0  Rows_examined: 194810
SET timestamp=1413211234;
SELECT DISTINCT(id)
  FROM piwigo_images INNER JOIN piwigo_image_category ON id=image_id
  WHERE category_id NOT IN (0)
    AND level>8;
# User@Host: xxxxxxxx[xxxxxxxx] @  [xx.xx.xx.xx]
# Query_time: 19.407053  Lock_time: 0.000258 Rows_sent: 0  Rows_examined: 194810
SET timestamp=1413211234;
SELECT DISTINCT(id)
  FROM piwigo_images INNER JOIN piwigo_image_category ON id=image_id
  WHERE category_id NOT IN (0)
    AND level>8;
# Time: 141013 16:41:09
# User@Host: xxxxxxxx[xxxxxxxx] @  [xx.xx.xx.xx]
# Query_time: 50.896551  Lock_time: 16.330154 Rows_sent: 0  Rows_examined: 194810
SET timestamp=1413211269;
SELECT DISTINCT(id)
  FROM piwigo_images INNER JOIN piwigo_image_category ON id=image_id
  WHERE category_id NOT IN (0)
    AND level>8;

# Time: 141013 16:41:23
# User@Host: xxxxxxxx[xxxxxxxx] @  [xx.xx.xx.xx]
# Query_time: 48.804988  Lock_time: 0.030872 Rows_sent: 514  Rows_examined: 196352
SET timestamp=1413211283;
SELECT c.id AS cat_id, id_uppercat,
  MAX(date_available) AS date_last, COUNT(date_available) AS nb_images
FROM piwigo_categories as c
  LEFT JOIN piwigo_image_category AS ic ON ic.category_id = c.id
  LEFT JOIN piwigo_images AS i
    ON ic.image_id = i.id
      AND i.level<=8
  GROUP BY c.id;

Version de Piwigo: 2.7.0 normalement ( à confirmer )
Version de PHP: ???
Version de MySQL: 5.1.x
URL Piwigo: http://www.websalsazur.com/piwigo2/index.php

Dernière modification par fabricefacorat (2014-10-14 00:35:00)