🌍
Français
J'aime bien cette analogie :-)
plg a écrit:
"je ne fais pas les révisions/entretiens sur ma voiture, j'attends que le moteur casse et je ferai les réparations dans mon garage"
plg a écrit:
* à faire : modifier Piwigo pour que, même si obsolete.list dit de supprimer "upload" ou "galleries" ou "local", il ne le fasse pas. Voire même, ne pas prendre en compte le contenu de obsolete.list du tout sur les mises à jour mineures. On le fera sur les mises à jour majeures seulement et le fichier obsolete.list est alors généré "à la main" car il est intégré au code source, c'est le fichier install/obsolete.list (qui n'a pas bougé depuis 11 ans...)
Plusieurs choses ont donc été faites :
* le fichier obsolete.list n'est plus pris en compte. Donc plus de risque de supprimer des fichiers à l'application d'un patch de mise à jour mineure. En tout cas pas par cette mécanique.
*enregistrement en base des infos à chaque mise à jour : date, utilisateur, version de départ et d'arrivée
TOnin a écrit:
Piste de récupération ? [...] une analyse de l'espace disque libéré avec le logiciel photorec (par exemple).
Mon avis : si quelqu'un est capable d'utiliser ce genre de logiciel, alors il a conscience que la question n'est pas "est-ce qu'un jour je vais perdre des données ?" mais "quel jour vais-je perdre mes données ?" et a donc mis en place un système de sauvegarde.
Mon analogie dans la "vie courante", c'est comme de dire "je ne fais pas les révisions/entretiens sur ma voiture, j'attends que le moteur casse et je ferai les réparations dans mon garage". J'espère que tout le monde trouve cela ridicule et bien plus simple de faire ses sauvegardes.
Alors évidemment, maintenant le "mal est fait" et on cherche des solutions pour ceux qui n'ont pas de sauvegarde. Je crains juste que la solution de type "restauration de disque" soit difficilement applicable :-/
Piste de récupération ?
Une fois la suppression des fichiers effectuée, et remarquée par l'administrateur du serveur. Il serait possible d'arrêter le serveur pour que le disque ne soit plus accessible en écriture, afin de lancer une analyse de l'espace disque libéré avec le logiciel photorec (par exemple).
Cet utilitaire peut laisser espérer une récupération partielle des fichiers effacés, ça risque d'être long et de nécessiter la possession d'un autre disque. Il restera encore pas mal de travail puisque les noms originels des fichiers ne sont pas restitués, par contre les métadonnées devraient toujours être liées à la trace des fichiers sur le disque. Donc gros travail de tri, pouvant s'appuyer sur les données EXIF dans le cas des images jpeg.
Je crois avoir une explication concernant la disparition du répertoire "/tmp/1330/upload" qui m'a servi le 8 décember 2022 pour générer le patch 13.x_to_13.3.0.zip.
Déjà il faut comprendre comment fonctionne le script de génération d'un patch de migration : il compare la situation de départ (répertoire /tmp/1300) avec la situation d'arrivée (répertoire /tmp/1330). Tout fichier nouveau ou modifié est mis dans le patch, tout fichier qui disparaît est listé dans un fichier obsolete.list. Les fichiers listés dans obsolete.list seront alors interprétés comme "à détruire" par Piwigo qui applique bêtement ce qu'on lui dit de faire.
Ce répertoire /tmp/1330 est créer par le désarchivage de piwigo-13.3.0.zip qui n'a pas changé depuis le 28 novembre 2022. Les fichiers qu'il contient sont donc datés, au maximum, du 28/11. C'est le comportement normal sous MacOS. J'ai remarqué (et vérifié cette semaine, car j'avais une intuition) que MacOS faisait régulièrement le ménage dans /tmp en supprimant notamment les répertoires vides de plus de X jours. Il suffirait donc que ce nettoyage ait eu lieu entre le moment du unzip et le moment de la génération du patch pour que le répertoire /tmp/1330/upload soit manquant et donc qu'il soit considéré comme "à détruire".
Conclusions :
* questionnement : plutôt que de simplement "regénérer le patch" le 8 décembre 2022, j'aurais pu/dû sortir une 13.4.0 et suivre la procédure habituelle de création de patch. Les répertoires /tmp/1300 et /tmp/1340 aurait été intacts de tout "nettoyage" de MacOS. Sauf qu'il n'y avait alors aucun changement entre une 13.3.0 et une potentielle 13.4.0, je n'ai donc pas vu la pertinence de sortir une version.
* déjà fait : le script de génération de patch a été modifié pour ne jamais écrire "upload" ou "galleries" ou "local" dans obsolete.list
* à faire : modifier Piwigo pour que, même si obsolete.list dit de supprimer "upload" ou "galleries" ou "local", il ne le fasse pas. Voire même, ne pas prendre en compte le contenu de obsolete.list du tout sur les mises à jour mineures. On le fera sur les mises à jour majeures seulement et le fichier obsolete.list est alors généré "à la main" car il est intégré au code source, c'est le fichier install/obsolete.list (qui n'a pas bougé depuis 11 ans...)
La 13.4.0 est sortie. Elle ajoute donc un test régulier sur un échantillon aléatoire de photos listées en base : si l'une d'elles manque dans le système de fichier, un énorme avertissement apparaît. L'idée étant que les utilisateurs puissent réagir rapidement en restaurant leur sauvegarde avant qu'elle n'expire.
Stef85 a écrit:
Tout mon répertoire upload a été supprimé après avoir effectué la mise à jour ! [...] Qu'est-ce qui peut expliquer cela ?
Plusieurs personnes nous ont remonté le même problème. Chronologie des évènements :
[29 novembre 2022] sortie de la 13.3.0 et du patch qui permet de passer de la 13.x à la 13.3.0
[8 décembre 2022] erAck, contributeur très actif, nous informe que ce patch n'est pas complet sur [Github] Piwigo issue #1818 Je sors un nouveau patch en utilisant une nouvelle procédure.
[11 décembre 2022] YannB. nous dit ici que des photos ont été supprimées de son répertoire "upload". Je pense alors à un problème isolé, pas lié à la mise à jour en particulier.
[15 décembre 2022] d'autres utilisateurs boge90 et FaBay89 nous rapportent le même problème sur [Github] Piwigo issue #1827
[15 décembre 2022 toujours] La coïncidence est impossible, cela devient ma priorité. Je travaille avec ddtddt toute l'après-midi pour analyser le problème. On trouve rapidement ce qui cloche (dans le patch, un fichier obsolete.list avec écrit "upload" dedans, ce qui provoque la suppression automatique du répertoire par Piwigo). Pour autant je n'arrive pas reproduire l'arrivée de ce fichier obosolete.list et je sais que ce n'est pas un piratage de piwigo.org pour autant. C'est donc moi qui ait fabriqué ce fichier (enfin... un script de la procédure) mais je suis pour le moment incapable de comprendre pourquoi.
On met à jour immédiatement le patch pour retirer ce fichier obsolete.list. Tous les Piwigo qui ont mis à jour automatiquement une 13.x vers 13.3.0 entre le 8 décembre et le 15 décembre sont affectés par le problème. Des gouttes de sueurs perlent sur mon front.
Mis en place d'un plan pour éviter que cela ne puisse se reproduire (ajout de tests dans le script de génération du patch) et trouver comment prévenir le plus efficacement possible les personnes concernées. Heureusement, l'énorme majorité des utilisateurs qui ont mis à jour l'ont fait avant le 8 décembre.
On a prévu donc les actions suivantes :
1) compléter le extension:923 pour qu'il soit capable de vérifier qu'une photo listée en base a bien sa correspondance dans le système de fichiers
2) ajouter un test dans l'administration de Piwigo 13.4 pour vérifier sur un petit échantillon que les photos sont bien présentes dans le système de fichier. Si ce n'est pas le cas, afficher un gros avertissement et recommander de faire une analyse complète avec Check Uploads.
Je prépare tout ça. Ca craint mais j'espère que les utilisateurs concernés auront suivi nos recommandations :
guide de la mise à jour a écrit:
Ayez toujours une sauvegarde de votre base de données et de vos fichiers. Le mieux est de les faire réaliser automatiquement et régulièrement. Si quelque chose de mauvais se produit pendant la mise à jour, vous pourrez restaurer une sauvegarde.
Tout mon répertoire upload a été supprimé après avoir effectué la mise à jour !
Heureusement mon hébergeur fait un backup quotidien de la base et des fichiers, j'ai pu restaurer la 13.2 sans encombre.
Qu'est-ce qui peut expliquer cela ? Je n'ai eu aucun message d'erreur lors de la mise à jour.
YannB. a écrit:
Néanmoins, j'ai détecté que si certaines photos déposées depuis la mise à jour sont belles et bien disponibles, ce n'était plus le cas des photos anciennes.
En effet, les fichiers n'existaient plus. Ils ont été supprimés physiquement du répertoire "upload".
C'est super grave et ce n'est évidemment pas le cas de façon volontaire ou générale. Je penche plutôt à un problème de manipulation des répertoires. Par l'humain ou par le script (mais le script ne touche pas au répertoire "upload" normalement)
Bonjour à tous,
Juste pour vous prévenir d'une anomalie que j'ai rencontré lors de la mise à jour vers la version 13.3.
Celle-ci s'est déroulée sans difficulté hier après-midi.
Néanmoins, j'ai détecté que si certaines photos déposées depuis la mise à jour sont belles et bien disponibles, ce n'était plus le cas des photos anciennes.
En effet, les fichiers n'existaient plus. Ils ont été supprimés physiquement du répertoire "upload".
Dans mon cas, je fais une restauration de l'espace, mais pour ceux qui ne pourraient pas avoir cette possibilité, je pense qu'il faudrait vérifier les opérations menées sur ce répertoire durant la mise à jour.
Chez moi, quelque chose s'est mal passée, mais sans erreur visible à l'écran.
En tout cas, merci pour le super job !
Bonne journée,
Yann.
Bonjour,
Je ne sais pas faire la mise à jour automatique de Piwigo pour passer à la version 13 (13.3.0), est-ce normal ?
Pour la version manuelle je me plante d'office.
Y a t-il une raison à cela ?
Grand merci pour votre aide.
Merci Pierrick, je râlais pas, là, c'était juste pour mettre un nœud à ton mouchoir.
Katryne a écrit:
Notez que j'ai traduit les éléments du Changelog (Journal des changements) le 28 novembre, soit le jour où Damien me l'a demandé. Et alors ! C'est toujours pas en ligne ? Ça sert à quoi que Katryne se déKarKasse ?
La mise en ligne des traductions n'est pas automatique. Je viens de le faire.
Hello, heu Bonjour ...
Notez que j'ai traduit les éléments du Changelog (Journal des changements) le 28 novembre, soit le jour où Damien me l'a demandé. Et alors ! C'est toujours pas en ligne ? Ça sert à quoi que Katryne se déKarKasse ?
Bonjour,
Cette fois, je peux 'déplacer' un album physique dans son arborescence, c'est long (entre 3 et 6') mais çà marche.
Je vois bien la possibilité de trier les albums et cela fonctionne mais c'est long (de l'ordre de 12')
Dans la version 13.1.0 aucune page ne s'affichait et et cela plantait, dans la 13.2.0, pas de possibilité ni de glisser un album dans son arborescence, ni de visibilité du bouton 'ordre de tri'.
Dans le tableau de bord j'ai 55373 albums (physiques) pour info. Donc des temps de réponse longs me vont pourvu que çà ne plante pas.
Merci pour cette nouvelle version !
Pascal Cheron