•  » Utilisation
  •  » Création fichier robot.txt Piwigo pour les moteurs de recherche

#46 2010-09-01 12:57:51

Gotcha
Equipe Piwigo
Pierrelatte (26)
2007-03-14
13324

Re: Création fichier robot.txt Piwigo pour les moteurs de recherche

Bien observé.
Google ne référence pas encore correctement les images de nos galerie. C'est une autre débat.

Du coup, pourquoi vouloir bloquer le robot de Google dans le répertoire "upload" ? Quel serait le bénéfice ??


Ayez comme premier réflexe de consulter le wiki.
Ensuite, veuillez effectuer une recherche sur le forum avant de poser votre question.

LE FAIRE EST LE REVELATEUR DE L'ETRE

Hors ligne

#47 2010-09-01 13:06:21

amande
Membre
Lyon
2010-04-03
259

Re: Création fichier robot.txt Piwigo pour les moteurs de recherche

l'affichage de la page contenant /upload/... ne contient que la photo et ne permet pas de naviguer sur d'autres pages de la galerie. ce que je trouve dommage.


Voici mes plus belles photos live www.photos-concert.fr
Envie de bootlegs francophones ? C'est par ici www.lossless.fr
Vous ne savez pas comment numériser au mieux vos vieilles cassettes audio ? Jetez un oeil sur www.tapetransfer.fr

Hors ligne

#48 2012-11-25 12:15:08

Eric B
Membre
2003-10-02
231

Re: Création fichier robot.txt Piwigo pour les moteurs de recherche

C est quoi au final les recommandations pour le fichier robots.txt?
Avec la v2.4 et les images ds _data\i, il y a ptet du changement, non?

Ou le plus simple fichier est il encore pertinent?:

Code:

# robots.txt
User-agent: *
Disallow: 
Crawl-delay: 300

Imposer 5min d intervalle entre 2 recherches, c est un poil bourrin, non?


Sur ma galerie, j avais 6 milions d evenements ds l historique, j ai commencé par re activer le plugin AntiAspi, puis fait un gros menage de l historique en supprimant direct en SQL tous les lignes non liées à une catégorie. Je ne sais pas si c est vraiment pertinent, mais cela a supprimé 5.9 Millions de lignes!

Code:

DELETE FROM `phpwebgallery_history` WHERE `category_id` IS NULL AND `user_id` = 2

(user_id=2 étant le guest chez moi)

Hors ligne

#49 2012-11-25 12:46:26

Eric
Équipe Piwigo
VALENCE (FR)
2005-03-25
4579

Re: Création fichier robot.txt Piwigo pour les moteurs de recherche

Eric B a écrit:

Ou le plus simple fichier est il encore pertinent?:

Code:

# robots.txt
User-agent: *
Disallow: 
Crawl-delay: 300

Imposer 5min d intervalle entre 2 recherches, c est un poil bourrin, non?

Pourquoi ne le serait-il pas ? Dans ce cas précis, il n'y a aucune exclusion d'indexation. Donc, avant ou après la version 2.4 de Piwigo, il n'y a aucun changement.

En quoi serait-il "bourrin" d'imposer un intervalle de 5 minutes ? Bourrin dans quel sens : Pas assez ou trop ?

Il y a des moteurs d'indexation (chinois notamment) qui ne respectent rien et vienne "toquer" à la porte des sites toutes les minutes. Bonjour l'historique des visites...


Eric B a écrit:

Sur ma galerie, j avais 6 milions d evenements ds l historique, j ai commencé par re activer le plugin AntiAspi, puis fait un gros menage de l historique en supprimant direct en SQL tous les lignes non liées à une catégorie. Je ne sais pas si c est vraiment pertinent, mais cela a supprimé 5.9 Millions de lignes!

Code:

DELETE FROM `phpwebgallery_history` WHERE `category_id` IS NULL AND `user_id` = 2

(user_id=2 étant le guest chez moi)

Avez-vous essayé [extension by Eric] Prune History ? Cela pourrait aider un peu au lieu de tripatouiller directement dans la base de données.

Hors ligne

#50 2012-11-25 19:57:29

Mascarille
Membre
Lyon Avignon
2009-12-21
778

Re: Création fichier robot.txt Piwigo pour les moteurs de recherche

Eric B a écrit:

j ai commencé par re activer le plugin AntiAspi

Ce plugin n'est plus maintenu, car il n'a jamais prouvé quoi que ce soit.

En ce qui concerne "mon" robot.txt
j'ai
UserAgent: *
Disallow: /Prive/
Disallow: /Blogprive/
Disallow: /Piwik/

et ça à l'air de plaire, en tout cas à Google, au vu de mon pagerank,
mais pas d'illusions entre Google, Msnbot, les chinois, les russes, l'Ukraine, c'est 70% à 90% du trafic total du serveur.

Je mets à jour sitemap à chaque mise à jour, soit 2 à 4 fois par semaine.

Contrepartie positive, les photos de la veille sont visibles sur Google dès le lendemain.

Et en réfléchissant : 34 498 photos (plus de 34 000 pages donc !), 1294 albums, comment voulez-vous que les moteurs de recherche procèdent autrement qu'en passant leur vie à scanner les sites.

Alors imposer un délais entre deux recherches, certainement pas ! C'est pas cohérent, soit on fait un site pour un un nombre limité de personnes - et on bloque totalement les moteurs de recherche, soit on l'ouvre, on documente ses photos par des commentaires pertinents et détaillés, et on laisse travailler à leur guise ceux qui permettront aux internautes inconnus d'accéder à votre site.

Bonne soirée

Hors ligne

  •  » Utilisation
  •  » Création fichier robot.txt Piwigo pour les moteurs de recherche

Pied de page des forums

Propulsé par FluxBB