Le robot de La Criée
LaCriee/1.0 lit les pages publiques des mairies et des intercommunalités pour tenir à jour la fiche de chaque commune. Voici comment il lit, et comment le joindre.
Son rythme
Comment il lit
Une page à la fois par serveur, au plus une toutes les 5 secondes, et 300 par site et par jour (10 par commune sur PanneauPocket, qui en sert plusieurs). Un site qui refuse (403) n’est plus lu pendant 24 heures. Tout son serveur s’arrête 24 heures sur un 429, ou quand trois de ses sites cessent de répondre de suite. Chez un hébergeur de moins de 20 sites de mairie, il s’arrête aussi sur un 503, quand deux de ses sites refusent ou après trois échecs de suite (connexion refusée, délai dépassé) ; chez un plus grand, c’est le site seul qui s’arrête.
Il lit d’abord le plan du site ou son interface WordPress, puis seulement les pages qui ont changé.
Ses règles
Ce qu’il respecte
Le fichier robots.txt de chaque site, selon la norme (RFC 9309), délai entre deux pages compris. Il ne remplit aucun formulaire et ne lit ni les espaces réservés, ni les pages de recherche.
Ses pages
Ce qu’il en fait
Il en garde le texte pour en tirer les informations pratiques d’une commune (horaires, démarches, collectes), publiées avec un lien vers la page d’origine.
Le joindre
Le faire ralentir ou s’arrêter
Écrivez à redaction@lacriee.info, ou ajoutez une règle User-agent: LaCriee à votre robots.txt : il la lit à chaque passage.