AgerBot
AgerBot è il crawler di Ager. Raccoglie titoli e metadati dalle fonti per il nostro feed link-first: non ospitiamo il testo integrale degli articoli, rimandiamo sempre all'editore.
User-Agent
Le richieste di AgerBot riportano questo User-Agent, così puoi identificarle nei tuoi log:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 Ager-Bot/1.0 (+https://agerculture.com)
Cosa rispettiamo
Prima di ogni acquisizione consultiamo e registriamo robots.txt, /.well-known/tdmrep.json (opt-out per il text & data mining) e /.well-known/ai.txt. Rispettiamo le direttive di esclusione e l'opt-out TDM.
Come escludere AgerBot
Per impedire la raccolta, aggiungi una regola per "Ager-Bot" nel tuo robots.txt o dichiara l'opt-out TDM in tdmrep.json. Applichiamo le modifiche alla successiva acquisizione.
Domande? bot@agerculture.com