Website erg traag door Meta / Facebook crawler
Geplaatst: vr nov 01, 2024 11:02 am
We zien de laatste tijd dat met name de Meta crawlers er een potje van maken en een ongelofelijke load op servers veroorzaken. Er komen dan vanaf wel 10 verschillende IP's verzoeken voor een pagina, en dat meerdere keren per seconde.
Nu bestaat er een (niet officiële) optie Crawl-delay: [seconds] die je kunt toevoegen in je robots.txt bestand. Echter, daar trekt Meta zich helaas niks van aan.
Echter is er hoop met de nieuwe AI crawler van Meta, deze kunnen we wel blokkeren in de robots.txt
User-agent: meta-externalagent
Disallow: / # Disallow everything
Werkt dit niet, dan kun je het ook blokkeren in je .htaccess bestand:
# BLOCK Meta AI Crawler
RewriteCond %{HTTP_USER_AGENT} ^meta-externalagent/1\.1 [NC]
RewriteRule ^ - [F,L]
Nu bestaat er een (niet officiële) optie Crawl-delay: [seconds] die je kunt toevoegen in je robots.txt bestand. Echter, daar trekt Meta zich helaas niks van aan.
Echter is er hoop met de nieuwe AI crawler van Meta, deze kunnen we wel blokkeren in de robots.txt
User-agent: meta-externalagent
Disallow: / # Disallow everything
Werkt dit niet, dan kun je het ook blokkeren in je .htaccess bestand:
# BLOCK Meta AI Crawler
RewriteCond %{HTTP_USER_AGENT} ^meta-externalagent/1\.1 [NC]
RewriteRule ^ - [F,L]