BahRefsBot is agressief

Kan ik deze simpel blokkeren op mijn website?

Dank u

Hallo Ikke,

Dat is te doen via een .htaccess aanpassing, voeg onderstaande toe aan je .htaccess bestand:

# Begin blokkade

<IfModule mod_rewrite.c>
    RewriteEngine On

    # =========================================================================
    # BLOKKEER AGRESSIEVE BOTS (SEO Tools, AI Scrapers en Spammers)
    # =========================================================================
    # SEO / Marketing Tools (Verkopen jouw data aan derden)
    RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SemrushBot|BahRefsBot|DotBot|MJ12bot|Rogerbot|MegaIndex|BLEXBot|MozDotNet|LtBot) [NC,OR]

    # AI Scrapers / Crawlers (Snoepen bandbreedte voor AI-training)
    RewriteCond %{HTTP_USER_AGENT} (GPTBot|ChatGPT-User|ClaudeBot|Claude-Web|Anthropic-AI|Google-Extended|PerplexityBot|Omgilibot|FacebookBot) [NC,OR]

    # Aggressieve Scrapers / Spammers (Zorgen vaak voor serverbelasting)
    RewriteCond %{HTTP_USER_AGENT} (PetalBot|Amazonbot|Applebot|YandexBot|Mail.RU_Bot|Baiduspider|Sogou|Scrapy|Crawlera|python-requests) [NC]

    # Stuur alle bovenstaande bots direct naar een 403 Forbidden
    RewriteRule .* - [F,L]

</IfModule>
# Einde blokkade

Test of het werkt:

Je kunt controleren of de blokkade actief is door zelf te doen alsof je de bot bent via de terminal van een andere computer (of je eigen server):bash

curl -I -A "BahRefsBot" http:// domeinnaam

Als het goed is krijg je dan een 403 foutmelding terug, je hoeft hiervoor je webserver (apache) in dit geval niet te herstarten.

Met vriendelijke groet,
Terry van Erp
De Helpdesk

http://www.de-help-desk.nl

Disclaimer: This posting is provided AS IS with no warranties or guarantees and confers no rights.