Robots erlauben bei BulletProof Security (BPS) für WordPress

Ich nutze BulletProof Security (BPS) seit längerem um meine WordPress Installation zu schützen. Und bisher wurde ich auch von Unheil verschont (*KNOCK* *KNOCK* *KNOCK*). Leider ist BPS aber sehr restriktiv und sperrt auch ein paar Bots den ich den Zugriff erlauben möchte. So finden sich in meinem „BPS HTTP Error Log“ unter anderem die folgenden Bots, aber auch einige Exotische Browser wieder:

• OpenOffice/4.0.0
  
• Twikle/1.0
  
• MetaURI API/2.0 +metauri.com
  
• Yahoo:LinkExpander:Slingstone
  
• AppEngine-Google
  
• XING-contenttabreceiver/2.0
  
• Twitterbot/1.0
  
• TwitterCrawler
  
• WordPress/3.9-alpha
  
• Bitlybot
  
• PaperLiBot/2.1
  

Welche davon zugelassen werden sollen, muss jeder Webmaster für sich entscheiden.

Als nächstes muss für der Codesnipsel für die BPS Ausnahme erstellt werden, zum Beispiel so:

# REQUEST METHODS FILTERED
# This filter is for blocking junk bots and spam bots from making a HEAD request, but may also block some
# HEAD request from bots that you want to allow in certains cases. This is not a security filter and is just
# a nuisance filter. This filter will not block any important bots like the google bot. If you want to allow
# all bots to make a HEAD request then remove HEAD from the Request Method filter.
# The TRACE, DELETE, TRACK and DEBUG request methods should never be allowed against your website.
RewriteEngine On
RewriteCond %{REQUEST_METHOD} ^(HEAD|TRACE|DELETE|TRACK|DEBUG) [NC]
RewriteCond %{HTTP_USER_AGENT} !^(OpenOffice|Twinkle|MetaURI|Yahoo:LinkExpander:Slingstone) [NC]
RewriteRule ^(.*)$ - [F,L] 

Dieser Block muss im BPS unter Custom Code => Root htaccess File Custom Code in das Feld „CUSTOM CODE REQUEST METHODS FILTERED: Whitelist User Agents or remove HEAD here“ eingetragen werden.

Nach dem Speichern muss die .htaccess neu erzeugt werden und aktiviert werden.

Und ab jetzt können die entsprechenden Roboter die Seite ohne Probleme scannen.