htaccess UserAgent blocken

[Chris]

Wenn wir einen bestimmten UserAgenten nicht auf unseren Webseiten haben möchten um z.B. Bots oder Offlinebrowser auszusperren können wir den verwendeten Agenten abfragen und den Besucher verweigern die Seiten abzurufen.

Eine 100% Chance haben wir damit natürlich nicht, aber es ist in vielen Fällen nützlich:

Code:

RewriteCond %{HTTP_USER_AGENT} ^MeinAgent
RewriteRule .* - [F]

Der Server sendet bei einem Treffer den Fehlercode 403 "Forbidden".

[Register]

Laienhafte Frage: Würde zumindest zum blocken von Bots ein entsprechender Eintrag in der Robots.txt reichen? Wobei das ja nur Bots schrecken würde, die so freundlich sind, sich an die Angaben dort zu halten. *g*

[Chris]

Hi Register,

Laienhafte Frage: Würde zumindest zum blocken von Bots ein entsprechender Eintrag in der Robots.txt reichen?

Wenn es dabei um "gutmütige" Bots geht wird ein Eintrag in der robots.txt auch nützlich sein, wobei die Chancen mit einem .htaccess Eintrag etwas grösser sind weil du dann aktiv handelst und den Zugriff über den Webserver unterbindest. Die robots.txt ist mehr oder weniger passiv und davon abhängig ob sie überhaupt ausgelesen wird. Wenn du nur ein paar Inhalte vor Google "verstecken" möchtest reicht ein robots.txt Eintrag aber in der Regel aus. Die robots.txt kann man auch als Wegweiser für die Suchmaschinen sehen, zum Sperren von Inhalten aber eher ungeeignet.

Es soll auch Bots geben die speziell über die robots.txt gesperrte Inhalte suchen, besonders interessant ist da natürlich sowas hier

Disallow: /admin/passwort.txt

Ich glaube Madlen hat eine etwas längere Liste mit Bots die sie über die .htaccess ausperrt, wenn sie mitliest wird sie bestimmt gleich einen Beitrag hinterlassen.

[Madlen]

Hallo Register,

ich habe ne ziemlich lange robots.txt Datei für "unfreundliche" Bots habe ich folgendes drin stehen:

User-agent: EmailCollector
Disallow: /

User-agent: GagaRobot
Disallow: /

Obs nun tatsächlich was bringt  weiss ich allerdings auch nicht.

LG Madlen

[Register]

Danke dir jedenfalls für den Tipp.

[cd2500]

Ich möchte folgenden Agent in der .htaccess sperren. Dieser löst fröhlich und munter lauter bestellungen aus, zahlt nie. Es ist schade um die Zeit die ich mit diesem user vergeude. Eine sperrung der IP geht leider nicht, da diese dynamisch..

Der Agent ist aber immer der gleiche und habe schon gecheckt, kein einziger andere Besucher ist jemals mit den gleichen Daten zu mir gekommen:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0; InfoPath.1; Media Center PC 2.

Ist das möglich ? Wie soll Code-Zeile aussehen ?

Ich habe bereits so etwas in der .htaccess drinnen, kann ich da code anhängen ?


^{RewriteCond %{HTTP_USER_AGENT} ^$ [OR,NC]
RewriteCond %{HTTP_USER_AGENT} linguee [OR,NC]
RewriteCond %{HTTP_USER_AGENT} xenu [NC]
RewriteRule ^(.*)$ - [F,L]}