#10

Re: Webgrabber aussperren

06.10.2005 14:44 Hallo, nein, geht mir nicht nur um httrack. Das ist nur einer, den ich selbst habe und mit dem ich testete ob der Schutz funktionierte. Er kam immer durch.

Warum es früher nicht funktionierte, kann ich nicht mehr reproduzieren, die letzten Versuche waren vor 1 - 2 Jahre bei Hostern, bei denen ich inzwischen gekündigt habe.

Bei den neuen Homepages wollte ich erst die Antworten hier abwarten. Ob es bei den neuen Hostern geht, muß ich also noch testen.

Gruß, RB

#9

Re: Webgrabber aussperren

06.10.2005 14:40 Zitat:

Das nutzt leider nicht wirklich viel und erschwert nur anderen die Arbeit. Weil im Kontextmenü wichtige Browserfunktionen sind, möchte ich das auch nicht sperren.

#8

Re: Webgrabber aussperren

06.10.2005 11:32 Tach Baron,

geht es Dir nur um HTTrack ? Probiere mal:

RewriteCond %{HTTP_USER_AGENT} httrack [NC]

Im übrigen taucht dieses Ding unter zig User Agents auf,zB unter :

Mozilla/4.61 [en] (Win98; I)
Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.1) Gecko/20020826
Mozilla/3.0 (Win95; I)
Mozilla/2.0 (compatible; MSIE 3.01; Windows 95)
Mozilla/4.5 [en] (X11; I; Linux 2.0.34 i686)
Mozilla/4.06C-EMS-1.4 [en] (X11; U; SunOS 5.5.1 sun4m)
Mozilla/4.5 (Macintosh; I; PPC)
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)
Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)
Mozilla/4.0 (compatible; MSIE 5.0; Win32)
Mozilla/4.5 (compatible; MSIE 4.01; Windows 98)
Mozilla/4.5 (compatible; MSIE 4.01; Windows 95)
Mozilla/4.5 (compatible; MSIE 4.01; Windows NT)
HTTrack Website Copier/3.0x (offline browser; web mirror utility)
(none)

Hattest Du die .htaccess im ASCII-Modus hochgeladen und die Rechte auf 644 gesetzt?

Martina

#7

Re: Webgrabber aussperren

06.10.2005 09:23 Mal sehen ob ich dir mit diesen modul helfen kann der name ist rightklick, ich glaube mit diesem modul kann man die rechte maustaste sperren


http://www.xoops2.de/v2download/module/rightklick.zip

#6

Re: Webgrabber aussperren

06.10.2005 01:27 Hallo und danke,

das habe ich auch so ausprobiert. Es funzt aber irgendwie nicht immer und ich weiß nicht, ob das an den Servereinstellungen liegen kann. Auf die habe ich keinen Einfluß, ich habe derzeit keinen eigenen Server, nur Webspace.

Ich habe das bei diversen Hostern getestet und von Freunden, die andere Webgrabber hatten, auch testen lassen - es kamen immer noch einige durch.

Bei einem Hoster gab es aber auch Probleme mit der Schreibweise

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
ging nicht, das ^ kollidierte mit deren Servbereinstellungen (Errro 500). Solbald das ^ raus war, gab den 500 nicht mehr, aber dann kam ich mit httrack auch wieder rein.

#5

Re: Webgrabber aussperren - warum?

06.10.2005 01:09 Ich möchte die gerne aussperren, weil ich seit Juni 2005 !!! leider 5 Fälle hatte, wo andere Leute content von meinen Seiten geklaut haben. Texte, Bilder. Das wurde alles auf fremden Seiten eingebaut, teilweise machte man sich nicht einmal die Mühe, den Wortlaut zu ändern.

Von dem Datenraub betroffen sind überwiegend alte Seitemn, die noch von Hand mit dem Eddi, teils auch mit Frames (*würg*, meine Fehler aus der Anfängerzeit)gemacht wurden. Alles Seiten, die zeitweilig nicht mehr online waren, weil ich die umsetze, in cms wie Xoops.

Ich vermute, daß dafür auch Webgrabber eingesetzt wurden. Wenn ich mich in die Lage von jemanden reindenke, der solchen content-raub macht und es rationell machen will bzw. auch weil ich die Seiten ja selbst umsetze, dazu die alten HTMLs öffne, copy und paste usw., das funzt oft nicht so richtig, je nach Browser und OS können da Codes reinkommen, die dann je nach CMS den Datenraub - oder in meinem Fall den Umbau der Seiten erschweren. Xoops macht da kam Probleme, wenn man keinen Wysywig-Eddi benutzt.

2 Leute, die sich bei meinen alten Seiten großzügig bedient haben, haben Ihre Seiten selbst gecodet, keine Ahnung, wie es bei denen lief, aber ich kann mir eben vorstellen, daß sie die Seiten gegrabbt haben.

Wenn ich schnell und rationell umbauen will, muß ich manchmal auch switschen: manchmal geht copy and past aus dem Browser flotter, machmal, wenn ich die Texte und Daten aus einem Wysiwig-Editor kopiere. So clever könnten auch Datendiebe sein.

#4

Re: Webgrabber aussperren

03.10.2005 15:37 Hallo,

für diesen Fall kann ich Dir das Modul protector empfehlen. Es zeichnet sich durch eine einfache Installation und Zuverlässigkeit aus.

http://www.peak.ne.jp/xoops/md/mydownloads/

Viele Grüße
Sven

#3

Re: Webgrabber aussperren

03.10.2005 09:36 Pack folgendes in eine .htaccess

# block bots and spiders
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GASI_GORENG [OR]
RewriteCond %{HTTP_USER_AGENT} ^gazz [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GornKer [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Holmes/1.0 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^Irvine [OR]
RewriteCond %{HTTP_USER_AGENT} ^ia-archiver [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR]
RewriteCond %{HTTP_USER_AGENT} ^HeinrichderMiragorobot [OR]
RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT [OR]
RewriteCond %{HTTP_USER_AGENT} ^MVAClient [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^oegp [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} dloader(NaverRobot) [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SearchExpress [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteKiosk [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^Schmozilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Siphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^sherlock/1.0 [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^TheSuBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebBandit [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus [OR]
RewriteCond %{HTTP_USER_AGENT} ^ZyBorg
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/[0-9]\.[0-9]{1,2}$
RewriteRule ^.* - [F,L]

###STOP ROBOT DOWNLOADERS - BEGIN
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^JetCar.* [NC]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^GoZilla.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^wget.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^HTTrack.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCapture.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Scooter-W3.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGe.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Webdupe.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Pockey.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^DiscoPump.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InternetNinja.* [NC,OR]
RewriteRule .* - [F,L]
###STOP ROBOT DOWNLOADERS - END

Die Liste der Bots etc. sollte natürlich immer aktualisiert werden.

Martina

#2

Re: Webgrabber aussperren

02.10.2005 19:32 Warum möchtest Du das, was möchtest Du damit bezwecken? Generell gibt es keinen Schutz gegen sollche Programme. Jedoch hast Du einen großen Vorteil bei PHP, denn die PHP-Dateien können nicht ausgelesen werden nur die daraus entstehenden HTML Daten. Somit ist schon ein Schutz eingebaut.

Grüßle,

#1

Webgrabber aussperren

02.10.2005 16:35 hhtrack, GoZilla usw. - hat jemand Erfahrungen, wie man die erfolgreich vom Seitenspiegeln abhalten kann?

Ich habe es mal mit .htaccess versucht, hat aber nie richtig funktioniert.