Wie erkenne ich, dass ihr mich crawlt?

Unser Haupt-Bot (auch Spider oder Crawler genannt) heißt sg-Orbiter. Als User-Agent taucht in den Access-Logs Ihres Webservers Folgendes auf:

Mozilla/5.0 (compatible; sg-Orbiter/1.0; +http://searchgears.de/uber-uns/crawling-faq.html)

In seltenen Fällen machen wir Test-Crawls auch mit anderen User-Agents, wir verweisen aber immer auf unseren Firmenname bzw. diese Webseite.

Wozu crawlt ihr meine Webseite?

Wir erstellen im Auftrag unserer Kunden themenspezifische Web-Suchmaschinen, insbesondere mit deutschen Inhalten. Mit Hilfe dieser Suchmaschinen können Nutzer Ihre Inhalte finden und werden durch die Quellenangabe auf Ihre Webseite geführt.

Klaut ihr meine Daten?

Wir sind nicht im Adress- oder anderweitigem Datenhandel tätig. Wir erstellen Web-Suchmaschinen, die Nutzer auf Ihre Webseite aufmerksam machen und Ihnen so Traffic zuführen.

Eine kommerzielle Aufbereitung und Verwertung Ihrer Datenbasis erfolgt nicht. Wir machen uns Ihre Inhalte in keinster Weise zu eigen.

Welche Inhalte meiner Webseite verwendet ihr?

Genau wie Google und andere Suchmaschinen stellen wir kurze Ausschnitte (so genannte Snippets) und den Titel Ihrer Webseite im Suchergebnis dar.

Die Länge des Snippets richtet sich nach der Suchanfrage und den rechtlichen Aspekten der Zulässigkeit von Zitaten im deutschen Recht.

Die Suchergebnisse sind immer mit der Original-Quelle (also Ihrer Webseite) verlinkt.

Ich möchte nicht von euch gecrawlt werden. Was kann ich tun?

Unsere Crawler beachten den Robots-Standard. Wenn Sie unseren Crawler namentlich in Ihrer robots.txt ausschließen, wird er Ihre Seite nicht mehr crawlen.

Bitte beachten Sie, dass unser Crawler natürlich weiterhin zumindest die robots.txt-Datei von Ihrer Webseite downloaden muss.

Kann ich mich auch telefonisch / per Email vom Crawl ausschließen lassen?

Unser Crawler besucht sehr viele verschiedene Domänen. Der Verwaltungsaufwand, eine eigene Ausschlussliste zu pflegen, wäre unverhältnismäßig hoch.

So eine Lösung wäre auch nicht sehr verlässlich: Wenn Sie z.B. Ihre Domäne umbenennen, würden Ihre Inhalte unter Umständen wieder gecrawlt.

Bitte verwenden Sie daher den Robots-Standard, um einen Crawl zu verhindern.