Was bedeutet Robots.txt Disallow All und welche Auswirkungen hat es auf SEO?

Wichtige Highlights

• Robots.txt ist ein leistungsstarkes Tool zur Verwaltung des Suchmaschinenverhaltens auf Websites.
• Robots.txt Alle nicht zulassen blockiert alle Suchmaschinen daran, Ihre Website zu crawlen.
• Die falsche Verwendung von robots.txt kann der SEO schaden und die Neuindizierung nach Änderungen verlangsamen.
• Verwenden Sie aus Sicherheitsgründen oder für private Inhalte einen Kennwortschutz, anstatt sich auf die Disallow-Direktive zu verlassen.
• Die regelmäßige Überprüfung robots.txt Datei stellt sicher, dass sie für die Sichtbarkeit in Suchmaschinen optimiert ist.

Einleitung

Eine bekannte E-Commerce-Marke befand sich einst in einem SEO-Albtraum. Über Nacht verschwanden die Seiten aus den Google-Suchergebnissen, was zu einem plötzlichen Rückgang des organischen Traffics und der Einnahmen führte.

Nach stundenlanger hektischer Fehlerbehebung wurde der Schuldige entdeckt – ein fehlplatzierter robots.txt Alles verbieten. Diese eine Zeile hatte Suchmaschinen effektiv daran gehindert, über die gesamte Website zu crawlen, wodurch sie für potenzielle Kunden unsichtbar wurde.

Die Direktive robots.txt Disallow all ist ein mächtiges Werkzeug. Aber wenn es falsch verwendet wird, kann es Ihre Suchrankings sabotieren, die Neuindizierung verlangsamen und erheblichen SEO-Schaden anrichten.

Also, was genau macht Disallow all? Wann sollte es verwendet oder vermieden werden? In diesem Artikel untersuchen wir alles über robots.txt Alle verbieten.

Was ist eine robots.txt Datei?

Eine robots.txt-Datei ist eine Nur-Text-Datei , die sich im Stammverzeichnis Ihrer Website befindet. Er entscheidet, in welche Suchmaschinen-Bots eindringen und welche Bereiche sie erkunden oder aufzeichnen dürfen. Diese Datei folgt dem Robots-Ausschlussprotokoll, das auch als Robots Exclusion Standard bezeichnet wird. Es handelt sich um eine Reihe von Richtlinien, die verschiedene Suchmaschinen beim Crawlen von Websites befolgen.

Ohne eine gut konfigurierte robots.txt-Datei können sich Google-Bots frei bewegen und alles indizieren. Es kann Seiten enthalten, die nicht in den Suchergebnissen angezeigt werden, z. B. Admin-Seiten, doppelte Inhalte oder Testumgebungen.

Anmerkung: Google erzwingt eine Größenbeschränkung von 500 KB für robots.txt Dateien. Inhalte, die die maximale Dateigröße überschreiten, werden ignoriert.

Du kannst deine robots.txt Datei mit dem Yoast SEO-Plugin oder den Serverdateien deiner Website erstellen und ändern. Die Google Search Console bietet auch nützliche Einblicke für die einfache Verwaltung robots.txt Datei.

Lesen Sie auch: So schließen Sie Google von der Indizierung aus Die WordPress-Seite zum Hinzufügen zum Warenkorb mit Yoast SEO

Beispiele für die Funktionsweise robots.txt Dateien

Robots.txt hat unterschiedliche Regeln, je nachdem, wie viel Zugriff Sie Suchmaschinen-Bots gewähren möchten. Hier sind einige gängige Beispiele:

Beispiel 1: Allen Bots den Zugriff auf die gesamte Website erlauben

User-agent: *
Disallow:

Was es tut:

• Der „User-Agent: *“ bedeutet, dass alle Suchmaschinen-Bots (Googlebot, Bingbot usw.) auf die Website zugreifen können.
• Das Feld „Empty Disallow“ bedeutet, dass es keine Einschränkungen gibt und Bots alles crawlen können.

Wann sollte man es verwenden: Wenn Sie volle Suchmaschinensichtbarkeit für Ihre gesamte Website wünschen.

Beispiel 2: Allen Bots den Zugriff auf ein bestimmtes Verzeichnis verbieten

User-agent: *   
Disallow: /private-directory/

Was es tut: Blockiert alle Suchmaschinen-Bots daran, auf irgendetwas in ‚/private-directory/‘ zuzugreifen.

Wann sollte man es verwenden: Wenn Sie sensible Bereiche wie Admin-Panels oder vertrauliche Daten ausblenden möchten.

Beispiel 3: Zulassen des Googlebots, während anderen der Zugriff auf ein Verzeichnis untersagt wird

User-agent: Googlebot
Disallow: /images/
User-agent: * 
Disallow: /private-directory/

Was es tut:

• Der Googlebot kann nicht auf das Verzeichnis /images/ zugreifen.
• Alle anderen Bots können nicht auf /private-directory/ zugreifen.

Wann sollte man es verwenden: Wenn Sie den Zugriff für bestimmte Bots steuern möchten, z. B. indem Sie Google das Crawlen einiger Teile Ihrer Website ermöglichen, während andere blockiert werden.

Beispiel 4: Angeben des Speicherorts Ihrer XML-Sitemap

User-agent: *   
Disallow:    
Sitemap: https://www.[yourwebsitename].com/sitemap.xml

Was es tut:

• Ermöglicht den vollen Zugriff auf Suchmaschinen-Bots.
• Teilt Suchmaschinen mit, wo die XML-Sitemap zu finden ist, und hilft ihnen, Seiten effizient zu indizieren.

Wann sollte man es verwenden: Wenn Sie möchten, dass Suchmaschinen Ihre Sitemap leicht finden und crawlen können.

Lesen Sie auch: So erstellen Sie eine WordPress-Sitemap

Unterschied zwischen robots.txt vs. Meta-Robots vs. X-Robots-Tag

Meta-Robots und X-Robots steuern zwar robots.txt, wie Suchmaschinen mit Ihren Inhalten interagieren, dienen aber unterschiedlichen Zwecken.

• Robots.txt: Verhindert das Crawlen, aber Seiten können weiterhin in den Suchergebnissen angezeigt werden, wenn sie an einer anderen Stelle verlinkt sind.
• Meta-Robots-Tag: Beeinflusst direkt die Indexierung und das Crawling einzelner Seiten.
• X-Robots-Tag: Steuert die Indizierung von Nicht-HTML-Dateien wie PDFs, Bildern und Videos.

Merkmal	Robots.txt	Meta-Robots-Tags	X-Robots-Tag
Ort	Stammverzeichnis (/robots.txt)	Abschnitt einer Webseite	HTTP-Header-Antwort
Steuerung	Ganze Abschnitte einer Website	Indizierung und Crawling bestimmter Seiten	Indizierung von Nicht-HTML-Dateien
Beispiel	Nicht zulassen: /private/		X-Robots-Tag: noindex
Auswirkungen auf SEO	Verhindert, dass Bots durchforstet werden, verhindert jedoch nicht die Indizierung, wenn sie an einer anderen Stelle verlinkt sind	Verhindert, dass eine Seite indiziert wird und in den Suchergebnissen angezeigt wird	Stellt sicher, dass Nicht-HTML-Dateien nicht indiziert werden
Bester Anwendungsfall	Blockieren Sie Suchmaschinen aus ganzen Verzeichnissen	Verhindern, dass bestimmte Seiten in den Suchergebnissen angezeigt werden	Steuern Sie die Indizierung von PDFs, Bildern und anderen Dateien

6 Syntax für allgemeine robots.txt

Es ist einfacher, robots.txt zu verstehen, wenn Sie die Grundregeln kennen. Mit diesen einfachen Regeln können Sie verwalten, wie Suchmaschinen-Bots mit Ihrer Website zusammenarbeiten:

• Benutzer-Agent: Diese Regel gibt an, für welchen Bot oder Crawler die folgenden Richtlinien gelten.
• Verweigern: Diese Regel weist Bots an, bestimmte Dateien, Ordner oder Seiten auf Ihrer Website, die bestimmte reguläre Ausdrücke enthalten können, nicht zu besuchen.
• Erlauben: Mit dieser Regel können Bots bestimmte Dateien, Ordner oder Seiten durchsuchen.
• Sitemap: Diese Regel leitet Suchmaschinen zum Speicherort der XML-Sitemap Ihrer Website weiter.
• Crawl-Verzögerung: Diese Regel fordert Bots auf, Ihre Website langsamer zu crawlen. Aber nicht alle Suchmaschinen halten sich an diese Regel.
• Noindex: Diese Regel fordert Bots auf, einige Seiten oder Teile Ihrer Website nicht zu indizieren. Die Unterstützung von Google für die noindex-Regel in robots.txt ist jedoch inkonsistent.

1. User-Agent-Direktive

Die „User-Agent“-Regel ist wichtig für Ihre robots.txt Datei. Es wird angezeigt, für welchen Bot oder Crawler die Regeln gelten. Jede Suchmaschine hat einen eindeutigen Namen, der als „User Agent“ bezeichnet wird. Der Webcrawler von Google nennt sich zum Beispiel „Googlebot“.

Wenn Sie nur den Googlebot ansprechen möchten, schreiben Sie:

User-agent: Googlebot

Sie können verschiedene Benutzeragenten separat eingeben, jeder mit seinen eigenen Regeln. Sie können auch den Platzhalter ‚*‘ verwenden, um die Regeln auf alle Benutzeragenten anzuwenden.

2. Unzulässigkeit robots.txt Richtlinie

Die „Disallow“-Regel ist sehr wichtig, um zu entscheiden, welche Teile Ihrer Website vor Suchmaschinen verborgen werden sollen. Diese Regel weist Suchmaschinen-Bots an, bestimmte Dateien, Ordner oder Seiten auf Ihrer Website nicht anzusehen.

Blockieren eines Verzeichnisses

Sie können beispielsweise die Regel „Nicht zulassen“ verwenden, um zu verhindern, dass Bots in den Admin-Bereich Ihrer Website gelangen:

User-agent: *
Disallow: /admin/

Dadurch werden alle URLs, die mit ‚/admin/‘ beginnen, von allen Suchmaschinen-Bots ferngehalten.

Verwenden von Platzhaltern

User-agent: *
Disallow: /*.pdf$

Mit dem Platzhalter ‚*‘ können Sie alle PDF-Dateien auf Ihrer Website blockieren. Denken Sie daran, Ihre robots.txt Datei zu überprüfen, nachdem Sie Änderungen vorgenommen haben, um sicherzustellen, dass Sie keine wichtigen Teile der Website blockieren.

3. Allow-Direktive

„Disallow“ blockiert den Zugriff auf bestimmte Bereiche einer Website, während die „Allow“-Direktive in diesen blockierten Bereichen Ausnahmen machen kann. Es arbeitet mit ‚Disallow‘ zusammen, um den Zugriff auf bestimmte Dateien oder Seiten zu ermöglichen, auch wenn ein ganzes Verzeichnis blockiert ist.

Stellen Sie sich ein Verzeichnis vor, das Bilder enthält. Wenn Sie möchten, dass Google Bilder ein bestimmtes Bild in diesem Verzeichnis sieht, gehen Sie wie folgt vor:

User-agent: Googlebot-Image
Allow: /images/featured-image.jpg
User-agent: *
Disallow: /images/

In diesem Fall lassen Sie zunächst Googlebot-Image auf „featured-image.jpg“ zugreifen. Blockieren Sie dann, dass alle anderen Bots das Verzeichnis ‚/images/‘ sehen.

4. Sitemap-Direktive

Die Direktive „Sitemap“ teilt Suchmaschinen mit, wo Ihre XML-Sitemap zu finden ist. Eine XML-Sitemap ist eine Datei, die alle wichtigen Seiten Ihrer Website anzeigt. Dies erleichtert es Suchmaschinen, Ihre Inhalte zu crawlen und zu indizieren.

Das Hinzufügen Ihrer Sitemap zu Ihrer robots.txt Datei ist ganz einfach:

Sitemap: https://www.[yourwebsitename].com/sitemap.xml

Stellen Sie sicher, dass Sie ‚https://www. [yourwebsitename].com/sitemap.xml“ zu Ihrer echten Sitemap-URL. Sie können Ihre Sitemap über die Google Search Console einreichen. Aber wenn Sie es in Ihre robots.txt Datei einfügen, stellen Sie sicher, dass alle Suchmaschinen es finden können.

5. Crawl-Delay-Direktive

Die Direktive „Crawl-delay“ steuert, wie schnell Suchmaschinen Ihre Website crawlen. Sein Hauptziel ist es, zu verhindern, dass Ihr Webserver zu stark ausgelastet wird, wenn viele Bots gleichzeitig versuchen, auf Seiten zuzugreifen.

Die „Crawl-Delay“-Zeit wird in Sekunden gemessen. Dieser Code weist Bingbot beispielsweise an, 10 Sekunden zu warten, bevor eine weitere Anfrage gestellt wird:

User-agent: Bingbot
Crawl-delay: 10

Seien Sie vorsichtig, wenn Sie Durchforstungsverzögerungen festlegen. Eine zu lange Verzögerung kann die Indexierung und das Ranking Ihrer Website beeinträchtigen. Dies gilt insbesondere, wenn Ihre Website viele Seiten hat und regelmäßig aktualisiert wird.

Anmerkung: Der Crawler von Google, der Googlebot, hält sich nicht an diese Anweisung. Sie können die Crawling-Rate jedoch über die Google Search Console anpassen, um eine Überlastung des Servers zu vermeiden.

Lesen Sie auch: So überprüfen Sie die Website-Inhaberschaft in der Google Search Console

6. Noindex-Direktive

Der Befehl „noindex“ hindert Suchmaschinen daran, bestimmte Seiten Ihrer Website zu speichern. Aber jetzt unterstützt Google diese Regel nicht offiziell.

Einige Tests zeigen, dass ’noindex‘ in robots.txt immer noch funktionieren kann. Aber es ist keine gute Idee, sich nur auf diese Methode zu verlassen. Stattdessen können Sie Meta-Robots-Tags oder den HTTP-Header X-Robots-Tag verwenden, um die Indizierung besser kontrollieren zu können.

Warum ist robots.txt wichtig für SEO?

Eine gut konfigurierte robots.txt-Datei ist ein starkes Werkzeug für SEO. Diese Datei wirkt sich darauf aus, wie Google und andere Suchmaschinen die Inhalte Ihrer Website finden, durchsuchen und aufzeichnen. Dies wirkt sich wiederum darauf aus, wie gut Ihre Website gesehen und eingestuft wird.

1. Crawl-Budget optimieren

Das Crawling-Budget ist die Anzahl der Seiten, die der Googlebot in einer bestimmten Zeit auf Ihrer Website indexiert. Wenn du dein Crawl-Budget gut optimierst, wird sich Google auf deine wichtigen Inhalte konzentrieren.

Sie können robots.txt verwenden, um Google daran zu hindern, unnötige Seiten zu besuchen, und mehr Zeit mit Ihren wertvollen Inhalten zu verbringen.

2. Blockieren Sie doppelte und nicht öffentliche Seiten

Duplicate Content ist ein häufiges Problem, das Ihrer SEO schaden kann. Es verwirrt Suchmaschinen und schwächt die Autorität Ihrer Website.

Mit robots.txt können Sie den Zugriff auf doppelte Seiten blockieren, z. B. PDF-Versionen oder ältere Inhalte. Auf diese Weise können sich Suchmaschinen auf die ursprünglichen und wichtigsten Versionen Ihrer Seiten konzentrieren.

Lesen Sie auch: Was ist Duplicate Content: Wie man ihn erkennt und verhindert

3. Ressourcen ausblenden

Das Verstecken von CSS- oder JavaScript-Dateien vor Suchmaschinen mag nach einer guten Idee klingen, um das Crawl-Budget Ihrer Website zu verwalten. Aber das ist es nicht.

Suchmaschinen verwenden diese Dateien, um Ihre Seiten richtig anzuzeigen und zu verstehen, wie Ihre Website funktioniert. Wenn Sie diese Dateien blockieren, können Suchmaschinen Schwierigkeiten haben, die Benutzererfahrung Ihrer Website zu bewerten. Dies schadet Ihren Suchrankings.

So verwenden Sie robots.txt verbieten alle für Suchmaschinen

Sie können die robots.txt Datei Ihrer Website überprüfen, indem Sie einfach „robots.txt“ am Ende einer URL hinzufügen. Beispiel: https://www.bluehost.com/robots.txt. Schauen wir uns an, wie Sie die robots.txt Datei mit dem Bluehost File Manager konfigurieren können:

1. Greifen Sie auf den Dateimanager zu

• Melden Sie sich bei Ihrem Bluehost-Kontomanager an.
• Navigieren Sie im linken Menü zur Registerkarte „Hosting“.
• Klicken Sie auf „Dateimanager“ im Abschnitt „Quick Links“.

2. Suchen Sie die robots.txt Datei

• Öffnen Sie im „Dateimanager“ das Verzeichnis „public_html“, in dem sich die Dateien Ihrer Website befinden.

• Suchen Sie in diesem Verzeichnis nach dem Dateinamen ‚robots.txt‘.

3. Erstellen Sie die robots.txt Datei (falls sie nicht vorhanden ist)

Wenn die robots.txt Datei nicht vorhanden ist, können Sie sie erstellen. So geht’s:

• Klicken Sie auf die Schaltfläche „+ Datei“ in der oberen linken Ecke.

• Nennen Sie die neue Datei ‚robots.txt‘. Stellen Sie sicher, dass es sich im Verzeichnis ‚/public_html‘ befindet.

4. Bearbeiten Sie die robots.txt Datei

• Klicken Sie mit der rechten Maustaste auf die Datei „robots.txt“ und wählen Sie „Bearbeiten“.

• Es öffnet sich ein Texteditor, in dem Sie Direktiven hinzufügen oder ändern können.

5. Konfigurieren Sie robots.txt, um Suchmaschinen nicht zuzulassen

Um zu steuern, wie Suchmaschinen mit Ihrer Website interagieren, können Sie der robots.txt Datei bestimmte Anweisungen hinzufügen. Hier sind einige gängige Konfigurationen:

• „Allen Suchmaschinen den Zugriff auf die gesamte Website verbieten“: Um zu verhindern, dass alle Suchmaschinen-Bots einen Teil Ihrer Website crawlen, fügen Sie die folgenden Zeilen hinzu:

User-agent: *
Disallow: /

Dadurch werden alle Benutzeragenten (gekennzeichnet durch das Sternchen *) angewiesen, keine Seiten Ihrer Website aufzurufen.

• Bestimmte Suchmaschinen in einem bestimmten Ordner nicht zulassen: Wenn Sie verhindern möchten, dass der Bot einer bestimmten Suchmaschine ein bestimmtes Verzeichnis durchsucht, geben Sie den User-Agent des Bots und das Verzeichnis an:

User-agent: Googlebot   
Disallow: /example-subfolder/

In diesem Beispiel wird verhindert, dass der Google-Bot auf das Verzeichnis /example-subfolder/ zugreift.

• ‚Alle ‚Disallow all‘-Bots aus bestimmten Verzeichnissen: Um alle Bots aus bestimmten Verzeichnissen zu blockieren, listen Sie sie wie folgt auf:

User-agent: *   
Disallow: /cgi-bin/   
Disallow: /tmp/   
Disallow: /junk/

Diese Konfiguration verhindert, dass alle Benutzeragenten auf die Verzeichnisse /cgi-bin/, /tmp/ und /junk/ zugreifen.

Wichtige Hinweise vor der Verwendung von robots.txt Alle verbieten

Es ist wichtig, wie und wann Sie „Alle nicht zulassen“ in Ihrer robots.txt Datei verwenden, da dies die SEO Ihrer Website ernsthaft beeinträchtigen kann. Hier sind ein paar Dinge, die Sie beachten sollten, bevor Sie robots.txt Alle verbieten verwenden.

1. Zweck robots.txt Datei

Bevor Sie Ihre robots.txt Datei ändern, müssen Sie wissen, wofür sie gedacht ist. Die robots.txt Datei ist nicht als Sicherheitstool gedacht oder um Ihre Website vor Bedrohungen zu verbergen. Wenn Sie vertrauliche Inhalte haben, ist es besser, stärkere Methoden wie Passwortschutz zu verwenden, anstatt nur robots.txt zu verwenden.

2. Auswirkungen auf das Vorhandensein von Indizes

Die Verwendung von robots.txt Alle verbieten kann die Anzeige Ihrer Website in Suchmaschinen ernsthaft beeinträchtigen. Wenn Sie Suchmaschinen-Bots daran hindern, Ihre Website zu besuchen, werden sie Ihre Seiten schließlich aus ihrem Index entfernen. Infolgedessen wird Ihr Traffic in der Google-Suche stark zurückgehen.

3. Auswirkungen auf die Link-Equity

Link Equity (oder Link Juice) ist sehr wichtig für ein gutes Ranking in SEO. Wenn vertrauenswürdige Websites auf Ihre Seiten verlinken, teilen sie einen Teil ihrer Autorität. Wenn Sie jedoch robots.txt Disallow all verwenden, um Suchmaschinen-Bots zu blockieren, stoppen Sie auch den Fluss des Linkkapitals.

4. Risiko der öffentlichen Zugänglichkeit

Robots.txt Dateien sind öffentlich zugänglich. Jeder kann sehen, welcher Teil Ihrer Website von Suchmaschinen eingeschränkt ist. Für eine bessere Sicherheit verwenden Sie serverseitige Authentifizierung, Firewalls, IP-Blockierungsmethoden oder platzieren Sie vertrauliche Inhalte in gesicherten Verzeichnissen.

5. Vermeiden Sie Syntaxfehler

Ein kleiner Syntaxfehler in Ihrer robots.txt Datei kann zu unbeabsichtigtem Crawlen führen. Dies kann dazu führen, dass Suchmaschinen nicht auf wichtige Seiten zugreifen können oder unerwünschte Bereiche nicht blockiert werden.

Um dies zu verhindern, überprüfen Sie immer Ihre Syntax und Struktur, bevor Sie Änderungen vornehmen. Sie können auch eine Online-Syntaxprüfung oder Testtools verwenden, um Fehler zu identifizieren.

6. Testen Sie robots.txt Datei

Regelmäßige Tests helfen dabei, sicherzustellen, dass Sie nicht versehentlich wichtige Inhalte blockieren oder wichtige Bereiche Ihrer Website ungeschützt lassen. Es stellt auch sicher, dass Ihre robots.txt Datei ein effektiver Teil der SEO-Strategie Ihrer Website bleibt.

Lesen Sie auch: So optimieren Sie Inhalte für SEO in WordPress

Abschließende Gedanken

Die Beherrschung der robots.txt ist eine Schlüsselkompetenz für Website-Besitzer und SEOs. Wenn Sie verstehen, wie es funktioniert, können Sie Suchmaschinen helfen, Ihre wichtigen Inhalte zu finden. Dies kann zu einer besseren Sichtbarkeit, höheren Suchrankings und mehr organischem Traffic führen.

Aber verwenden Sie robots.txt Disallow alles sehr vorsichtig. Es kann auf lange Sicht große Auswirkungen auf Ihre SEO haben. Wenn Sie Best Practices befolgen, Ihre robots.txt Datei häufig überprüfen und sich über Aktualisierungen von Suchmaschinen auf dem Laufenden halten, können Sie das Beste aus robots.txt herausholen. Dies wird dazu beitragen, Ihre Website für den Erfolg zu optimieren.

Häufig gestellte Fragen