Robots.txt Generator zum Einbinden in HTML-Seiten

robots.txt - Generator mit Hinweisen und Beispielen

Übersicht / Seite:

1. Kleine Einführung (allgemeine Infos)
2. Generator (zum Erstellen von Anweisungen für eine robots.txt)
3. HTML-Code zum Einbinden (in statische und dynamische Webseiten)
4. Anweisungen (mit Beispielen zum Aufbau und zur Syntax)

Kleine Einführung

Obwohl im Titel der Seite für das einleitende R ein Großbuchstabe gewählt wurde, so ist beim Anlegen der Datei der Dateiname stets klein zu schreiben. Bei der robots.txt handelt es sich, wie bereits der Extension (Dateiendung) zu entnehmen ist, um eine einfache Textdatei, die mit einem einfachen Texteditor bearbeitet werden kann. Diese Einfachheit setzt sich bei der Syntax von möglichen Einträgen fort, dennoch ist hierbei das verwendete Protokoll (Robots Exclusion Standard Protokoll) zu beachten.
Mit Hilfe einer robots.txt kann ein Webmaster bzw. der Betreiber einer Website festlegen, welche Webseiten, Verzeichnisse und Dateien die Crawler (oftmals auch Spider, Webbots, Robots oder einfach nur Bots genannt) von Suchmaschinen durchsuchen dürfen und welche nicht. Weiterhin kann einzelnen Bots der Zugang auch gänzlich untersagt werden. Leider halten sich nicht alle Bots an den in der robots.txt enthaltenen Hinweisen und sehr viel mehr als Hinweisen entsprechen diese Eintragungen nicht. Eine robots.txt muss stets im obersten Verzeichnis (Root) einer Website abgelegt werden.
 

Generator für robots.txt

Mit dem auf dieser Seite vorgestellten Generator können Webmaster die Einträge für eine einfache robots.txt generieren. Für Betreiber von Webseiten bieten wir darüber hinausgehend die Möglichkeit an, den Generator in eine ihrer eigenen Webseiten mit Hilfe eines kleinen Code-Schnipsels einzubinden.

Obwohl es bei wiederholt durchgeführten Tests keine Beanstandungen gab, sollten Sie dennoch die folgenden Hinweise beachten.

Wichtig! Sollten Sie sich unsicher sein, ob die generierten Einträge mit Sicherheit nur die von Ihnen gewünschten Crawler, Dateien und Verzeichnisse ausschließen, raten wir Ihnen dringend zu einer Nachkontrolle vor Benutzung der robots.txt, zum Beispiel durch eine Überprüfung mit Hilfe der Google Webmaster Tools.
Weiterhin möchten wir darauf hinweisen, es gibt keine Garantie, dass sich die Crawler der Suchmaschinen an den Einträgen in einer robots.txt halten und ausgeschlossene Seiten von einzelnen Suchmaschinen nicht dennoch indiziert werden.

HTML-Code zum Einbinden in statische Webseiten

Um den robots.txt Generator mit Hilfe eines HTML-Editors in eine Webseite einzubinden, kopieren Sie den nachfolgenden Code-Schnipsel und fügen diesen in den Quelltext ihrer Webseite ein. Sie können die Farbwerte für den Rahmen und die Hintergrundfarbe einer bestehenden Webseite, in dem Sie den Variablen genoborde und fcolorobo neue Farbwerte ohne vorangestellte # Raute zuweisen. Bei Bedarf können weiterhin die Werte für margin angepasst werden. Der restliche HTML-Code sollte hingegen nicht verändert werden, um die Funktionalität und Auslieferung des Generators nicht zu beeinträchtigen.

<!-- Dieser HTML-Code darf nicht verändert werden! -->
<div style="text-align:center; width:404; margin-top:0px; margin-bottom:0px; margin-left:auto; margin-right:auto">
<p id="genora01" style="margin:2px"></p>
<p style="margin:2px"><a id="genora02" style="text-decoration:none; font-size:80%; color:#654d1f" href="http://www.seo-welten.de/webcoding/anwendungen/robots-generator.htm" target="_blank">Robots.txt Generator von www.seo-welten.de</a></p>
<script type="text/javascript"><!--
var genoborde = "ffffff"; 
var fcolorobo = "f1edda";
//--></script>
<script type="text/javascript" src="http://www.seo-welten.de/tools/genero/usergenomap.js"></script>
</div>
<!-- Ende des HTML-Codes -->

HTML-Code zum Einbinden in WP / CMS

Falls Sie den Generator in die HTML-Ansicht einer WordPress Seite oder in einem WP Artikel einfügen möchten, sollten Sie hingegen den nachfolgenden Code-Schnipsel verwenden. Für die Anpassung der Farbwerte an eine bestehende Seite gilt im Prinzip das Gleiche wie bereits weiter oben beschrieben (Angaben ohne Raute),  weitere Schritte sind bei der Einbindung nicht erforderlich, allenfalls sin die Werte für margin zu korrigieren.

<div style="text-align:center; width:404; margin-top:0px; margin-bottom:0px; margin-left:auto; margin-right:auto">
<p id="genora01" style="margin:2px">Platzhalter für Generator</p>
<p style="margin:2px"><a id="genora02" style="text-decoration:none; font-size:80%; color:#654d1f" href="http://www.seo-welten.de/webcoding/anwendungen/robots-generator.htm" target="_blank">Robots.txt Generator von www.seo-welten.de</a></p>
<p style="margin:0px" ><script type="text/javascript">// <![CDATA[
var genoborde = "ffffff"; var fcolorobo = "f1edda";
// ]]></script>
<script type="text/javascript" src="http://www.seo-welten.de/tools/genero/usergenomap.js"></script></p>
</div>

weiterlesen » Erstellen von Anweisungen