Über den Meta Robots-Tag besteht die Möglichkeit das Verhalten der Spider bzw. Robots der Suchmaschinen zu steuern. Hierfür wird der Meta Robots-Tag mit den entsprechenden Befehlen in den Header der HTML-Webseite eingebaut.
Häufig verwendete Attribute, die in diesem Zusammenhang zum Einsatz gebracht werden, sind die Folgenden:
- index: die Webseite soll indiziert werden
- noindex: die Webseite soll nicht indiziert werden
- follow: die Links auf der Webseite sollen verfolgt werden
- nofollow: die Links auf der Webseite sollen nicht verfolgt werden
Wird der Meta Robots-Tag nicht weiter definiert, verhält sich die Suchmaschine, als ob darin die Anweisungen „index“ und „follow“ zu finden wären. Das bedeutet also, dass die Webseite indiziert wird und auch die auf der Webseite befindlichen Links verfolgt werden.
Mit Hilfe der Robots.txt Datei können ganze Verzeichnisse für die Suchmaschine und ihre Spider unzugänglich gemacht werden.