Legt für Webcrawler fest, welche Inhalte indexiert werden dürfen.
Beispiel:
X-Robots-Tag noarchive
X-Robots-Tag unavailable_after: 25 Jun 2010 15:00:00 PST
X-Robots-Tag googlebot: nofollow
X-Robots-Tag googlebot: noindex, nofollow
X-Robots-Tag noarchive
X-Robots-Tag unavailable_after: 25 Jun 2010 15:00:00 PST
X-Robots-Tag googlebot: nofollow
all Es bestehen keine Einschränkungen.
index Die Seite darf in den Suchergebnissen angezeigt und der Link „im Cache gespeichert“ angezeigtwerden.
noindex Die Seite darf nicht in den Suchergebnissen angezeigt und kein Link „im Cache gespeichert“ angezeigt werden.
follow Der Crawler darf den Links auf der Seite folgen.
nofollow Der Crawler darf den Links auf der Seite nicht folgen.
none Entspricht den Regeln: „noindex,follow“.
noarchive Es darf kein Link „im Cache gespeichert“ in den Suchergebnissen erscheinen.
nosnippet Es darf kein Snippet für diese Seite in den Suchergebnissen erscheinen.
noodp Es dürfen keine Meta Informationen aus dem Open Directory Project dieser Seite angezeigt werden. Das ODP wurde 2017 geschlossen.
notranslate Es darf keine Übersetzung dieser Seite in den Suchergebnissen erscheinen.
noimageindex Es dürfen keiner Bilder dieser Seite indexiert werden.
unavailable_after [RFC-850 date/time]Diese Seite darf nach dem angegebenen Datum bzw.
der angegebenen Uhrzeit nicht mehr in den Suchergebnissen angezeigt werden.
Das Datum bzw. die Uhrzeit muss im RFC 850-Format angegeben werden.
archive/noarchive/nocache
all/none
nosnippet
nositelinkssearchbox
max-snippet
max-image-preview
max-video-preview
notranslate
noimageindex
indexifembedded
unavailable_after
nopagereadaloud
