Et direktiv i en Web-side som instruere robots (for eksempel søkemotoren) vil ikke ta med innholdet på siden in the index.