Spiders indizieren nur statische Seiten:
wenn man dynamische oder von einer Datenbank generierte Seiten anmeldet, werden diese abgelehnt.
Wenn die eigene Website diese Systeme verwendet, muss man eine oder mehr statische Seiten ( html) erstellen und anmelden, die <TITLE> , Meta Tags
, und ein Text mit aller Website-betreffende-Schlüsselwörter, enthalten.
Spiders können Seiten die in Passwort-geschützte-Verzeichnisse enthalten sind, nicht aufspüren. Manche Spiders indizieren Websites je nach Linkpopularität: es ist deswegen wichtig Links mit anderen Websites auszutauschen, auch als einfache und individuelle Werbestrategie.

Der Meta “refresh” Tag, der benützt wird, um den Websurfer  automatisch auf eine andere Seite zu adressieren, kann eine Indizierungs-Ablehnung seitens mehrere Spiders als Folge haben, deswegen wäre es besser ihn nicht zu verwenden.