Robots.txt er en fil mange web -designere sted på deres servere til at styre , hvordan søgerobotter " kravle " deres site. En stærk robots.txt fil kan hjælpe direkte sites , som Google og Bing, til det relevante indhold og blokere dem fra at få adgang beskyttede database. Aktivering robots.txt kan tage lidt arbejde, men invaliderende det er meget lettere . Du kan altid genaktivere det senere . Instruktioner
1

Log ind på serveren mappen med din robots.txt-fil .
2

Omdøb din robots.txt-fil noget andet , for eksempel " robotsdisabled.txt " eller " robotsoff.txt ". I mange server-adgang konfigurationer , kan du blot klikke på filnavnet og vente et par sekunder for navnet for at fremhæve at gøre det. Alt andet end den nøjagtige stavemåde " robots.txt " vil slukke for den , samtidig med at den fil på din server. Du kan genaktivere det på noget tidspunkt ved at ændre navnet tilbage.
3

Gem ændringer til din server. Næste gang en søgemaskine gennemgår dit websted, vil det ignorere handicappede fil.