Robotter , i Internet sammenhæng betyder software program, der scanner en hjemmeside for at indsamle oplysninger . Disse er ikke virus - der ingen kode placeres på din maskine, og når robotten er færdig med din hjemmeside , er der ingen beviser for, at robotten var der. Oplysningerne indsamlingen er ikke nødvendigvis skadeligt - du kunne have gavn af besøget. Robots Exclusion Protocol ( REP) tillader dig at have en vis kontrol over processen. Historie

REP Ideen startede i 1994 med en robot læser gruppe ( [email protected] ) som en måde at lede robotter via websteder . Den grundlæggende idé var at installere en kort fil med kendte navn og placering på instruerer robotten hvor de skal lede . Disse retninger ville sandsynligvis blive ignoreret af ondsindede robotter , men kan bruges af godartede robotter til at spare dem tid ved at undersøge kun nogle af dine filer. Den grundlæggende protokol blev styrket i 2008 ved et stort antal af de store internet- selskaber, herunder Yahoo og Google.
Benign Robotter
p Der er nogle robotter , du rent faktisk ønsker at besøge din hjemmeside. For eksempel bruger søgemaskiner robotter at indeksere internettet. Begyndende med en enkelt hjemmeside adresse , robotten klassificerer at website og holder en liste over alle de links, der findes på hjemmesiden. Så robotten går ned på listen over indsamlede hjemmeside adresser. Da listen af nye websites skabt hver måned er offentligt tilgængelige , er der en pukkel af hjemmesider for at tjekke , der holder robotterne arbejder dag og nat . Du ønsker disse robot besøg , fordi du ønsker søgemaskinerne til at kende og klassificere din hjemmeside, så potentielle kunder kan finde dig gennem søgemaskiner.

Ulovlig Robotter

robotter kan også bruges til destruktive formål . For eksempel kan robotter sammensætte en liste over e -mail adresser indekseret af interesser. For at gøre dette , de ser for noget, der har et "@ " symbolet og tage snoren omkring det, der er bundet af mellemrum. Det er derfor, du vil se nogle datalogiske professorer giver deres adresse som Professor.Abc { snabel } University.edu - det er at forpurre onde robotter . At klassificere din e -mail-adresse efter interesse , robotten ser ud i META erklæring, er en del af koden bag enhver hjemmeside .
REP Syntaks

Robotterne . txt-fil er installeret i et bibliotek. Hvis dit website er www.widgits.com , stinavnet til filen robots.txt bliver www.widgits.com /robots.txt. Den første linje i filen vil være "bruger- agent: " og den næste linje vil være " Disallow :" - den første linje vælger bestanden af ​​robotter og den anden linje viser, hvilke mapper er off grænser. Brug " " for at angive et linjeskift , "bruger- id: * ; /abc /" er de to linjer udsagn som styrer alle robotter for at undgå abc bibliotek. Hvis du vil tillade SearchBot at undersøge alt, men forbyde alle andre robotter , ville koden være "bruger- id: SearchBot , Disallow: , bruger - id: * ; Disallow: /" - * betyder alle robotter , /betyder alle mapper, og et tom plads betyder ingen mapper.