Robots.txt

Vad är en robots.txt fil egentligen?

Robots.txt är en fil som vanligtvis webmasters skapar för att instruera sökmotorer (robotar) hur de ska indexera en specifik hemsidas sidor (flikar på hemsidan). Enkelt uttryckt kan man säga att robots.txt filen instruera sökrobotarna (t.ex. Google, Bing) huruvida de ska indexera specifika hemsidor på sidan eller inte. Detta görs genom att ”disallowing” eller ”allowing” beteende hos robotagenterna.

Robots.txt filen är en del at robotarnas (REP) eller exclusion protocol som enkelt uttryckt berör hur robotarna indexerar sidan, vilken tillgång de har på sidan sant seden hur detta visas för slutanvändare på sidan. Det inkluderar bland annat om en länk är ”follow” eller ”nofollow”. Det vill säga huruvida sidan ska rankas av sökroboten och sökmotorn eller inte.

 

Vanligt format:

robots.txt exempel

Dessa två linjer specificerar sedan riktlinjerna som måste följas.

robots.txt-exempel-från-Facebook