De fleste erfarne bloggere ved bestemt, hvad robots.txt er, og hvorfor du har brug for denne fil. Men få forfattere skynder sig straks at oprette en robots.txt-fil efter installation af en blog på WordPress.
Robots.txt er en tekstfil, der uploades til rodmappen på dit websted og indeholder instruktioner til webcrawlere. Hovedformålet med dets anvendelse er at forbyde indeksering af individuelle sider og sektioner på webstedet. Men ved hjælp af robots.txt kan du også angive det korrekte domænespejl, ordinere stien til sitemap og lignende.
De fleste moderne søgemaskiner har lært at navigere i det populære CMS godt og prøver normalt ikke at indeksere indhold, der ikke er beregnet til dette. For eksempel indekserer Google ikke dit WordPress-blogadministrationsområde, selvom du ikke angiver det direkte i robots.txt. I nogle tilfælde kan brugen af direkte forbud stadig være nyttigt. Og vi taler primært om forbud mod duplikatindhold.
Nogle webmastere går så langt som at forbyde indeksering af kategori- og taggsider, da deres indhold delvist duplikerer indholdet på hovedsiden. Men de fleste er begrænset til at forbyde trackback- og feed-sider, som fuldstændigt duplikerer artikelindhold og er slet ikke beregnet til søgemaskiner. En sådan forholdsregel vil ikke kun gøre webstedsresultaterne "renere", men også spare dig for mulige søgefiltre, især efter introduktionen af den nye Google Panda-algoritme.
Her er de anbefalede direktiver for en robots.txt-fil (den fungerer for næsten enhver WordPress-blog):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-indhold / cache Disallow: / wp-content / temaer Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Bemærk, at i robots.txt er de administrative mapper wp-admin og wp-inkluderet helt lukket for indeksering. Wp-indholdsmappen er kun delvist lukket, da den indeholder uploads-biblioteket, som indeholder alle de billeder fra din blog, der skal indekseres.
Alt hvad du skal gøre er at kopiere direktiverne fra ovenstående kode (bemærk at hvert direktiv skal skrives på en ny linje), gemme dem i en tekstfil kaldet robots.txt og uploade dem til rodmappen på dit websted.
Du kan altid kontrollere, om robots.txt fungerer korrekt gennem Google Webmaster Tools og Yandex Webmaster-grænseflader.
