Pogosto zastavljena vprašanja • Naključno

Kaj je datoteka robots.txt?

Datoteka robots.txt nadzoruje dostop iskalnih motorjev na spletni strani, kar omogoča ali omejuje indeksiranje vsebine. Ugotovite, kako jo učinkovito ustvariti in konfigurirati.

Poglede 818Posodobljeno 1 anObjavljeno na 15/10/2018po Cătălin Adrian

Uvod

Datoteka robots.txt je preprosta besedilna datoteka, ki je del Protokola za izključitev robotov (REP). Vsebuje navodila za iskalnike o tem, kako dostopati do spletne strani in jo indeksirati. Da bi bila učinkovita, mora biti datoteka robots.txt postavljena v glavni mapo spletne strani (na primer, https://domeniu.ro/robots.txt).

Pomembnost datoteke robots.txt

Datoteka robots.txt je ključna za upravljanje interakcijo botov s spletnim mestom. Obstaja veliko botov, ki lahko agresivno indeksirajo spletno mesto, kar lahko vpliva na njegovo delovanje. Z uporabo te datoteke lahko:

  • Upravljajte dostop iskalnikov do vsebine strani.
  • Omogoča indeksiranje samo s strani želenih botov (npr. Google, Bing).
  • Omejite dostop do občutljivih map ali datotek.

Primeri uporabe

1. Blokiranje določenega iskalnika

Za blokiranje dostopa za iskalnik Bing (bingbot), vključite naslednje vrstice v datoteko robots.txt:


User-agent: bingbotDisallow: /

Pojasnilo:
Uporabniška agenta: Določa iskalnik, za katerega veljajo nastavitve.
Prepovedano: Določa dele strani, do katerih robot nima dostopa. Simbol / blokira dostop do celotne strani.

2. Blokiranje vseh iskalnikov

Da preprečite dostop vseh iskalnikov do spletne strani, uporabite:


Uporabniški agent: *Disallow: /

Razlaga: Simbol * (wildcard) na polju User-agent se nanaša na vse iskalnike, medtem ko / blokira dostop do celotnega spletnega mesta.

3. Omejevanje dostopa do določenih map ali datotek

Za blokiranje dostopa do mape in določene datoteke konfigurirajte:


Uporabniški agent: *Disallow: /blog/Disallow: /newsletter.php

Razlaga: Vsem iskalnikom bo preprečeno indeksiranje mape /blog/ in datoteke newsletter.php.

Ustvarjanje datoteke robots.txt

Za ustvarjanje datoteke robots.txt lahko uporabite spletni generator, ki vam omogoča hitro in brez napak prilagoditev pravil. Primeri spletnih generatorjev so na voljo z iskanjem: Generator robots.txt.

Ko ustvarite datoteko, jo naložite v korensko mapo spletne strani s pomočjo upravitelja datotek ali FTP odjemalca.