Ce este robots.txt? Simplu, este un fişier text găzduit în rădăcina unui site cu rolul de defini o serie de reguli pentru roboţii web care accesează acel site. Acest fişier este cunoscut ca Robot Exclusion Standard sau Robot Exclusion Protocol.
Când un robot decent accesează un website primul lucru care îl face este să acceseze fişierul robots.txt, citeşte acest fişier şi în funcţie de regulile care sunt stabilite acolo, robotul continuă(într-un mod filtrat) sau nu scanarea acelui site.
Robots.txt este foarte util motoarelor de căutare atunci când doresc să indexeze un website, în funcţie de regulile specificate, motorul de căutare ştie în ce foldere trebuie să intre şi în care nu trebuie să intre şi de asemenea se poateseta şi ce fişiere nu poate accesa. Poate exista cazul în care motorului de căutare nu îi este permis deloc să acceseze un anumite site, acestă regulă arată în felul următor:
User-agent: * Disallow: /
Cu ajutorul „/”-ului roboţii ştiu că nu au acces în rădăcina site-ului, drept urmare nu pot scana site-ul.
Mai multe informaţii şi ajutor de definirea a regulilor în robots.txt găsiţi aici.
Adrian
Salut. Am blocat din gresala pagina de la filelist cu un robots txt file si nu mai pot accesa pagina respectiva. va rog frumos sa imi spuneti si mie cum pot sa scot acel robots txt sa pot accesa din nou pagina de la filelist. Va multumesc.
radu
aceeasi problema o am si eu.Imi spui te rog daca ai reusit sa deblochezi?
Dorin
am aceasi problema… nu pot accesa pagina adica nici nu ma lasa sa intru pe ea si vreau sa zic ca am 3 calculatoare 1 laptop si pe nici unu nu merge (am rugat un prieten sa intre cu contul meu de filelist, la el merge dar la mine nu merge nici macar sa intru la meniul de logare) … ati reusit cumva sa rezolvati aceasta problema ?