Ce este robots.txt? Simplu, este un fişier text găzduit în rădăcina unui site cu rolul de defini o serie de reguli pentru roboţii web care accesează acel site. Acest fişier este cunoscut ca Robot Exclusion Standard sau Robot Exclusion Protocol.