File Robots.txt: cos’è, a cosa serve e come crearlo
Il file robots.txt è un semplice file di testo utilizzato per comunicare con i crawler dei motori di ricerca (come Googlebot, Bingbot, ecc.). Serve a controllare l’accesso dei crawler alle pagine di un sito web. Viene letto prima che un motore di ricerca esegua la scansione delle pagine.