El fichero robots.txt es el recurso fundamental para toda página web que desea ser bien vista por los buscadores como Bing. Sirve como el directorio para los bots, indicándoles qué secciones https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html