Проверява синтаксиса ред по ред и, по-важното, какво файлът наистина причинява на индексирането.
Файлът robots.txt изглежда прост и точно затова се бърка често. Най-скъпите грешки не са синтактични — файл с безупречен синтаксис може да спре целия сайт от индексиране с един-единствен ред.
Затова проверявам две неща поотделно: дали е написан правилно и какво причинява. Дайте адрес на сайт или поставете съдържанието — работи и с двете.
Въведете адрес на сайт или поставете съдържанието на файла.