Добрый вечер!
Долго бодался с Google, который в индекс пихал странички с /?id (где id это номер оплачиваемой игры), пробовал и через robots.txt запрещать (Disallow: /?) и через заголовки (header("X-Robots-Tag: noindex, nofollow");) и даже META-тег (<meta name="robots" content="noindex, nofollow">), однако Google упорно пихал данные страницы в индекс
Решением оказалось отдавать ему заголовок 410 Gone (ресурс недоступен), после чего он начал потихоньку выкидывать ненужные мне страницы из индекса
Собственно вопрос: После всего проделанного выше, в файле robots.txt мне запрещать больше нечего, поэтому интересует насколько корректно я составил новый файл robots.txt ?
От сайта в подписи:
От одного из обменников:
Всем заранее спасибо за комментарии!
Долго бодался с Google, который в индекс пихал странички с /?id (где id это номер оплачиваемой игры), пробовал и через robots.txt запрещать (Disallow: /?) и через заголовки (header("X-Robots-Tag: noindex, nofollow");) и даже META-тег (<meta name="robots" content="noindex, nofollow">), однако Google упорно пихал данные страницы в индекс
Решением оказалось отдавать ему заголовок 410 Gone (ресурс недоступен), после чего он начал потихоньку выкидывать ненужные мне страницы из индекса
Собственно вопрос: После всего проделанного выше, в файле robots.txt мне запрещать больше нечего, поэтому интересует насколько корректно я составил новый файл robots.txt ?
От сайта в подписи:
| Цитата |
|---|
| User-agent: Yandex
Host: www.web-kassa.com User-agent: * Sitemap: http://www.web-kassa.com/sitemap.xml |
От одного из обменников:
| Цитата |
|---|
| User-agent: *
Host: www.wmt63.com |
Всем заранее спасибо за комментарии!


