Насколько корректен данный robots.txt ?
Страницы: 1
Насколько корректен данный robots.txt ?
Добрый вечер!

Долго бодался с Google, который в индекс пихал странички с /?id (где id это номер оплачиваемой игры), пробовал и через robots.txt запрещать (Disallow: /?) и через заголовки (header("X-Robots-Tag: noindex, nofollow");) и даже META-тег (<meta name="robots" content="noindex, nofollow">), однако Google упорно пихал данные страницы в индекс smile:mad:

Решением оказалось отдавать ему заголовок 410 Gone (ресурс недоступен), после чего он начал потихоньку выкидывать ненужные мне страницы из индекса smile:help:

Собственно вопрос: После всего проделанного выше, в файле robots.txt мне запрещать больше нечего, поэтому интересует насколько корректно я составил новый файл robots.txt ?

От сайта в подписи:
Цитата
User-agent: Yandex
Host: www.web-kassa.com

User-agent: *
Sitemap: http://www.web-kassa.com/sitemap.xml


От одного из обменников:
Цитата
User-agent: *
Host: www.wmt63.com


Всем заранее спасибо за комментарии! smile:cool:
А может вот так:

Цитата
User-agent: *
Allow: /
Host: www.web-kassa.com
Sitemap: http://www.web-kassa.com/sitemap.xml


smile:wall:
Изменено: Дмитрий Петров - 2 Октября 2011 19:59
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:43 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 
19:40 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
19:35 Плагин ответа 
19:30 SEO под нейро 
17:22 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 
17:19 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 
15:06 Индексирование страниц в Яндексе 
20:58 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
20:41 Bankomat001 - Сервис обмена электронных валют 
18:48 Продажа аккаунтов HH.RU 
16:13 Мониторинг обменников Сrypto-scout.io 
15:01 Onechange.me — надежный обменник криптовалют и фиатных средств 
14:30 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
21:37 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
20:34 Заказать vzlom почты Mail.ru на заказ, VZLOM аккаунта Меилру, Взломать пароль ЯндексПочты inbox.ru list.ru bk.ru internet.ru xmail.ru 
19:54 Точные прогнозы на футбол 
17:58 Список обновленных тем пуст... 
14:24 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
00:20 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
20:11 Ставки на супер тренды в спорте 
06:57 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?