файл robots.txt отсутствует

power13

Сообщений: 3 Регистрация: Мар 2010

31 Января 2010 22:17

Подскажите что должно быть в этом файле, чтоб роботы номально индексировали сайт.

Dendix

Сообщений: 10 Регистрация: Мар 2010

1 Февраля 2010 05:15

Спроси у googla он больше скажет. (всегда поражаюсь над такими вопросами)

power13

Сообщений: 3 Регистрация: Мар 2010

1 Февраля 2010 10:58

Цитата
Спроси у googla он больше скажет. (всегда поражаюсь над такими вопросами)

у гугла спрашивал!
хочу услышать ответ знающего человека!

Dendix

Сообщений: 10 Регистрация: Мар 2010

4 Февраля 2010 01:08

robotstxt.org.ru

Saha Сообщений: 28 Регистрация: Мар 2010	#5 5 Февраля 2010 16:29 robot.txt-нужен для того чтобы запретить ту или иную страницу к индексации! но лучше запретить индексацию-тем страницам которые не интересые пользователям!чтоб робот пс не тратил силы на лазания по ним!а чтоб лучше индексировал хороший материал вашего сайта! Лучше создавать фаил сайтмап!И заказать у специалистов этот-robot.txt!!!!

Новые темы	Объявления	Свободное общение
17:29 Как продвигать сайт с неуникальным контентом 13:54 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз 13:53 AviTool - мощный инструмент для автоматизации работы с Avito 17:01 Absence в Армении 23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения?	04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 21:57 Обменник криптовалюты OnlyCrypto 20:55 Скрипт обменника валют 20:47 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 14:49 TETChange-Обменник криптовалют 13:53 MintChange — Быстрый и надёжный обмен криптовалюты 18:46 Аккаунты Avito (юр.лица)	19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 05:04 Точные прогнозы на футбол 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 12:23 150+ хакерских поисковых систем и инструментов 17:41 Стряхнуть обыденность - об Агасфере

Новые темы

Объявления

Свободное общение

17:29 Как продвигать сайт с неуникальным контентом
13:54 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
14:50 Индексация страниц
12:36 У кого новостник, дайте пару советов плиз
13:53 AviTool - мощный инструмент для автоматизации работы с Avito
17:01 Absence в Армении
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения?

04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
21:57 Обменник криптовалюты OnlyCrypto
20:55 Скрипт обменника валют
20:47 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
14:49 TETChange-Обменник криптовалют
13:53 MintChange — Быстрый и надёжный обмен криптовалюты
18:46 Аккаунты Avito (юр.лица)

19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
22:08 Накрутка поисковых подсказок
05:04 Точные прогнозы на футбол
14:01 Union Pharm - топовая фарма-партнерка для профессионалов!
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди
12:23 150+ хакерских поисковых систем и инструментов
17:41 Стряхнуть обыденность - об Агасфере

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2020 14:09	Ссылка с pdf файла на сайте.. Стоит ли?
07.04.2020 01:55	SEO, WP медиафайлы- картинки, вредят?
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt