файл robots.txt отсутствует

power13

Сообщений: 3 Регистрация: Мар 2010

31 Января 2010 22:17

Подскажите что должно быть в этом файле, чтоб роботы номально индексировали сайт.

Dendix

Сообщений: 10 Регистрация: Мар 2010

1 Февраля 2010 05:15

Спроси у googla он больше скажет. (всегда поражаюсь над такими вопросами)

power13

Сообщений: 3 Регистрация: Мар 2010

1 Февраля 2010 10:58

Цитата
Спроси у googla он больше скажет. (всегда поражаюсь над такими вопросами)

у гугла спрашивал!
хочу услышать ответ знающего человека!

Dendix

Сообщений: 10 Регистрация: Мар 2010

4 Февраля 2010 01:08

robotstxt.org.ru

Saha Сообщений: 28 Регистрация: Мар 2010	#5 5 Февраля 2010 16:29 robot.txt-нужен для того чтобы запретить ту или иную страницу к индексации! но лучше запретить индексацию-тем страницам которые не интересые пользователям!чтоб робот пс не тратил силы на лазания по ним!а чтоб лучше индексировал хороший материал вашего сайта! Лучше создавать фаил сайтмап!И заказать у специалистов этот-robot.txt!!!!

Новые темы	Объявления	Свободное общение
18:44 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:12 Покупные ссылки 12:57 Rotapost прикрыли! Чем пользоваться? 17:00 Стоит ли добавлять сайт в Rambler топ 100? 15:12 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 15:01 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 07:24 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	20:07 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 16:31 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 15:37 Продажа лидов: форекс, инвестиции, нативка, гемблинг, чарджбеки 14:49 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 01:31 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 01:07 Full-Stack Developer — Сайты и Софт любой сложности \| Developer Websites and Soft of any Complexity! 20:42 E-currency.exchange — ваш помощник в мире обменов	18:35 С юмором по жизни! 22:59 Про мясо 15:07 Добро пожаловать в цифровой мир... 22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях 10:10 накрутка трафика в SimilarWeb 16:50 Компьютерная мышь 23:03 Точные прогнозы на футбол

Новые темы

Объявления

Свободное общение

18:44 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:12 Покупные ссылки
12:57 Rotapost прикрыли! Чем пользоваться?
17:00 Стоит ли добавлять сайт в Rambler топ 100?
15:12 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026
15:01 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
07:24 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг

20:07 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
16:31 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
15:37 Продажа лидов: форекс, инвестиции, нативка, гемблинг, чарджбеки
14:49 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
01:31 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
01:07 Full-Stack Developer — Сайты и Софт любой сложности | Developer Websites and Soft of any Complexity!
20:42 E-currency.exchange — ваш помощник в мире обменов

18:35 С юмором по жизни!
22:59 Про мясо
15:07 Добро пожаловать в цифровой мир...
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях
10:10 накрутка трафика в SimilarWeb
16:50 Компьютерная мышь
23:03 Точные прогнозы на футбол

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2020 14:09	Ссылка с pdf файла на сайте.. Стоит ли?
07.04.2020 01:55	SEO, WP медиафайлы- картинки, вредят?
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt