Небольшой вопрос про robots.txt
Страницы: 1 2 След.
Небольшой вопрос про robots.txt
Для тех кто в теме думаю несложно будет ответить - запрещена у меня на сайте индексация роботами или нет?
Просто внезапно потерялся мой разработчик а нужно срочно узнать.

вот файл

User-agent: *
Allow: /forum/
Allow: /gallery/foto_peyntbolnyh_ploschadok.html
Allow: /gallery/foto_peyntbolnyh_ploschadok/page_2.html
Allow: /gallery/foto_nashih_gostey.html
Allow: /gallery/foto_nashih_gostey/page_2.html
Allow: /gallery/foto_territorii_kluba.html
Allow: /gallery/foto_territorii_kluba/page_2.html
Allow: /gallery/vashi_foto.html
Allow: /gallery/vashi_foto/page_2.html
Allow: /gallery/vashi_foto/page_3.html
Allow: /gallery/arhiv_foto.html
Allow: /gallery/arhiv_foto/page_2.html
Allow: /files/gallery/*
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Disallow: /sitemap.html

Изза звездочки сверху возле User-agent: у меня сложилось впечатление что запрещено все к индексированию. Так это?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Нет.
Звёздочка, равносильна слову "все" и в данном контексте относится исключительно к поисковым роботам.
Тобишь, обозначенный файл robots.txt адресован роботам всех поисковых систем.
спасибо огромное. тоесть то что с Allow: - индекируется, а с Disallow: - нет?
ну, вобщем понятно.
исправила кое-что и сразу яндекс приполз подлюка
User-agent: *....это значит разрешено всё.
Disallow: /sitemap.html

имхо, как то это тупо)
Цитата
Prostoi пишет:
User-agent: *....это значит разрешено всё.


Это значит правило для всех агентов. А не разрешено все.
Цитата
SovaBarmak85 пишет:
Disallow: /sitemap.html
имхо, как то это тупо)


Пожалуйста, скажи почему тупо. Это не я писала, мне не обидно будет)
но знать хочеться smile:)
Цитата
Анна Андреева пишет:
Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете
Есть поздравительный сайт? Заработай на нем!
Цитата
Prostoi пишет:
User-agent: *....это значит разрешено всё.

Зачем вводить людей в заблуждение если сами не знаете?
Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap.html

И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут smile:)
Изменено: down - 9 Июня 2011 01:09
Родился - Надо жить!
А жизнь - стратегия, любовь, стремление.
Поставив цель - старайся победить,
Оставив жизни след другому поколению!
Цитата
down пишет:
Цитата
Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете

То есть вместо
Disallow: /sitemap.html
так:
Sitemap: http://имя_сайта.ru/sitemap.xml
Если у Вас такого файла нет, то тогда:
Sitemap: http://имя_сайта.ru/sitemap. html
И неплохо бы ссылку на сам сайт дать: мир не без добрых людей, может ещё что то подскажут


http://www.pbnation.ru

буду счастлива если вы еще какие-нибудь косяки найдете
Цитата
Павел пишет:
Цитата
Анна Андреева пишет:
Пожалуйста, скажи почему тупо.

Тупо потому что сайтмэп (карта сайта) создается именно для того, чтобы показать поисковой системе все Ваши внутренние ссылки. А в случае с Вашим роботс.тхт, Вы эту карту ссылок от нее скрываете


Понятно. Но у меня есть подозрения почему скрывается карта. Там внутри в CMS при внимательном рассмотрении оказался интернет-магазин. Процентов 90 готовых страниц просто закрытых для просмотра а на остальном пространстве мой сайт. Причем как что добавить или убрать в дереве, рубрикация и всякое такое абсолютно невозможно уловить. Поэтому и сайтмэп скрывается видимо.

А на что он влияет кстати? без него можно прожить?
Можно без карты сайта прожить, но только она обновляется вместе с добавленным контентом на сайт, и поисковики замечают это и приходят индексировать.. Закрывать её не рекомендуется, но это не смертельно, если она отсутствует, или либо закрыта..
Совмещённый сайт, посвящённый трамваям и троллейбусам Владивостока

Пишу копирайт по не большим ценам. Качество гарантируется, тематики практически любые! Для связи ICQ 592294997
Можно, конечно, но если человеку надо..
По сайтмэп - думаю их должно быть два: один в html для страницы карты сайта (для людей), другой в xml - для поисковиков.
Всё же XMl-формат лучше воспринимается роботами, а для этого скорее всего надо установить какой-нибудь плагин/модуль через админ-панель сайта, если есть доступ (не разобрал, джумла?, нет?).

Все строки с Allow думаю можно убрать;
Disallow с сайтмэп убрать, вместо него поставить Sitemap: www.pbnation.ru/sitemap.xml (или .html);
Disallow с остальным - может подскажут те, у кого есть опыт работы с данным движком.
Меняй свой роботс.тхт на этот:

User-agent: *
Disallow: /search
Disallow: /gallery/
Disallow: /userpanel/
Disallow: /articles/
Disallow: /shop_old/
Disallow: /shop/
Disallow: /dk?
Disallow: /news_pi/
Disallow: /ucp.php
Sitemap: http://www.pbnation.ru/sitemap.xml
User-agent: Yandex
Host: www.pbnation.ru
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
05:55 24 июля текстовый апдейт Яндекса: индекс по 21 июля 
04:48 Подскажите хостинг с нормальной защитой от DDOS 
23:35 внедрить код в страницу WordPress 
23:07 Аптейт тИЦ от 17 мая 2017 года 
23:00 Заказал прогон: получил некачественные ссылки 
22:54 Интернет магазин с частой сменой товара 
22:32 10 июля текстовый апдейт Яндекса: выложен индекс по 6 июля 
01:36 Продам ссылки с английских сайтов для взрослых 
01:36 Вывод в ТОП Google. 30 вечных ссылок с PR9 
00:42 [Бесплатный тест] Airsocks. Инновационные 4G / LTE прокси. Забудь все что было раньше! 
21:10 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
21:06 Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+ 
20:17 [Обмен] Покупка/Продажа/Вывод Webmoney,Qiwi,BTC-E, Яндекс Деньги,Сбербанк,Альфа,Беларусбанк,Открытие,Easypay 
15:03 200 открытых анкорных ссылок всего за 100 рублей 
00:37 Бесплатная графика! 
23:29 Какой фильм посмотреть сегодня вечером? 
23:17 Велотренажёр дома? 
23:07 Новости смотрели ? Предприниматели с 14 лет 
20:30 Как заменить в БД теги заголовков 
19:05 0.0006 BTC в сутки за регистрацию 
16:48 Поднять позиции в Google