robots.txt
Страницы: 1
robots.txt, Не индексирует сайт
Всем привет.Яша не берет сайт в индекс.Пишет такой бред:4.10.2014 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. 
Пожалуйста, воспользуйтесь формой проверки ( webmaster.yandex.ua/site/robots.xml?host=21375212 ). Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.
[SIZE=2]Вот robots.txt[/SIZE]
[SIZE=2]User-agent: *
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /admin.php
Disallow: /?do=addnews
Disallow: /?do=feedback
Disallow: /?do=lostpassword
Disallow: /?do=pm
Disallow: /?do=register
Disallow: /?do=stats
Disallow: /index.php?do=orderdesc*
Disallow: /?do=search
Disallow: /?subaction=newposts 
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: */page/*
Disallow: /page*
Disallow: /?*
Host: sayt.net

Sitemap: sayt.net/uploads/sitemap.xml
[/SIZE][SIZE=2]Да и robot.txt содрал с топового сайта и сделал под себя.Скажите что здесь не так?
[/SIZE]
конечно ты закрыл все что можно было smile:)

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

этого хватит

карту сайта  надо вытащить из uploads  в корень сайта  и адрес должен быть такой  Sitemap: sayt.net/sitemap.xml
Цитата
Евгений Евгений пишет:
конечно ты закрыл все что можно было smile:)

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

этого хватит

карту сайта надо вытащить из uploads в корень сайта и адрес должен быть такой Sitemap: sayt.net/sitemap.xml
Так эти разделы не нужно индексировать.Будет дубль кейвордов и дескрипшенов.И я же говорю что роботс содрал с топового сайта у которого посещалка 1ккк
Цитата
esdfsd dsf пишет:
роботс содрал с топового сайта
Зачем? что так сложно свой написать? сканируете свой сайт что увидели лишнее дописали в роботс. Netpeak Spider софт гуглите
Вот как нужно делать сайты Bezlimi.com
Цитата
DmitryBezlimit пишет:
Цитата
esdfsd dsf пишет:
роботс содрал с топового сайта
Зачем? что так сложно свой написать? сканируете свой сайт что увидели лишнее дописали в роботс. Netpeak Spider софт гуглите
Сайт тойже тематики и разделы теже.Все разделы проверил.
Цитата
DmitryBezlimit пишет:
Netpeak Spider
Прога зачетная,спасибо.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:49 Новая поисковая система от OpenAI 
14:42 2Index - быстрая индексация страниц сайта и обратных ссылок 
09:30 Fraud.Hosting: надёжная защита от недобросовестных клиентов 
09:26 Ворд Пресс (или его шаблон) перестал отображать <b> болд жирный 
09:19 Rutube запустил «Новая система монетизации для блогеров» 
23:34 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 
23:07 Как Яндекс индексирует ваш сайт? | АПдейт выдача 8.12.2025 
16:29 Clearex.io - Больше чем обменник 
14:34 Продвижение Яндекс подсказок от hoopbots 
14:32 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
14:31 Почему клиенты выбирают TriRublya 
14:11 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:50 Почему клиенты выбирают TriRublya 
13:42 Почему клиенты выбирают TriRublya 
11:13 С юмором по жизни! 
22:59 Про мясо 
15:07 Добро пожаловать в цифровой мир... 
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях​ 
10:10 накрутка трафика в SimilarWeb 
16:50 Компьютерная мышь 
23:03 Точные прогнозы на футбол