robots.txt
Страницы: 1
robots.txt, Не индексирует сайт
Всем привет.Яша не берет сайт в индекс.Пишет такой бред:4.10.2014 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt, поэтому сайт в поиске не участвует. 
Пожалуйста, воспользуйтесь формой проверки ( webmaster.yandex.ua/site/robots.xml?host=21375212 ). Если сейчас запрет отсутствует, то сайт начнет индексироваться в течение 2 недель, после чего сообщение обновится. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.
[SIZE=2]Вот robots.txt[/SIZE]
[SIZE=2]User-agent: *
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /admin.php
Disallow: /?do=addnews
Disallow: /?do=feedback
Disallow: /?do=lostpassword
Disallow: /?do=pm
Disallow: /?do=register
Disallow: /?do=stats
Disallow: /index.php?do=orderdesc*
Disallow: /?do=search
Disallow: /?subaction=newposts 
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: */page/*
Disallow: /page*
Disallow: /?*
Host: sayt.net

Sitemap: sayt.net/uploads/sitemap.xml
[/SIZE][SIZE=2]Да и robot.txt содрал с топового сайта и сделал под себя.Скажите что здесь не так?
[/SIZE]
конечно ты закрыл все что можно было smile:)

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

этого хватит

карту сайта  надо вытащить из uploads  в корень сайта  и адрес должен быть такой  Sitemap: sayt.net/sitemap.xml
Цитата
Евгений Евгений пишет:
конечно ты закрыл все что можно было smile:)

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

этого хватит

карту сайта надо вытащить из uploads в корень сайта и адрес должен быть такой Sitemap: sayt.net/sitemap.xml
Так эти разделы не нужно индексировать.Будет дубль кейвордов и дескрипшенов.И я же говорю что роботс содрал с топового сайта у которого посещалка 1ккк
Цитата
esdfsd dsf пишет:
роботс содрал с топового сайта
Зачем? что так сложно свой написать? сканируете свой сайт что увидели лишнее дописали в роботс. Netpeak Spider софт гуглите
Вот как нужно делать сайты Bezlimi.com
Цитата
DmitryBezlimit пишет:
Цитата
esdfsd dsf пишет:
роботс содрал с топового сайта
Зачем? что так сложно свой написать? сканируете свой сайт что увидели лишнее дописали в роботс. Netpeak Spider софт гуглите
Сайт тойже тематики и разделы теже.Все разделы проверил.
Цитата
DmitryBezlimit пишет:
Netpeak Spider
Прога зачетная,спасибо.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:24 Раскрутка форума 
00:19 Продвижение по ключам 
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:23 Подскажите нормальный сервис накрутки ПФ 
09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
00:56 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
15:26 TETChange-Обменник криптовалют 
12:28 AlwaysMoney - платформа для обмена криптовалют 
01:35 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
22:30 SOCKS5 приватные прокси на 30 дней для PayPal 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники?