Помогите с непонятной индексацией сайта на DLE
Страницы: 1
Помогите с непонятной индексацией сайта на DLE
Здравствуйте все. У меня небольшой сайт на DLE, и столкнулась с такой проблемой, решить которую не могу уже пару недель. Пыталась исправить ошибки, которые выдает гугл вебмастер, но с каждым обновлением их количество только увеличивается.
Страницы с повторяющимся метаописанием -  там идут страницы каждой из категорий, у каждой из которых одинаковый дескрипшен - закрыла в роботс /page/ и удалила вручную ссылки на дубли из индекса. Но с каждым новым обновлением они туда залетают вновь. 

А вот это мне вообще непонятно, что за страницы такие -  moisait.ru/?k=abrakadabra ? 

Закрыла в роботс /?k= , удалила все из индекса, а они вновь лезут и лезут в индекс, что это за чудо такое? Почему гугл игнорирует запреты в роботсе? Хотя в site:moisait.ru все эти page вроде как исчезли. 

Кто-то может оказаться так добр, что подскажет?
Большая поклонница Скарлетт Йоханссон, заглядываю на сайт о кино. Рекомендую отличный хостинг от 99 руб/мес, VPS от 250 руб/мес.
Stasia87,  напишите какой командой вы закрыли папки и страницы, которые не нужны.

И напишите какие именно страницы и папки вам надо закрыть.

Обратите внимание, что на конце ссылки с /?k написано depositfiles - я думаю так быть не должно по дефолту.
Изменено: sharkson - 24 Августа 2015 19:54
http://alaev.info/blog/post/3900 поможет исправить индексацию, что касается

"что за страницы такие -  moisait.ru/?k=abrakadabra" - на шелл сильно похоже. Закрыть в robots можно так:


Код
User-agent: *
Disallow: /*?
(при условии что ссылки с ЧПУ)

и поискать примерно тут: /engine/editor/css/web
Изменено: Антип Замкадов - 24 Августа 2015 20:37
Цитата
sharkson пишет:
Stasia87, напишите какой командой вы закрыли папки и страницы, которые не нужны.

И напишите какие именно страницы и папки вам надо закрыть.

Обратите внимание, что на конце ссылки с /?k написано depositfiles - я думаю так быть не должно по дефолту.
Ну, вот так закрыла в robots.txt

Disallow: /*/page/
Disallow: /?k=

Мне не нужно сканирование вообще никаких страниц категорий, кроме самой первой.

По поводу депозитфайлза скажу, что сайт предназначен для загрузок, поэтому ссылок на различные обменники на нем присутствуют в большом количестве. Но вот что это такое /?k= я вообще без понятия, удалила около сотни подобных ссылок, и они все равно появились новые в индексе.
[COLOR=#881280]На страницах page пропишите данный тег [/COLOR]<meta name="robots" content="noindex, follow"/>
Цитата
Антип Замкадов пишет:
alaev.info/blog/post/3900 поможет исправить индексацию, что касается

"что за страницы такие - moisait.ru/?k=abrakadabra" - на шелл сильно похоже. Закрыть в robots можно так:
Код
 User-agent: *
Disallow: /*? 
(при условии что ссылки с ЧПУ)

и поискать примерно тут: /https://n2.tcphost.net/ispmgr?func=file&plid=www/mastyk.ru&elid=engine]engine/https://n2.tcphost.net/ispmgr?func=file&plid=www/mastyk.ru/engine&elid=editor]editor/https://n2.tcphost.net/ispmgr?func=file&plid=www/mastyk.ru/engine/editor&elid=css]css/web
Изучаю статью, пока больше вопросов, чем ответов)



Цитата
ArsenЖига -_- пишет:
[COLOR=#881280]На страницах page пропишите данный тег [/COLOR]<meta name="robots" content="noindex, follow"/>
А вы не подскажете, как именно это сделать на страницах page?
Цитата
Stasia87 пишет:
Disallow: /*/page/
Disallow: /?k=
Закройте так:

Disallow: /page/
Disallow: /?k=*

После этого очистите кэш сайта. Потом укажите Гуглу и Яндексе новый роботс - добавив его через аддурилку.
Цитата
sharkson пишет:
Цитата
Stasia87 пишет:
Disallow: /*/page/
Disallow: /?k=
Закройте так:

Disallow: /page/
Disallow: /?k=*

После этого очистите кэш сайта. Потом укажите Гуглу и Яндексе новый роботс - добавив его через аддурилку.
Сделала. Но что-то есть опасения, что не поможет) 
Может, есть смысл попробовать закрыть страницы через <meta name="robots" content="noindex,follow" />, как предложили люди выше ? А вот в статье alaev.info/blog/post/3900 автор предлагает noindex,nofollow - как будет лучше?

И, может быть, кто-то сталкивался с этим противным /?k= ? Хотя бы понять, какова природа этого неведомого зверя? Может, это проиндексированный тег? Или что-то подобное? Откуда эта гадость берется, еще и в таких количествах? 
Цитата
Stasia87 пишет:
Может, есть смысл попробовать закрыть страницы через <meta name="robots" content="noindex,follow" />, как предложили люди выше ? А вот в статье alaev.info/blog/post/3900 автор предлагает noindex,nofollow - как будет лучше?
А вы сделайте и запретом в роботсе и через мета.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:39 Подскажите где продвигать сайт. 
10:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
19:12 Мошенники-копирайтеры 
08:57 Индексация страниц 
23:16 Есть ли альтернатива Адсенсу и РСЯ? 
20:48 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
18:53 Настройка плагина для wordpress Price Shop 
04:11 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
22:56 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:33 Sova.gg - надежный обменник криптовалюты. 
16:55 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 
16:45 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
15:51 Обменник криптовалют Saint-Exchange 
15:15 Affiliate Top - партнерская программа нового уровня 
21:44 Точные прогнозы на футбол 
10:26 Новости искусственного интеллекта 
04:26 Хром ругается на форум 
18:41 С юмором по жизни! 
14:22 SENDERSEX.COM - Тизерная партнёрка онлайн игры Эротические Фанты Онлайн 
20:32 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
09:37 Договорные матчи от ИИ