Можно тоже пример в личку?

:confused:урл запрещен и в яше его нет)) там вообще загадочно. он вылезает несмотря на то что его нет. парадокс

В общем, эта директива какая-то кривая.
Disallow: /articles/=$ разрешено к индексации
Disallow: /articles/?p=$ запрещено к индексации
В выдаче мы получаем, что первая страница раздела и подраздела благополучно индексируются, последующие нет. Возможно, это сделано намерено, чтобы боты могли индексировать новые статьи. Для меня это не хорошо.
Мануалов покурить как запретить всё полностью я найти не могу. Скиньте если у кого есть.

Когда делали сайт не ожидали что этот раздел так разрастется, он разбился на кучу категорий, причем их количество со временем только растет. И тут надо или растаскивать подкатегории по разным инфоблокам, чтобы каждой прописать свой титл, значит, вмешиваться в структуру сайта, или просто запретить их нах к индексации, что ясно, проще. Для индексации открытого раздела статьи где всё подряд выводится более чем достаточно. Или в выдаче рисуется такая вот ерунда: 3 ссылки, 1 ссылка титл статьи, и под ней 2 ссылки, "статьи", "статьи", с одинаковым титлом. В общем, заморочно, и если вылезает конкретнов ТОП то и не эстетично, показала Вам как это выглядит.

 решение как всегда оказалось на поверхности. Но, только благодаря структуре ссылок на моем сайте, все первого уровня. На сайте с другими ссылками фокус не прокатит.