Получить список всех URL, проиндексированных Google
Страницы: 1
Получить список всех URL, проиндексированных Google
Первый опыт с продвижением сайта. По недосмотру и непросвещенности в тонкостях СЕО в индексе Гугля оказалось 16 тыс. страниц, хотя на сайте страниц со смыслом всего 200-250. Два месяца как запретила всё лишнее в robots, но Гугль не торопится удалять эти лишние тысячи. Количество страниц снизилось пока только до 10 тыс. 

В панели вебмастера Гугля я вижу поле для удаления ненужных URL, но где их взять? По запросу site:мойсайт.ру мне показывают где-то 400 страниц и всё. Даже без фильтрации поиска. А где бы взять все эти тысячи найденных Гуглем URLов, чтобы хоть посмотреть, что же он такое нашел? (вдруг я не всё в robots запретила?)
Попробуйте в гуглвебмастере поигратся с пунктом Параметры URL он как бы для вашего случая (там по переменным в запросе гет можно исключать групы страниц из индекса, я чет уверен что вам это и нужно)), но как быстро он срабатывает я еще не пробывал, это сравнительно новая штука у гугла...
О да, кажется, это оно! smile:) То, что нужно! Спасибо большое!Я даже не предполагала, что на сайте может быть столько страниц с параметрами! Всё запретила, жду результатов.
А как всё таки можно получить список всех страниц?
И еще - кто то может подсказать почему в гугл-вебмастере в Параметры URL у меня есть только - Помогите Google повысить эффективность сканирования вашего сайта, сообщив, как следует обрабатывать параметры в URL. Подробнее... ( https://www.google.com/support/webmasters/bin/answer.py?answer=1235687&hl=ru )




Используйте эту функцию, только если вам точно известно, как тот или иной параметр влияет на работу вашего сайта. Если вы по ошибке запретите Google сканировать URL с определенными параметрами, значительная часть страниц вашего сайта может пропасть из результатов поиска.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:44 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
15:20 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 
15:10 Google Discover Core Update: Дискавер отделяют от поиска? 
15:04 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
12:38 Bankomat001 - Сервис обмена электронных валют 
10:42 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
09:36 Мониторинг обменников Сrypto-scout.io 
05:29 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
04:20 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
23:26 Sova.gg - надежный обменник криптовалюты. 
22:07 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
21:18 Точные прогнозы на футбол 
18:56 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
02:12 Ставки на супер тренды в спорте 
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
07:11 Список обновленных тем пуст...