Как собрать все url страниц сайта?

Как собрать все url страниц сайта?, Подскажите, пожалуйста, как спарсить все проиндексированные url

Сообщений: 306 Регистрация: Фев 2013

3 Мая 2015 20:33

Доброго времени суток, уважаемые форумчане. Подскажите, пожалуйста, сервис, который поможет собрать списком все url сайта. Заранее спасибо!

http://www.inwin.com.ua - Интернет аукцион Украины

SharkCinema

Сообщений: 619 Регистрация: Окт 2014

3 Мая 2015 20:39

site.com/sitemap.xml

http://smswifi.ru - SAS WiFi СМС авторизация для вашего бизнеса. | http://supportila.ru - личный блог.

Zulios

Сообщений: 306 Регистрация: Фев 2013

3 Мая 2015 21:13

Данные страницы нужно получить без даты добавления их в карту. Есть ли какая-то программа, которая спарсит все страницы списком в виде url каждой страницы?

Алексей SP

Сообщений: 1464 Регистрация: Сен 2012

3 Мая 2015 22:14

STGrabber поможет

Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.

SharkCinema

Сообщений: 619 Регистрация: Окт 2014

4 Мая 2015 00:05

Так а что мешает сохранить sitemap и вытащить ссылки через регулярку?

<url>|(<loc>(|\r\n))(.*)((|\r\n)</loc>)|(<(.*)>(|\r\n)*(.*)(|\r\n)*</(.*)>)|<.*>|(\r\n)+

\3\r\n

Marques

Сообщений: 408 Регистрация: Авг 2010

4 Мая 2015 00:34

Цитата
SharkCinema пишет: Так а что мешает сохранить sitemap и вытащить ссылки через регулярку? <url>\|(<loc>(\|\r\n))(.)((\|\r\n)</loc>\|(<(.)>(\|\r\n)(.)(\|\r\n)</(.)>\|<.*>\|(\r\n)+ \3\r\n

Поясните для "валенков" как это делается)

Биржа криптовалют удобная аналитика, хранение, покупка

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:02

Тоже интересует этот вопрос для валенков smile:)

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:03

Цитата
Алексей SP пишет: STGrabber поможет

Сейчас пробовал найти - нигде не находит. По всем адресам либо файлик отсутствует, либо вирусные файлики лежат

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:15

Цитата
Алексей SP пишет: STGrabber поможет

Спасибо большое! Таки нашел программку, в момент все урлы с карты сайта спарсила! Очень помогли, спасибо еще раз smile:)

Роман Цабров

Сообщений: 194 Регистрация: Янв 2013

#10

4 Мая 2015 17:06

content downlader легко решает такие вопросы

Самая лучшая ВАП партнерка! Без санкций ТУТ

serogo evgo

Сообщений: 408 Регистрация: Мар 2015

#11

9 Декабря 2015 02:53

STGrabber у кого нить осталась эта програма или что то подобное нужно собрать все ссылки с карты сайта. либо плагин для wp для сбора списка всех адресов страниц

создание продвижение сайтов ! качество и доступная цена

Ravager

Сообщений: 29 Регистрация: Ноя 2015

#12

9 Декабря 2015 18:41

Цитата

Marques пишет:

Цитата
SharkCinema пишет: Так а что мешает сохранить sitemap и вытащить ссылки через регулярку? <url>\|(<loc>(\|\r\n))(.)((\|\r\n)</loc>\|(<(.)>(\|\r\n)(.)(\|\r\n)</(.)>\|<.*>\|(\r\n)+ \3\r\n

Поясните для "валенков" как это делается)

Нужен текстовый редактор подходящий, например sublime text. Просто делаете поиск по регулярному выражению на выбор всех результатов в файле sitemap - где все ссылки лежат.

Александр Фокс

Сообщений: 178 Регистрация: Ноя 2013

#13

24 Марта 2016 16:20

Мне тоже нужны были все адреса страниц сайта, поступил следующим образом. Скачал карту сайта и открыл при помощи Notepad ++. Все очень просто.

Поделки своими руками

Валерий

Сообщений: 170 Регистрация: Май 2011

#14

25 Февраля 2025 22:28

Пишите в личку, все сылки будут с любого сайта в любом количестве, у меня скрипт на питоне спарсит любые ссылки сайта без мусора

Coder Сообщений: 10549 Регистрация: Мар 2013	#15 26 Февраля 2025 17:45 Валерий, 9 лет прошло с последнего поста - так, к слову. Изменено: Coder - 26 Февраля 2025 17:46 ✓ Проверенные скрипты и полезности для сайта ✓ Курсы ✓ Сервис временных ссылок

Похожие темы:

11.04.2025 20:31	Собрать ключи
02.12.2023 00:11	Как долго индексируется страница
30.08.2023 11:44	Сколько ключей запросов нужно писать на одной странице, чтобы быть в топе
22.05.2023 01:50	За отзыв ТЗ по оптимизации 1й страницы
04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
12:22 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 06:06 Яндекс прекращает поддержку технологии Турбо 05:50 SEO 2025 - контент, уже не главное. Главное - Конечная цель... 09:03 Нужна помощь советом! 20:01 Работаем в P2P платежах BYBIT \| USDT - RUB , RUB - USDT \| Ищем постоянных клиентов , выгодные условия. 19:04 Gambling Craft - гемблинг по белому 10:44 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов	17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 13:08 Сканы, фото + снилс, селфи 10:43 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 10:26 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 14:59 Volna.money 14:24 WebKazna. Обмены криптовалют. Доставка наличных.	20:51 Точные прогнозы на футбол 23:47 Добро пожаловать в цифровой мир... 22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 11:58 Куплю проигрышные букмекерские аккаунты 00:12 Огородники 10:59 Новости искусственного интеллекта 04:26 Хром ругается на форум