Как собрать все url страниц сайта?
Страницы: 1 2 След.
Как собрать все url страниц сайта?, Подскажите, пожалуйста, как спарсить все проиндексированные url
Доброго времени суток, уважаемые форумчане. Подскажите, пожалуйста, сервис, который поможет собрать списком все url сайта. Заранее спасибо!
http://www.inwin.com.ua - Интернет аукцион Украины
site.com/sitemap.xml
http://smswifi.ru - SAS WiFi СМС авторизация для вашего бизнеса. | http://supportila.ru - личный блог.
Данные страницы нужно получить без даты добавления их в карту. Есть ли какая-то программа, которая спарсит все страницы списком в виде url каждой страницы?
STGrabber поможет
Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.
Так а что мешает сохранить sitemap и вытащить ссылки через регулярку?

<url>|(<loc>(|\r\n))(.*)((|\r\n)</loc>)|(<(.*)>(|\r\n)*(.*)(|\r\n)*</(.*)>)|<.*>|(\r\n)+


\3\r\n
Цитата
SharkCinema пишет:
Так а что мешает сохранить sitemap и вытащить ссылки через регулярку?

<url>|(<loc>(|\r\n))(.*)((|\r\n)</loc>smile;)|(<(.*)>(|\r\n)*(.*)(|\r\n)*</(.*)>smile;)|<.*>|(\r\n)+


\3\r\n
Поясните для "валенков" как это делается)
Биржа криптовалют удобная аналитика, хранение, покупка
Тоже интересует этот вопрос для валенков smile:)
Цитата
Алексей SP пишет:
STGrabber поможет
Сейчас пробовал найти - нигде не находит. По всем адресам либо файлик отсутствует, либо вирусные файлики лежат
Цитата
Алексей SP пишет:
STGrabber поможет
Спасибо большое! Таки нашел программку, в момент все урлы с карты сайта спарсила! Очень помогли, спасибо еще раз smile:)
content downlader легко решает такие вопросы
Самая лучшая ВАП партнерка! Без санкций ТУТ
STGrabber у кого нить осталась эта програма или что то подобное нужно собрать все ссылки с карты сайта. либо плагин для wp для сбора списка всех адресов страниц
создание продвижение сайтов ! качество и доступная цена
Цитата
Marques пишет:
Цитата
SharkCinema пишет:
Так а что мешает сохранить sitemap и вытащить ссылки через регулярку?

<url>|(<loc>(|\r\n))(.*)((|\r\n)</loc>smile;)|(<(.*)>(|\r\n)*(.*)(|\r\n)*</(.*)>smile;)|<.*>|(\r\n)+


\3\r\n
Поясните для "валенков" как это делается)

Нужен текстовый редактор подходящий, например sublime text. Просто делаете поиск по регулярному выражению на выбор всех результатов в файле sitemap - где все ссылки лежат.
Мне тоже нужны были все адреса страниц сайта, поступил следующим образом. Скачал карту сайта и открыл при помощи Notepad ++. Все очень просто.
Пишите в личку, все сылки будут с любого сайта в любом количестве, у меня скрипт на питоне спарсит любые ссылки сайта без мусора
Валерий, 9 лет прошло с последнего поста - так, к слову.
Изменено: Coder - 26 Февраля 2025 17:46
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:29 Как продвигать сайт с неуникальным контентом 
13:54 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
11:27 GoodsMoney.io 
10:44 Продажа аккаунтов HH.RU 
04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
21:57 Обменник криптовалюты OnlyCrypto 
20:55 Скрипт обменника валют 
20:47 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
14:49 TETChange-Обменник криптовалют 
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
22:08 Накрутка поисковых подсказок 
05:04 Точные прогнозы на футбол 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
12:23 150+ хакерских поисковых систем и инструментов 
17:41 Стряхнуть обыденность - об Агасфере