Как собрать все url страниц сайта?

Как собрать все url страниц сайта?, Подскажите, пожалуйста, как спарсить все проиндексированные url

Сообщений: 306 Регистрация: Фев 2013

3 Мая 2015 20:33

Доброго времени суток, уважаемые форумчане. Подскажите, пожалуйста, сервис, который поможет собрать списком все url сайта. Заранее спасибо!

http://www.inwin.com.ua - Интернет аукцион Украины

SharkCinema

Сообщений: 619 Регистрация: Окт 2014

3 Мая 2015 20:39

site.com/sitemap.xml

http://smswifi.ru - SAS WiFi СМС авторизация для вашего бизнеса. | http://supportila.ru - личный блог.

Zulios

Сообщений: 306 Регистрация: Фев 2013

3 Мая 2015 21:13

Данные страницы нужно получить без даты добавления их в карту. Есть ли какая-то программа, которая спарсит все страницы списком в виде url каждой страницы?

Алексей SP

Сообщений: 1464 Регистрация: Сен 2012

3 Мая 2015 22:14

STGrabber поможет

Открой свой магазин за 5 минут, их товары, их обслуживание, с тебя только клиенты >>> РЕГИСТРАЦИЯ <<<
Скрин выплат по запросу.
Рефералам помощь.

SharkCinema

Сообщений: 619 Регистрация: Окт 2014

4 Мая 2015 00:05

Так а что мешает сохранить sitemap и вытащить ссылки через регулярку?

<url>|(<loc>(|\r\n))(.*)((|\r\n)</loc>)|(<(.*)>(|\r\n)*(.*)(|\r\n)*</(.*)>)|<.*>|(\r\n)+

\3\r\n

Marques

Сообщений: 408 Регистрация: Авг 2010

4 Мая 2015 00:34

Цитата
SharkCinema пишет: Так а что мешает сохранить sitemap и вытащить ссылки через регулярку? <url>\|(<loc>(\|\r\n))(.)((\|\r\n)</loc>\|(<(.)>(\|\r\n)(.)(\|\r\n)</(.)>\|<.*>\|(\r\n)+ \3\r\n

Поясните для "валенков" как это делается)

Биржа криптовалют удобная аналитика, хранение, покупка

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:02

Тоже интересует этот вопрос для валенков smile:)

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:03

Цитата
Алексей SP пишет: STGrabber поможет

Сейчас пробовал найти - нигде не находит. По всем адресам либо файлик отсутствует, либо вирусные файлики лежат

Zulios

Сообщений: 306 Регистрация: Фев 2013

4 Мая 2015 01:15

Цитата
Алексей SP пишет: STGrabber поможет

Спасибо большое! Таки нашел программку, в момент все урлы с карты сайта спарсила! Очень помогли, спасибо еще раз smile:)

Роман Цабров

Сообщений: 194 Регистрация: Янв 2013

#10

4 Мая 2015 17:06

content downlader легко решает такие вопросы

Самая лучшая ВАП партнерка! Без санкций ТУТ

serogo evgo

Сообщений: 408 Регистрация: Мар 2015

#11

9 Декабря 2015 02:53

STGrabber у кого нить осталась эта програма или что то подобное нужно собрать все ссылки с карты сайта. либо плагин для wp для сбора списка всех адресов страниц

создание продвижение сайтов ! качество и доступная цена

Ravager

Сообщений: 29 Регистрация: Ноя 2015

#12

9 Декабря 2015 18:41

Цитата

Marques пишет:

Цитата
SharkCinema пишет: Так а что мешает сохранить sitemap и вытащить ссылки через регулярку? <url>\|(<loc>(\|\r\n))(.)((\|\r\n)</loc>\|(<(.)>(\|\r\n)(.)(\|\r\n)</(.)>\|<.*>\|(\r\n)+ \3\r\n

Поясните для "валенков" как это делается)

Нужен текстовый редактор подходящий, например sublime text. Просто делаете поиск по регулярному выражению на выбор всех результатов в файле sitemap - где все ссылки лежат.

Александр Фокс

Сообщений: 178 Регистрация: Ноя 2013

#13

24 Марта 2016 16:20

Мне тоже нужны были все адреса страниц сайта, поступил следующим образом. Скачал карту сайта и открыл при помощи Notepad ++. Все очень просто.

Поделки своими руками

Валерий

Сообщений: 170 Регистрация: Май 2011

#14

25 Февраля 2025 22:28

Пишите в личку, все сылки будут с любого сайта в любом количестве, у меня скрипт на питоне спарсит любые ссылки сайта без мусора

Coder Сообщений: 10569 Регистрация: Мар 2013	#15 26 Февраля 2025 17:45 Валерий, 9 лет прошло с последнего поста - так, к слову. Изменено: Coder - 26 Февраля 2025 17:46 ✓ Проверенные скрипты и полезности для сайта ✓ Курсы ✓ Сервис временных ссылок

Похожие темы:

11.04.2025 20:31	Собрать ключи
02.12.2023 00:11	Как долго индексируется страница
30.08.2023 11:44	Сколько ключей запросов нужно писать на одной странице, чтобы быть в топе
22.05.2023 01:50	За отзыв ТЗ по оптимизации 1й страницы
04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
19:29 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 17:29 Как продвигать сайт с неуникальным контентом 14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз 13:53 AviTool - мощный инструмент для автоматизации работы с Avito 17:01 Absence в Армении 23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения?	18:41 Взлом пароля Mail.ru почты, взломать пароль Mail, взлом аккаунта Yandex 16:19 TETChange-Обменник криптовалют 15:04 JustProxy.Biz - Резидентные прокси без ограничения по трафику 12:41 Affiliate Top - партнерская программа нового уровня 11:38 Адалт сайты и сетки PBN на DLE 04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 00:25 Телеграмм продвижение	19:30 Добро пожаловать в цифровой мир... 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 05:04 Точные прогнозы на футбол 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 12:23 150+ хакерских поисковых систем и инструментов