Ну смотрите. Дело значит так: насобирал я по интернету большое количество паблик баз, в своем большинстве это phpbb сайты.
С каждого документа/таблицы/web-страницы копируем сайты и вставляем в блокнот.
В итоге у нас получается список из нескольких тысяч сайтов.
Каждый сайт - новая строка.
Ясен пень, здесь огромное количество повторяющихся сайтов.

Как это дело отсортировать, что бы избавится от одинаковых ссылок?
p.s. можно и вручную, но целый день на расхламление не хочется.