Это что за списки такие?
Регистраторы записывают статистику по зарегистрированным доменам. Некоторые из них хранят её в общем доступе, что очень удобно, особенно для хрумовода или зенновода.
Очень удобно заряжать софт который чекает движки (например вордпресс), либо другую интересную информацию по таким спискам.
К тому же мы сразу получаем именно русскоговорящий сегмент, не надо лишний раз напрягать пс, хотя большая часть ру ресов располагается вне .ru зоны и это не для кого не секрет. Мы же будем идти по пути наименьшего сопротивления:
- Скачать список доменов в зоне .RU
- Скачать список доменов в зоне .SU
- Скачать список доменов в зоне .РФ
По стандарту списки скачиваются в формате .gz архива и имеют кучу ненужного нам мусора такого как дата создания, окончания и т.д. Нам нужны только сами домены, поэтому переходим к следующему этапу.
Обработка
Самый простой и быстрый способ обработать списки - обработать их на своём хостинге. Лучше всего подойдёт VPS, VDS, Dedicated Server (например вот этот). Хотя и шаред тоже должен работать. На шаред хостинге вам скорее всего надо будет попросить чтобы включили SSH. Объяснять как пользоваться SSH я не буду, изучайте сами и развивайтесь.
Итак, нам подойдёт любой Linux дистрибутив. Фряха и любой *BSD тоже закатят. Единственное, что не уверен по поводу дистрибутива LFS(Linux From Scratch), А так 99% Линукс дистрибутивов содержат нужный нам функционал из коробки, даже будучи только установленными на сервер.
Как подключитесь по SSH - советую перейти в какую нибудь темповую директорию по типу /tmp или например создать специальную директорию только под работу команды, чтобы не запутаться
Ну и дальше всё сводится к одной простой команде.
Чтобы скачать и обработать список .RU доменов вводим
По аналогии делаем тоже самое для .SU доменов
Завершающим этапом обработаем домены .РФ
Логика работы команд такая
- Качаем архив со списком зоны
- Распаковываем его
- Парсим только домены из текста
- Добавляем в каждой строке перед доменом http://
- Удаляем фаил с мусором
- В результате выполнения команд у нас появятся фаилы
- Ru-Domains.txt
- Su-Domains.txt
- Rf-Domains.txt
Bonus Альтернативный регистратор
Дополнительно домены можно скачать у другого регистратора
- Скачать список доменов в зоне .RU
- Скачать список доменов в зоне .SU
- Скачать список доменов в зоне .РФ
Чтобы скачать и обработать список .RU доменов вводим
По аналогии делаем тоже самое для .SU доменов
Завершающим этапом обработаем домены .РФ
Bonus Punycode
Мне часто приходится работать с большими списками доменов. Некоторые доменные зоны закодированы в Punycode. С ними неудобно работать, поэтому я добавлю список в этом формате, чтобы постоянно не искать какие домены мне подходят. Кому то ещё это может быть полезно.
Punycode RU
xn--p1ai (рф)
xn--p1acf (рус)
xn--d1acj3b (дети)
xn--c1avg (орг)
xn--90ais (бел)
xn--80aswg (сайт)
xn--80asehdb (онлайн)
xn--j1aef (ком)
xn--80adxhks (москва)
xn--80aqecdr1a (католик)
Punycode SNG
xn--90a3ac (срб)
xn--o1ach.xn--90a3ac (упр.срб)
xn--o1ac.xn--90a3ac (пр.срб)
xn--l1acc (мон)
xn--e1a4c (ею)
xn--d1at.xn--90a3ac (пд.срб)
xn--d1alf (мкд)
xn--c1avg.xn--90a3ac (орг.срб)
xn--90azh.xn--90a3ac (пбр.срб)
xn--90ae (бг)
xn--80ao21a (қаз)
Не понятно, зачем такие сложности. Я зарегистрирована на сервисе, который меня полностью устраивает в смысле покупки и продления доменов, уже около десяти лет. Нареканий никаких.
ОтветитьУдалитьМыслите шире, тема не про покупку доменов. Вот Вы сюда как попали? Советую ознакомится например с данным материалом https://antoshabrain.blogspot.ru/2016/08/wordpress-xrumer-backlinks-and-traffic.html
УдалитьА я то думаю, вроде коммент и потеме, но какой-то он не совсем адекватный или логичный, но тема то поймана, поэтому призадумалась при разрешении на публикацию... Вот молодец))) а я и не слышала о таком... век живи и век учись. А какой вы ждете результат от этого, я не поняла что вы продвигаете (хотя сайт понравился, я на Линуксе сижу, поэтому нашла тут себе полезности)...
ОтветитьУдалитьРезультат в виде прямого траффика, повышение пф, видно по целям как просматривают блог)) Но это скорее как эксперимент был. Рад что Вам понравилось))
УдалитьРекомендую перед парсингом посмотреть файлы как есть - там к начале ASCII арт %)
ОтветитьУдалитьКстати, строку можно сильно урезать (предварительно скачав файл) :
zcat ./ru_domains.gz |awk {'printf "http://";print $1'}
впрочем, если способ работает - почему бы и нет?
Да, о zcat не подумал, спасибо)
УдалитьТак же теряются эти списки, поэтому некоторые из них храню общем доступе. Полезная информация, кое что для себя уяснил.
ОтветитьУдалитьСпасибо большое. Это списки на текущую дату. Как можно скачть на прощедщую дату?
ОтветитьУдалитьКак вариант скачивать по крону скриптом, а потом смотреть изменившиеся/добавленные/удалённые домены, сравнивая разные даты.
УдалитьОтправить комментарий