.png)
Списки всех доменов ru su рф
Это что за списки такие?
Регистраторы записывают статистику по зарегистрированным доменам. Некоторые из них хранят её в общем доступе, что очень удобно, особенно для хрумовода или зенновода. Очень удобно заряжать софт который чекает движки(например вордпресс), либо другую интересную информацию по таким спискам.
К тому же мы сразу получаем именно русскоговорящий сегмент, не надо лишний раз напрягать пс, хотя большая часть ру ресов располагается вне .ru и это не для кого не секрет. Мы же будем идти по пути наименьшего сопротивления:
Скачать список доменов в зоне .RU
Скачать список доменов в зоне .SU
Скачать список доменов в зоне .РФ
По стандарту списки скачиваются в формате .gz(архивов) и имеют кучу ненужного нам мусора такого как дата создания, окончания и т.д. Нам нужны только сами домены, поэтому переходим к следующему этапу.
Обработка
Самый простой и быстрый способ обработать списки - обработать их на своём хостинге. Лучше всего чтобы это был vps/vds/dedic хотя и шаред тоже должен работать(на шареде вам скорее всего надо будет попросить чтобы включили SSH). Объяснять как пользоваться SSH я не буду, изучайте сами и развивайтесь.
Итак, нам подойдёт любой Linux дистрибутив. Фряха и любой *BSD тоже закатят. Единственное, что не уверен по поводу дистрибутива LFS(Linux From Scratch), А так 99% Линукс дистрибутивов содержат нужный нам функционал из коробки, даже будучи только установленными на сервер.
Как подключитесь по SSH - советую перейти в какую нибудь темповую директорию по типу /tmp или например создать специальную директорию только под работу команды, чтобы не запутаться
# mkdir domainsss && cd domainsss
Ну и дальше всё сводится к одной простой команде
wget 'https://partner.r01.ru/zones/ru_domains.gz' && gunzip ru_domains.gz && awk {'print $1'} ru_domains | awk '{ printf "http://"; print }' > Ru-Domains.txt && rm -rf ru_domains
По аналогии делаем тоже самое для .SU доменов
wget 'https://partner.r01.ru/zones/su_domains.gz' && gunzip su_domains.gz && awk {'print $1'} su_domains | awk '{ printf "http://"; print }' > Su-Domains.txt && rm -rf su_domains
Завершающим этапом обработаем домены .РФ
wget 'https://partner.r01.ru/zones/rf_domains.gz' && gunzip rf_domains.gz && awk {'print $1'} rf_domains | awk '{ printf "http://"; print }' > Rf-Domains.txt && rm -rf rf_domains
Логика работы команд такая
- Качаем архив со списком зоны
- Распаковываем его
- Парсим только домены из текста
- Добавляем в каждой строке перед доменом http://
- Удаляем фаил с мусором
В результате выполнения команд у нас появятся фаилы
Ru-Domains.txt
Su-Domains.txt
Rf-Domains.txt
Не понятно, зачем такие сложности. Я зарегистрирована на сервисе, который меня полностью устраивает в смысле покупки и продления доменов, уже около десяти лет. Нареканий никаких.
ОтветитьУдалитьМыслите шире, тема не про покупку доменов. Вот Вы сюда как попали? Советую ознакомится например с данным материалом https://antoshabrain.blogspot.ru/2016/08/wordpress-xrumer-backlinks-and-traffic.html
УдалитьА я то думаю, вроде коммент и потеме, но какой-то он не совсем адекватный или логичный, но тема то поймана, поэтому призадумалась при разрешении на публикацию... Вот молодец))) а я и не слышала о таком... век живи и век учись. А какой вы ждете результат от этого, я не поняла что вы продвигаете (хотя сайт понравился, я на Линуксе сижу, поэтому нашла тут себе полезности)...
ОтветитьУдалитьРезультат в виде прямого траффика, повышение пф, видно по целям как просматривают блог)) Но это скорее как эксперимент был. Рад что Вам понравилось))
УдалитьРекомендую перед парсингом посмотреть файлы как есть - там к начале ASCII арт %)
ОтветитьУдалитьКстати, строку можно сильно урезать (предварительно скачав файл) :
zcat ./ru_domains.gz |awk {'printf "http://";print $1'}
впрочем, если способ работает - почему бы и нет?
Да, о zcat не подумал, спасибо)
УдалитьТак же теряются эти списки, поэтому некоторые из них храню общем доступе. Полезная информация, кое что для себя уяснил.
ОтветитьУдалить