Списки всех доменов ru su рф

июля 31, 2017 4 Comments

Списки всех доменов ru su рф
Довольно часто приходится пользоваться этими списками. А они как на зло куда то улетучиваются из закладок :) приходится каждый раз гуглить, терять время. Так что лучше запишу ка я их сюда. Заодно поговорим как их максимально быстро обработать.


Это что за списки такие?


Регистраторы записывают статистику по зарегистрированным доменам. Некоторые из них хранят её в общем доступе, что очень удобно, особенно для хрумовода или зенновода. Очень удобно заряжать софт который чекает движки(например вордпресс), либо другую интересную информацию по таким спискам.

К тому же мы сразу получаем именно русскоговорящий сегмент, не надо лишний раз напрягать пс, хотя большая часть ру ресов располагается вне .ru и это не для кого не секрет. Мы же будем идти по пути наименьшего сопротивления:

Скачать список доменов в зоне .RU
Скачать список доменов в зоне .SU
Скачать список доменов в зоне .РФ

По стандарту списки скачиваются в формате .gz(архивов) и имеют кучу ненужного нам мусора такого как дата создания, окончания и т.д. Нам нужны только сами домены, поэтому переходим к следующему этапу.

Обработка


Самый простой и быстрый способ обработать списки - обработать их на своём хостинге. Лучше всего чтобы это был vps/vds/dedic хотя и шаред тоже должен работать(на шареде вам скорее всего надо будет попросить чтобы включили SSH). Объяснять как пользоваться SSH я не буду, изучайте сами и развивайтесь.

Итак, нам подойдёт любой Linux дистрибутив. Фряха и любой *BSD тоже закатят. Единственное, что не уверен по поводу дистрибутива LFS(Linux From Scratch), А так 99% Линукс дистрибутивов содержат нужный нам функционал из коробки, даже будучи только установленными на сервер.

Как подключитесь по SSH - советую перейти в какую нибудь темповую директорию по типу /tmp или например создать специальную директорию только под работу команды, чтобы не запутаться # mkdir domainsss && cd domainsss

Ну и дальше всё сводится к одной простой команде

Чтобы скачать и обработать список .RU доменов вводим
wget 'https://partner.r01.ru/zones/ru_domains.gz' && gunzip ru_domains.gz && awk {'print $1'} ru_domains | awk '{ printf "http://"; print }' > Ru-Domains.txt && rm -rf ru_domains

По аналогии делаем тоже самое для .SU доменов
wget 'https://partner.r01.ru/zones/su_domains.gz' && gunzip su_domains.gz && awk {'print $1'} su_domains | awk '{ printf "http://"; print }' > Su-Domains.txt && rm -rf su_domains

Завершающим этапом обработаем домены .РФ
wget 'https://partner.r01.ru/zones/rf_domains.gz' && gunzip rf_domains.gz && awk {'print $1'} rf_domains | awk '{ printf "http://"; print }' > Rf-Domains.txt && rm -rf rf_domains

Логика работы команд такая
- Качаем архив со списком зоны
- Распаковываем его
- Парсим только домены из текста
- Добавляем в каждой строке перед доменом http://
- Удаляем фаил с мусором

В результате выполнения команд у нас появятся фаилы
Ru-Domains.txt
Su-Domains.txt
Rf-Domains.txt


4 комментария:

  1. Не понятно, зачем такие сложности. Я зарегистрирована на сервисе, который меня полностью устраивает в смысле покупки и продления доменов, уже около десяти лет. Нареканий никаких.

    ОтветитьУдалить
    Ответы
    1. Мыслите шире, тема не про покупку доменов. Вот Вы сюда как попали? Советую ознакомится например с данным материалом https://antoshabrain.blogspot.ru/2016/08/wordpress-xrumer-backlinks-and-traffic.html

      Удалить
  2. А я то думаю, вроде коммент и потеме, но какой-то он не совсем адекватный или логичный, но тема то поймана, поэтому призадумалась при разрешении на публикацию... Вот молодец))) а я и не слышала о таком... век живи и век учись. А какой вы ждете результат от этого, я не поняла что вы продвигаете (хотя сайт понравился, я на Линуксе сижу, поэтому нашла тут себе полезности)...

    ОтветитьУдалить
    Ответы
    1. Результат в виде прямого траффика, повышение пф, видно по целям как просматривают блог)) Но это скорее как эксперимент был. Рад что Вам понравилось))

      Удалить