no-style

Списки всех доменов ru su рф

Списки всех доменов ru su рф
Довольно часто приходится пользоваться этими списками. А они как назло куда то улетучиваются из закладок :) приходится каждый раз гуглить, терять время. Так что лучше запишу ка я их сюда. Заодно поговорим как их максимально быстро обработать.



Это что за списки такие?

Регистраторы записывают статистику по зарегистрированным доменам. Некоторые из них хранят её в общем доступе, что очень удобно, особенно для хрумовода или зенновода.

Очень удобно заряжать софт который чекает движки (например вордпресс), либо другую интересную информацию по таким спискам.

К тому же мы сразу получаем именно русскоговорящий сегмент, не надо лишний раз напрягать пс, хотя большая часть ру ресов располагается вне .ru зоны и это не для кого не секрет. Мы же будем идти по пути наименьшего сопротивления:

По стандарту списки скачиваются в формате .gz архива и имеют кучу ненужного нам мусора такого как дата создания, окончания и т.д. Нам нужны только сами домены, поэтому переходим к следующему этапу.







Обработка

Самый простой и быстрый способ обработать списки - обработать их на своём хостинге. Лучше всего подойдёт VPS, VDS, Dedicated Server (например вот этот). Хотя и шаред тоже должен работать. На шаред хостинге вам скорее всего надо будет попросить чтобы включили SSH. Объяснять как пользоваться SSH я не буду, изучайте сами и развивайтесь.

Итак, нам подойдёт любой Linux дистрибутив. Фряха и любой *BSD тоже закатят. Единственное, что не уверен по поводу дистрибутива LFS(Linux From Scratch), А так 99% Линукс дистрибутивов содержат нужный нам функционал из коробки, даже будучи только установленными на сервер.

Как подключитесь по SSH - советую перейти в какую нибудь темповую директорию по типу /tmp или например создать специальную директорию только под работу команды, чтобы не запутаться

mkdir domainsss && cd domainsss

Ну и дальше всё сводится к одной простой команде.

Чтобы скачать и обработать список .RU доменов вводим

wget 'https://partner.r01.ru/zones/ru_domains.gz' && gunzip ru_domains.gz && awk {'print $1'} ru_domains | awk '{ printf "http://"; print }' | tr [:upper:] [:lower:] > Ru-Domains.txt && rm -rf ru_domains


По аналогии делаем тоже самое для .SU доменов

wget 'https://partner.r01.ru/zones/su_domains.gz' && gunzip su_domains.gz && awk {'print $1'} su_domains | awk '{ printf "http://"; print }' | tr [:upper:] [:lower:] > Su-Domains.txt && rm -rf su_domains


Завершающим этапом обработаем домены .РФ

wget 'https://partner.r01.ru/zones/rf_domains.gz' && gunzip rf_domains.gz && awk {'print $1'} rf_domains | awk '{ printf "http://"; print }' | tr [:upper:] [:lower:] > Rf-Domains.txt && rm -rf rf_domains

Логика работы команд такая
- Качаем архив со списком зоны
- Распаковываем его
- Парсим только домены из текста
- Добавляем в каждой строке перед доменом http://
- Удаляем фаил с мусором


    В результате выполнения команд у нас появятся фаилы
  • Ru-Domains.txt
  • Su-Domains.txt
  • Rf-Domains.txt








Bonus Альтернативный регистратор

Дополнительно домены можно скачать у другого регистратора

Чтобы скачать и обработать список .RU доменов вводим

wget https://reghouse.ru/tools/ru_domains_reghouse.gz && gunzip ru_domains_reghouse.gz && awk {'print $1'} ru_domains_reghouse | awk '{ printf "http://"; print }' | tr [:upper:] [:lower:] > Ru-Domains.txt && rm -rf ru_domains_reghouse


По аналогии делаем тоже самое для .SU доменов

wget https://reghouse.ru/tools/su_domains_reghouse.gz && gunzip su_domains_reghouse.gz && awk {'print $1'} su_domains_reghouse | awk '{ printf "http://"; print }' | tr [:upper:] [:lower:] > Su-Domains.txt && rm -rf su_domains_reghouse


Завершающим этапом обработаем домены .РФ

wget https://reghouse.ru/tools/rf_domains_reghouse.gz && gunzip rf_domains_reghouse.gz && awk {'print $1'} rf_domains_reghouse | awk '{ printf "http://"; print }' | tr [:upper:] [:lower:] > Rf-Domains.txt && rm -rf rf_domains_reghouse







Bonus Punycode

Мне часто приходится работать с большими списками доменов. Некоторые доменные зоны закодированы в Punycode. С ними неудобно работать, поэтому я добавлю список в этом формате, чтобы постоянно не искать какие домены мне подходят. Кому то ещё это может быть полезно.

Punycode RU
xn--p1ai (рф)
xn--p1acf (рус)
xn--d1acj3b (дети)
xn--c1avg (орг)
xn--90ais (бел)
xn--80aswg (сайт)
xn--80asehdb (онлайн)
xn--j1aef (ком)
xn--80adxhks (москва)
xn--80aqecdr1a (католик)


Punycode SNG
xn--90a3ac (срб)
xn--o1ach.xn--90a3ac (упр.срб)
xn--o1ac.xn--90a3ac (пр.срб)
xn--l1acc (мон)
xn--e1a4c (ею)
xn--d1at.xn--90a3ac (пд.срб)
xn--d1alf (мкд)
xn--c1avg.xn--90a3ac (орг.срб)
xn--90azh.xn--90a3ac (пбр.срб)
xn--90ae (бг)
xn--80ao21a (қаз)

9 Комментарии

  1. Не понятно, зачем такие сложности. Я зарегистрирована на сервисе, который меня полностью устраивает в смысле покупки и продления доменов, уже около десяти лет. Нареканий никаких.

    ОтветитьУдалить
    Ответы
    1. Мыслите шире, тема не про покупку доменов. Вот Вы сюда как попали? Советую ознакомится например с данным материалом https://antoshabrain.blogspot.ru/2016/08/wordpress-xrumer-backlinks-and-traffic.html

      Удалить
  2. А я то думаю, вроде коммент и потеме, но какой-то он не совсем адекватный или логичный, но тема то поймана, поэтому призадумалась при разрешении на публикацию... Вот молодец))) а я и не слышала о таком... век живи и век учись. А какой вы ждете результат от этого, я не поняла что вы продвигаете (хотя сайт понравился, я на Линуксе сижу, поэтому нашла тут себе полезности)...

    ОтветитьУдалить
    Ответы
    1. Результат в виде прямого траффика, повышение пф, видно по целям как просматривают блог)) Но это скорее как эксперимент был. Рад что Вам понравилось))

      Удалить
  3. Рекомендую перед парсингом посмотреть файлы как есть - там к начале ASCII арт %)

    Кстати, строку можно сильно урезать (предварительно скачав файл) :
    zcat ./ru_domains.gz |awk {'printf "http://";print $1'}
    впрочем, если способ работает - почему бы и нет?

    ОтветитьУдалить
  4. Так же теряются эти списки, поэтому некоторые из них храню общем доступе. Полезная информация, кое что для себя уяснил.

    ОтветитьУдалить
  5. Спасибо большое. Это списки на текущую дату. Как можно скачть на прощедщую дату?

    ОтветитьУдалить
    Ответы
    1. Как вариант скачивать по крону скриптом, а потом смотреть изменившиеся/добавленные/удалённые домены, сравнивая разные даты.

      Удалить

Отправить комментарий