CHECKPARAMS - это утилита для быстрой, массовой многопоточной проверки параметров ссылок и доменных имен ипользуя прокси.

Данный софт нужен тем, кто в огромных масштабах закупает ссылки, оптимизаторам, домейнерам, способным своими силами достать полезную информацию из результатов работы. Не подойдёт тем, кто желает мониторить позиции собственной единственной домашней страницы.

На сегодняшний день написаны следующие модули, перечень просто расширить, если в этом будет необходимость:

    * проверка Гугл PAGERANK у доменных имен и определенных страниц
    * проверка на склейку домена в Гугл (с информацией о зеркалах) для доменных имен
    * проверка в Яндекс на ТИЦ, склейку (с информацией о зеркалах), наличие в Yandex.Каталоге для доменных имен и определенных страниц
    * Whois-запросы по домену с полной информацией (простейшим скриптом выдёргивается хозяин, дата регистрации и прочее)
    * ДНС-запросы на резолв A,MX,CNAME,NS-записей для доменных имен (позволяет получить информацию о нейм-серверах, хостинге и прочем)
    * любые HTTP-запросы по списку ссылок (при помощи простейших скриптов возможно организовать массовую проверку наличия своих ссылок на страницах, поиск сайтов на конкретных движках, поиск общего владельца у различных сайтов по скриптам Гугл Analytics, Гугл Adsense и так дальше)
    * проверка в Yahoo (бэклинки и кол-во проиндексированных страниц)
    * проверка ключевиков/фраз на число результатов в поиске Гугл.
    * встроенный http-сервак, который отдаёт лишь что проверенные и 100 процентов рабочие перечни прокси. Соответственно, возник режим работы в качестве программы, которая сама скачивает прокси-листы из различных источников, проверяет их и рабочие прокси даёт скачать по http-ссылке для своих нужд. К примеру, её возможно запустить в фоне на собственном VPS/VDS и забирать оттуда на работу/домой актуальные и постоянно 100 процентов рабочие прокси.
    * проверка индексации страниц в Яндекс
    * проверка индексации страниц в Гугл
    * проверка числа проиндексированных страниц в Гугл
    * проверка числа проиндексированных страниц в Яндекс
    * проверка наличия ресурса в web.archive.org и даты I-ой архивации
    * проверка параметров в alexa.com
    * проверка наличия ресурса в каталоге дмоз.org

Любой модуль отдельно настраивается (кол-во повторов, задержки, характеристики запросов, перечни датацентров, применение прокси и прочее).

Есть модуль для работы с прокси. Прога работает как напрямую, так и ч/з прокси (за исключением ДНС-модуля). Поддерживаются SOCKS4, SOCKS5 и HTTPS (HTTP CONNECT) прокси. Есть возможность на автомате скачивать прокси-листы, как из файлов на диске, так и с веб-серверов. Интегрирована автоматическая проверка и очистка прокси, сохранение на диск рабочих прокси, защита от ддоса прокси и многое иное.

В программе доступна детальная статистика по работе, логи, есть помощь макросов. Есть простейшая помощь автоматизации (различные файлы с настройками под различные проверки, автозапуск и автозакрытие по окончании работы, положение и заголовки окон).

Софтина берет перечень доменных имен/ссылок для проверки из файла (1 строчка = 1 url), результаты проверки так же кладёт в файл (*.csv, разделители = точка с запятой). Вся настройка располагается в XML-файлике, любой параметр подробно описан на русском.

По скорости работы: проверка Гугл page rank ч/з директ-коннект без задержек на 200 потоках случается со скоростью 20000-25000 ссылок в мин. (после минутки работы google банит АЙПИ одновременно во всех датацентрах), траф порядка 250-300 кило в сек. в каждую сторону (подобные скорости недостижимы на adsl-модемах из-за узкого исходящего канала). Проверка Гугл page rank и всех параметров в яше ч/з 200-300 рабочих прокси на 300 потоках с задержками, предотвращающими бан = около 15-25 ссылок в сек..

Утилита предназначена для массовой проверки десятков и сотен тыс. урлов. К примеру, в процессе тестов было проверено 2.8 млн. доменных имен в зоне .ru на ТИЦ.

• 5892 просмотра