Как настроить прокси в Key Collector?

19 апреля 2017

Key Collector – программа для парсинга поисковых запросов, которая является незаменимым помощником при составлении семантического ядра. И если при работе с небольшим количеством ключевых фраз (до 500-1000) особых проблем не возникает, то обработка больших объемов может превратиться в многонедельную задачу. Но ускорить процесс сбора данных можно с помощью прокси. Далее мы даем подробную инструкцию как это сделать.

Прокси: что это и для чего нужны?

Поисковые системы уже давно ввели ограничения на автоматический парсинг, а именно – на количество запросов за единицу времени. Если оно превышает определенное значение, Яндекс и Google либо блокируют ваш IP, либо выдают бесконечные капчи, чтобы проверить, кто работает – реальный пользователь или специализированное ПО, которое перегружает систему. Поэтому для продуктивного сбора ключевых запросов с помощью программы Key Collector нужно применять прокси.

Key Collector разработан с учетом всех потребностей SEO-специалистов, поэтому ПО имеет специальные настройки для работы с прокси-серверами:

  • Проверка доступности анонимных IP-адресов.
  • Установка необходимого количества потоков.
  • Временная деактивация серверов, при работе через которые была обнаружена капча.
  • Поддержание числа активных потоков при разъединении плохих прокси и программы.
  • Удаление некачественных серверов из списка.
  • Установка оптимального таймаута ожидания.

Но чтобы добавленные прокси прошли проверку и были доступны для сопряжения, нужно правильно настроить Key Collector.

Где взять прокси?

Начнем с того, что они бывают платные и бесплатные. Для парсинга лучше всего купить хорошие индивидуальные прокси. Бесплатные IP-адреса для Key Collector крайне не рекомендованы, поскольку они работают нестабильно, с низкой скоростью, имеют ограниченные настройки и, вероятнее всего, уже «закапчены».

При покупке необходимого количества прокси вы получаете список доступных к использованию сетевых адресов с данными для их настройки. Например:

  • IP – 94.181.34.64;
  • порт – 8080;
  • логин – login;
  • пароль – fd78ruf1.

Эти данные нужно сохранить в Блокноте (файл с расширением .txt). Если вы будете самостоятельно формировать список IP для загрузки в Key Collector, делать это нужно в таком формате «сервер:порт@логин:пароль». Например:

94.181.34.64:8080@login:fd78ruf1

В личном кабинете primeproxy.net уже реализован функционал автоматической выгрузки прокси под Key Collector.

Пошаговая инструкция по настройке

Настройка прокси в Key Collector осуществляется в таком порядке:

  • Заходим в меню настроек программы (шестеренка в правом верхнем углу). Во вкладке «Парсинг» кликаем на «Yandex.Direct» и убираем в этом поле галочки напротив выделенных ниже пунктов.

  • Переходим на вкладку «Сеть». В этом поле должна обязательно стоять галочка напротив пункта «Использовать прокси-серверы».

  • Загружаем IP-адреса, которые мы ранее сохраняли в файле txt, в Key Collector. Для этого нажимаем на кнопку «Загрузить из файла…».

  • В открывшемся меню находим наш файл с прокси-серверами и нажимаем «Открыть», после чего в программе отобразится список всех IP из него.

  • Проставляем галочки напротив всех IP-адресов, которые будем использовать, для их активации. Строка должна быть зеленого цвета.

Перед активацией загруженные сервера можно дополнительно проверить – нажимаем «Проверить в Yandex.Wordstat», или в ПС Yandex, Google. Иногда мы сталкиваемся с такой проблемой что прокси не проходят "проверку", лучше попробовать в ручную проставить галочки и запустить тестовый сбор парсинга. В этот момент и можно будет понять, работают прокси или нет.

Рекомендации по настройке основных параметров для парсинга

Первым делом нужно установить следующие параметры во вкладке «Сеть»:

  • Количество потоков – лучше всего ставить значение равное числу используемых прокси. Например, если их 5, то и число потоков выставляем тоже 5.
  • Таймаут ожидания ответа от сервера – устанавливаем не менее 30000 мс.

Остальные настройки выставляются по собственному усмотрению.

Настройка прокси для сбора данных из поисковой выдачи

В данной вкладке для корректной работы прокси рекомендуем выставить следующие параметры:

  • Задержки между запросами от – рекомендуем выставить значение 20000 мс до 35000 мс. Внимание: при установке меньшего порога, повышается вероятность «заспамливания» прокси. Это может привести к появлению капчи или блокировке IP поисковыми системами.
  • Кол-во потоков – ставим значение в зависимости от кол-ва используемых прокси. Если их 5, устанавливаем значение 5.

Такие же настройки применяем к поисковым системам Google и Mail.

Выставляем остальные параметры:

  • Кол-во запрашиваемых результатов в поисковой выдаче – 50.
  • Тип поиска позиций сайта – волновой поиск со страницы прошлой позиции.
  • Не просматривать глубже – 50 позиции.

Все остальные параметры вы можете выставить на свое усмотрение.

Настройка парсинга в Yandex.Wordstat

В данной вкладке рекомендуем выставить следующие параметры:

  • Задержки между запросами от – 20000 мс до 35000 мс.
  • Кол-во потоков – ставим в зависимости от кол-ва используемых прокси, больше не рекомендуем. Снимаем галочку использовать основной IP адрес.
  • Таймаут ожидания от сервиса – 5000 мс.
  • Задержка после авторизации – 20000 мс до 35000 мс.

Все остальные настройки вы можете выставить на свое усмотрение.

Настройка парсинга с помощью Yandex.Direct

Под каждый прокси рекомендуем завести отдельный аккаунт на Yandex. В этой вкладке следует выставить такие значения:

  • Кол-во потоков – в зависимости от кол-ва прокси.
  • Режим использования прокси – выбираем пункт «делать запросы со всех активированных прокси-серверов (поочередно)».

  • Задержки между запросами – от 20000 мс до 35000 мс.
  • Кол-во потоков – в зависимости от кол-ва прокси.

Остальные значения вы можете выставить на свое усмотрение.

Помимо это мы рекомендуем использовать сервисы для распознования каптчи. Какими бы не были качественными прокси, поисковая система сможет их обнаружить, и если каптча не распазнается, вероятность блокировки возрастает. Если капча была успешно введена, некоторое кол-во раз, поисковая система позволяет парсить далее.

Что делать при обнаружении ошибок?

Если вы делали все в соответствии с инструкцией, но после настройки обнаружили ошибки, попробуйте выполнить следующее:

  • Удалить все старые и закапченные прокси – они могут быть забанены, даже если помечены зеленым цветом.
  • Чистить файлы cookie и кэш перед каждым парсингом – это выполняется с помощью специального софта.
  • Не использовать большое количество потоков с одного сервера.
  • Еще раз проверить правильность настройки согласно инструкции.

Если вышеперечисленные рекомендации вам не помогли, обратитесь в техподдержку. А в комментарии укажите, какие именно прокси-сервера дают сбой при проверке.

Мы постарались максимально подробно описать процесс настройки прокси-серверов в Key Collector. Надеемся, что наша статья поможет вам в разы увеличить производительность парсинга с помощью данной программы.

Tags: 
SEO

Добавить комментарий

Также рекомендуем прочесть