Key Collector – программа для парсинга поисковых запросов, которая является незаменимым помощником при составлении семантического ядра. И если при работе с небольшим количеством ключевых фраз (до 500-1000) особых проблем не возникает, то обработка больших объемов может превратиться в многонедельную задачу. Но ускорить процесс сбора данных можно с помощью прокси. Далее мы даем подробную инструкцию как это сделать.
Прокси: что это и для чего нужны?
Поисковые системы уже давно ввели ограничения на автоматический парсинг, а именно – на количество запросов за единицу времени. Если оно превышает определенное значение, Яндекс и Google либо блокируют ваш IP, либо выдают бесконечные капчи, чтобы проверить, кто работает – реальный пользователь или специализированное ПО, которое перегружает систему. Поэтому для продуктивного сбора ключевых запросов с помощью программы Key Collector нужно применять прокси.
Key Collector разработан с учетом всех потребностей SEO-специалистов, поэтому ПО имеет специальные настройки для работы с прокси-серверами:
- Проверка доступности анонимных IP-адресов.
- Установка необходимого количества потоков.
- Временная деактивация серверов, при работе через которые была обнаружена капча.
- Поддержание числа активных потоков при разъединении плохих прокси и программы.
- Удаление некачественных серверов из списка.
- Установка оптимального таймаута ожидания.
Но чтобы добавленные прокси прошли проверку и были доступны для сопряжения, нужно правильно настроить Key Collector.
Где взять прокси?
Начнем с того, что они бывают платные и бесплатные. Для парсинга лучше всего купить хорошие индивидуальные прокси. Бесплатные IP-адреса для Key Collector крайне не рекомендованы, поскольку они работают нестабильно, с низкой скоростью, имеют ограниченные настройки и, вероятнее всего, уже «закапчены».
При покупке необходимого количества прокси вы получаете список доступных к использованию сетевых адресов с данными для их настройки. Например:
- IP – 94.181.34.64;
- порт – 8080;
- логин – login;
- пароль – fd78ruf1.
Эти данные нужно сохранить в Блокноте (файл с расширением .txt). Если вы будете самостоятельно формировать список IP для загрузки в Key Collector, делать это нужно в таком формате «сервер:порт@логин:пароль». Например:
94.181.34.64:8080@login:fd78ruf1
В личном кабинете primeproxy.net уже реализован функционал автоматической выгрузки прокси под Key Collector.
Пошаговая инструкция по настройке
Настройка прокси в Key Collector осуществляется в таком порядке:
- Заходим в меню настроек программы (шестеренка в правом верхнем углу). Во вкладке «Парсинг» кликаем на «Yandex.Direct» и убираем в этом поле галочки напротив выделенных ниже пунктов.
- Переходим на вкладку «Сеть». В этом поле должна обязательно стоять галочка напротив пункта «Использовать прокси-серверы».
- Загружаем IP-адреса, которые мы ранее сохраняли в файле txt, в Key Collector. Для этого нажимаем на кнопку «Загрузить из файла…».
- В открывшемся меню находим наш файл с прокси-серверами и нажимаем «Открыть», после чего в программе отобразится список всех IP из него.
- Проставляем галочки напротив всех IP-адресов, которые будем использовать, для их активации. Строка должна быть зеленого цвета.
Перед активацией загруженные сервера можно дополнительно проверить – нажимаем «Проверить в Yandex.Wordstat», или в ПС Yandex, Google. Иногда мы сталкиваемся с такой проблемой что прокси не проходят "проверку", лучше попробовать в ручную проставить галочки и запустить тестовый сбор парсинга. В этот момент и можно будет понять, работают прокси или нет.
Рекомендации по настройке основных параметров для парсинга
Первым делом нужно установить следующие параметры во вкладке «Сеть»:
- Количество потоков – лучше всего ставить значение равное числу используемых прокси. Например, если их 5, то и число потоков выставляем тоже 5.
- Таймаут ожидания ответа от сервера – устанавливаем не менее 30000 мс.
Остальные настройки выставляются по собственному усмотрению.
Настройка прокси для сбора данных из поисковой выдачи
В данной вкладке для корректной работы прокси рекомендуем выставить следующие параметры:
- Задержки между запросами от – рекомендуем выставить значение 20000 мс до 35000 мс. Внимание: при установке меньшего порога, повышается вероятность «заспамливания» прокси. Это может привести к появлению капчи или блокировке IP поисковыми системами.
- Кол-во потоков – ставим значение в зависимости от кол-ва используемых прокси. Если их 5, устанавливаем значение 5.
Такие же настройки применяем к поисковым системам Google и Mail.
Выставляем остальные параметры:
- Кол-во запрашиваемых результатов в поисковой выдаче – 50.
- Тип поиска позиций сайта – волновой поиск со страницы прошлой позиции.
- Не просматривать глубже – 50 позиции.
Все остальные параметры вы можете выставить на свое усмотрение.
Настройка парсинга в Yandex.Wordstat
В данной вкладке рекомендуем выставить следующие параметры:
- Задержки между запросами от – 20000 мс до 35000 мс.
- Кол-во потоков – ставим в зависимости от кол-ва используемых прокси, больше не рекомендуем. Снимаем галочку использовать основной IP адрес.
- Таймаут ожидания от сервиса – 5000 мс.
- Задержка после авторизации – 20000 мс до 35000 мс.
Все остальные настройки вы можете выставить на свое усмотрение.
Настройка парсинга с помощью Yandex.Direct
Под каждый прокси рекомендуем завести отдельный аккаунт на Yandex. В этой вкладке следует выставить такие значения:
- Кол-во потоков – в зависимости от кол-ва прокси.
- Режим использования прокси – выбираем пункт «делать запросы со всех активированных прокси-серверов (поочередно)».
- Задержки между запросами – от 20000 мс до 35000 мс.
- Кол-во потоков – в зависимости от кол-ва прокси.
Остальные значения вы можете выставить на свое усмотрение.
Помимо это мы рекомендуем использовать сервисы для распознования каптчи. Какими бы не были качественными прокси, поисковая система сможет их обнаружить, и если каптча не распазнается, вероятность блокировки возрастает. Если капча была успешно введена, некоторое кол-во раз, поисковая система позволяет парсить далее.
Что делать при обнаружении ошибок?
Если вы делали все в соответствии с инструкцией, но после настройки обнаружили ошибки, попробуйте выполнить следующее:
- Удалить все старые и закапченные прокси – они могут быть забанены, даже если помечены зеленым цветом.
- Чистить файлы cookie и кэш перед каждым парсингом – это выполняется с помощью специального софта.
- Не использовать большое количество потоков с одного сервера.
- Еще раз проверить правильность настройки согласно инструкции.
Если вышеперечисленные рекомендации вам не помогли, обратитесь в техподдержку. А в комментарии укажите, какие именно прокси-сервера дают сбой при проверке.
Мы постарались максимально подробно описать процесс настройки прокси-серверов в Key Collector. Надеемся, что наша статья поможет вам в разы увеличить производительность парсинга с помощью данной программы.
Добавить комментарий