Wiki · Вредоносные технологии

Прокси

5 мин чтенияАвтор: Станислав БарановСоавторы: Евгений Баев

Прокси (прокси-сервер) – это сервер-посредник между пользователем и сайтом: запросы уходят на прокси, а он пересылает их дальше от своего имени. Сайт при этом видит IP-адрес прокси, а не настоящий адрес посетителя.

Сам по себе прокси ничем не плох. Через него компании выпускают сотрудников в интернет, сервисы съёма позиций проверяют выдачу из разных городов, а nginx на сервере принимает запросы перед сайтом. Но та же подмена адреса нужна ботам: тысяча запросов с тысячи разных IP выглядит как тысяча разных людей. Поэтому владельцу сайта полезно понимать, как прокси устроены и как распознать трафик через них.

Что видит сайт, когда запрос идёт через посредника

Без прокси браузер обращается к сайту напрямую, и сайт видит адрес провайдера пользователя. С прокси браузер отправляет запрос посреднику, тот запрашивает страницу и возвращает ответ. Для сайта источником запроса становится сервер прокси, который может находиться в другом городе или стране.

Схема работы прокси: при прямом запросе сайт видит IP посетителя, при запросе через прокси-сервер видит только адрес посредника — Как работает прокси

Прокси бывают прозрачными и анонимными. Прозрачный передаёт настоящий адрес пользователя в заголовке X-Forwarded-For, анонимный его скрывает.

Прямые и обратные, HTTP и SOCKS5, серверные и резидентные

Признак	Виды	Где встречается
Чью сторону представляет	прямой (forward) и обратный (reverse)	прямой стоит у пользователя или в офисе, обратный перед сайтом: nginx, CDN, защита от DDoS
Протокол	HTTP, HTTPS, SOCKS5	HTTP-прокси работают с веб-страницами, SOCKS5 с любым трафиком приложения
Откуда адреса	серверные, резидентные, мобильные	серверные живут в дата-центрах, резидентные и мобильные используют адреса домашних и мобильных операторов

Для защиты сайта важно последнее деление. Адреса дата-центров легко отличить от обычных посетителей. Резидентные и мобильные адреса совпадают с адресами живых людей, поэтому бота за таким прокси по IP почти не вычислить.

Схема видов прокси: прямой и обратный, HTTP и SOCKS5, серверные, резидентные и мобильные адреса — Какие бывают прокси

Чем прокси отличается от VPN

VPN создаёт зашифрованный туннель и пропускает через него весь трафик устройства. Прокси обычно работает для отдельного браузера или программы и сам по себе трафик не шифрует, хотя при работе с сайтом по HTTPS содержимое страниц всё равно защищено. Для сайта разницы почти нет: в обоих случаях он видит чужой IP.

Где прокси используют законно

В офисных сетях: компания выпускает сотрудников в интернет через один шлюз, кэширует файлы и ограничивает доступ к лишним сайтам.
В SEO и рекламе: проверить выдачу и объявления так, как их видят в другом городе.
При тестировании сайта: убедиться, что региональные цены и контакты показываются правильно.
На стороне сайта: обратный прокси кэширует страницы, ускоряет отдачу и принимает на себя атаки.

Как подключить, выбрать и отключить прокси

Как подключить прокси на компьютере с Windows?

В «Параметрах» Windows откройте раздел «Сеть и Интернет», пункт «Прокси-сервер», и в ручной настройке укажите адрес сервера и порт. Chrome и Яндекс Браузер подхватят системный прокси сами, а Firefox настраивают отдельно, в его собственных параметрах сети.

Где отключить прокси, если после него перестали открываться сайты?

Там же, где включали: в системных настройках сети уберите ручной прокси, а в браузере со своими настройками, как Firefox, верните прямое или системное соединение. Если прокси прописала программа или расширение браузера, сначала отключите их, иначе настройка вернётся.

Как подключить прокси в Telegram?

В настройках Telegram есть раздел для прокси: добавьте сервер, выберите тип SOCKS5 или MTProto, укажите адрес, порт и логин с паролем или секретный ключ. Быстрее открыть готовую ссылку от владельца прокси, Telegram сам предложит подключиться. MTProto – собственный протокол мессенджера, поэтому такой прокси годится только для Telegram.

Почему прокси подключён, а сайты не открываются?

Чаще всего не совпадает тип: сервер SOCKS5 вписан в поле для HTTP или наоборот. Дальше проверьте порт, логин и пароль. Бесплатные адреса из списков к тому же быстро перестают отвечать, а если не открывается один конкретный сайт, он может не пускать адреса дата-центров.

Чем SOCKS5 отличается от HTTP-прокси?

HTTP-прокси понимает веб-запросы и подходит браузеру. SOCKS5 не разбирает содержимое и пересылает любой трафик программы, поэтому его берут для мессенджеров, почтовых клиентов и парсеров.

Что не так с бесплатными прокси из открытых списков?

Владелец такого сервера видит, на какие сайты вы ходите, а на страницах без HTTPS ещё и всё, что вы вводите. К тому же адреса из открытых списков часто попадают в базы антиботов, и сайты встречают их капчей или блокировкой.

Чем мобильные прокси отличаются от резидентных?

Источником адресов: резидентные берут IP домашних провайдеров, мобильные – сотовых операторов. За одним мобильным IP обычно выходят в сеть многие абоненты сразу, поэтому сайты почти не блокируют такие адреса, и бот за ними теряется среди обычных людей.

Почему сайт просит отключиться от VPN или прокси?

Его защита увидела адрес дата-центра или известного прокси-сервиса и сочла визит подозрительным. Так делают сервисы, которым важно знать настоящего посетителя: банки, платёжные системы, магазины с защитой от мошенничества. Отключите прокси или VPN для этого сайта и обновите страницу.

Для чего прокси при съёме позиций и сборе выдачи?

Чтобы видеть выдачу глазами жителя нужного города и собирать данные пачками без блокировки за частые запросы. Это честное применение. Те же прокси в руках накрутчиков поведенческих факторов могут обернуться санкциями поисковика против сайта, которому накручивают визиты.

Законно ли пользоваться прокси в России?

Обычному пользователю закон прокси не запрещает. Требования есть к владельцам таких сервисов: статья 15.8 закона «Об информации» запрещает им открывать доступ к ресурсам, заблокированным в России.

Как прокси используют против сайтов

Накрутка поведенческих факторов: боты заходят из поиска с разных адресов и имитируют живых посетителей.
Скликивание рекламы конкурентов, о нём подробнее в статье Кликфрод.
Массовый парсинг цен и каталога в обход лимитов по IP.
Перебор паролей к админке и личным кабинетам, спам через формы.
DDoS-атаки на уровне приложения, где каждый запрос идёт с нового адреса.

Как распознать трафик через прокси

Много визитов из сетей хостинг-провайдеров и дата-центров, а не от домашних и мобильных операторов.
Регион по IP не совпадает с часовым поясом и языком браузера.
Одинаковые сценарии: вход на одну страницу, ноль секунд, выход.
Всплеск заявок-пустышек с похожими именами и несуществующими телефонами.

Чек-лист признаков ботов за прокси: визиты из дата-центров, несовпадение региона, нулевые визиты, заявки-пустышки, запросы к форме входа — Признаки ботов за прокси

В Яндекс Метрике есть настройка фильтрации роботов, а в отчётах можно отдельно посмотреть визиты, которые система посчитала роботными. Против ботов на формах помогают лимиты на число отправок с одного адреса, скрытые поля-ловушки и капча на подозрительных запросах.

Если прокси стоит перед вашим сайтом

Обратный прокси, CDN или сервис защиты от DDoS принимают запросы вместо сервера. Тогда в логах и в CMS все посетители выглядят как несколько адресов прокси. Блокировка по IP в таком случае ударит по всем сразу. То же касается лимитов в CMS, например «Контроля активности» в 1С-Битрикс: не зная настоящих адресов, он заблокирует сам прокси, а с ним и всех посетителей. Настоящий адрес приходит в заголовке X-Forwarded-For, и сервер нужно научить его читать. Для nginx это выглядит так:

# адреса вашего прокси или CDN
set_real_ip_from 10.0.0.0/8;
real_ip_header X-Forwarded-For;

Доверять этому заголовку можно только от своего прокси. Если принимать его от кого угодно, бот подставит в него любой адрес и обойдёт блокировки. Если сайт живёт на виртуальном хостинге, уточните у поддержки, как у них передаётся реальный IP посетителя.

Как не навредить себе, отсекая ботов за прокси

Заблокировать все зарубежные адреса. Вместе с ботами отрежутся роботы поисковиков и клиенты в поездках.
Принимать X-Forwarded-For от любого источника и строить на нём блокировки.
Считать конверсию по всем визитам, не отделив роботов, и делать выводы о рекламе по накрученному трафику.

Отсечь ботов, настроить лимиты и правильную передачу IP за прокси поможет услуга информационная безопасность сайтов. Следить за качеством трафика в рекламных кампаниях мы помогаем в настройке и ведении контекстной рекламы.

Документация и закон