🪖 Даём отпор армии ботов с помощью CloudFlare

Год назад я подготовил подробную инструкцию и записал видео, о том как отбиваться от ботов с помощью CloudFlare. Неожиданно для меня самого, инструкция начала расходится по чатам.

Через какое-то время на меня посыпались вопросы, о том, что интерфейс сервиса поменялся и требуется новая инструкция. Но боты меня не беспокоили, поэтому я отвечал, что подготовлю в тот момент, когда будет актуально.

Вселенная меня услышала и на один из сайтов навалились десятки тысяч ботов с прямыми заходами и из поиска, и я понял что это знак.

➡️ Ниже список правил и краткий мануал о том, как за 5 минут отбиться. Здесь надо понимать, что последний тренд разворачивать ботовые сетки на IPv6, скорее всего этого правила вам будет достаточно, но заодно актуализируем все остальные.

🖍 Все правки происходят через Edit expression, чтобы не перепечатывать правила, вставляете строчку и жмете Use expression builder.

Итак, заходим в CloudFlare, добавляем сайт, переходим в Security - WAF, жмём Creat rule и погнали:

🧡Правило #1: Пускаем хороших ботов
Rule name: Good Bots
Правило - (cf.client.bot) or (http.user_agent contains "Mail.RU_Bot")
Action: Skip (пропускаем) и ниже выбираем все доступные галочки. Жмём Save.

🧡Правило #2: Фильтруем IPv6 и заход на HTTP
Rule name: IPv6 / HTTP
Правило: (ip.src in {::/0}) or (not ssl)
Action: Managed Challenge

🧡Правило #3: Проверяем всех, кто идет с протоколом меньше HTTP2 или заходит напрямую
Rule name: HTTP<2 / Direct
Правило: (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "")
Action: JS Challenge

🧡Правило #4: (доп.) Блокируем страны. В метрике открываем Отчёты - Аудитория - География и проверяем на аномалии.
Rule name: Country Block
Правило: (ip.geoip.country ne "RU" and ip.geoip.country ne "BY" and ip.geoip.country ne "KZ") или (ip.geoip.country eq "GB")
Action: Block (всех кроме указанных стран - заблокировать, либо блокируем только выбранную страну).

🖥 Пошаговая инструкция уже на канале 🖥

🤖 Мониторинг доступности сайта

Искренняя рекомендация крутого сервиса отслеживания доступности сайта - UptimeRobot. В бесплатной версии можно добавить до 50 сайтов с интервалом запросов 5 минут, проверка идёт с помощью четырех методов:
- HTTP(S)
- Keyword (поиск слова в исходном коде)
- PING (на доступность сервера)
- PORT (на доступность порта)

Пишется вся история падений, считается средний uptime за всё время наблюдений, мгновенные уведомления в кучу мессенджеров, в том числе в Telegram, есть приложения для Android/IOS.

Ребята из Cybermarketing попросили рассказать о бесплатных оффлайн семинарах по поисковому продвижению и маркетингу, которые проходят в Москве по адресу М. Сходненская, ул. Свободы 50 с.2.

Разминаются перед возвращением оффлайн конференции по SEO, которых осталось совсем мало. Полное расписание и информация о докладчиках у них на сайте 🔗

🚩 Недавний пост разлетелся по репостам аж на 250 шт., он все еще актуален, но есть важное дополнение, которое вскрылось в обсуждениях.

🤖 Фактически, все боты сейчас гуляют через IPv6, просто это дешевле и практичнее, поэтому если к вам ломятся накрутчики, то как и было сказано ранее вероятнее всего вам нужно работать только с этим правилом. Проблема в том, что Managed Challenge, через который мы рубим накрутчиков, затрагивает и живых пользователей - они видят промежуточный экран клауда и ожидают пока пройдут проверку, это не есть хорошо, особенно когда имеется альтернатива.

❔ Что вообще делать и как разобраться, какой тип ботов вам гонят: настраиваем правила из поста выше и смотрим в течении пары часов, на какое правило приходится самая большая нагрузка (прямые заходы, IPv6, HTTP<2 и т.д).

➡️ Если это IPv6, то все что нам необходимо сделать - выключить совместимость c IPv6 в настройках сети (раздел Network в сайдбаре). Но дело в том, что тумблер включен и через интерфейс его не выключить, поэтому действуем по инструкции:
- Переходим по ссылке
- Получаем Global API Keys
- Заходим на сайт и вбиваем почту, API и ищем пункт Отключение IPv6
- Жмём Запустить выполнение и дожидаемся подтверждения
- Обновляем страницу и видим, что тумблер выключен

☑️С этого момента боты больше не могут попасть на сайт, а вот живые люди из под операторов Мегафона и МТС проходят без проблем. Тестировал все выходные, результаты на скриншоте.

За это дополнение огромная благодарность @ruubot

Начинайте неделю правильно - c SEO-аудита топового сайта для взрослых 🍓

🖥 Что в ролике:
- Типы страниц, методы их оптимизации и распределение трафика по ним
- Разбор успешных механик продвижения
- Технические ошибки и косяки
- Точки роста и упущенные направления

В общем, полноценный SEO-аудит сайта-миллионика от А до Я и наглядное руководство по тому, как изучать конкурентов.

Самое интересное, что механики легко подходят для любого екомма, агрегаторов и маркетплейсов.

В силу понятных ограничений со стороны YouTube страницы сайта демонстрировать не могу, но вам же никто не мешает посмотреть их самостоятельно :)
Строго 🔞 - https://youtu.be/wVC18er-ktQ

🛍 Сделай сетку сайтов с помощью ChatGPT и зарабатывай на SEO

Запись доклада Дениса Нарижного на конференции Kinza 360.

https://www.youtube.com/watch?v=KDdxvw35FSs

Михаил Шакин aka Глобатор, @shakinru #pbn #chatgpt #нейросети #дропы #заработок

🖥 Невероятно насыщенный выпуск с Айратом Рахимзяновым уже на канале.

⭐️Всего 40 минут, но крайне концентрированная информация о том, как получать лиды по SEO через сарафан, нанимать и контролировать команду, держать качество продукта и многое другое.

⏳ Таймкоды получились настолько длинными, что решил их здесь не публиковать, но они есть в закрепленном комментарии под видео.

В пятницу открыл Keys.so, сначала подумал, что верстка поехала, а оказывается дизайн обновили 😂 и выкатили крупное обновление - теперь собирают данные по внешним ссылкам 🔗, пока что Ahrefs на минималках, но это реально огромный шаг вперёд.

Первая мысль - подключили API Ahrefs, а оказывается нет - целиком собирают и накапливают данные самостоятельно, поэтому пока еще картина не полная. До 3 сентября отчёт по ссылкам будет доступен на всех тарифах, потом только на корпоративном и профессиональном.

Напомню, что по промокоду heymm20 скидка 20% на первую оплату 🫡

🐸 Есть такой режим Mode - List, когда выгружаешь свой список страниц и лягушка сканирует только их. Режим не самый популярный, я использую его когда нужно пропарсить список урлов разных сайтов и достать нужные данные (мету, h1, любой xpath), чаще всего у конкурентов, ну или найти кого-нибудь.

Если при обновлении на 19 версию при сканировании в этом режиме лягушка начинает обходить не только заданные урлы, но и остальные, то самое простое сбросить настройки на дефолтные, не забыв установить галочку в Configuration - Advanced - Always Follow Redirects (спасибо @niksokol)

P.S На скриншоте отправил на обход 7 урлов с http, сработали редиректы, добавились новые урлы в очередь, а заодно запустился парсинг по всему сайту

🤖 Официально заблокировать доступ ChatGPT к сайту можно следующими способами:

Через настройку в robots.txt

User-agent: GPTBot
Disallow: /

Или через блокировку IP адресов

20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28

Блокировка с помощью CF на скриншоте 🖥

Wireguard, как и OpenVPN на пороге блокировки, у меня пока работает, но снова надо искать альтернативу.

Из текущих альтернатив - Amnezia VPN и Shadowsocks. Стоимость без изменений - 3 €/мес, разворачивается за 15-20 минут.

Для этого:
♦️Регистрируемся у френдов
♦️Пополняем баланс с помощью карты (в том числе российской)
♦️Заказываем VDS Micro за 2.99 €/мес.
♦️Настраиваем Shadowstock или Amnezia VPN по инструкции

☑️Персональный VPN готов, не забудьте промокод wvds на скидку 20% 💸 на первую оплату.

🖥 В среду в 11:00 расскажу на канале Михаила Шакина про то, что делать сайтам, которые занимают топ-1 в нише по объему трафика.

О том как находить точки роста для них (а они есть) и что с ними делать как раз и поговорим.

☑️Все указанные механики будут работать и для небольших сайтов. Как всегда, в онлайн режиме будут ответы на вопросы, приходите, уверен почерпнете для себя несколько интересных подходов, о которых еще не говорил у себя на каналах 🤟

🖥 На скриншоте один из слайдов с графиками распределения CTR по выдаче в зависимости от позиции, есть идеи что за ниша?

⚙️ Значимые обновления Яндекса в августе

♦️С 1 сентября произойдет отключение сервиса Яндекс.XML, с помощью которого можно парсить поисковую выдачу в несколько потоков.

♦️ Раскатали новый алгоритм, который массово пессимизирует сайты за малополезный контент и избыток рекламы. Судя по всему, под раздачу попало огромное число сайтов, включая вполне неплохие статейники, новостники и даже интернет-магазины. Чуть подробнее можно почитать на SearchEngines.

♦️ Яндекс.Метрика тестирует новый отчет "Средние показатели по рынку", включающий три подраздела: возвращаемость, вовлеченность и динамика трафика.

📊 Пока в бете и нашел только у двух проектов (находится в разделе "Отчёты" первой строчкой). Динамика трафика дублирует раздел Поисковые запросы > Тренды в Яндекс.Вебмастере (поэтому можно посмотреть там) и позволяет смотреть изменения в трафике относительно ближайших сайтов в нише.

Интересные данные появились в отчете Вовлеченность - есть сравнение по глубине просмотра, времени на сайте и доле отказов по сравнению с аналогичными сайтами в нише.

☑️Практическое применение вижу в том, чтобы быстро детектировать проблемы с сайтом в случае роста или просадки (растёт/падает вся ниша или только ваш сайт), а также понимать, как ведут себя пользователи на других сайтах, и стоит ли работать над ростом указанных параметров.

После подкаста с Айратом купил и отложил до лучших времен книгу Татьяны Щербань - "Результат чужими руками", а тут отпуск и появилось время её прочитать. Забегая наперёд - книга отличная, с набором практических методик по взаимодействию с разными типами людей, но заинтересовало в ней совсем другое - более качественное понимание собственных мотивов и целей.

Основа книги - DISC профиль, методика оценки типажей людей на базе их восприятия мира и реакции на события. Про DISC детально можно посмотреть в интернете, но если кратко, то я их понимаю следующим образом:
🔤 - Доминирующее поведение в агрессивной среде. Мир не дружелюбен, но я буду с ним воевать (начальники, руководители, гендиры). Инициируют перемены, любят адреналин, конкуренцию, не командные.
🔤 - Мир дружелюбен и я готов активно забирать его плоды (шоумены, ведущие свадеб, комики). Пытаются обаять весь мир, всем понравиться, вызывать восхищение.
🔤 - Мир дружелюбен, но я не готов с ним воевать. Стабильность, предсказуемость, полное не умение конкурировать, низкая амбициозность (бухгалтеры, кондитеры, врачи). Могут работать только в команде.
🔤 - Мир не дружелюбен, но я к этому готовлюсь - анализы, планы, стратегии, логические связи во всем и везде, низкая эмоциональность, системность.

В чистом виде профилей не бывает, всегда есть главный и есть побочный. Очевидно, SEO - это про C профиль, если вы читаете это - с наибольшей вероятностью главный именно он. Сложно представить несистемного SEO-специалиста. Можно пройти тестирование, и если C не на первом месте - стоит задуматься, надо ли вообще вам пытаться продвигать сайты.

А вот дальше интересно:
Cd - становятся руководителями SEO-агентств, системные, властные, но при этом выстраивающие бизнес процессы. Второй вариант - частные спецы, которые готовы ввязываться в сложные проекты и добиваться результата. Из примеров всплывают Ашманов, Джилавдаров.
Ci - SEO-блогеры, постоянные участники конференций, люди стараются быть на виду, запускают свои курсы, производят хорошее впечатление, ведут за собой людей (Маркин, Нарижный)
Cs - здесь чаще всего наймиты, мидл-специалисты, которые системно без высоких требований к миру выполняют свою работу. Интересно, что Айрата как раз я классифицировал тоже сюда, как владельца небольшого бутикового агентства со строго выстроенными регламентами и процессами.

В целом, вторая буква как раз и определяет, то что у вас будет получаться лучше всего. Отсутствие "вызовов" в простых проектах выдавливает меня в работу над сложными сайтами, здесь чувствуется азарт, интерес, готовность к новому. А вот монотонная работа над понятными процессами (S) - вводит меня в дикую апатию. Выводы для себя сделал, рекомендую и вам пройти тест и ознакомится с книгой. Читается легко буквально за пару дней.