⚙️ Скрипт для быстрой очистки семантики на основе топа

Идея предложена ребятами из MOAB, а это максимально простая реализация на Python.

Напомню суть: чтобы понять относится ли запрос к вашему сайту или нет, нужно собрать список наиболее близких конкурентов и посчитать, сколько раз они встречаются в топе по семантике.

Если в топ-10 хотя бы 2 ваших конкурента, то однозначно он релевантен и вам. Если в топе нет ни одного конкурента, то запрос можно удалить.

Считая для каждого запроса количество «баллов» можно быстро отфильтровать семантику и удалить запросы набравшие 0 или 1 балл.

Область применения скрипта не только в чистке семантики, но и для определения коммерческости запроса (например, по наличию Яндекс.Услуг / Маркета)

Как работать со скриптом
➖ Устанавливаем Python
➖Выгружаем семантику из необходимых источников: Яндекс.Вебмастер, Поисковые подсказки, Яндекс.Wordstat, Keys.so
➖ Собираем данные выдачи, например, через KeyAssort
➖ Приводим к формату запрос;url1;...;url10 в текстовом файле input.txt (экспорт данных в XLSX в программе KeyAssort)
➖ Сохраняем код питона в файл cleankeys.py и кладём рядом с input.txt, не забываем указать конкурентов (больше - точнее)
➖ Запускаем скрипт, получаем файл finish.csv, в котором содержится колонка с баллами.
➖ Средствами экселя фильтруем запросы, набравшие 0 или 1 балл

Результат на скриншоте, за пару часов можно автоматом вычистить десятки тысяч запросов и оставить только целевые, ссылка на код скрипта.

В комментариях на 🖥 подсветили, что код из телеграфа читается криво и скрипты не запускаются, поэтому недолго думая зарегистрировал github.

⚡️ Сейчас там лежат два скрипта:

1️⃣Анализатор запросов из Яндекс.Вебмастера (Мониторинг запросов)
2️⃣Подсчет баллов на основе выдачи и конкурентов через Arsenkin.ru

Я их использую последовательно - сначала фильтрую данные из Вебмастера, а затем проверяю на соответствие конкурентам, на выходе за 20-30 минут получается хорошая концентрированная семантика.

Все с комментариями и пояснениями, дальнейшие обновления и новые скрипты буду заливать туда.

Популярный вопрос - идти в SEO или не идти, особенно с ChatGPT. Если коротко - тренд нисходящий, но на нём все еще можно хорошо заработать.

Все потому, что молодое поколение подростков уже ищет не в поисковиках, а в тик токе, да еще и голосом, чему сам стал свидетелем на новогодних праздниках.

Те, кто жил при зарождения поиска через Яндекс/Google так и будут им пользоваться, но эти поколения постепенно уйдут и на смену придут те самые дети, для которых текстовый ввод не существует. Да, не сразу, да не быстро, но популярность классических поисковиков, в которых мы привыкли работать будет падать.

С другой стороны, прямо сейчас вижу сильный кадровый голод в нише SEO, многие предприниматели с удовольствием отдали бы сайт на базовую оптимизацию, но банально некому. 5-6 таких клиентов могут легко приносить 300к+ в месяц дохода (а это комфортная нагрузка в 4-6 часов в день)

В итоге, сейчас достаточно будет плюс минус года, чтобы разобраться в нюансах и начать хорошо зарабатывать в SEO при должном желании и усердии, особенно с таким изобилием материалов.

План примерно такой:
1) Фундаментально понять что нужно поисковикам (последнее время на канале именно про это - раз, два, три)
2) Научиться базовым работам с гарантированным результатом: сбор семантики, анализ конкурентов, структура сайта и посадок (про это на ютубе)
3) Уметь замерять эффект от внедряемых действий (как минимум, корректная настройка сервисов сбора позиций и понимание отчетов Я.Метрики)
4) Постепенно углубляться в отдельные направления работ (больше семантики, детальнее структура и текстовая оптимизация, ПФ, линкбилдинг, логи, ...)
5) Убирать рутину через автоматизацию на ИИ

Если даже это сложно, есть совсем простая схема - копируйте большинство механик сильнейших конкурентов (те же посадочные страницы, те же блоки на страницах, ...) и получаете результат, даже не понимая почему и как это сработало 🫡

Неудобная правда состоит в том, что результаты в SEO зачастую зависят не от самого специалиста, а от проекта, над которым он работает. Однако присутствует мнение, что есть тайные знания, которые открывают дорогу к топу для любого сайта.

Все гораздо проще. SEO-специалист в проекте - это мультипликатор, причем даже не кратный. В мощном продукте сильный специалист придёт к большому результату и быстро, слабый специалист тоже придёт к результату, но скромнее и дольше, но придёт! В слабом продукте любой специалист будет бессилен, хотя действия могут совершаться ровно те же самые.

Например, создать теговую страницу на Озоне и маленьком ИМ - действие одинаковое, а в результате первая страница через час в топе, а вторая даже не проиндексируется.

Ближайшая аналогия - это кино, хороший актер никогда не вытянет плохой фильм, как и плохой актер вряд ли сильно испортит очень хороший фильм, однако хороший актер и хороший фильм соберут корзинку Оскаров.

В итоге, чтобы то, что SEO-шник делает начало работать, на проекте как минимум должны быть соблюдены следующие требования:
➖За сайтом есть сильный продукт, который лучше среднего по рынку решает проблему пользователя (на самом деле это критически важно)
➖В развитие вкладываются все необходимые ресурсы в виде финансов/людей/инструментов
➖Руководство не мешает делать то, что нужно делать чтобы оказаться в топе (любые сеошные пируэты)

Отсутствие хотя бы одного пункта, тут же обнуляет даже вероятность получить результат, поэтому закономерно получаем простое правило - если не хотите выгорать, расти по карьере и получать удовольствие от работы, параллельно хвастаясь кейсами, выбирайте проекты, которые могут показать рост, ну и собственно показывайте.

Сам обжигался, причем даже влетал в проект, где были нарушены все минимальные требования. Результатов конечно же там не было, при этом усилий приходилось прикладывать кратно больше, чем требовалось, чтобы хоть что-то сдвинуть с мертвой точки.

Давно хотел автоматизировать анализ сильных сторон конкурентов, чтобы каждый раз не создавать и не настраивать проект в Power BI. А поскольку рекламная пауза затянулась, то решил поделиться с вами своими потугами в программировании через нейросети.

Общий смысл скрипта довольно прост - мы забираем данные по страницам и их видимости из отчета в Keys.so и разбираем их на слаги (папки, уровни вложенности, ...).

Далее изучаем два момента:
1️⃣Какие разделы самые популярные
2️⃣Страницы с каким слагом самые популярные (и сколько их)

На основе полученной информации мы можем не только правильно выбирать приоритетность работ при разработке нового проекта, но и находить страницы или разделы и подразделы, которые стрельнули у конкурентов для поиска точек роста.

Итоговый Excel файл содержит важную информацию:
➖Сам слаг
➖На каком уровне вложенности он лежит (для быстрой фильтрации)
➖Количество страниц с таким слагом
➖Суммарная видимость всех страниц с этим слагом
➖Пример URL (для быстрого перехода)
➖А также создаются отдельные листы под каждый уровень вложенности, чтобы перемещаться по дереву структуры

Колонки со слагом и суммарной видимостью находятся рядом, чтобы мгновенно построить диаграмму и визуально сравнить распределение трафика.

За последние пару месяцев я неплохо разобрался с Github, поэтому не только закидываю туда сам код и инструкцию по запуску, но еще и регулярно обновляю его + фиксирую лог изменений, поэтому здесь информацию дублировать не буду.

⚡️⚡️⚡️Скачать Slug Analyzer ⚡️⚡️⚡️

А еще в Keys.so можно получить скидку на первую оплату в 20% по промокоду heymm20

P.S Я не программист, и быть им не планирую, поэтому любые комментарии вида код плохой, не оптимальный и прочее будут игнорироваться. Поставленная задача корректно выполняется за 10 секунд, а большего мне и не надо.

Писать особо не о чем, поэтому расскажу над чем работаю в данный момент.
Пару лет назад загорелся идей сделать сервис по автоматической оптимизации любого сайта, тем более на рынке таких решений не было от слова совсем.

Все сервисы, которые предлагали автоматическое продвижение действовали довольно примитивно - они либо пытались проводить позапросную аналитику для релевантных страниц (и главная проблема - корректность сбора семантики и отсутствие группировки запросов), либо давили на один фактор ранжирования, например, авто закупка ссылок.

Боль при этом очевидна - есть большой рынок тех, кому просто нужно продвижение (либо разовая оптимизация сайта) и есть много подрядчиков со своим виденьем и стандартами, которые никак не коррелируют с итоговым результатом. В итоге, SEO для многих стало эдакой рулеткой - попробуем поработать с этими, ждём результат, если не получится - уйдем к другим. Знаю даже случаи, когда кольцо сансары замыкалось и клиент приходил на второй круг.

С тех пор, время от времени, я возвращался к мысли полного исключения человеческого фактора из работ по SEO, тем более алгоритм продвижения был написан, но для отдельных шагов не находил способов автоматизации.

Например, как автоматически собрать чистую семантику без мусора? А как автоматически анализировать конкурентов и расширять структуру? Можно ли автоматизировать закупку ссылок? Что делать с текстовой оптимизацией не по ключу, а по кластеру запросов?

И вот, наконец дождался стыка двух важных моментов:
🟠Само SEO максимально упростилось, Яндекс едет за счет ПФ, Google - на ссылках, и обоим поисковикам все еще нужна текстовая релевантность на странице.
🟠Появление ИИ позволяет гибко работать с текстовыми факторами, включая как анализ, так и генерацию необходимых данных.

Всё что остаётся - развернуть структуру сайта с необходимыми текстовыми вхождениями (или сообщить о том, каких страниц не хватает, а какие доработать) и топить в соответствующие факторы - ПФ и ссылки.

Два ключевых блокера решены - сбор полной чистой семантики без примесей для любой ниши и типа сайтов, и оценка степени оптимизации страниц для подготовки рекомендаций по расширению/доработкам страниц на основе собранной семантики, все на полном автомате. На вход один раз подаётся список товаров или услуг и получается магия которой до сих пор удивляюсь сам, хоть и понимаю как это работает.

Сейчас, скрипты обкатываются на консультациях и клиентах из ПФ, например, удаётся кратно расширить семантику и найти хорошие запросы даже для очень сложных ниш, которые не находились ни в вордстате, ни у конкурентов, при этом наглядно видим какие страницы и почему не растут (спойлер - либо недостаточная текстовая релевантность, либо не тот интент).

Система модульная, чтобы любой из модулей была возможность переделать, усилить или улучшить. До готового продукта далековато, тем более, улучшать можно бесконечно, прикручивая подготовку статей на основе продвигаемого кластера при закупке ссылок, или автоматизируя индексацию новых страниц через Google Indexing API.

Итоговый продукт за пару часов должен проводить комплекс работ соразмерный 2-4 месяцам работ обычной SEO-студии.

Дело с автоматической оптимизацией проектов двигается (в основном по вечерам). На текущий момент реализовано:
🟠Сбор семантики проекта любого масштаба под ключ, скорость хорошая и это в один поток, умеет выдергивать даже очень низкочастотный целевой хвост. Сразу готовится файл для импорта в Топвизор. Разные режимы - для новых и существующих сайтов.

🟠Готов постраничный анализатор сайтов. Изучал все текущие решения - ни одно не понравилось, очень скудные, работают в лоб. В итоге, написал с нуля свое, где получаю все необходимые данные и провожу анализ под кластер запросов, а не в разрезе страница - запрос. Скорость ужасная, но обоснована обращениями к несколько сервисам по API. На выходе получается большая сводная таблица, которая показывает где, чего и сколько не хватает. Делает акцент на важном (с учетом частоты запросов из кластера, встречаемых слов, LSI и подсветок) и игнорирует все лишнее.

🟠Дальше в планах взяться за ссылочное:
На вход отдаёшь сайт и получаешь список площадок для закупки, которые собраны конкретно под проект, с учетом траста и самой низкой цены (если донор встречается на разных биржах). При указании бюджета - будет рассчитываться среднемесячная стоимость и оптимальные площадки, а также целевые посадочные и анкоры для них, в общем полноценный ссылочный план. С потенциалом реализации модуля генерации текста для статей.

Подумываю всё таки обернуть в сервис и выдать доступ, сэкономит многим людям колоссальное количество денег. Но до этого момента нужно протестировать на десятке сайтов, чтобы с уверенностью говорить - что всё это работает как задумалось. Под тестом понимаю - оптимизацию по рекомендациям скрипта и замер динамики позиций.

⚙️ Консольный скрипт парсинга сайтов с биржи Miralinks

Приступил к реализации автоматической ссылочной стратегии, а для этого надо иметь актуальные данные со всех бирж ссылок, начал с самой популярной в рунете - Миралинкс.

Принцип простой - открываем на F12 консоль в браузере и запускаем скрипт, он постранично идёт и забирает найденные площадки, а заодно все сопутствующие параметры.

Таймаут между выполнениями установлен в 5 секунд, максимальное количество страниц для парсинга - задаётся вручную в самом начале, в конце выполнения запись в файл data.csv и сохранение на компьютер.

Из известных проблем - иногда Мира выводит пустое поле с сайтами, в результате данные со страницы не забираются, буду разбираться, пока баг решается увеличением времени ожидания.

Описание и подробная инструкция как всегда на github, со временем буду дорабатывать и исправлять.

⚡️ Скачать Miralinks Parser ⚡️

На выходных доделал скрипт для парсинга GGL и собрал полную базу их ссылок. Делалось это для того, чтобы иметь не только полный список доноров (GGL - 24к, Mira - 18к), но и сравнивать цены между биржами.

Те, кто работает с ними давно прекрасно знает, что цена на одну и ту же площадку может отличаться кратно, причем независимо от биржи, собственно пример на скриншоте.

Скрипт для парсинга площадок с GGL и их параметров как всегда на github:

⚡️ Скачать GGL Parser ⚡️

Пожалуй надо дать комментарии по поводу последнего апдейта по ПФ, тем более имеется хорошая выборка по проектам, которые крутим.

Далее мое личное мнение, прошло слишком мало времени, чтобы делать полноценные выводы, но картина прорисовывается следующая:
🟠(очевидно) меньше всего упали сайты, которые хорошо ранжировались изначально и дожимались ПФами до топ-1
🟠Неожиданно, но в том числе не сильно пострадали сайты, которые имели низкую видимость до накрутки, но с хорошей базовой сеошкой (структура, тексты, on-page)
🟠Сильнее всего пострадали сайты по которым было плохое попадание в интент, отсутствие нормальной релевантной, слабые текстовые и малый объем контента на странице, они и до апа шли тяжело
🟠По тем проектам, где есть метрика вижу просадку живого трафика на примерно тот же процент, на сколько упала видимость.

Вероятнее всего крутанули ручку значимости фактора ПФ в меньшую сторону. Например, был коэффициент 5, стал 2. Посыпались сайты со слабыми прочими факторами, поскольку этого мультипликатора теперь не хватает для удержания топа, а это весь тот мусор, который заталкивался наверх только за счет объемов по кликам.

Если всё так, то решение однозначно пойдет на пользу выдаче. Теперь чтобы оказаться в топе, всё таки придётся проработать сайт, а не только купить сервер и софт. Но важно не забывать, что все могут откатить, или скорректировать в любую сторону, наблюдаем.

На скриншоте проект, который вытягивался с 4% видимости только кликами с ноября того года, других работ не велось, отката к 4% не произошло.