Robots.txt, глубокие ссылки и ЕС: что Google меняет в техническом SEO и почему это важно именно сейчас
Техническое SEO — это не та сфера, где изменения заметны сразу. Здесь всё происходит незаметно: Google обновляет документацию, добавляет несколько строк в раздел о сниппетах, публикует подкаст о robots.txt — а большинство сайтов продолжают работать по старым правилам. Ещё месяц. Ещё квартал.
А потом кто-то теряет несколько процентов кликов. Или сниппет становится урезанным. Или конкурент с правильно настроенным файлом сканирования оттягивает часть трафика. Вот тут-то и начинаются поздние сожаления.
В апреле 2026 года Google опубликовал три важных обновления для технического SEO: новые рекомендации по использованию deep-ссылок «Read more» в сниппетах, расширение документации по robots.txt на основе реальных данных HTTP Archive, а также требования ЕС по передаче поисковых данных конкурентам и AI-чат-ботам. По отдельности каждое изменение выглядит незначительным. Вместе — они дают четкий сигнал: Google формализует правила, и сайты, которые играют по ним, получат преимущество.
Команда ADS Group — цифровое агентство с 2011 года. SEO, PPC, разработка и таргетинг для e-commerce и B2B. Еженедельно отслеживаем изменения в поисковой системе и проверяем их влияние на реальных проектах.
Что такое техническое SEO в 2026 году: это набор технических условий, при которых поисковый бот правильно сканирует сайт, индексирует нужные страницы и корректно формирует их представление в выдаче — сниппеты, deep links, структурированные данные. Три обновления апреля 2026 года — это точечные изменения в каждом из этих аспектов: сканирование (robots.txt), представление (deep links) и регуляторный контекст (DMA ЕС).
Почему страницы теряют deep links — и как Google это исправляет
«Read more» deep links — это дополнительные анкорные ссылки внутри сниппета Google, которые ведут сразу на конкретный раздел страницы. Эта функция существует уже не первый год. Но до апреля 2026 года в Google не было опубликовано рекомендаций по оптимизации — SEO-сообщество гадало, что и как влияет на появление этих ссылок.
Теперь существует три задокументированных правила (источник: обновленная документация Google Search Central, апрель 2026 года):
- Контент должен быть виден пользователю сразу при загрузке страницы. Если он скрыт за аккордеоном, вкладками или раскрывающимися секциями — вероятность появления deep links снижается.
- Нельзя использовать JavaScript для принудительной перестановки положения прокрутки в начало страницы при загрузке.
- Если страница использует History API или window.location.hash, хеш-фрагмент URL нельзя удалять при загрузке. Именно он обеспечивает привязку ссылки к разделу.
Три правила — первый публичный сигнал. Вот что важно понять: это не новая функция. Глубокие ссылки уже появлялись. Это первое официальное объяснение того, почему они не появляются.
Из нашей практики: большинство сайтов электронной коммерции, на которых есть FAQ, описания товаров и таблицы характеристик, используют либо аккордеоны, либо вкладки. Эти решения удобны с точки зрения UX. Но для краулера и формирования deep links они создают проблему: контент фактически скрыт до взаимодействия пользователя.
Практический вывод:
Если ваши ключевые разделы — описание продукта, преимущества, ответы на вопросы — раскрываются только после клика, то прямые ссылки на эти разделы, скорее всего, не появятся. Стоит проверить, не скрывает ли ваш сайт основной контент от сканера Google.
Слободан Манич (No Hacks) обратил внимание на важный нюанс: Google сформулировал это как требование к контенту, «видимому для человека», а не как особенность исключительно deep links. Это общий принцип — и он касается всех функций выдачи, зависящих от структуры.
💡 Инсайт: JavaScript-рендеринг и SPA-архитектура создают одинаковые сложности для краулеров и AI-агентов. Аудит для deep links и аудит для AI-видимости — это фактически одна и та же проверка. Сайт, разработанный с учетом этих принципов, получает преимущество в обоих контекстах.
Robots.txt: какие директивы Google наконец-то обозначит как «неподдерживаемые»
Если кто-то скажет вам, что robots.txt — это простой файл, значит, этот человек не читал реальные файлы на крупных сайтах. Там можно встретить всё: Crawl-Delay, Noindex, Nofollow, Sitemap с относительными путями, строки, унаследованные с 2009 года.
В апреле 2026 года команда Google Webmaster (Гэри Иллис и Мартин Сплитт, подкаст Search Off the Record)объявила о планах расширить документацию по robots.txt — добавить список директив, которые широко используются, но не поддерживаются Google. Основа для этого списка — анализ реальных файлов robots.txt через HTTP Archive.
Что это означает на практике:
Директива | Статус в Google | Что происходит на самом деле | Типичная ошибка |
Crawl-Delay | Не поддерживается | Google игнорирует. Скорость сканирования регулируется через GSC | Администраторы думают, что защищают сервер |
Noindex в файле robots.txt | Не поддерживается | Страница может попасть в индекс благодаря внешним ссылкам | Путаница с meta robots noindex |
Nofollow | Не поддерживается | Полностью игнорируется | Копирование из других источников без проверки |
Allow (нестандартний) | Частично | Поддерживается, но только в конкретном контексте с Disallow | Неправильное сочетание правил |
User-agent: * | Поддерживается | Стандартная директива для всех ботов | — |
Disallow: | Поддерживается | Основная директива о запрете на сканирование | Регистрозависимость путей |
Почему это важно для аудита? Потому что задокументированная «неподдерживаемая» директива — это не просто информация для разработчика. Это сигнал о том, что в вашем файле есть строки, которые ничего не делают. Ничего полезного. Но они занимают место, вводят в заблуждение нетехнических заинтересованных лиц и иногда скрывают реальные проблемы.
Проверьте.
Откройте свой файл robots.txt прямо сейчас и просмотрите каждую строку. Если там есть Crawl-Delay или Noindex — они не имеют никакого значения для Google. Если есть User-agent: Yandex — спросите себя, зачем это нужно. В зрелом техническом SEO-процессе не должно быть строк типа «не знаю, зачем, но пусть будет».
Кстати, это тот случай, когда «ничего не сломалось» — неверный критерий оценки. Если Google Search Console выдает предупреждение о неизвестной директиве — это не косметический дефект. Это сигнал о том, что файл содержит строки с неопределенным поведением.
Технический SEO-аудит сайта обязательно включает проверку файла robots.txt вместе с GSC. Но даже без аудита — базовая проверка занимает 15 минут. Подробнее о том, как мы проверяем техническую базу — на странице SEO-продвижение от ADS Group.
ЕС и Google: как Digital Markets Act меняет рынок поисковых систем для ИИ и SEO
16 апреля 2026 года Еврокомиссия направила Google предварительные выводы в рамках Закона о цифровых рынках (DMA) — с конкретными предложениями относительно того, как компания должна передавать поисковые данные третьим сторонам.
Ключевой момент: под действие этих требований подпадают не только традиционные поисковые системы, но и AI-чатботы с поисковыми функциями. То есть OpenAI, Anthropic, Perplexity и аналогичные сервисы — если они выполняют поисковые функции — могут получить доступ к тем же данным, что и Bing.
Что именно Google может обязать передавать:
- Данные ранжирования (ranking data)
- Поисковые запросы (query data)
- Клики (данные о кликах)
- Просмотры (просмотреть данные)
- Условия — FRAND: fair, reasonable and non-discriminatory (справедливые и недискриминационные)
Срок для Еврокомиссии — завершить разработку спецификации до конца июля 2026 года.
Как это касается SEO-стратегии прямо сейчас? Это не техническое изменение, которое можно «настроить». Это структурный сдвиг на рынке поисковой оптимизации. Вот как он влияет на работу с органическим трафиком:
Не могу сказать, что эти изменения точно и именно в этот срок повлияют на трафик вашего сайта. Слишком много переменных. Но есть одно верное наблюдение: компании, которые уже сейчас строят SEO-стратегию с учетом AI-видимости (структура контента, Answer Units, видимость для краулеров), окажутся в лучшей позиции независимо от того, кто будет доминирующим игроком в поиске через 2 года. |
Как ADS Group работает с техническим SEO: от robots.txt до AI-видимости
ADS Group — цифровое агентство с 2011 года. Два подразделения: интернет-маркетинг и веб-разработка. Техническое SEO для нас — это не просто чек-лист, а фундамент, на котором строится вся дальнейшая работа с органическим поиском.
Когда мы приступаем к работе над новым проектом, технический аудит — это первый шаг. Он включает проверку robots.txt и директив сканирования, аудит структуры сниппетов и потенциала глубоких ссылок, анализ JavaScript-рендеринга и видимости контента для бота, а также проверку соответствия сайта требованиям к AI-видимости (Answer Units, структура заголовков, видимость контента без взаимодействия).
Если ваш сайт имеет сложную архитектуру (SPA, JavaScript-фреймворки, обширный каталог) — технические проблемы с индексацией и сниппетами могут оставаться незамеченными месяцами. Мы проверяем. Разработка и техническая оптимизация сайтов — одна из наших специализаций, где техническая база строится сразу с учетом требований поисковых систем.
Что проверить прямо сейчас: практический чек-лист из трёх обновлений
Три обновления Google в апреле 2026 года содержат конкретный список действий. Вот краткий чек-лист для специалиста по техническому SEO или руководителя отдела цифровых технологий:
🔎 Глубокие ссылки — проверка структуры страниц
- Определить страницы, на которых ключевой контент скрыт за аккордеонами или вкладками
- Проверить, сбрасывает ли JavaScript прокрутку на начало страницы при загрузке (особенно актуально для SPA)
- Проверить, сохраняется ли хеш-фрагмент при вызовах History API при загрузке
- Перейти в GSC → Performance → Search appearance: есть ли в отчете deep links?
- Если deep links есть для одного раздела, но отсутствуют для других — сделать их структуру шаблоном
🔎 Robots.txt — проверка актуальности
- Откройте yourdomain.com/robots.txt и просмотрите каждую строку
- Найти директивы, которые не поддерживаются Google: Crawl-Delay, Noindex, Nofollow в файле robots.txt
- Проверить, имеют ли смысл все записи User-agent (зачем блокировать бота, которого уже не существует?)
- Проверить через GSC: Настройки → Robots.txt — есть ли предупреждения?
- Удалите или закомментируйте строки без документальной поддержки — они бесполезны
🔎 DMA и AI-видимость — стратегическая подготовка
- Убедиться, что ключевой контент сайта доступен без взаимодействия с JavaScript (проверка с помощью view-source или в режиме «без JS»)
- Проверить структуру H2/H3: образуют ли они четкие блоки ответов (вопрос → ответ в следующем абзаце)?
- Оценить видимость сайта в AI Overview: цитирует ли Google ваш контент в своих ответах?
- Если вы работаете на рынке ЕС — следите за ходом разработки спецификации DMA (крайний срок для ЕС — июль 2026 года)
Практический совет: не ждите, пока эти изменения «станут обязательными». Google не всегда сообщает о том, что перестал показывать deep links вашему конкуренту. Он просто показывает их кому-то другому.
Сравнительная таблица: три обновления Google в апреле 2026 года
| Изменение | Что именно | Кто под влиянием | Приоритет действий | Горизонт эффекта |
|---|---|---|---|---|
| Deep Links Best Practices | 3 правила видимости контента для появления якорных ссылок (deep links) в поисковых сниппетах | Сайты с аккордеонами, SPA, JavaScript-контентом | Высокий | Краткосрочный |
| Документация Robots.txt | Перечень директив, которые до сих пор используются, но не поддерживаются Google | Все сайты со старыми или скопированными файлами robots.txt | Средний | Мгновенный (в рамках аудита) |
| DMA ЕС — передача поисковых данных | Google обязан передавать поисковые данные конкурентным поисковым системам и AI-чатботам | Все сайты, ориентированные на рынок ЕС или AI-поиск | Стратегический | Среднесрочный |
Важно понимать, где заканчивается техническая задача и начинается стратегическая. Deep links и robots.txt — это конкретные проверки, которые можно завершить за день. DMA — это сигнал к пересмотру диверсификации трафика и подхода к контент-архитектуре. Разный масштаб — разные ответственные за принятие решений.
Как начать работу с ADS Group
Технические изменения в Google — не повод для паники. Но и не то, что можно отложить на потом.
Если ваш сайт использует JavaScript-архитектуру, содержит аккордеоны или вкладки с ключевым контентом, либо файл robots.txt не обновлялся более года — есть реальная вероятность, что эти изменения уже повлияли на видимость страниц в поисковой выдаче.
ADS Group проводит технический SEO-аудит с проверкой файла robots.txt, структуры сниппетов и AI-видимости. Через 48 часов после аудита вы получите отчет с приоритетными рекомендациями — отсортированными по потенциальному влиянию на трафик.
Часто задаваемые вопросы
Что такое deep links в Google Search и чем они отличаются от sitelinks?
Глубокие ссылки — это анкорные ссылки внутри сниппета, ведущие на конкретный раздел той же страницы. Sitelinks — это ссылки на различные страницы сайта, расположенные под главным результатом. Глубокие ссылки помогают пользователю сразу перейти к нужному блоку текста, улучшая CTR и поведенческие сигналы.
Какие директивы robots.txt не поддерживаются Google в 2026 году?
Google не поддерживает Crawl-Delay (скорость сканирования регулируется через GSC), Noindex и Nofollow в файле robots.txt (они должны быть указаны в мета-тегах или HTTP-заголовках). Поддерживаются: User-agent, Allow, Disallow, Sitemap. Google документирует расширение этого списка на основе анализа HTTP Archive.
Нужно ли менять структуру сайта из-за обновления deep links?
Не обязательно весь сайт — но стоит проверить отдельные страницы. Если ключевой контент (FAQ, преимущества, технические характеристики) скрыт за аккордеонами или вкладками — его стоит вынести в видимую часть хотя бы частично. Если на сайте уже есть deep links на некоторых страницах — структура этих страниц является рабочим шаблоном.
Как DMA ЕС повлияет на SEO-стратегию для Украины?
Прямое влияние — в основном для проектов, ориентированных на рынок ЕС. Косвенное — через развитие альтернативных AI-поисковых систем, которые могут получить доступ к поисковым данным. Для украинского рынка сейчас важнее всего: создавать контент, оптимизированный для AI — структурированные Answer Units, открытый контент без JS-барьеров.
Сколько стоит технический SEO-аудит с проверкой файла robots.txt и структуры сниппетов?
Стоимость зависит от размера сайта и глубины анализа: от 8 000 грн для небольших проектов до 30 000+ грн для крупных интернет-магазинов или многоязычных сайтов. Срок выполнения — 5–14 рабочих дней. В ADS Group аудит включает отчет с приоритезацией: что исправить в первую очередь и какое влияние это окажет.
Как скоро после внесения изменений в файл robots.txt Google обновит сканирование?
Google обычно перечитывает файл robots.txt в течение 24–48 часов после внесения изменений. Однако для того, чтобы изменения стали заметны в GSC, может потребоваться от нескольких дней до нескольких недель в зависимости от частоты сканирования сайта. Крупные сайты сканируются чаще. Чтобы ускорить процесс, после внесения изменений можно запросить повторное сканирование через GSC.
