Коли відвідувачі використовують багатошарова навігація в Magento , це генерує багато відфільтрованих URL-адрес, але більша проблема полягає в тому, що боти створюють тисячі відфільтрованих комбінацій, багаторазово запитуючи ці URL-адреси. Таким чином, спам багаторівневої навігації Magento 2 збільшує кількість непотрібних запитів, витрачає ресурси вашого сервера та споживає бюджет сканування.
Згідно з Документація з SEO-оптимізації Magento 2 , ви можете контролювати, як відфільтровані URL-адреси скануються та індексуються за допомогою robots.txt, тегів noindex та канонічних елементів. Але це не заважає ботам запитувати та створювати ці URL-адреси у вашому магазині.
Цей Документація навчить вас, як виправити спам багаторівневої навігації в Magento, як виявити надмірну фільтрацію та як обмежити ці запити лише ботами, щоб реальні користувачі все ще могли використовувати його.
Що таке спам багаторівневої навігації Magento?
Спам багатошарової навігації Magento – це автоматизований трафік ботів, який неодноразово запитує велику кількість URL-адрес категорій з кількома комбінаціями або атрибутами продукту (фільтрами), що призводить до тисяч відфільтрованих URL-адрес з незначною або взагалі без цінності.
Це створює дві основні проблеми для магазинів Magento:
- Проблеми SEO — пошукові роботи виявлятимуть та скануватимуть тисячі низькоцінних параметризованих URL-адрес, що витрачає бюджет на сканування.
- Проблеми з продуктивністю — кожен запит, який створює ці параметризовані URL-адреси, вимагає від Magento його обробки, що може споживати забагато ресурсів сервера та призводити до повільного завантаження та навіть тайм-аутів.
Оскільки багатошарова навігація сама по собі не є проблемою, метою є не вимкнення багатошарової навігації, а виявлення зловживань у фільтрації, що походить від ботів, та її блокування.
Як боти генерують тисячі URL-адрес багатошарової навігації?
Боти генерують велику кількість багаторівневих навігаційних URL-адрес, автоматично комбінуючи кілька параметрів фільтрів, які вже доступні в магазині Magento, замість того, щоб переглядати сторінки, як легітимні користувачі.
Навіть якщо у вашому магазині лише десяток таких фільтрованих атрибутів, багаторазове комбінування цих значень у різних варіаціях швидко збільшує кількість відфільтрованих URL-адрес.
Боти зазвичай створюють відфільтровані сторінки в Magento такими способами:
- Перехід за існуючими URL-адресами фільтрів: бот може слідувати за існуючими посиланнями багаторівневої навігації та продовжувати застосовувати до них фільтри.
- Повторний запит того самого фільтра: бот може надсилати кілька запитів до однієї й тієї ж відфільтрованої URL-адреси протягом короткого періоду часу.
- Дослідження незвичайних комбінацій: бот може запитувати комбінації фільтрів, які реальні користувачі можуть ніколи не використовувати.
- Створення нових комбінацій URL-адрес: боти можуть створювати параметризовані URL-адреси, комбінуючи нові фільтри, замість того, щоб виявляти існуючі URL-адреси фільтрів.
- Сканування сторінок пагінації вздовж багаторівневої навігації: боти можуть застосовувати фільтри поверх сторінок пагінації, що лише збільшує кількість низькоякісних URL-адрес.
Щоб виявити спам із багаторівневою навігацією в Magento, слід шукати шаблони, а не підозрілі комбінації фільтрів. Це може бути великий обсяг запитів із багаторівневими фільтрами навігації або багато комбінацій фільтрів, запитуваних протягом короткого періоду часу, або незвичайні сплески трафіку на сторінках категорій без запущених кампаній.
Крім того, ви можете використовувати Magefan Bot Traffic Monitor , щоб побачити, які шаблони URL-адрес є найбільш цільовими та з яких IP-адрес та агентів користувачів.
Чи можуть Robots.txt та Noindex виправити спам із багаторівневою навігацією в Magento?
Robots.txt та Теги NOINDEX NOFOLLOW у Magento допомагають контролювати сканування та індексацію URL-адрес багаторівневої навігації. Але жодна з цих SEO-функцій не зупиняє ботів від повторних запитів та генерації цих URL-адрес.
Необхідні належні правила блокування ботів, щоб запобігти генерації ботами надмірної кількості відфільтрованих URL-адрес у Magento.
Примітка: Ви можете масово призначати теги NOINDEX, NOFOLLOW сторінкам багаторівневої навігації, використовуючи SEO-правила, доступні в Magefan.
Як виправити спам багаторівневої навігації в Magento?
Щоб виправити спам багаторівневої навігації в Magento, вам потрібно налаштувати правило захисту в Magefan , яке виявляє надмірну кількість відфільтрованих запитів і вмикає CAPTCHA-перевірки для підозрілих відвідувачів.
Це дозволяє визначити, що кваліфікується як надмірна активність фільтрації, щоб ви могли перевіряти будь-кого, хто перевищує це обмеження, залишаючи багаторівневу навігацію ввімкненою для всіх інших.
Спочатку перейдіть до Магазини > Налаштування > Модулі Magefan > Блокувальник ботів > Багаторівневий захист навігації та ввімкніть його.
Примітка: Щоб багаторівневий захист навігації працював, вам потрібно налаштувати reCAPTCHA-перевірки в розділі reCAPTCHA модуль.
Якщо відвідувачі перевищать налаштовані вами ліміти, їм потрібно буде виконати завдання CAPTCHA.
Крок 1: Встановлення мінімальних параметрів фільтра
Перш ніж налаштовувати ліміти багаторівневої навігації, не слід неправильно розуміти, як модуль підраховує фільтри.
Наприклад, у /shoes.html?color=red&size=10&brand=nike — колір, розмір та бренд враховуються як багаторівневі фільтри навігації, загалом три.
Кількість цих фільтрів використовується в налаштуваннях Ліміт параметра першого запиту та Макс. кількість відфільтрованих запитів за хвилину .
Параметр Мінімальні параметри фільтра дозволяє фільтрувати звичайні запити та зосереджуватися на підозрілих комбінаціях. Він визначає кількість параметрів у URL-адресі багаторівневої навігації, які вважаються спамом.
Наприклад, якщо для параметра Мінімальні параметри фільтра встановлено значення 2, запити, що містять один фільтр, не активують фільтри.
Встановлення мінімальних параметрів фільтра для спаму багаторівневої навігації
Крок 2: Встановлення обмежень для фільтрів багаторівневої навігації
Параметр Ліміт параметра першого запиту виявляє відвідувачів, які потрапляють на ваш веб-сайт із незвичною кількістю фільтрів, що вже застосовані до URL-адреси, на яку вони потрапляють. Встановіть обмеження на кількість фільтрів, які користувач може встановити для свого першого запиту протягом останніх двох хвилин.
Важливо: цей параметр перевіряє лише початковий запит відвідувача (першу запитувану URL-адресу). Отже, якщо відвідувач відвідує будь-які інші сторінки та використовує кількість фільтрів, що перевищує ліміти, встановлені в полі Ліміт параметра першого запиту , він не буде перевірений reCAPTCHA.
Нарешті, встановіть Макс. кількість відфільтрованих запитів за хвилину , щоб встановити ліміт на кількість запитів багаторівневої навігації, які одна IP-адреса може зробити протягом хвилини до спрацювання reCAPTCHA (відповідно до опції Мінімальні параметри фільтра ).
Наприклад, якщо бот надсилає кілька запитів, таких як:
?color=red&size=10
?color=blue&size=10
?brand=nike&size=10
з мінімальними параметрами фільтра, встановленими на 2, це вважається спамом і запускає перевірку CAPTCHA.
Максимальні обмеження параметрів та параметри першого запиту для блокування спаму з багаторівневою навігацією
Крок 3: Визначення шаблонів URL-адрес з багаторівневою навігацією
Використовуйте шаблони регулярних виразів або звичайного тексту, щоб визначити, які URL-адреси слід перевіряти на наявність шкідливої активності ботів. Ви можете вказати певну категорію або URL-адреси пошуку, де ви виявили незвичайну активність ботів.
Шаблони URL-адрес, перевірені на блокування спаму з багаторівневою навігацією
Примітка: Якщо ви використовуєте модуль багаторівневої навігації для створення SEO-дружніх URL-адрес, вам не потрібно встановлювати шлях тут, якщо він уже збігається в налаштуванні Шаблон сегмента фільтра шляху .
Крок 4: Виключення URL-адрес та параметрів фільтра
У розділі Виключені шаблони URL-адрес вкажіть URL-адреси, які ніколи не слід перевіряти на спам, незалежно від того, скільки фільтрів містить запит. Це дозволяє виключати запити, що є частиною звичайної багаторівневої навігаційної діяльності.
наприклад, ви можете виключати внутрішні URL-адреси, такі як
|/customer/section/load|
|/cache_warmer/|
|/customer/ajax/|
|/blockajaxloader/|
|/page_cache/block/render/|
URL-адреси, виключені з блокувальника спаму багатошарової навігації
Потім укажіть параметри, які не слід враховувати як фільтри багатошарової навігації, у полі «Виключені параметри запиту» . Цей параметр допомагає виключити сортування, відстеження, пагінацію, перемикання магазинів та інші фільтри, які не класифікуються як фільтри багатошарової навігації.
наприклад, cat,utm_source,utm_medium,utm_campaign,utm_term,utm_content,product_list_limit
Параметри запитів, виключені з фільтра спаму багатошарової навігації
Крок 5: Налаштуйте шаблони сегментів фільтра шляху (необов'язково)
Деякі модулі Magento для багатошарової навігації включають фільтри в URL-адреси багатошарової навігації, а не зберігають їх як параметри запиту. Якщо ви використовуєте одне з цих модулі, вкажіть цей фільтр у полі Шаблон сегмента фільтра шляху , щоб перевірити ці URL-адреси на наявність спам-фільтрів багаторівневої навігації Magento.
Кожен збіг фільтра потім підраховується за кількістю Мінімальні параметри фільтра та перевіряється на відповідність фільтрам обмеження запитів.
шаблони сегментів фільтра шляху для блокувальника ботів, якщо використовується модуль багаторівневої навігації
Крок 6: Перевірте, чи заблоковано спам багаторівневої навігації
Після налаштування захисту багаторівневої навігації за допомогою блокувальника ботів Magefan перевірте, чи фільтри працюють належним чином, не впливаючи на реальних клієнтів. Налаштовані фільтри повинні перевіряти лише надмірні запити, тоді як законні покупці повинні продовжувати використовувати багаторівневу навігацію нормально.
Перейдіть до фронтенду, щоб перевірити спам-фільтри багаторівневої навігації:
- Перевірте, чи сторінки категорій завантажуються як завжди
- Спробуйте фільтрувати запити за шаблонами URL-адрес, які ви виключили
- Застосуйте кілька фільтрів на сторінках категорій, щоб перевірити максимальну кількість запитів за хвилину.
- Перевірте фільтри на сторінках пагінації та пошуку
- Спробуйте відкрити відфільтровану URL-адресу в анонімній вкладці з уже застосованими фільтрами.
- Перевірте URL-адреси з параметрами, наприклад, utm, які ви виключили.
Якщо ваша активність перевищує будь-яке з обмежень, ви повинні побачити наступне повідомлення підтвердження CAPTCHA.
Це означає, що фільтр спаму з багаторівневою навігацією працює належним чином.
Приклад перевірки капчі на основі фільтрів спаму в багаторівневій навігації
Крок 7: Моніторинг спам-трафіку за допомогою монітора трафіку
Після перевірки перевірки проблем захисту блокувальник ботів Magefan відстежуватиме та блокуватиме весь виявлений спам у багаторівневій навігації. Ви можете переглянути підозрілий трафік через Система > Блокувальник ботів > Монітор трафіку.
найчастіше запитувані шляхи, на які спрямовані боти та які заблоковано блокувальником ботів
А якщо ви хочете побачити більше деталей про те, з яких IP-адрес, країн або агентів користувачів надходять ці запити, перевірте вкладку огляду IP-адрес внизу сторінки.
Приклад необробленого журналу запитуваних шляхів за IP-адресами, країнами та агентами користувачів
Найчастіші запитання
Як мені зупинити сканування ботів багатошаровою навігацією в Magento?
Чи заважає noindex ботам запитувати URL-адреси багаторівневої навігації Magento?
Як запобігти генерації ботів тисячами URL-адрес фільтрів Magento?
Чи блокуватиме багаторівневий захист навігації Magento реальних клієнтів?
Чи варто блокувати IP-адреси, що генерують багаторівневий навігаційний спам?
Підтримайте