Як Google сканувати та індексувати ваші сторінки так, як ви хочете, досить складно. Це тому, що люди часто плутають достовірність та індексацію, що приблизно не одне й те саме. Robots.txt та карта сайту можуть бути вже занадто складними для обробки в технічній частині Посібник з SEO-оптимізації Magento . Потім є метатеги robots.
Ми розглянемо все це в цьому посібнику. Ви дізнаєтеся, що таке метатеги robots в Magento, чому вони важливі для SEO та як ви можете правильно ними керувати.
Давайте перейдемо безпосередньо до справи.
Що таке метатеги robots?
Метатеги robots в HTML-коді, які повідомляють роботам пошукових систем, як створювати, індексувати та відображати вміст сторінки в результатах пошуку. Іншими словами, він повідомляє веб-сканерам, що вони можуть і не можуть робити на певній сторінці.
Теги mata robots додаються в розділ <head> сторінок і виглядають так:
Оскільки метатеги robots контролюють, як Google сканує та індексує вашу сторінку, вам потрібно, щоб вони контролювали:
- чи відображається сторінка в результатах пошуку
- чи індексуються зображення на сторінці
- чи повинні роботи переходити за посиланнями на сторінці
- чи відображається фрагмент сторінки в SERP
Метатеги robots зазвичай використовуються для видалення сторінок з індексації Google :
наприклад, сторінки проміжного середовища, сторінки адміністратора, цільові сторінки PPC, сторінки підтвердження (успішне оформлення замовлення), сторінки з дублікатом контенту тощо.
На цьому етапі ви можете задатися питанням, навіщо вам ці мета-роботи, якщо ви вже заборонили ці сторінки в robots.txt. Саме тоді починає бути цікаво, тож продовжуйте читати.
Мета-роботи проти Robots.txt
Мета-теги robots.txt та robots у Magento мають схожі функції. Це правда. Але це не означає, що вони однакові.
Файл Файл robots.txt містить інструкції для всього веб-сайту та повідомляє пошуковим роботам, які сторінки сканувати або пропускати. .
Мета-теги robots містять інструкції лише для сторінки, що містить мета-тег robots . Він повідомляє пошуковим роботам, як сканувати, індексувати та відображати інформацію з певної сторінки.
Простіше кажучи, метатеги robot надають чіткіші інструкції щодо поведінки індексації, ніж robots.txt. Фактично, з останнім пошуковим роботам не потрібно дотримуватися ваших метадиректив. Це призводить до того, що деякі шкідливі веб-роботи навіть ігнорують ваші директиви.
Мета-директиви роботів
Метатеги robots у Magento, як і в будь-якому іншому середовищі, містять два атрибути: назва та вміст . У той час як назва визначає, який сканер повинен дотримуватися інструкцій у тезі, вміст містить інструкції для цих сканерів.
Найчастіше ви натрапляєте на метатег robots з назвою "robots":
meta name="robots"
Це означає, що ви звертаєтесь до всіх веб-сканерів. Однак, ви також можете обрати спеціальні теги для Google, Bind, DuckDuckGo та Baidu.
Примітка: якщо ви не встановите жодних метатегів для роботів, вони будуть індексувати та переходити за замовчуванням. Це означає, що вони показуватимуть сторінку в результатах пошуку та переходитимуть за посиланнями на сторінці.
Хоча вам здебільшого не потрібно буде виходити за рамки інструкцій noindex nofollow, краще знати про різні опції. Отже, давайте розглянемо.
Noindex
Наказує пошуковим роботам не індексувати та не показувати сторінку в результатах пошуку.
<meta name="robots" content="noindex">
Nofollow
Наказує пошуковим роботам не сканувати посилання на сторінці (і передавати посилання однаково).
<meta name="robots" content="nofollow">
Примітка: посилання на сторінці все одно будуть індексованими, особливо якщо вони мають зворотні посилання з інших сторінок.
Noarchive
Повідомляє Google не показувати кешовану копію сторінки в результатах пошуку.
<meta name="robots" content="noarchive">
Notranslate
Запобігає показу перекладів сторінки в результатах пошуку.
<meta name="robots" content="notranslate">
Noimageindex
Повідомляє Google не індексувати зображення, доступні на сторінці.
<meta name="robots" content="noimageindex">
Nosnippet
Повідомляє Google не показувати текстовий або відеопопередній перегляд сторінки в результатах пошуку.
<meta name="robots" content="nosnippet">
Max-snippet
Повідомляє Google про максимальну кількість символів, яку можна відобразити як текстовий фрагмент сторінки. Використання -1 не встановлює обмеження на кількість символів попереднього перегляду тексту, тоді як 0 вимикає сторінку з показу фрагментів.
<meta name="robots" content="max-snippet:-1">
Max-image-preview
Повідомляє Google, як використовувати зображення для фрагментів зображень. none вказує, що ви не хочете показувати жодних зображень, standard — вказує на використання попереднього перегляду зображення за замовчуванням, а large — вказує на використання максимально можливого попереднього перегляду зображення.
<meta name="robots" content="max-snippet:100">
Max-video-preview
Вказує Google кількість секунд, яку слід використовувати для фрагмента відео. Логіка така ж, як і для текстових фрагментів: -1 не встановлює обмежень, 0 повністю вимикає сторінку.
<meta name="robots" content="max-snippet:0">
Примітка: Ви можете використовувати кілька директив одночасно та комбінувати їх. Але зверніть увагу, що якщо вони конфліктують одна з одною, Google використовуватиме більш обмежувальну, наприклад, "noindex, index"
Як налаштувати та керувати метатегами Robots у Magento?
За замовчуванням Magento 2 додає теги INDEX та FOLLOW для всіх сторінок вашого магазину, які не перелічені у файлі robots.txt. Однак, як ви вже знаєте, цього все ще може бути недостатньо, щоб зупинити індексацію певних сторінок веб-сканерами.
Отже, ми навчимо вас, як встановити метатеги robots у Magento 2.
Robots.txt
Незважаючи на те, що самого robots.txt недостатньо для керування індексацією, вам потрібно встановити там власні інструкції.
Для цього перейдіть до Контент > Дизайн > Конфігурація та виберіть веб-сайт, для якого ви хочете встановити власні інструкції robots.txt. У розділі Пошукові роботи ви можете заборонити індексацію певних сторінок — текстова область Редагувати власні інструкції файлу robot.txt . Крім того, ви також можете редагувати Роботи за замовчуванням тут.
Розділ дизайну
Зворотній шлях – це розділ Дизайн на кожній сторінці вашого веб-сайту. Там ви можете встановити власні мета-роботи. Перейдіть на сторінку, для якої ви хочете встановити мета-теги роботів ( Вміст > Сторінки ) і прокрутіть униз до розділу Дизайн .
Потім додайте наступний код до поля XML оновлення макета , вказавши власні вказівки для роботів.
<head>
<meta name="robots" content="NOINDEX,NOFOLLOW"/>
</head>
Правила SEO
Якщо ви не хочете витрачати незліченну кількість годин на налаштування власних мета-тегів роботів у Magento, є рішення – правила SEO. Вони дозволяють вам налаштовувати мета-роботи Magento для деяких конкретних сторінок або кількох сторінок одночасно.
Просто перейдіть до розділу Маркетинг > SEO від Magefan > Правила SEO та створіть нове правило. Після заповнення загальної інформації про правила вам потрібно вибрати, для якої сторінки створювати правила, та вказати мета-роботів.
Щоб додати мета-теги robots до кількох сторінок Magento, встановіть умови на основі атрибутів продукту:
Найкращі практики використання мета-тегів robots
Враховуючи кількість різних функцій, які впливають на сканування та індексацію ваших сторінок, все може швидко стати заплутаним. Ось чому вам слід дотримуватися найкращих практик під час налаштування мета-роботів для ваших сторінок.
Не додавайте роботів до сторінок, заблокованих у robots.txt
Якщо ви забороните індексацію нової сторінки у robots.txt, вона не буде проіндексована. Цього має бути достатньо, щоб запобігти її появі в результатах пошуку.
Однак, якщо сторінку просканували та проіндексували протягом певного часу, краще залишити її "дозволеною" у robots.txt. Натомість забороніть її індексацію за допомогою користувацьких мета-роботів.
Не видаляйте сторінки "noindex" з карти сайту
Не поспішайте виключати сторінку з Карта сайту Megento , якщо ви хочете видалити її з індексації. Додайте для неї тег "noindex", але спочатку переконайтеся, що вона деіндексована. Потім видаліть її з карти сайту.
Видаліть директиву "noindex" під час переходу до продакшну
Сторінки адміністратора, середовище розробки та етапу не повинні бути в органічних результатах. Тому гарною практикою є додавання директив "noindex" для етапу розробки. Аж до моменту переходу до продакшну.
Коли ви перенесете свій веб-сайт у продакшн і забудете змінити robots, є ймовірність, що ви зіткнетеся з деякими проблемами сканування та індексації (не обов'язково з самого початку).
Що далі?
Метатеги robots у Magento допомагають вам сканувати, індексувати та ранжувати ваші сторінки в результатах пошуку та навпаки. Однак вони не гарантують великої кількості кліків. Після того, як сторінка з'явиться в пошуку, ваше завдання зробити її "клікабельною" та привабливою. Для цього вам потрібно додати розширені фрагменти до Magento та створювати шаблони метатегів .
