Підтримайте 
Якщо ви хочете, щоб ваші сторінки сканувалися та індексувалися відповідно, вам потрібно надати інструкції для пошукових роботів у файл robots.txt. Однак це працює в обох напрямках.
Якщо вам потрібно назавжди або на деякий час приховати певні сторінки від пошуку, вам потрібно задати NOINDEX NOFOLLOW або інші теги для цих сторінок. Ви можете зробити це за допомогою HTML head сторінок або файлу robot.txt.
У цій статті ви дізнаєтесь про простий та нетехнічний спосіб додавання кастомних мета тегів роботів до однієї чи кількох сторінок.
Зміст [приховати]
Є два способи, як ви можете додати кастомні мета теги в Magento — для однієї або кількох сторінок одночасно. Ми детально зупинимося на кожному з них.
Додавання тегів NOINDEX NOFOLLOW для однієї сторінки
Кожна сторінка Magento містить розділ Design де ви можете додавати кастомні мета теги роботів. Отже, щоб додати тег NOINDEX NOFOLLOW для будь-якої з них, вам слід перейти на сторінку, яку ви хотіли б приховати від роботів, прокрутити вниз до розділу Design і знайти поле Layout Update XML.
Додайте до нього наступний код:
<head>
<meta name="robots" content="NOINDEX,NOFOLLOW"/>
</head>
Не забудьте зберегти сторінку та перевірити роботів на вітрині. Перейдіть на сторінку та скористайтеся комбінацією клавіш Ctrl+U або виберіть Inspect у інструментах браузера, щоб знайти роботів.
Цей метод відносно простий, оскільки все, що вам потрібно, це вставити невеликий фрагмент коду в розділ Design. Але це не настільки ефективно, якщо у вас є багато сторінок, які потрібно приховати від мета роботів. Отже, переходьте до наступного розділу, щоб знайти більш ефективне рішення.
Додавання тегів NOINDEX NOFOLLOW для багатьох сторінок
Коли вам потрібно додати кастомні мета теги роботів для кількох сторінок, це зазвичай стосується продуктів або категорій. Додавання мета тегів роботів до кожної сторінки може бути виснажливим...
... якщо ви не використовуєте розширення SEO для Magento 2 для створення правил SEO.
Вони дозволяють задавати теги NOINDEX NOFOLLOW для кількох сторінок продуктів або категорій одночасно. Почнемо з продуктів.
Щоб задати мета роботи NOINDEX NOFOLLOW для продуктів у Magento 2:
1. Підіть у Marketing > SEO by Magefan > SEO Rules та натисніть кнопку Add New Rule.
2. Ввімкніть правило, задайте Name та вкажіть Priority.
3. Виберіть Product як Page Type.
4. Вкажіть Meta Robots, які ви хотіли б задати для певних сторінок.
Примітка: H1 Title, Descriptions, Short Description, тощо є необов’язковими, коли ви задаєте кастомні мета роботи. Вони використовуються для того, щоб створювати правила SEO у Magento.
5. Виберіть Store View для якого хочете налаштувати роботів.
6. Задайте Conditions за допомогою атрибутів продукту, щоб визначити, до яких продуктів застосовувати кастомних роботів. Ви також можете скористатися опцією Preview, щоб перевірити, до яких продуктів будуть застосовані роботи.
Якщо ви хочете задати кастомні метатеги для категорій:
- Виберіть Category як Page Type.
- Задайте кастомні Meta Robots.
- Виберіть чи чикористовувати праивло для дочірніх категорій у світчері Use Rule for Child Categories та виберіть категорії, до яких потрібно застосувати кастомні мета теги.
Не забудьте зберегти правило та натиснути кнопку Apply Rules у сітці правил, якщо ви хочете застосувати його негайно.
Професійна порада: якщо ви хочете назавжди задати теги NOINDEX NOFOLLOW для продуктів або категорій, найкраще взагалі виключити їх з XML sitemap.
Якщо у вас є контент, який ви не бажаєте відображати в пошуку, кастомні мета теги роботів – саме те, що вам потрібно. Але це лише мала частина SEO, якою потрібно зайнятись, щоб оптимізувати свій магазин.
Ознайомтеся з розширенням Magento 2 SEO Suite, щоб покращити SEO свого магазину, залучити більше трафіку та покращити видимість у пошуку за допомогою лише кількох опцій у адмін панелі.