У наш час SEO є запорукою успішного онлайн-бізнесу. Ось чому дуже важливо правильно налаштувати файл robots.txt. Цей файл — набір вказівок, які “направляють” веб-сканери та вказують, які сторінки вашого веб-сайту ви хочете або не хочете індексувати та аналізувати.
В основному він складається з тегів INDEX і FOLLOW. У той же час теги NOINDEX NOFOLLOW в Magento використовується для того, щоб "приховати" деякі сторінки від пошукових роботів.
Отже, у цій статті ви дізнаєтеся, що таке Magento 2 robots.txt, де знаходиться цей файл і, найголовніше, як його згенерувати.
Давайте почнемо.
Зміст [приховати]
Що таке файл robots.txt?
Robots.txt. file — це найбазовіший тип Magento 2 SEO налаштувань, доступний за замовчуванням. Важливо налаштувати файл robots.txt, щоб встановити певний зв’язок між роботами вашого сайту та веб-сканерами.
Тож, налаштовуючи файл robots.txt, ви задаєте веб-роботам інструкції щодо того, які сторінки вашого веб-сайту аналізувати, а які пропускати.
Як налаштувати файл robots.txt в Magento 2?
Ви можете використовувати налаштування Magento за замовчуванням. Однак, якщо деякі сторінки вашого веб-сайту використовуються "внутрішньо", і ви хочете приховати їх від сканерів пошуку, ви можете додати кастомні наалштування до файлу robots.txt.
Щоб налаштувати файл robotx.txt в Magento 2:
1. Підіть в Content > Design > Configuration.
2. Виберіть Website для якого ви хочете налаштувати файл robots.txt за замовчуванням. Зверніть увагу, що ця опція не є доступною на рівні Store View.
3. Знайдіть розділ Search Engine Robots.
4. Виберіть роботи за замовчуванням (Default Robots), які ви хочете ввімкнути на вашому сайті.
Є декілька опцій, з яких ви можете вибрати. Давайте розберемось, що означає кожна з них:
- Якщо ви хочете, щоб сканери проіндексували сторінку та перейшли за посиланнями на цій сторінці - INDEX, FOLLOW
- Якщо ви не хочете, щоб сканери індексували сторінку, але хочете, щоб вони перейшли за посиланнями на сторінці - NOINDEX, FOLLOW
- Якщо хочете, щоб сканери проіндексували сторінку, але не переходили за посиланнями на цій сторінці - INDEX, NOFOLLOW
- Якщо ви не хочете, щоб сканери індексували сторінку та переходили за посиланнями на цій сторінці - NOINDEX, NOFOLLOW
5. В полі Edit custom instruction of the robot.txt File задайте кастомні інструкції, згідно яких ви хочете, щоб веб сканери аналізували ваш веб-сайт. Перегляньте приклади кастомних інструкцій нижче в цій статті.
6. Натисніть кнопку Reset To Defaults, якщо ви хочете видалити всі кастомні інструкції та повернутись до інструкцій за замовчування.
7. Після того, як ви задасте robots за замовчуванням, не забудьте Зберегти налаштування.
Коли ви збережете налаштування, вам можливо потрібно буде очистити кеш.
Приклад Magento robots.txt
# Define user agents/bots User-agent: * User-agent: Googlebot User-agent: Googlebot-image # Urls with parameters Disallow: /*? Allow: /*?page= Allow: /*?p= Allow: /*?utm_source= Allow: /*?utm_medium= Allow: /*?utm_campaign= Allow: /*?utm_content= Allow: /graphql? Disallow: /*SID= # Technical paths Disallow: /repo/ Disallow: /catalog/product_compare/ Disallow: /catalog/category/view/ Disallow: /catalog/product/view/ Disallow: /catalog/seo_sitemap/ Disallow: /catalogsearch/ Disallow: /mfproductsearch/ Disallow: /checkout/ Disallow: /control/ Disallow: /customer/ Disallow: /customize/ Disallow: /sendfriend/ Disallow: /ajaxcart/ Disallow: /ajax/ Disallow: /quickview/ Disallow: /productalert/ Disallow: /mfcmsdr/ Disallow: /sales/guest/form/ Disallow: /sales/guest/form/ Disallow: /review/ Disallow: /downloadable/ Disallow: /pslogin Disallow: /subscription Disallow: /newsletter Disallow: /push_notification Disallow: /rest/ # Files Disallow: /index.php Disallow: /cron.php Disallow: /cron.sh Disallow: /error_log Disallow: /install.php Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Disallow: /STATUS.txt Disallow: /get.php Disallow: /app/ Disallow: /lib/ Disallow: /*.php$ Disallow: /pkginfo/ Disallow: /report/ Disallow: /var/ #CMS Pages Disallow: /privacy-policy-cookie-restriction-mode Disallow: /no-route Disallow: /enable-cookies Disallow: /home
Як додати sitemap до файлу robots.txt?
Мапи сайту (sitemaps) відіграють дуже важливу роль у SEO вашого веб-сайту, оскільки вони дозволяють пошуковим системам краще аналізувати посилання на вашому веб-сайті. Оскільки файл robots.txt — це список інструкцій щодо того, що потрібно аналізувати, доцільним є додати мапу сайту до файлу robots.txt.
Для того, щоб додати sitemap до файлу robots.txt, виконайте наступні кроки:
1. Підіть в Store > Configuration > Catalog > XML Sitemap та знайдіть розділ Search Engine Submission Settings.
2. Ввімкніть опцію Submission to Robots.txt.
Якщо ви хочете, щоб ця опція вмикалась автоматично, підіть в Content > Design > Configuration > Search Engine Robots та задайте інструкції щодо додавання sitemap у полі Edit custom instruction of the robot.txt File field відповідно до прикладу:
Sitemap: https://magefan.com/pub/sitemaps/sitemap.xml Sitemap: https://magefan.com/pub/sitemaps/blog_sitemap.xml Sitemap: https://magefan.com/pub/sitemaps/sitemap_ua.xml Sitemap: https://magefan.com/pub/sitemaps/blog_sitemap_ua.xml
Якщо ваш сайт у розробці, ви можливо захочете обмежити веб-сканерам доступ до нього. Для цього ви можете вибрати опцію NOINDEX, NOFOLLOW в полі Default Robots. (Content > Design > Configuration > Search Engine Robots).
Якщо ви задали інструкції із сканування вашого веб-сайту для сканерів, але все ще не налаштували sitemap, перегляньте цю статтю із налаштування sitemap в Magento 2.
Ви дізнаєтесь не тільки як додати XML sitemap в Magento, але й як її налаштувати та задати автоматичну генерацію sitemap в Magento 2 . Дізнайтесь прямо зараз!