У наш час SEO є запорукою успішного онлайн-бізнесу. Ось чому дуже важливо правильно налаштувати файл robots.txt. Цей файл — набір вказівок, які “направляють” веб-сканери та вказують, які сторінки вашого веб-сайту ви хочете або не хочете індексувати та аналізувати.

Що таке файл robots.txt?

Robots.txt. file — це найбазовіший тип SEO налаштувань, доступний у Magento за замовчуванням. Важливо налаштувати файл robots.txt, щоб встановити певний зв’язок між роботами вашого сайту та веб-сканерами.

Тож, налаштовуючи файл robots.txt, ви задаєте веб-роботам інструкції щодо того, які сторінки вашого веб-сайту аналізувати, а які пропускати.

Як налаштувати файл robots.txt в Magento 2?

Ви можете використовувати налаштування Magento за замовчуванням. Однак, якщо деякі сторінки вашого веб-сайту використовуються "внутрішньо", і ви хочете приховати їх від сканерів пошуку, ви можете додати кастомні наалштування до файлу robots.txt.

Щоб налаштувати файл robotx.txt в Magento 2:

1. Підіть в Content > Design > Configuration.

Magento 2 Design Configuration

2. Виберіть Store для якого ви хочете налаштувати файл robots.txt за замовчуванням
Magento 2 design configuration store

3. Знайдіть розділ Search Engine Robots.

4. Виберіть роботи за замовчуванням (Default Robots), які ви хочете ввімкнути на вашому сайті.

Є декілька опцій, з яких ви можете вибрати. Давайте розберемось, що означає кожна з них:

  • Якщо ви хочете, щоб сканери проіндексували сторінку та перейшли за посиланнями на цій сторінці - INDEX, FOLLOW
  • Якщо ви не хочете, щоб сканери індексували сторінку, але хочете, щоб вони перейшли за посиланнями на сторінці - NOINDEX, FOLLOW
  • Якщо хочете, щоб сканери проіндексували сторінку, але не переходили за посиланнями на цій сторінці - INDEX, NOFOLLOW
  • Якщо ви не хочете, щоб сканери індексували сторінку та переходили за посиланнями на цій сторінці - NOINDEX, NOFOLLOW

5. В полі Edit custom instruction of the robot.txt File задайте кастомні інструкції, згідно яких ви хочете, щоб веб сканери аналізували ваш веб-сайт. Перегляньте приклади кастомних інструкцій нижче в цій статті.

6. Натисніть кнопку Reset To Defaults, якщо ви хочете видалити всі кастомні інструкції та повернутись до інструкцій за замовчування.

7. Після того, як ви задасте robots за замовчуванням, не забудьте Зберегти налаштування.

Magento 2 search engine robots

Коли ви збережете налаштування, вам можливо потрібно буде очистити кеш.

Приклади Magento robots.txt

Щоб приховати якісь сторінки вашого веб-сайту від веб-сканерів ви можете задати кастомні інструкції в файлі robots.txt file. Ось приклади:

  • Дозволити повний доступ (Allow Full Access)
User-agent:*
Disallow:
  • Заборонити доступ до всіх папок (Disallow Access to All Folders)
User-agent:*
Disallow: /
  • Інструкції за замовчуванням (Default Instructions)
Disallow: /lib/
Disallow: /*.php$
Disallow: /pkginfo/
Disallow: /report/
Disallow: /var/
Disallow: /catalog/
Disallow: /customer/
Disallow: /sendfriend/
Disallow: /review/
Disallow: /*SID=
  • Обмежити доступ до сторінок checkout та акаунта користувача (Checkout and Customer account)

Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /customer/
Disallow: /customer/account/
Disallow: /customer/account/login
  • Обмежити доступ до сторінок пошуку в каталозі (Catalog Search Pages)

Disallow: /catalogsearch/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow URL Filter Searches
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /?mode
  • Обмежити доступ до загальних файлів (Common files)
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /CONTRIBUTING.md
Disallow: /CONTRIBUTOR_LICENSE_AGREEMENT.html
Disallow: /COPYING.txt
Disallow: /Gruntfile.js
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /nginx.conf.sample
Disallow: /package.json
Disallow: /php.ini.sample
Disallow: /RELEASE_NOTES.txt
  • Обмежити доступ до загальних папок (Common Folders)
Disallow: /app/
Disallow: /bin/
Disallow: /dev/
Disallow: /lib/
Disallow: /phpserver/
Disallow: /pub/
  • Обмежити доступ до технічних файлів Magento (Technical Magento Files)
Disallow: / api.php
Disallow: / cron.php
Disallow: / cron.sh
Disallow: / error_log
Disallow: / get.php
Disallow: / install.php
Disallow: / LICENSE.html
Disallow: / LICENSE.txt
Disallow: / LICENSE_AFL.txt
Disallow: / README.txt
Disallow: / RELEASE_NOTES.txt
  • Обмежити доступ до CMS директорій (CMS Directories)
Disallow: /app/
Disallow: /bin/
Disallow: /dev/
Disallow: /lib/
Disallow: /phpserver/
Disallow: /pub/

Як додати sitemap до файлу robots.txt?

Мапи сайту (sitemaps) відіграють дуже важливу роль у SEO вашого веб-сайту, оскільки вони дозволяють пошуковим системам краще аналізувати посилання на вашому веб-сайті. Оскільки файл robots.txt — це список інструкцій щодо того, що потрібно аналізувати, доцільним є додати мапу сайту до файлу robots.txt.

Для того, щоб додати sitemap до файлу robots.txt, виконайте наступні кроки:

1. Підіть в Store > Configuration > Catalog > XML Sitemap та знайдіть розділ Search Engine Submission Settings.

2. Ввімкніть опцію Submission to Robots.txt.

Magento 2 XML sitemap configuration

Якщо ви хочете, щоб ця опція вмикалась автоматично, підіть в Content > Design > Configuration > Search Engine Robots та задайте інструкції щодо додавання sitemap у полі Edit custom instruction of the robot.txt File field відповідно до прикладу:

Sitemap: https://magefan.com/pub/sitemaps/sitemap.xml
Sitemap: https://magefan.com/pub/sitemaps/blog_sitemap.xml
Sitemap: https://magefan.com/pub/sitemaps/sitemap_ua.xml
Sitemap: https://magefan.com/pub/sitemaps/blog_sitemap_ua.xml

Якщо ваш сайт у розробці, ви можливо захочете обмежити веб-сканерам доступ до нього. Для цього ви можете вибрати опцію NOINDEX, NOFOLLOW в полі Default Robots. (Content > Design > Configuration > Search Engine Robots).

Якщо ви задали інструкції із сканування вашого веб-сайту для сканерів, але все ще не налаштували sitemap, перегляньте цю статтю із налаштування sitemap в Magento 2.

Ви дізнаєтесь не тільки як додати XML sitemap в Magento, але й як її налаштувати та задати автоматичну генерацію sitemap в Magento 2 . Дізнайтесь прямо зараз!