Файл robots.txt для Magento 2 є однією з найважливіших частин Посібник з SEO-оптимізації Magento . Цей файл являє собою набір інструкцій, що надаються веб-сканерам, які «керують» ними, які сторінки вашого веб-сайту сканувати та індексувати.
Він в основному складається з дозволених та заборонених інструкцій, які використовуються для блокування індексації деяких сторінок пошуковими роботами. Вже заплуталися?
У цьому посібнику ви дізнаєтеся, що таке robots.txt для Magento 2, де його можна знайти та налаштувати. Ми також поділимося найкращими практиками роботи з robots.txt. Тож слідкуйте за оновленнями.
Що таке файл Robots.txt для Magento 2?
Robots.txt для Magento – це текстовий файл, який використовується для інструкцій веб-сканерам щодо сканування сторінок вашого веб-сайту . Важливо встановити певний зв'язок між вашим веб-сайтом та пошуковими роботами. Під час налаштування файлу robots.txt Magento ви встановлюєте інструкції для веб-роботів щодо того, які сторінки вашого веб-сайту індексувати, або пропустити індексацію .
Рекомендації щодо Robots.txt
Перш ніж перейти до налаштування, вам потрібно переконатися, що Magento robots.txt оптимізовано для SEO. Використовуйте ці рекомендації:
- Обмежте доступ до конфіденційного контенту — не дозволяйте пошуковим роботам отримувати доступ до конфіденційних каталогів або каталогів CMS.
- Не дозволяйте індексацію нерелевантних сторінок — переконайтеся, що ви дозволили та заборонили індексацію лише релевантних сторінок, щоб оптимізувати бюджет сканування.
- Додати XML-карту сайту — вам потрібно додати карту сайту до robots.txt, щоб роботи могли знайти всі відповідні сторінки вашого магазину.
- Вирішення проблем — перевірте Google Search Console на наявність помилок у robots.txt, щоб забезпечити безперебійну індексацію.
Як налаштувати Magento 2 Robots.txt?
Тепер, коли ви знаєте, що найкраще дозволити, а що заборонити у вашому robots.txt, настав час налаштувати файл.
1. Перейдіть до Контент > Дизайн > Конфігурація .
2. Виберіть Веб-сайт , для якого потрібно налаштувати файл Magento robots.txt.
Примітка: опція robots.txt недоступна на рівні перегляду магазину, лише для веб-сайтів або глобально.
3. Знайдіть розділ Пошукові роботи .
4. Виберіть Роботи за замовчуванням , яких ви хочете ввімкнути на своєму веб-сайті.
— якщо ви хочете, щоб веб-сканери індексували сторінку та переходили за посиланнями на цій сторінці.
— якщо ви не хочете, щоб веб-сканери індексували сторінку, але хочете, щоб вони переходили за посиланнями на цій сторінці.
— якщо ви хочете, щоб веб-сканери індексували сторінку, але не переходили за посиланнями на цій сторінці.
— якщо ви хочете, щоб веб-сканери ні індексували сторінку, ні переходили за посиланнями на цій сторінці.
5. Введіть власну інструкцію для пошукових сканерів для аналізу вашого веб-сайту в розділі Редагувати власну інструкцію файлу robot.txt . Перегляньте приклади власних інструкцій robots.txt далі в цій статті.
6. Натисніть кнопку Скинути до значень за замовчуванням , якщо ви хочете видалити всі власні інструкції та повернутися до значень за замовчуванням.
Після того, як ви Збережете конфігурацію, вам також потрібно очистити кеш .
Порада професіонала: якщо ваш веб-сайт перебуває в стадії розробки, ви можете обмежити його індексацію веб-роботами. Для цього вам потрібно вибрати NOINDEX, NOFOLLOW у полі Роботи за замовчуванням .
Приклад інструкцій Magento 2 Robots.txt
Зазвичай вам потрібно "приховати" деякий користувацький, конфіденційний та нерелевантний контент від пошукових роботів. Для цього вам потрібні користувацькі інструкції у файлі Magento robots.txt. Ось приклад:
# Define user agents/bots User-agent: * User-agent: Googlebot User-agent: Googlebot-image # Urls with parameters Disallow: /*? Allow: /*?page= Allow: /*?p= Allow: /*?utm_source= Allow: /*?utm_medium= Allow: /*?utm_campaign= Allow: /*?utm_content= Allow: /*?utm_content= Disallow: /*?p=*& Allow: /graphql? Disallow: /*SID= # Technical paths Disallow: /repo/ Disallow: /catalog/product_compare/ Disallow: /catalog/category/view/ Disallow: /catalog/product/view/ Disallow: /catalog/seo_sitemap/ Disallow: /catalogsearch/ Disallow: /mfproductsearch/ Disallow: /checkout/ Disallow: /control/ Disallow: /customer/ Disallow: /customize/ Disallow: /sendfriend/ Disallow: /ajaxcart/ Disallow: /ajax/ Disallow: /quickview/ Disallow: /productalert/ Disallow: /mfcmsdr/ Disallow: /sales/guest/form/ Disallow: /sales/guest/form/ Disallow: /review/ Disallow: /downloadable/ Disallow: /pslogin Disallow: /subscription Disallow: /newsletter Disallow: /push_notification Disallow: /rest/ # Files Disallow: /index.php Disallow: /cron.php Disallow: /cron.sh Disallow: /error_log Disallow: /install.php Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Disallow: /STATUS.txt Disallow: /get.php Disallow: /app/ Disallow: /lib/ Disallow: /*.php$ Disallow: /pkginfo/ Disallow: /report/ Disallow: /var/ #CMS Pages Disallow: /privacy-policy-cookie-restriction-mode Disallow: /no-route Disallow: /enable-cookies Disallow: /home
Як додати карту сайту до Robots.txt у Magento 2?
Подібно до robots.txt, Карта сайту Magento відіграють важливу роль у вашому SEO. Вони дозволяють пошуковим системам краще аналізувати посилання вашого веб-сайту. А оскільки robots.txt – це набір інструкцій щодо того, що аналізувати, вам також слід додати карту сайту до цього файлу.
Щоб додати карту сайту до robots.txt Magento:
1. Перейдіть до Магазин > Конфігурація > Каталог > Карта сайту XML та знайдіть Налаштування надсилання до пошукових систем .
2. Увімкніть опцію Надсилання до Robots.txt .
Якщо ви хочете додати власну карту сайту XML до robots.txt, перейдіть до Вміст > Дизайн > Конфігурація > Виберіть веб-сайт > Пошукові роботи . Потім додайте власну карту сайту в кінці поля " Редагувати власну інструкцію файлу robot.txt" , як у цьому прикладі:
Sitemap: https://magefan.com/pub/sitemaps/blog_sitemap.xml Sitemap: https://magefan.com/pub/sitemaps/blog_sitemap_ua.xml
Важливо: Ваша карта сайту не повинна містити сторінки, індексацію яких ви заборонили у файлі robots.txt. Для цього перегляньте наш посібник про те, як виключити сторінки з XML-карти сайту .
