На сьогоднішній день багато що залежить від SEO та видимості вашого веб-сайту у пошукових системах. Власники сайтів роблять все, щоб їхні сторінки займали топові позиції. Однак можуть бути якісь сторінки, які не потрібно відображати в результатах пошуку.
Для цього ви налаштовуєте default robots. Оскільки блог — це складний інструмент генерації трафіку, вам потрібно також налаштувати default robots для сторінок блогу.
Тож, у цій статті ви дізнаєтесь більше про default robots у блозі.
Що таке default robots?
Default robots також відомі як robots.txt — це стандарт, що використовується веб-сайтами для комунікації з веб-роботами. Ці роботи для повідомлення веб-сканерів (web crawlers) про те, які сторінки вашого веб-сайту ви хочете або не хочете сканувати та обробляти.
Для чого потрібні default robots?
Конфіденційність та SEO. Окрім того, що ви можете «заховати» деякі сторінки свого сайту від веб-сканерів, ви можете вказати, які саме сторінки ви хочете дозволити пошуковим системам аналізувати та відображати у результатах пошуку Google.
У Magento 2 Блог можна задати Default Robots для сторінки автора.
Окрім цього, ви можете налаштувати їх для сторінок тегу та пошуку.
Після того, як ви задасте та збережете default robots для сторінок автора, тегу та пошуку, роботи будуть додані перед закриваючим тегом <head> в HTML сторінки.
Проте, ми також рекомендуємо додати їх у файл robots.txt на вашому сайті.
Перегляньте цю статтю про та дізнайтесь більше про кожну опцію default robots та приклади robots.txt файлу.
