Що таке default robots?

Default robots також відомі як robots.txt — це стандарт, що використовується веб-сайтами для комунікації з веб-роботами. Ці роботи для повідомлення веб-сканерів (web crawlers) про те, які сторінки вашого веб-сайту ви хочете або не хочете сканувати та обробляти.

Для чого потрібні default robots?

Конфіденційність та SEO. Окрім того, що ви можете «заховати» деякі сторінки свого сайту від веб-сканерів, ви можете вказати, які саме сторінки ви хочете дозволити пошуковим системам аналізувати та відображати у результатах пошуку Google.

У Magento 2 Блог можна задати Default Robots для сторінок Tag, Search, а також Author, які будуть додані перед закриваючим тегом <head> в HTML сторінки.

Magento 2 default robots

Magento 2 meta robots