Привіт!У попередній темі “Внутрішня оптимізація сайту” я розглянув кілька способів внутрішньої оптимізаціїї сайту,сьогодні я хочу розповісти про одну складову внутрішньої оптимізації. Robots.txt – це файл який підказує пошуковому роботу які розділи сайту індексувати,а які ні.Robots.txt вказує шлях до карти сайту sitemap.xml. Одже,відкриваємо блокнот і пропишемо натупне: User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: … Читати далі
Створюємо Robots.txt