Файл robots.txt или как не попасть в немилость к поисковикам?


После написания уникального оптимизированного контента, нужно чтобы о нем узнали поисковые системы. Для этого мы сделали файл sitemap.xml, в котором прописано какие страницы индексировать поисковому роботу. Но роботы будут ходить не только по тому, что прописано, они будут ходить вообще по всех ссылках и файлах вашего сайта. Будут индексировать даже сам движок, я уж не […]

Читать далее…