Файл robots.txt на DLE
Составить нормальный Файл robots.txt на DLE так же как и на другие движки новичку довольно не просто. Файл robots.txt призван исключать дубли страниц на сайте и закрывать не желательные папки от индексации роботами поисковых систем. Робот читает robots.txt и только потом индексирует сайт. У меня лежит такой гармоничный robots.txt и теперь выкладываю его для вас. Конечно к нему стоит дописать собственные закрытые папки, если вы таковые создавали.
Robots.txt всегда должен лежать в корне сайта, а не в каких то еще папках. Директиву Host замените на ваш домен без http.
User-Agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
Host: ваш сайт.ru
User-Agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /admin.php
