Файл robots.txt

[Hajime]

Кто может объяснить принцип заполнения этого файлика для сайта? или его пустым оставлять?что никто не может помочь?