# This is robots.txt file.

User-agent: *
Allow: /
Disallow:

User-agent: Yandex
Allow: /
Disallow: /cgi-bin
# разрешает скачивать все, кроме страниц начинающихся с '/cgi-bin'