User-agent: Yandex
Disallow: /cgi-bin #левая папка которую я не юзаю, но знаю для чего она
Disallow: /google/ #спрячем поиск google от индексации
Disallow: /index.php?s= #спрячем поиск wordpress от индексации
Disallow: /page/ #спрячем все страницы от индексации
Disallow: /tag/ #спрячем все теги от индексации
Disallow: /wp-admin #спрячем админку от индексации
Disallow: /wp-content/cache #спрячем возможный? кеш от индексации
Disallow: /wp-content/plugins #спрячем плагины от индексации
Disallow: /wp-content/themes #темы тоже нужно спрятать
Disallow: /wp-includes #ммм вложения - нахуй
Disallow: /wp-login.php #страницу логина – туда же
Disallow: /wp-register.php #ну и регистрации за одно
Disallow: /forum/groupcp.php #займемся форумом phpbb
Disallow: /forum/login.php #спрячем страницу логина
Disallow: /forum/memberlist.php #страницу членов
Disallow: /forum/privmsg.php #страницу сообщений
Disallow: /forum/profile.php #страницу профилей
Disallow: /forum/search.php #страницу поиска
Disallow: /forum/viewonline.php #онлайн статистику
Disallow: /2007/ #архив 2007 года в печь
Disallow: /2008/ #2008 год тоже в печь
Disallow: /2009/ #и новый 2009 тоже
Disallow: /author/ #страницу афтороф ф печь
Host: pronfs.ru #pronfs.ru является главным зеркалом
Sitemap: http://pronfs.ru/sitemap.xml #карта - полная
Sitemap: http://pronfs.ru/sitemap.xml.gz #карта - пожатая

User-agent:*
Disallow: /cgi-bin
Disallow: /google/
Disallow: /index.php?s=
Disallow: /page/
Disallow: /tag/
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /forum/groupcp.php
Disallow: /forum/login.php
Disallow: /forum/memberlist.php
Disallow: /forum/privmsg.php
Disallow: /forum/profile.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /author/
Sitemap: http://pronfs.ru/sitemap.xml
Sitemap: http://pronfs.ru/sitemap.xml.gz

User-agent: MSNBot
Crawl-delay: 120
Disallow: /

User-agent: Slurp
Crawl-delay: 120
Disallow: /

#Поганое SEO, дурной интернет,
#Что не запрос - в ответ один бред,
#Я б без сомненья ебало разбил,
#Тому мудаку, что это творил… 
#Copyright непомнюкто