Делал себе robots.txt и попутно где-то стянул расширенный, уже не помню (да вобщем и смысл не в этом)
выкладываю, мож пригодится. Вобщем данный robots.txt перекрывает практически все бесполезности для большинства форумов, типа календаря, логина, реги и т.п.

зы - если что подправте, т.к. у моего форума структура значительно изменена и могли вкрастстя обшибки.
зы - зы - и кажись я немного веткой промахнулся, прошу не пинать, перенесите если что.

User-agent: *
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /modcp/
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php

ну а по файлу: все норамльно вроде у тебя разрешена индексация любыми роботами всего форума кроме указанных каталогов/файлов.. у меня такая же картина..

ну а по файлу: все норамльно вроде у тебя разрешена индексация любыми роботами всего форума кроме указанных каталогов/файлов.. у меня такая же картина..

2Rustle - это не вопрос, я просто наткнулся и выложил (потому написал, что промахнулся веткой).
у меня "робот" совсем другой и нету таких дерикторий и половины файлов.

зы - а щас вообще наткнулся на такой же список тут на форуме (в теме "оптимизации"). так что топик вообще можно прибить наверно.