sabj

а что энто ?

Originally Posted by vadkuz

Поделитесь нормальным Robots.txt

а твой что, не нормальный? =\

Originally Posted by Malcolm Reed

а твой что, не нормальный? =\

это все

User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /includes/

поделюсь своим хуем, если кто-то не справляецца

vadkuz,
контент robots.txt зависит от того, что ты хочешь завставить поисковики делать, а что - не делать.
Вот тут можешь почитать
http://mastertalk.ru/topic6726.html

Originally Posted by Мик

поделюсь своим хуем, если кто-то не справляецца

а если кто то скажет засунь его в себе кое куда , не обломишься ?

такие не обламываюца

Originally Posted by vXvAsmodeus

такие не обламываюца

Мик спокойнее, кто на что учился ...
есть стандартные предпочтение к robots.txt относительно форума vB в базовой комплектации
вот мне лично это и хотелось увидеть...

User-agent: *
Disallow: /cgi-bin/
Disallow: /admincp/
Disallow: /modcp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /images/
Disallow: /includes/
Disallow: /subscriptions/
Disallow: /themes/
Disallow: /downloads/
Disallow: /includes/
Disallow: /member
Disallow: /calendar
Disallow: /printthread
Disallow: /sendmessage
Disallow: /search
Disallow: /modules/
Disallow: /post
Disallow: /private
Disallow: /newreply
Disallow: /register
Disallow: /cron.php
Disallow: /attachment.php
Disallow: /printthread
Disallow: /faq.php
Disallow: /newreply.php
Disallow: /gallery/index.php?q=
Disallow: /gallery/index.php?v=
Disallow: /gallery/search.php
Disallow: /gallery/albums.php
Disallow: /gallery/slideshow.php
Disallow: /gallery/upload.php


Понял, борьба с загрузкой CPU роботами ;-)
форум в корне
Добавляйте

Только роботы его не всегда слушаются
Особенно когда приходят по уже занесенным в их базу ссылкам