Я правильно написал ?

User-agent: *
Disallow: /forum/*.js
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/members/
Disallow: /forum/groups/
Disallow: /forum/admincp/
Disallow: /forum/archive/
Disallow: /forum/external.php
Disallow: /forum/modcp/

Disallow: /forum/ajax.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php

Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/subscription.php
Disallow: /forum/showpost.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /index.php

Disallow: /forum/assetmanage.php
Disallow: /forum/album.php
Disallow: /forum/announcement.php
Disallow: /forum/converse.php
Disallow: /forum/editpost.php
Disallow: /forum/faq.php
Disallow: /forum/groupsubscription.php
Disallow: /forum/infraction.php
Disallow: /forum/payments.php
Disallow: /forum/moderation.php
Disallow: /forum/picturecomment.php
Disallow: /forum/posthistory.php
Disallow: /forum/threadtag.php
Disallow: /forum/visitormessage.php

Disallow: /forum/asset.php
Disallow: /forum/blog_ajax.php
Disallow: /forum/blog_external.php
Disallow: /forum/blog_inlinemod.php
Disallow: /forum/blog_report.php
Disallow: /forum/blog_search.php
Disallow: /forum/blog_subscription.php
Disallow: /forum/blog_usercp.php

Disallow: /forum/cgi-bin/
Disallow: /forum/clear.gif
Disallow: /forum/customgroupicons/
Disallow: /forum/group_inlinemod.php
Disallow: /forum/includes/
Disallow: /forum/list.php
Disallow: /forum/packages/
Disallow: /forum/payment_gateway.php
Disallow: /forum/picture.php
Disallow: /forum/picture_inlinemod.php
Disallow: /forum/sendtofriend.php
Disallow: /forum/signaturepics/
Disallow: /forum/vb/
Disallow: /forum/widget.php

куда его кидать?

тысячапервая тема про роботс...

Originally Posted by ZGrande

Я правильно написал ?

нет
знак препинания нЕ отделяется от предыдущего слова. Исключение: тире.
Надо так:
«Я правильно написал?»

===

Originally Posted by ZGrande

Disallow: /forum/admincp/

админка переименована?
если да, то эта строка не нужна
если нет, то переименовать, строку всё равно выбросить, новое имя админки сюда нЕ вписывать

Originally Posted by ZGrande

Disallow: /forum/modcp/

аналогично

Originally Posted by ZGrande

Disallow: /index.php

а что там?

Originally Posted by ZGrande

Disallow: /forum/global.php

а зачем?

Originally Posted by ZGrande

Disallow: /forum/cgi-bin/

ну не знаю...
у Вас cgi-bin валяется в папке /forum/? а зачем?

Originally Posted by ZGrande

Disallow: /forum/clientscript/

сомнительно... Гугл просит разрешать скрипты и картинки

По какому принципу текст разбит на блоки?

Host не указан, Clean-param не прописаны, Sitemap'ы тоже нет...

Вообще это "традиционный" роботс... сейчас это уже не модно
Вы бы почитали, что пишут на эту тему

1) Disallow: /forum/global.php - удалил.
2) Disallow: /forum/admincp/mod - удалил,да переименнована.
3) Host не указан, Clean-param не прописаны - можно подробней?
4) Sitemap - сделаю *куда потом прописать

Originally Posted by ZGrande

4) Sitemap - сделаю *куда потом прописать

после всего текста как в этом примере.

Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/

Host: forumpovideoregistratoram.ru

Sitemap: http://forumpovideoregistratoram.ru/...p_index.xml.gz

пример моего роботса

User-agent: *
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/

User-agent: Googlebot
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=

User-agent: Yandex
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/

Host: forumpovideoregistratoram.ru

Sitemap: http://forumpovideoregistratoram.ru/...p_index.xml.gz

Originally Posted by biomehanika

пример моего роботса

прям даже не знаю, можно ли такой роботс приводить как "пример"...
admincp? modcp? я говорила об этом во втором посте
Вы читали?
install? О_о...
тяжёлый случай......

===
роботс образца прошлого века

Риторический вопрос: зачем указывать в роботс, допустим, private.php? А? Зачем? newreply, newthread, profile - зачем их вписывать в роботс?
ну ладно, у меня в роботс вписаны newreply и newthread - у меня полностью открыт гостевой постинг
а у вас?
боты все порегистрированы и ходят юзерами? могут редактировать себе профиль, пользуются личкой? да?
ну, тогда, конечно, имеет смысл всем этим загромождать роботс...

ничего, что у воблы стандартная страница ошибки "Вы не имеете доступа" и так содержит <meta name="robots" content="noindex,follow" />?

Я его делал (копировал и чистил) так давно, что уже забыл что там есть. Работает и поисковики не ругаются.

Originally Posted by Luvilla

админка переименована?
если да, то эта строка не нужна

не переименовывал, но что то подсказывает что нужно... Безопасность )
переименую и удалю, спасибо

Originally Posted by Luvilla

Disallow: /forum/modcp/

Разве его тоже нужно переименовывать?

Originally Posted by biomehanika

Disallow: /clientscript/

Даже и не знал. Еще раз спасибо.

Originally Posted by Luvilla

install? О_о...
тяжёлый случай......

Полностью согласен у меня его нет, так зачем он мне нужен.

Originally Posted by Luvilla

newthread

я так понимаю это относится к заголовкам к темам? удалил.

Originally Posted by Luvilla

profile

Всегда думал что это поисковику ненужная информация. Прислушаюсь к Вам, удалил.

Originally Posted by Luvilla

у меня полностью открыт гостевой постинг
а у вас?

Закрыт. Глупо.

Originally Posted by Luvilla

боты все порегистрированы и ходят юзерами? могут редактировать себе профиль, пользуются личкой? да?
ну, тогда, конечно, имеет смысл всем этим загромождать роботс...

нет смысла и еще раз спасибо!

Originally Posted by Luvilla

ничего, что у воблы стандартная страница ошибки "Вы не имеете доступа" и так содержит <meta name="robots" content="noindex,follow" />?

это немного не понял

Originally Posted by biomehanika

это немного не понял

Если робот зайдет на ту же страницу private.php, то получит ошибку "Вы не имеете доступа", а в коде этой страницы прописан мета-тег указанный Лью

поправил робот и сразу минус 2000 страниц из поиска)))) Сейчас полностью почистил и оставил минимум посмотрим что будет.

Посмотрите пожалуйста robots.txt - на ошибки, возможно он не совсем правильно составлен и блокирует нужные странички.

User-agent: Googlebot
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /customgroupicons/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/
User-agent: Yandex
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /clientscript/yui/history/assets/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/

Originally Posted by Legion12

Disallow: /install/

Не нужно..и вообще, эту папку нужно удалять