[Поиск]

Помогите, пожалуйста, правильно составить robots.txt для этой версии движка.

User-agent: *
Disallow: /admincp/
Disallow: /archive/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /includes/
Disallow: /modcp/

Верно?

http://tech555.com/robots.txt
вот тут ничего такой robots
только лишнего много (не от воблы).

admincp и modcp я бы не стал добавлять в robots.txt.. лучше прям в них написать noindex, nofollow

У меня приблизительно такой. Правды никто не скажет, какой он должен быть. Все по-разному смотрят на составление файла.

Originally Posted by zCarot

admincp и modcp я бы не стал добавлять в robots.txt.. лучше прям в них написать noindex, nofollow

В них создать файлы?

Спасибо. Убрал то, что не относится к vb 3.8 из того robots. Получилось это:
Оффтоп

User-agent: *
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /customgroupicons/
Disallow: /signaturepics/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /archive/
Disallow: /ajax.php
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /group_inlinemod.php
Disallow: /groupsubscription.php
Disallow: /faq.php
Disallow: /infraction.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member_inlinemod.php
Disallow: /misc.php
Disallow: /moderation.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /picture_inlinemod.php
Disallow: /posthistory.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php

Originally Posted by Сталь

Спасибо. Убрал то, что не относится к vb 3.8 из того robots. Получилось

как результаты? что в индексе ?

А вообще какие файлы и папки воблы не стоит разрешать для интоксикации поисковиками?

Apach47,

Оффтоп: читать выше никак не получается? А как тему нашли тогда? о_О

А по вопросу:

Originally Posted by Apach47

какие файлы и папки воблы не стоит разрешать для интоксикации поисковиками

вобла это скрипт) она не живая) она не чувствует боли от действия на неё поисковиками) Да и не токсичны поисковики, на сколько я знаю, по крайней мере не токсичнее глупых пользователей

Доброе всем время суток господа!

Подскажите пожалуйста могут ли быть плохи последствия для SEO
Если я закрою нижеследующие файлы при помощи robots.txt?
(на форуме про них для robots.txt мало что нашел)
(некоторые я неочень понимаю насколько важнв)

Спасибо

ajax.php
album.php
converse.php
external.php
global.php
group.php
group_inlinemod.php
groupsubscription.php
image.php
infraction.php
LICENSE
payment_gateway.php
payments.php
picture.php
picture_inlinemod.php
picturecomment.php
posthistory.php
tags.php
threadtag.php
visitormessage.php

blacks, вот тебе пример моего файла robots.txt

User-agent:	*
Disallow:	/admincp/
Disallow:	/clientscript/
Disallow:	/cpstyles/
Disallow:	/customavatars/
Disallow:	/customgroupicons/
Disallow:	/customprofilepics/
Disallow:	/images/
Disallow:	/includes/
Disallow:	/modcp/
Disallow:	/signaturepics/
Disallow:	/clear.gif
Disallow:	/ajax.php
Disallow:	/album.php
Disallow:	/announcement.php
Disallow:	/attachment.php
Disallow:	/calendar.php
Disallow:	/converse.php
Disallow:	/cron.php
Disallow:	/editpost.php
Disallow:	/external.php
Disallow:	/faq.php
Disallow:	/global.php
Disallow:	/group.php
Disallow:	/group_inlinemod.php
Disallow:	/groupsubscription.php
Disallow:	/infraction.php
Disallow:	/inlinemod.php
Disallow:	/joinrequests.php
Disallow:	/login.php
Disallow:	/member.php
Disallow:	/member_inlinemod.php
Disallow:	/memberlist.php
Disallow:	/menuimg.php
Disallow:	/moderation.php
Disallow:	/moderator.php
Disallow:	/newattachment.php
Disallow:	/newreply.php
Disallow:	/newthread.php
Disallow:	/online.php
Disallow:	/payment_gateway.php
Disallow:	/payments.php
Disallow:	/picture_inlinemod.php
Disallow:	/picturecomment.php
Disallow:	/poll.php
Disallow:	/posthistory.php
Disallow:	/postings.php
Disallow:	/private.php
Disallow:	/profile.php
Disallow:	/register.php
Disallow:	/report.php
Disallow:	/reputation.php
Disallow:	/search.php
Disallow:	/sendmessage.php
Disallow:	/showgroups.php
Disallow:	/subscription.php
Disallow:	/threadrate.php
Disallow:	/usercp.php
Disallow:	/usernote.php
Disallow:	/visitormessage.php
Host:		www.mysite.ru
Sitemap:	http://www.mysite.ru/sitemap.xml

фактически я разрешил индексировать только списки разделов/тем/постов (остальное прикрыл, в том числе и профили пользователей, аватары/юзербары и проч.) -- проблем с нахождением сайта в поисковиках нет.

Чисто визуально отслеживая активность ботов в различных темах, составил следующий файл robots.txt

User-agent: *
Disallow: /attachment.php
Disallow: /editpost.php
Disallow: /calendar.php
Disallow: /login.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /member.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /images/

User-Agent: Googlebot-Image
Disallow: /