Как то не задумывался никогда за этот файл, а вот почитал ночью про него - задумался. И вот думаю как правильно составить:
Нашёл здесь на форуме вот такого плана:

User-agent:	*
Disallow:	/admincp/
Disallow:	/clientscript/
Disallow:	/cpstyles/
Disallow:	/customavatars/
Disallow:	/customgroupicons/
Disallow:	/customprofilepics/
Disallow:	/images/
Disallow:	/includes/
Disallow:	/modcp/
Disallow:	/signaturepics/
Disallow:	/clear.gif
Disallow:	/ajax.php
Disallow:	/album.php
Disallow:	/announcement.php
Disallow:	/attachment.php
Disallow:	/calendar.php
Disallow:	/converse.php
Disallow:	/cron.php
Disallow:	/editpost.php
Disallow:	/external.php
Disallow:	/faq.php
Disallow:	/global.php
Disallow:	/group.php
Disallow:	/group_inlinemod.php
Disallow:	/groupsubscription.php
Disallow:	/infraction.php
Disallow:	/inlinemod.php
Disallow:	/joinrequests.php
Disallow:	/login.php
Disallow:	/member.php
Disallow:	/member_inlinemod.php
Disallow:	/memberlist.php
Disallow:	/menuimg.php
Disallow:	/moderation.php
Disallow:	/moderator.php
Disallow:	/newattachment.php
Disallow:	/newreply.php
Disallow:	/newthread.php
Disallow:	/online.php
Disallow:	/payment_gateway.php
Disallow:	/payments.php
Disallow:	/picture_inlinemod.php
Disallow:	/picturecomment.php
Disallow:	/poll.php
Disallow:	/posthistory.php
Disallow:	/postings.php
Disallow:	/private.php
Disallow:	/profile.php
Disallow:	/register.php
Disallow:	/report.php
Disallow:	/reputation.php
Disallow:	/search.php
Disallow:	/sendmessage.php
Disallow:	/showgroups.php
Disallow:	/subscription.php
Disallow:	/threadrate.php
Disallow:	/usercp.php
Disallow:	/usernote.php
Disallow:	/visitormessage.php
Host:		www.mysite.ru
Sitemap:	http://www.mysite.ru/sitemap.xml

Подойдёт на 4ку?. Не слишком ли много запрещено?. Мб есть что получше, я просто впервые сталкиваюсь с этим по этому вообще не понимаю как его составить для себя.

А чем robots.txt для 4.2.2 отличается от 4.1.2(к примеру).

П.С.: Все в пределах 4.х.х, ну поиск же :(

Originally Posted by Canny

Не слишком ли много запрещено?. Мб есть что получше, я просто впервые сталкиваюсь с этим по этому вообще не понимаю как его составить для себя.

У моей жены какая-то из бабушек была, так у той лекарства были не в коробочке, а в бумажку завернуты, а на бумажке надпись ее рукой: от головы, от зубной боли, от поноса, и т.д. но еще у нее был один кулечек лекарств с надписью "от всего". К чему это я, нет такого robots.txt "от всего"!

robots.txt у всех в открытом доступе, смотрите открытом доступу не у ФБ, а у лидеров своей тематики, анализируйте со своим, разрешайте к доступу то, что считаете Вашему ресурсу будет полезно.

Если есть сомнения по какой-то строчке, давайте ее здесь обсудим.

Например, уменя тоже Disallow: /images/. Собираюсь продвигаться картинками, но я еще к этому не готов, еще альтами ничего не прописано, но в планах стоит, как пропишем альты, как пропишу в правилах форума, что юзеры несут и уголовную и административную ответственность за размещенные images - так сразу открою, а щас пусть будет Disallow.

Originally Posted by Canny

Disallow: /admincp/
...
Disallow: /modcp/

зачем?
если админка и модерка переименованы, их не надо "палить" в роботс
если нЕ переименованы - их надо переименовать

Originally Posted by Canny

Disallow: /menuimg.php

это что? хак какой-то?

Originally Posted by Canny

Disallow: /external.php

спорный момент...
если мнение, что Гугл отлично читает РСС и быстро индексирует новые темы
у тебя вообще РСС - включен?

===

Originally Posted by Kronshtadt

К чему это я, нет такого robots.txt "от всего"!

+ 1

Originally Posted by Shestak

ну поиск же :(

+ 100500!

Ясно-понятно. Будем делать и составлять.

Disallow: /admincp/
...
Disallow: /modcp/

да у меня эти папки переименованы, удалил из списка.

Originally Posted by Luvilla

это что? хак какой-то?

без понятия

Originally Posted by Luvilla

у тебя вообще РСС - включен?

А что это и где проверить?

Originally Posted by Shestak

ну поиск же :(

Поиск конечно смотрел - всё разное, поэтому и топ запилил чтобы хоть что то разузнать конкретнее

Originally Posted by Canny

без понятия

зачем копипастишь то, про что "без понятия"?

Originally Posted by Luvilla

зачем копипастишь то, про что "без понятия"?

Дык код всего роботс.тхд скопировал, без разборки его. Там больше половины линков в нём не работают у меня.

Вообщем сделал,кто подскажет, правильно или не правильно. Если не правильно - что именно поправить?

User-agent:	*
Disallow: /group.php
Disallow: /album.php
Disallow: /profile.php
Disallow: /profile.php?do=editoptions
Disallow: /profile.php?do=editprofile
Disallow: /profile.php?do=buddylist
Disallow: /memberlist.php
Disallow: /search.php
Disallow: /blog.php
Disallow: /news
Disallow: /calendar.php
Disallow: /archive
Disallow: /forumdisplay.php?f=723
Disallow: /banned.php
Disallow: /faq.php
Disallow: /subscription.php
Disallow: /misc.php
Disallow: /showgroups.php
Disallow: /online.php
Disallow: /register.php
Disallow: /tags.php
Disallow: /member.php
Host: www.shellru.com
Sitemap: http://www.shellru.com/sitemap.xml

Canny добавил 30.11.2013 в 21:05
Я просто не могу понять правильно карта сата прописана или нет?

Ну раз по пути http://www.shellru.com/sitemap.xml выдает 404 - значит не правильно. Логично?

Originally Posted by Sven

Ну раз по пути http://www.shellru.com/sitemap.xml выдает 404 - значит не правильно. Логично?

Так точно, подскажите как исправить?

У меня почемуто не находит файл sitemap.xml, есть пустая папка с названием: store_sitemap, и в папке админки - файл sitemap.php.
sitemap.xml найти не удалось.

Карта хоть создана? Что в админке пишется?
Обычно там и ссылка на правильный сайтмап указана