форум vBSupport.ru > vBulletin > vBulletin 4.2.x > Вопросы по vBulletin 4.2.x
  • »
VBsupport перешел с домена .ORG на родной .RU Ура! Пожалуйста, обновите свои закладки - VBsupport.ru
 
 
 
 
ZGrande
Простоузер
Default robots.txt для 4.2
0

Я правильно написал ?

Code:
User-agent: *
Disallow: /forum/*.js
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/members/
Disallow: /forum/groups/
Disallow: /forum/admincp/
Disallow: /forum/archive/
Disallow: /forum/external.php
Disallow: /forum/modcp/

Disallow: /forum/ajax.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php

Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/subscription.php
Disallow: /forum/showpost.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /index.php

Disallow: /forum/assetmanage.php
Disallow: /forum/album.php
Disallow: /forum/announcement.php
Disallow: /forum/converse.php
Disallow: /forum/editpost.php
Disallow: /forum/faq.php
Disallow: /forum/groupsubscription.php
Disallow: /forum/infraction.php
Disallow: /forum/payments.php
Disallow: /forum/moderation.php
Disallow: /forum/picturecomment.php
Disallow: /forum/posthistory.php
Disallow: /forum/threadtag.php
Disallow: /forum/visitormessage.php

Disallow: /forum/asset.php
Disallow: /forum/blog_ajax.php
Disallow: /forum/blog_external.php
Disallow: /forum/blog_inlinemod.php
Disallow: /forum/blog_report.php
Disallow: /forum/blog_search.php
Disallow: /forum/blog_subscription.php
Disallow: /forum/blog_usercp.php

Disallow: /forum/cgi-bin/
Disallow: /forum/clear.gif
Disallow: /forum/customgroupicons/
Disallow: /forum/group_inlinemod.php
Disallow: /forum/includes/
Disallow: /forum/list.php
Disallow: /forum/packages/
Disallow: /forum/payment_gateway.php
Disallow: /forum/picture.php
Disallow: /forum/picture_inlinemod.php
Disallow: /forum/sendtofriend.php
Disallow: /forum/signaturepics/
Disallow: /forum/vb/
Disallow: /forum/widget.php
куда его кидать?
Bot
Yandex Bot Yandex Bot is online now
 
Join Date: 05.05.2005
Реклама на форуме А что у нас тут интересного? =)
 
 
Luvilla
Гость
Default

тысячапервая тема про роботс...

Quote:
Originally Posted by ZGrande View Post
Я правильно написал ?
нет
знак препинания нЕ отделяется от предыдущего слова. Исключение: тире.
Надо так:
«Я правильно написал?»

===
Quote:
Originally Posted by ZGrande View Post
Disallow: /forum/admincp/
админка переименована?
если да, то эта строка не нужна
если нет, то переименовать, строку всё равно выбросить, новое имя админки сюда нЕ вписывать

Quote:
Originally Posted by ZGrande View Post
Disallow: /forum/modcp/
аналогично

Quote:
Originally Posted by ZGrande View Post
Disallow: /index.php
а что там?

Quote:
Originally Posted by ZGrande View Post
Disallow: /forum/global.php
а зачем?

Quote:
Originally Posted by ZGrande View Post
Disallow: /forum/cgi-bin/
ну не знаю...
у Вас cgi-bin валяется в папке /forum/? а зачем?

Quote:
Originally Posted by ZGrande View Post
Disallow: /forum/clientscript/
сомнительно... Гугл просит разрешать скрипты и картинки

По какому принципу текст разбит на блоки?

Host не указан, Clean-param не прописаны, Sitemap'ы тоже нет...

Вообще это "традиционный" роботс... сейчас это уже не модно
Вы бы почитали, что пишут на эту тему
 
 
ZGrande
Простоузер
Default
0

1) Disallow: /forum/global.php - удалил.
2) Disallow: /forum/admincp/mod - удалил,да переименнована.
3) Host не указан, Clean-param не прописаны - можно подробней?
4) Sitemap - сделаю *куда потом прописать
 
 
biomehanika
Продвинутый
 
biomehanika's Avatar
Default
0

Quote:
Originally Posted by ZGrande View Post
4) Sitemap - сделаю *куда потом прописать
после всего текста как в этом примере.
Quote:
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/

Host: forumpovideoregistratoram.ru

Sitemap: http://forumpovideoregistratoram.ru/...p_index.xml.gz
пример моего роботса
 
 
Luvilla
Гость
Default

Quote:
Originally Posted by biomehanika View Post
пример моего роботса
прям даже не знаю, можно ли такой роботс приводить как "пример"...
admincp? modcp? я говорила об этом во втором посте
Вы читали?
install? О_о...
тяжёлый случай......

===
роботс образца прошлого века

Риторический вопрос: зачем указывать в роботс, допустим, private.php? А? Зачем? newreply, newthread, profile - зачем их вписывать в роботс?
ну ладно, у меня в роботс вписаны newreply и newthread - у меня полностью открыт гостевой постинг
а у вас?
боты все порегистрированы и ходят юзерами? могут редактировать себе профиль, пользуются личкой? да?
ну, тогда, конечно, имеет смысл всем этим загромождать роботс...

ничего, что у воблы стандартная страница ошибки "Вы не имеете доступа" и так содержит <meta name="robots" content="noindex,follow" />?
 
 
biomehanika
Продвинутый
 
biomehanika's Avatar
Default
0

Я его делал (копировал и чистил) так давно, что уже забыл что там есть. Работает и поисковики не ругаются.
Quote:
Originally Posted by Luvilla View Post
админка переименована?
если да, то эта строка не нужна
не переименовывал, но что то подсказывает что нужно... Безопасность )
переименую и удалю, спасибо
Quote:
Originally Posted by Luvilla View Post
Disallow: /forum/modcp/
Разве его тоже нужно переименовывать?
Quote:
Originally Posted by biomehanika View Post
Disallow: /clientscript/
Даже и не знал. Еще раз спасибо.
Quote:
Originally Posted by Luvilla View Post
install? О_о...
тяжёлый случай......
Полностью согласен у меня его нет, так зачем он мне нужен.
Quote:
Originally Posted by Luvilla View Post
newthread
я так понимаю это относится к заголовкам к темам? удалил.
Quote:
Originally Posted by Luvilla View Post
profile
Всегда думал что это поисковику ненужная информация. Прислушаюсь к Вам, удалил.
Quote:
Originally Posted by Luvilla View Post
у меня полностью открыт гостевой постинг
а у вас?
Закрыт. Глупо.
Quote:
Originally Posted by Luvilla View Post
боты все порегистрированы и ходят юзерами? могут редактировать себе профиль, пользуются личкой? да?
ну, тогда, конечно, имеет смысл всем этим загромождать роботс...
нет смысла и еще раз спасибо!
Quote:
Originally Posted by Luvilla View Post
ничего, что у воблы стандартная страница ошибки "Вы не имеете доступа" и так содержит <meta name="robots" content="noindex,follow" />?
это немного не понял
 
 
Sven
Front-End Developer
 
Sven's Avatar
Default
0

Quote:
Originally Posted by biomehanika View Post
это немного не понял
Если робот зайдет на ту же страницу private.php, то получит ошибку "Вы не имеете доступа", а в коде этой страницы прописан мета-тег указанный Лью
 
 
biomehanika
Продвинутый
 
biomehanika's Avatar
Default
0

поправил робот и сразу минус 2000 страниц из поиска)))) Сейчас полностью почистил и оставил минимум посмотрим что будет.
 
 
Legion12
Простоузер
Default
0

Посмотрите пожалуйста robots.txt - на ошибки, возможно он не совсем правильно составлен и блокирует нужные странички.

User-agent: Googlebot
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /customgroupicons/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/
User-agent: Yandex
Disallow: /album.php
Disallow: /animation/
Disallow: /archive/
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /clientscript/yui/history/assets/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /threads/clientscript/
Disallow: /usercp.php
Disallow: /vb/
 
 
Sven
Front-End Developer
 
Sven's Avatar
Default
0

Quote:
Originally Posted by Legion12 View Post
Disallow: /install/
Не нужно..и вообще, эту папку нужно удалять
 


Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is On
Smilies are On
[IMG] code is On
HTML code is Off




All times are GMT +4. The time now is 01:48 AM.


Powered by vBulletin® Version 3.0.1
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Loading...