[Вопрос]

Всем привет!
Не так давно создал форум на vBulletin 3.8.6
Создал файл robots.txt и залил в корень.
Содержимое файла robots:

User-agent: *
Allow: /

При помощи онлайн сервиса создал файл sitemap.xml и так же залил в корень.
Всё это указал в панели "Инструменты для веб-мастеров" Google.
Гугл начал индексировать форум, но индексирует только архив и МETA описание.
В блоке "Кто на форуме" вижу что поисковый робот гугл смотрит календарь, и так постоянно! Практически безвылазно смотрит календарь и ничего больше.
Вот скриншот:

Как заставить индексировать темы и посты, а не только архив?
Сегодня создал другой файл robots.txt такого содержания:

User-agent:    *
Disallow:    /clientscript/
Disallow:    /cpstyles/
Disallow:    /customavatars/
Disallow:    /customgroupicons/
Disallow:    /customprofilepics/
Disallow:    /images/
Disallow:    /includes/
Disallow:    /signaturepics/
Disallow:    /clear.gif
Disallow:    /ajax.php
Disallow:    /album.php
Disallow:    /announcement.php
Disallow:    /attachment.php
Disallow:    /calendar.php
Disallow:    /converse.php
Disallow:    /cron.php
Disallow:    /editpost.php
Disallow:    /external.php
Disallow:    /faq.php
Disallow:    /global.php
Disallow:    /group.php
Disallow:    /group_inlinemod.php
Disallow:    /groupsubscription.php
Disallow:    /infraction.php
Disallow:    /inlinemod.php
Disallow:    /joinrequests.php
Disallow:    /login.php
Disallow:    /member.php
Disallow:    /member_inlinemod.php
Disallow:    /memberlist.php
Disallow:    /menuimg.php
Disallow:    /moderation.php
Disallow:    /moderator.php
Disallow:    /newattachment.php
Disallow:    /newreply.php
Disallow:    /newthread.php
Disallow:    /online.php
Disallow:    /payment_gateway.php
Disallow:    /payments.php
Disallow:    /picture_inlinemod.php
Disallow:    /picturecomment.php
Disallow:    /poll.php
Disallow:    /posthistory.php
Disallow:    /postings.php
Disallow:    /private.php
Disallow:    /profile.php
Disallow:    /register.php
Disallow:    /report.php
Disallow:    /reputation.php
Disallow:    /search.php
Disallow:    /sendmessage.php
Disallow:    /showgroups.php
Disallow:    /subscription.php
Disallow:    /threadrate.php
Disallow:    /usercp.php
Disallow:    /usernote.php
Disallow:    /visitormessage.php

Может теперь нормально будет?
Я в этом деле совсем ещё новичёк, поэтому самому разобраться наверное не под силу, да и свободного времени на изучение всего этого не так много.
Подскажите пожалуйста, что не так с форумом? Почему так плохо индексируется?

Originally Posted by MrFedor

В блоке "Кто на форуме" вижу что поисковый робот гугл смотрит календарь, и так постоянно!

Вы 24 часа в сутки обновляете блок "Ктона форуме"?

Originally Posted by MrFedor

Как заставить индексировать темы и посты, а не только архив?

Откуда вывод, что робот не индексирует посты?
Как давно существует форум?

Originally Posted by MrFedor

При помощи онлайн сервиса создал файл sitemap.xml и так же залил в корень.

зачем?! на форум есть хак: vBSEO = Sitemap Generator
он сам генерирует все и показывает когда и какой бот его загружал.

Originally Posted by InSAn

Вы 24 часа в сутки обновляете блок "Ктона форуме"?

В опциях включено - Отображать вошедших пользователей (в случайном порядке, только для участников).
Когда захожу на форум, внизу показано кто на форуме, нажимаю на ссылку "Присутствуют" и вижу что сидит робот гугл. Через какое-то время он уходит с форума, но через незначительный промежуток времени (20-30 мин, может 1 час) снова возвращается и снова смотрит календарь. Что он забыл в календаре? Чем он его так привлекает?

Originally Posted by InSAn

Откуда вывод, что робот не индексирует посты?
Как давно существует форум?

Форум существует месяца 2-3. В поиске гугл, выводит только одну тему из архива и описание форума.
Так как я в этом деле новичёк и движок vbulletin для меня кажется очень сложным, поэтому, дабы проверить свои силы, пока что использую бесплатный хостинг. Возможно эти проблемы именно из за бесплатного хостинга? Если проблема в этом, то скорее всего в скором времени перейду на платный.

AntiPiton, спасибо за подсказку! Попробую разобраться с хаком.
Вот этот подойдёт - vBSEO Sitemap Generator 3.0

Originally Posted by MrFedor

В опциях включено - Отображать вошедших пользователей (в случайном порядке, только для участников).

Значит, темы форума он уже прошел - просто Вы его не успели засечь.

Originally Posted by MrFedor

Форум существует месяца 2-3. В поиске гугл, выводит только одну тему из архива

Слишком мало времени прошло, чтобы горевать
Гугл выводит тему из архива т.к. считает ее более релевантной запросу (обычно так для всех форумов, если не предпринимать спец-действий)

InSAn, спасибо за ответ!
Теперь спокоен, а то уж думал что где-то накосячил.

А что касается хостинга, лучше сразу на платный идти, или для начала можно и на бесплатном потренироваться?

Originally Posted by MrFedor

А что касается хостинга, лучше сразу на платный идти, или для начала можно и на бесплатном потренироваться?

Конечно, платный лучше
Но потренироваться можно и на бесплатном.

PS: Что должно быть в файле robots.txt - поищите на форуме. Не один раз обсуждалось. Например, здесь.

Спасибо!
Всё ясно, вопросов больше не имею

в календаре очень много страниц, причем они однотипны, вообще желательно календарь и архив вообще, или отключить, или хотябы запретить к индексации. это только поднимет рейтинг вашего сайта для поисковика, и уменьшит время обхода роботом всего вашего сайта.

kep добавил 24.06.2011 в 23:26

Originally Posted by InSAn

Гугл выводит тему из архива т.к. считает ее более релевантной запросу (обычно так для всех форумов, если не предпринимать спец-действий)

так и есть, там наилучшее с точки его зрение сочетание полезной информации и информации в целом. и меньше всего ошибок в отображении материалла.