Ежедневно примерно в 23 часа форум пропадает на 10-20 минут. Невозможно отобразить страницу.

В последний раз, когда звонили в поддержку, чувак сказал, что форум валит гуглбот. Выходит он в это время ломится к нам и создает такую нагрузку, что железо не выдерживает.

Роботс.тхт у меня такой.

User-agent: *
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php

https://www.google.com/accounts/ManageAccount

Нужно зарегиться и в настройках есть возможность регулировать частоту посещения БОТА от Google в зависимости от нужды!

А какая именно это настройка? Я там нашол только регулировку частоты ЗАПРОСОВ от бота. В среднем у меня от гугла 12 000 запросов в сутки... Частоты посещения бота не нашлось. Было бы неплохо например приглашать его к себе раз в неделю, скажем ночью с воскресенья на понедельник.

igora, Настройки - Частота сканирования - Задать пользовательскую скорость сканирования