[3.8.x] Эмуляция кода ошибки 404 Not Found

07-23-2012, 11:22 PM

В случае удаления тем, меток, закрытия раздела от гостей и прочих исчезновений страниц сервер должен выдать сообщение об ошибки 404 (страница не найдена) для несуществующих страниц. Но этого не происходит из-за работы скрипта форума, который вместо удалённой страницы выдаёт страницу ошибки об отсутствии запрашиваемой страницы. Для бота поисковика удалённая страница заменяется на страницу с запретом на индексацию.
Вот что пишет Яндекс по этому поводу

Quote:

Одна из распространенных ошибок заключается в замене сообщения об ошибке 404 (страница не найдена) для несуществующих страниц на страницу-заглушку, которая возвращается с кодом ответа 200 (ОК). В этом случае поисковая система считает, что страница с некорректным адресом существует, и не удаляет ее из своей базы. Это приводит к более медленному индексированию полезных страниц на сайте.
http://help.yandex.ru/webmaster/?id=1108949

На моём сайте скопилось более тысячи таких страниц. Решил уравнять в "правах" пользователей сайта и ботов поисковиков, что бы все получали сообщение об удалении страницы. Для этого создал модуль, который отдавал ботам страницу с 404 ошибкой в тех случаях, когда проиндексированная страница становилась недоступной для бота поисковика.

Обращаю особое внимание на то, что страница с 404 ошибкой создаётся скриптом форума, а не как принято - сервером. Иначе, наличествует обман ботов, поэтому использование предлагаемого модуля теоретически может привести к бану сайта в поисковиках.

Модуль прошёл успешное испытание на моих сайтах. Роботы поисковиков "скушали" страницу с 404 ошибкой созданную скриптом форума. Вскоре в статистике поисковиков напротив удалённых страниц появилось сообщение о коде 404 и страницы форума со стандартной ошибкой, которыми заменялись удалённые страницы, были удалены поисковиками из индексирования.

Что бы создать модуль в меню "Продукты и модули" выбираем вкладку "Добавить новый модуль". В открывшейся вкладке заполняем поля сверху вниз
1. Местоположение модуля - error_generic
2. Заголовок - Генерация страницы с ошибкой 404 для роботов поисковиков (здесь можно написать любой заголовок)
3. Порядок выполнения - 5
4. Код PHP модуля -

PHP Code:


			
if (strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot') !== false
OR strpos($_SERVER['HTTP_USER_AGENT'], 'Yandex') !== false
OR strpos($_SERVER['HTTP_USER_AGENT'], 'bingbot') !== false
OR strpos($_SERVER['HTTP_USER_AGENT'], 'Scooter') !== false
OR strpos($_SERVER['HTTP_USER_AGENT'], 'Mail.RU') !== false
OR strpos($_SERVER['HTTP_USER_AGENT'], 'StackRambler') !== false
)
{
header($_SERVER["SERVER_PROTOCOL"]." 404 Not Found");
header("Status: 404 Not Found");
echo "<!DOCTYPE HTML PUBLIC \"-//IETF//DTD HTML 2.0//EN\">";
echo "<html>
<head>
<title>404 Not Found</title>
</head>
<body>
<h1>Not Found</h1>
<p>The requested URL.</p>
</body>
</html>";
exit();
};

5. Модуль включен - ДА

Сохраняем модуль
Всё

07-24-2012, 03:06 AM

Оффтоп
Есть переменная $show['search_engine'], по мне так делает тоже самое.

Оффтоп

07-24-2012, 09:46 AM

Quote:

Originally Posted by Orfo

Залез на google.com/webmasters/ глянул на ошибки 404, в принципе поисковик и сам определил что страниц уже нету, хоть и есть стандартная "заглушка".

Заглушка даёт код ответа 200 и + к этому запрет для робота на индексацию страницы. При этом сохраняется адрес страницы! То есть. о том что страница удалена не может знать ни один поисковик. Гугль мог удалил страницы, только по факту запрета на индексирование. НО страница и её адрес не запрещены для поисковика, запрет идёт внутри страницы. Значит гугль мог удалить страницы как пустые. В общем у поисковика должен быть фильтр для анализа таких страниц. Яндекс однозначно пишет, что будет хранит какое то время в индексации страницы с заглушкой.
Кроме этих поисковиков есть и другие, а они могут просто не понимать запрет на индексирование страницы и сохранят её у себя как изменённую по тому же адресу.