Техническая поддержка форумов vBulletin
  форум vBSupport.ru > vBulletin > vBulletin 3.8.x > Вопросы по vBulletin 3.8

[Проблема] Идеи по поводу защиты от ботов bing.com

Register Меню vBsupport Изображения Files Manager О рекламе Today's Posts Search
  • Родная гавань
  • Блок РКН снят
  • Premoderation
  • For English speaking users
  • Каталог Фрилансеров
  • If you want to buy some product or script
  • Администраторам
VBsupport перешел с домена .ORG на родной .RU Ура! Пожалуйста, обновите свои закладки - VBsupport.ru
Блок РКН снят, форум доступен на всей территории России, включая новые терртории, без VPN
На форуме введена премодерация ВСЕХ новых пользователей

Почта с временных сервисов, типа mailinator.com, gawab.com и/или прочих, которые предоставляют временный почтовый ящик без регистрации и/или почтовый ящик для рассылки спама, отслеживается и блокируется, а так же заносится в спам-блок форума, аккаунты удаляются
for English speaking users:
You may be surprised with restriction of access to the attachments of the forum. The reason is the recent change in vbsupport.org strategy:

- users with reputation < 10 belong to "simple_users" users' group
- if your reputation > 10 then administrator (kerk, Luvilla) can decide to move you into an "improved" group, but only manually

Main idea is to increase motivation of community members to share their ideas and willingness to support to each other. You may write an article for the subject where you are good enough, you may answer questions, you may share vbulletin.com/org content with vbsupport.org users, receiving "thanks" equal your reputation points. We should not only consume, we should produce something.

- you may:
* increase your reputation (doing something useful for another members of community) and being improved
* purchase temporary access to the improved category:
10 $ for 3 months. - this group can download attachments, reputation/posts do not matter.
20 $ for 3 months. - this group can download attachments, reputation/posts do not matter + adds eliminated + Inbox capacity increased + files manager increased permissions.

Please contact kerk or Luvilla regarding payments.

Important!:
- if your reputation will become less then 0, you will be moved into "simple_users" users' group automatically.*
*for temporary groups (pre-paid for 3 months) reputation/posts do not matter.
Уважаемые пользователи!

На форуме открыт новый раздел "Каталог фрилансеров"

и отдельный раздел для платных заказов "Куплю/Закажу"

Если вы хотите приобрести какой то скрипт/продукт/хак из каталогов перечисленных ниже:
Каталог модулей/хаков
Ещё раз обращаем Ваше внимание: всё, что Вы скачиваете и устанавливаете на свой форум, Вы устанавливаете исключительно на свой страх и риск.
Сообщество vBSupport'а физически не в состоянии проверять все стили, хаки и нули, выкладываемые пользователями.
Помните: безопасность Вашего проекта - Ваша забота.
Убедительная просьба: при обнаружении уязвимостей или сомнительных кодов обязательно отписывайтесь в теме хака/стиля
Спасибо за понимание
 
 
 
 
nop
Продвинутый
Default Идеи по поводу защиты от ботов bing.com
0
Добрый день.
Наверняка администратор любого крупного форума сталкивался с этими долбанными ботами поисковой системы bing.com. Кто не сталкивался, может загуглить bing ddos. Вот в данный момент, 40 запросов в минуту:
Оффтоп
Форум корректно работает, просто подлагивает. Но бывает запросов вдвое больше и это уже выливается в "database error". При этом на форуме сидят по 500-600 человек, просьба учитывать это.
Ясное дело, что это решается дедиком помощьнее, но взглянув на метрику я понял, что с БИНГа мне приходят 0.2% от доли всех поисковых систем. Не шибко много, но полностью блочить поисковик не хочется.
И вот вопрос папкам, правильно ли мне кажется, что сервер в основном нагружают запросы с сортировками? Вот пример:
Quote:
157.55.39.123 - - [12/Jan/2016:13:51:59 +0300] "GET /forum/forumdisplay.php?f=65&pp=25&sort=lastpost&order=asc&daysprune=-1&page=7 HTTP/1.1" 200 253647 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.39.132 - - [12/Jan/2016:13:52:01 +0300] "GET /forum/forumdisplay.php?daysprune=-1&f=421&page=10 HTTP/1.0" 200 242197 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.39.132 - - [12/Jan/2016:13:52:04 +0300] "GET /forum/forumdisplay.php?daysprune=-1&f=421&page=10 HTTP/1.1" 200 242219 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.39.123 - - [12/Jan/2016:13:52:06 +0300] "GET /forum/forumdisplay.php?f=587&order=desc&page=3 HTTP/1.0" 200 245137 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.39.132 - - [12/Jan/2016:13:52:06 +0300] "GET /forum/forumdisplay.php?f=426&page=7 HTTP/1.0" 200 228367 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.39.123 - - [12/Jan/2016:13:52:08 +0300] "GET /forum/forumdisplay.php?f=587&order=desc&page=3 HTTP/1.1" 200 245159 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.39.132 - - [12/Jan/2016:13:52:09 +0300] "GET /forum/forumdisplay.php?f=426&page=7 HTTP/1.1" 200 228389 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.173 - - [12/Jan/2016:13:52:19 +0300] "GET /forum/forumdisplay.php?f=200&daysprune=-1&order=asc&sort=replycount&pp=25&page=16 HTTP/1.0" 200 239524 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.173 - - [12/Jan/2016:13:52:22 +0300] "GET /forum/forumdisplay.php?f=200&daysprune=-1&order=asc&sort=replycount&pp=25&page=16 HTTP/1.1" 200 239546 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.173 - - [12/Jan/2016:13:52:42 +0300] "GET /forum/forumdisplay.php?f=203&daysprune=-1&order=asc&sort=title&pp=25&page=80 HTTP/1.0" 200 242208 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
Получается, почти каждый запрос к отображению раздела - с сортировкой. Отсюда вопрос.
Если допустим в коде forumdisplay.php поставить проверку на бота bing.com и наличие параметров daysprune, order, sort, pp - и просто вырезать эти параметры из запроса. На сколько это смягчит давление на базу? Стоит заморачиваться или просто заблочить bing, не забивая себе голову?

Заранее, спасибо за умные мысли.
Bot
Yandex Bot Yandex Bot is online now
 
Join Date: 05.05.2005
Реклама на форуме А что у нас тут интересного? =)
 
 
Sven
Front-End Developer
 
Sven's Avatar
Default
4
В роботс добавить, что-то типа

Code:
User-agent: bingbot
Crawl-delay: 10
Crawl-delay: 10 - можно менять на свое
 
 
Konkere
Знаток
 
Konkere's Avatar
Default
2
Quote:
Originally Posted by nop View Post
правильно ли мне кажется, что сервер в основном нагружают запросы с сортировками?
У бинг-а как и у гугла с яндексом есть панель вебмастера регистрируетесь и можете настроить обработку урлов с параметрами, там же можно настроить интенсивность и время обходов сайта роботом.
 
 
nop
Продвинутый
Default
0
Quote:
Originally Posted by Konkere View Post
У бинг-а как и у гугла с яндексом есть панель вебмастера регистрируетесь и можете настроить обработку урлов с параметрами, там же можно настроить интенсивность и время обходов сайта роботом.
почти три недели прошли, как я добавил эти правила в Бинге



Сегодня лагает сайт.. смотрю логи:



Толку от этого ноль. Я от MS в общем-то ничего другого и не ожидал.
 
 
Smalesh
В Черном списке
Default
1
Используй в nginx limit_conn и limit_req и отдавай ошибку 429.
Постучи в личку, если сложности с настройкой.
 

« Previous Thread | Next Thread »

Posting Rules
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts
BB code is On
Smilies are On
[IMG] code is On
HTML code is Off



All times are GMT +4. The time now is 06:52 AM.

Contact Us - vBSupport.ru - Top

Powered by vBulletin® Version 3.5.5
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.