Кто уже получал такие письма счастья от Гугла?
С заголовком На сайте *** выявлена новая проблема с материалами формата "Покрытие"
какое "покрытие", ёпта...



куда ты лезешь, чучело? тебе сказано: не индексируй это!
"Нет, йа Гугель, и мне сюда ннада! А раз я это проиндексировал, убирай теперь это из роботс!"

Originally Posted by Luvilla

и мне сюда ннада!

еще раз доказывает, что гугел ахренел и возомнил себя пупом всея интернета
Д.Б.

Originally Posted by kerk

гугел ахренел

это факт
Опять шлёт пачками письма про необходимость обновления с троечки (ага, щаааазззз) - ну вот оно тебе надо? стоит движок, работает, уймись! вот если взломали - тогда да, очень поможешь, если уведомишь
Но его уведомления типо "на сайте *** используются методы социальной инженерии" - я рухнула, когда первый раз такое прочитала... фишинговую страницу клиенту подсадили - "социальная инженерия", толерантная формулировка, блин! Заходишь в панель вебмастера - покажи примеры страниц - болт, ссылки на мануалы.

Но это - "проиндексировано, несмотря на заперт" - убило нахрен. Ладно, если что-то недавно внесено в роботс или вообще десять лет не было роботс.тхт, тут я хоть могу понять, Гуглу жалко выбрасывать из индекса столько страниц, боты ж ходили, собирали, обрабатывали.
А вот у меня printthread изначально в роботс, потому что это смешно, индексировать "версию для печати", года три (или больше?) назад я туда вообще редирект прикрутила на нормальную версию, потому что случайно увидела этот дурацкий /printthread.php?t= у Гоши в выдаче. И вот теперь он мне шлёт письма, мол, я ж проиндексировал!

Originally Posted by Luvilla

куда ты лезешь, чучело? тебе сказано: не индексируй это!

Ну строго говоря, в справке гугла прямым текстом написано, что поисковый бот следует указаниям из роботс не в ста процентах случаев.
Для гарантированного удаления страниц из поиска существует тег noindex:

"Проиндексировано, несмотря на блокировку в файле robots.txt. Страница была проиндексирована, несмотря на блокировку файлом robots.txt (Google всегда следует предписаниям этого файла, однако если на других сайтах есть ссылки на вашу страницу, то robots.txt не поможет). Этот статус установлен, так как мы не уверены, что вы хотите удалить страницу из результатов поиска. Если ваше намерение именно таково, файл robots.txt не является корректным способом избежать индексирования. Чтобы страница не индексировалась, необходимо использовать тег noindex или запретить анонимный доступ к ней. С помощью специального инструмента можно понять, какое именно правило блокирует страницу. Из-за файла robots.txt страница может не самым оптимальным образом показываться в результатах поиска. Если вы не хотите удалять страницу из результатов поиска, измените файл robots.txt."
https://support.google.com/webmaster..._by_robots_txt

"Страница, заблокированная для поисковых роботов, все же может быть обработана, если на других сайтах есть ссылки на нее
Googlebot не будет напрямую индексировать контент, указанный в файле robots.txt, однако сможет найти страницы с ним по ссылкам с других сайтов. Таким образом, URL, а также другие общедоступные сведения, например текст ссылок на страницу, могут появиться в результатах поиска Google. Чтобы исключить появление URL в результатах поиска Google, необходимо защитить файлы на сервере паролем или использовать метатеги с директивами по индексированию (либо полностью удалить страницу)."
https://support.google.com/webmaster...ed-but-indexed

Googlebot не будет напрямую индексировать контент, указанный в файле robots.txt, однако сможет найти страницы с ним по ссылкам с других сайтов.

отмаза это
какие-то ссылки - допустим, но ссылки на /printthread.php?t= откуда б им взяться?
это сейчас не теория, а вот конкретный случай, мой форум, очень маленький и малопосещаемый

Originally Posted by Luvilla

какие-то ссылки - допустим, но ссылки на /printthread.php?t= откуда б им взяться?
это сейчас не теория, а вот конкретный случай, мой форум, очень маленький и малопосещаемый

Нуууууууу...
Ссылки могут взяться откуда угодно, а вот полагаться на поведение, которое входит в противоречие с документацией, где прямо написано, что "файл robots.txt не является корректным способом избежать индексирования" -- весьма опрометчиво.
Чем-то мне эта ситуация напоминает вот это: http://lurkmore.to/Костыль#.D0.9F.D1...BC.D0.B5.D1.80

Что конкретно до вашего форума, то не знаю, какой конкретно вы имели в виду (может, у вас их несколько?), но на домовят есть как минимум одна ссылка: https://www.liveinternet.ru/users/pa...post206046143/

Originally Posted by Luvilla

фишинговую страницу клиенту подсадили - "социальная инженерия", толерантная формулировка, блин!

Дык это ж канцелярит. Повсеместно используется крупными и не очень корпорациями в текстах, иначе же "несолидно".
Я тоже долго удивлялся, когда много лет тому назад, на заре своего знакомства с Windows, увидел в интерфейсе и в справке обороты типа "поставщик услуг Интернета" и "обозреватель Интернета" вместо простых и понятных русских слов "провайдер" и "браузер"
"Поставщик услуг Интернета", Карл!
Грустно конечно, что у их трудности с человеческим переводом на русский и выбором адекватных терминов, но проблема эта не нова.

Originally Posted by Luvilla

покажи примеры страниц - болт, ссылки на мануалы.

А вот это -- дно...

Originally Posted by Luvilla

несмотря на блокировку в файле robots.txt

Подожди. А как давно robots.txt что либо блокировал? Он с рождения служил рекомендацией для бота. Первоначально - рекомендацией для управления индексированием страниц. Эпичненько конечно, но у каждой ПС свои понятия о этом файле. Например у гугла вот такая трактовка

Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно или нельзя обрабатывать. Эта функция позволяет ограничить количество запросов, которые получает ваш веб-сервер, и снизить нагрузку на него. Она не предназначена для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, используйте теги или директивы noindex. Также вы можете создать на сайте разделы, защищенные паролем.

Файл robots.txt не предназначен для блокировки показа веб-страниц в результатах поиска Google. Если на других сайтах есть ссылки на вашу страницу, содержащие ее описание, то она все равно может быть проиндексирована, даже если роботу Googlebot запрещено ее посещать. Чтобы исключить страницу из результатов поиска, следует использовать другой метод, например защиту паролем или директиву noindex.

Своеволие гугла? Ой, да ну. 2018-й год, http://www.robotstxt.org/orig.html

It is not an official standard backed by a standards body, or owned by any commercial organisation. It is not enforced by anybody, and there no guarantee that all current and future robots will use it. Consider it a common facility the majority of robot authors offer the WWW community to protect WWW server against unwanted accesses by their robots.

Вот туева хуча ботов ходит куда им не надо, индексит то, чего не надо. Выхлоп этих ботов индексируют другие боты, в том числе гугл; просто тонна линков льется с многочисленных хромоклонов, не менее многочисленных плагинов, со статистик и т.д. и т.п. Т.е. всегда есть, чем поживиться.
Помните, сколько было вопросов о появлении урлов секретных админок в поисковой выдаче

Originally Posted by Smalesh

Помните, сколько было вопросов о появлении урлов секретных админок в поисковой выдаче

я сама это постила... нефик метрику во фразы пихать бездумно и папку секретной админки в роботс вписывать

Originally Posted by Smalesh

Подожди. А как давно robots.txt что либо блокировал?

это не моя формулировка, это Гугл сам так пишет, про блокировку
вообще там тараканы в голове
попробуй вызвать проверку на "мобильность" для страницы, открытой для гостей, но закрытой в роботс - https://search.google.com/test/mobile-friendly
он скажет "ой, мне туда нельзя, мне роботс не велит" - а ведь это не индексация, не выдача

Originally Posted by Smalesh

Вот туева хуча ботов ходит куда им не надо

вот кстати, про ботов, которые ходят тучей, давно собиралась спросить, но всё как-то не к слову было...

bots.sdstream.ru никого, кроме меня, не донимают? ну, не меня - клиентский форум
набегают конкретно, может быть тысяча-полторы онлайн (сессия 15 минут), каждый бешено шерстит темы, мамадорогая... техподдержка sdstream молчит, как рыба об лёд, поэтому я просто баню этих ботов, в смысле, ИП

===

Originally Posted by Catlord Meow

Я тоже долго удивлялся, когда много лет тому назад, на заре своего знакомства с Windows, увидел в интерфейсе и в справке обороты типа "поставщик услуг Интернета" и "обозреватель Интернета" вместо простых и понятных русских слов "провайдер" и "браузер"
"Поставщик услуг Интернета", Карл!
Грустно конечно, что у их трудности с человеческим переводом на русский и выбором адекватных терминов, но проблема эта не нова.

тут дело не только в переводе, дело в формулировке
а про "браузер" - это вообще отдельный разговор... первое, что я сделала много лет назад, обзаведясь собственным форумом (тогда ещё с помощью Алекса) - полезла в языки и фразы и методично вышибла всех "обозревателей" нафик с пляжа. Кажется, для ИЕ оставила "обозреватель", ибо ИЕ - не браузер

Originally Posted by Luvilla

поэтому я просто баню этих ботов

А useragent у них какой?

Originally Posted by Smalesh

А useragent у них какой?

понятия не имею - вяло поискала в сети, не нашла, а сама техподдержка молчит, хотя клиент чётко написал, что если они не скажут юзер-агент и не будут чтить роботс (Crawl-delay), то его техадмин методично перебанит их всех, зонами
я так и поперебанила, чё... клиенту оно не надо, такая индексация