Компания "Мастерхост" по ошибке заблокировала доступ индексатора "Яндекса" к сайтам, заказавшим у хостера услугу виртуального хостинга.
По словам Сергея Кошкина, гендиректора оптимизаторской компании "Смартсео", c начала мая часть клиентов компании выпала из поискового индекса "Яндекса", так как "Мастерхост" просто перестал пускать робота "Яндекса" на соответствующие сайты. Техподдержка провайдера объяснила действия хостера тем, что он блокирует роботов "Яндекса", так как считает их действия похожими на DDoS-атаку.
Александр Садовский, руководитель отдела веб-поиска "Яндекса" в комментарии коллективу блога Roem.ru отметил, что "Яндекс" действительно внес изменения в алгоритм работы ботов:
Новый контент на сайтах появляется в основном днем. Чтобы более своевременно и полно индексировать свежую информацию, мы перенесли часть ночного обхода робота на дневное время (изменения мы внедряли плавно, в течение месяца, а именно со 2 апреля по 4 мая).
Это изменение практически не сказалось на общем количестве обращений робота к сайтам - оно только перераспределило нагрузку между дневным и ночным временем в сторону первого. Несложные защиты от DDoS-атак могли ошибочно счесть за атаку увеличение числа обращений от робота в дневное, пиковое, время - и запретить обращение к сайту.
Если хостинг блокирует обращение надолго, то сайт может исчезнуть из результатов поиска. Мы не наблюдаем сколько-нибудь заметного "выпадения" сайтов, следовательно, бóльшая часть хостингов перенесла изменения нормально.
После того, как руководство "Мастерхоста" узнало о проблеме из закрытой рассылки ЕЖЕ, по словам Сергея Кошкина, с ним сразу же связались представители компании, сообщили о внесенных исправлениях и извинились за доставленные неудобства.
Интересно, что некоторые особо дальновидные авторы уже давно предсказывали битвы роботов, состязающихся в битвах за контент. Правда, вмешательство людей в эти битвы пока все еще нивелирует зрелищность данного вида спорта, однако не стоит сомневаться, что по мере усложнения архитектуры агрегаторов контента, последствия ошибок роботов будут все более масштабными.
Добавить 9 комментариев
А вот возьму и поддержу «Мастерхост». Я тоже считаю что Яндекс ведёт себя иногда как DDoS. http://webplanet.ru/column/service/l_e_x_a/2006/09/05/search.html http://webplanet.ru/news/telecom/2006/08/24/webalta.html А под фразой «С одной стороны, взбесившиеся бабароботы яндекса уже приучили, что если сайт начинает тормозить, то нужно ipfw reset tcp fr om 77.88.0.0/18 to any, а уже потом искать, что может тормозить.» пусть автор сам подпишется :) Я подписываюсь. У доброй части хостеров limit_rate на всех этих пауков прописан (а нет скажите, коллеги, а?). > мы перенесли часть ночного обхода робота на дневное время (изменения мы внедряли плавно, в течение месяца, а именно со 2 апреля по 4 мая). А это и вообще былинный отказ. Все прошлые попытки договориться успехом не увенчались. А уж сейчас и людей нет там тех. Опять всё заново. Так что ничего необычного и непредсказуемого я в этой ситуации не вижу. Кошкин! Это уже всё боян :))
А вот интересно, велика ли разница ползать днем или ночью, если апдейты бывают раз в несколько дней, а быстроробот жрет не так уж много?
Быстроробот жрёт очень много. Особенно на «оптимизаторских» помойках. Поэтому, конечно, разница очень заметна. Ночью все спят.
>А вот интересно, велика ли разница ползать днем или ночью, если апдейты бывают раз в несколько дней Вдруг они хотят сделать перманентные апдейты?
> Компания «Мастерхост» по ошибке заблокировала доступ индексатора «Яндекса» меня вот одно интересует — почему данная проблема связанна сугубо с мастерхостом? т.е. другие хостеры отморожены не до конца, а мастерхост совсем заигрался у себя в песочнице? > Вдруг они хотят сделать перманентные апдейты? да хоть рандом в выдаче ;-)
Мастерхост просто пошел навстречу своим клиентам. «Мы, клиенты, мастерхоста, пупкины блоггеры, филькины спаммеры, графоманы экслеркины, сео-свистелкины ,строители ГСов , ударники дорвейного труда, и ветераны сапы, челом бьем и просим оградить наш оазис от всяких Яндексов, Гуглов и прочих Cuil-ов, кои воруют наш дорогой копипащений и автосгенеренный мусор, коего в интернете с каждым днем куча за кучей великая пребывает. Надо просто задурдосить сайты помойко генераторы, благо список у Яндекса поплняется. И всякого навозы в выдаче станет помешьше процентов на 0.2
2 dr_gonzo У Вас от снобизма распирает речевой вывод.
2 petr Привет трудягам sape-ковой лопаты. Не пререживайте Вы так. Других хостингов море.
Я хотел обратить Ваше внимание на тональность высказываний. Будьте уважительнее и спокойнее и люди будут Вас лучше воспринимать, а еще лучше быть конструктивнее. И потом не стоит судить о всех относительно себя. Большинство людей неинтересуются поисковой оптимизацией вообще, я думаю и часть клиентов Мастерхост сами по себе этим не занимаются тем что Вы перечислили и видимо сами имеете не праздный интерес. Не знаю как сейчас обстоят дела. Но лет 8 назад Мастерхост был один из самых толково организованных хостингов, это касалось совершенства личного кабинета и качество и поразительной скорости работы поддержки. Некоторым другим «ветеранам» до сих пор свойственен хаотичный базарный стиль работы.