Массовый вылет из индекса
После очередного апа Яши, который состоялся совсем недавно, глаз Презренного Манимейкера довольно узрел, что вылетевших из индекса сайтов нет. "Великолепно!" – подумал он.
Какого же было его удивление, когда сегодня утром, без всяких объявлений об апах, из индекса Яши вылетело целых девять сайтов!
"Что за хрень?" – выругался Манимейкер и начал искать при помощи товарища (Роман, привет! :)) причину сего казуса.
Первым (самым несознательным) делом он подумал, что сайты вылетели из-за CMS. Четыре первых обнаруженных неудачника висели на Zebrum, причем с них не продавались ссылки, так что подобная мысль была логична, хотя как бот может определить CMS тот еще вопрос. Однако чуть позже было выяснено, что вылетели не только Zebrumы, но и WP, и AutoBlog-X.
Опа-на… А ведь все эти сайты висят на firstVDS! Причем на одном IP-адресе! Только вот два сайта, висящих на том же IP-шнике, преспокойно остались жить в индексе…
Следующая мысль – FirstVDS опять был в дауне некоторое время, причем именно тогда, когда заходил бот на сайты. А при попытке добавления сайта с ферстов через ADDURL 1 раз из 10 выдается сообщение:
Превышено время ожидания ответа от сервера
Остальные разы добавляется нормально до следующего еррора.
А тут еще саппорт Зебрума подогнал мне ссылки, которые указывали на то, что контент на моих зебро-сатах неуникален. Что за ерунда? Не могли "поставщики" продать сканы еще кому-то, я в них уверен на 100%! Так и есть, какая-то падла ПОЛНОСТЬЮ дернула все мои сайты. Можете найти свой сайт у них тоже:
dblife.cs.wisc.edu/markUpWebpage.cgi?markurl=ВПИШИТЕУРЛСАЙТА
Сайты полностью дернуты, причем ВСЕ! Как я понял – это что-то типа кэша какой-то левой поисковой системы. И Яндекс это дерьмо ИНДЕКСИРУЕТ!
Давайте предложим Яндексу индексировать кэш Гугла? :)
То-то посмеемся, когда первоисточником всего рунетовского контента будет признан кэш гугла, как более авторитетный ресурс…
Нужно серьезно озаботиться этой ситуацией и писать Платону, чтобы это говно перестали индексировать. Я уже письмо написал. Поддержите, ибо все Ваши непрокачанные сайты улетят из индекса как пить дать. PR5 морды вора обо всем говорит сам :).
Вот и думай теперь, в чем причина массового вылета…
А что думаете вы? И что, блин, делать?
Спонсор месяца: SatellitPro сайты и сателлиты под заказ
Постовой
Уроки фотошоп – фильтры, эффекты и всякие красивости
Кулинарные рецепты – всякие вкусняшки для гурманов
Я проверила свой сайт по вашей ссылке (dblife.cs.wisc.edu/markUpWebpage.cgi?markurl=ВПИШИТЕУРЛСАЙТА), обнаружила его там с несколько другой цветовой гаммой. А в Яндекс-индексе он (тьфу, тьфу, тьфу) по прежнему с тем же количеством страниц. Что посоветуете делать?
14.05.2009 в 19:26Писать в саппорт Яндекса и требовать, чтобы запретили индексацию этого сайта.
14.05.2009 в 19:35Думаю нужно прописать host: в robots.txt если не прописан. Писать Платону нужно, но расчитывать на него не стоит. Как правило когда Яндекс лажает по полной, Платон отписывается стандартными фразами или говорит искать причину у себя. Также пишите абузы хостерам вора, угрожайте судом если надо.
14.05.2009 в 19:38Санек, а Ваших сайтов там нет? Сайт зарубежный, хостинг западный, так что смысла нет им писать…
14.05.2009 в 19:46“FirstVDS опять был в дауне некоторое время,”
А, ведь, индексатор-то бегает постоянно втечении “междуапья”. Т.е. в индекс добавляются страницы всегда, не зависимо от того, была ли проблема с коннектом во время апдейта или нет.
Это сайт должен дня 3 “лежать” минимум.
По теме:
14.05.2009 в 20:11Вылетело 8-го числа несколько сайтов. По одному отписались, что должнен вернуться в индекс. Так что ждём ещё ап.
Quote: Санек, а Ваших сайтов там нет?
14.05.2009 в 20:58Там вроде вообще весь рунет. Не совсем понятно – показывает теже сайты только некоторые заголовки и ссылки подсвечиваются голубым. При этом все ссылки имееют правильный путь.
Тут чтобы что-то посоветовать нужно смотреть пациентов. Имхо.
З.Ы. Убейте WP-SpamFree – заипал.
У меня как-то тоже на Фёст ВДС сразу 20 сайтов вылетело. Может они и ни при чём, но я с ними больше не дружу :))
Думаю, всё же, что это выделенный АйПи виноват. Нужно размещать сателлиты на шареных АйПи, их там “выпасти” труднее
14.05.2009 в 21:05Разговоры с Платоном у меня ровно ни к чему не приводят.
Обычно, примерно такой диалог:
-”У меня хорошие сайты, а яндекс их по каким то причинам забанил”
-”Алгоритмы яндекса признали… ваш сайт некачественным, работайте над сайтом и он вернется в индекс”
-У меня сайты соответствуют всем правилам, контент качественный и уникальный”
-”Алгоритмы яндекса признали… ваш сайт некачественным, работайте над сайтом и он вернется в индекс”
Ну и дальше по циклу. У меня проблема была тоже с тем, что сайты были на одном ip, кстати надо проверить и на воровство моего контента.
14.05.2009 в 22:09Блин тоже два сайта вылетело. Проверил сайты – те которые делал только сегодня, а они уже в индексе. Нужно бороться!
14.05.2009 в 23:23Не знаю, наблюдаю вылеты белых сайтов с 9ого мая, склоняюсь к глюкам – шибко они белые!
15.05.2009 в 12:51Просмотрел проиндексированные страницы dblife.cs.wisc.edu в яндексе. Их вроде около1955 – это ж не весь рунет :)
Что это за сайт такой? :)
15.05.2009 в 13:08А робот у этого поисковика какой? Проще его запретить.
15.05.2009 в 16:49Нужно попробовать выяснить IP этого бота, или другие признаки и запретить через .htaccess
18.05.2009 в 00:54Чёрт мой сайт тоже там хотя пока что слава богу в индексе Яши., очень хочется чтобы так и оставалось. А предложение Вован нравится больше как более реальное чем искать правды у Яши
18.05.2009 в 13:01Вован, а каким образом это можно сделать? Попинговал домен и увидел IP 128.105.121.160. Но ведь не факт, что у бота такой же IP.
18.05.2009 в 17:09Блин, какой IP, какого бота?
21.05.2009 в 12:11Скрипт парсит урл и вставляет весь код страницы без изменений в свой шаблон.
Народ, попроверяйте нулевые сайты, нигде не засвеченые.
Считаете, что они “уже проиндексированы”?
Или может это тоже кэш ПС?
http://proxya.ru/browse.php?u=%3A%2F%2Fdisdain.ru&b=28
Я подозреваю как то, что доменчики на одном айпи, так и CMS. Очень сомневаюсь в Вашем этом “dblife.cs.wisc.edu”.
Помню, когда я только сделал домен , на него пришёл какой-то бот, едва я прописал ns-ы..
Думаю, что Яндекс где-то тупит. Народ жалуется, что даже супербелые белейший сайты повыпадали. ПОсле писем Платону, сайт возвращался в индекс на пару дней и снова выпадал.
У меня на пару дней сеточка гс появилась в индексе. 1 день – по 4 странички, 2 день – по 100 страниц, 3 день – всё по нулям. старые тоже повылетали в этот же день. Осталось 2 штуки поддоменов на некоторых из этих же доменов. Такие же гс. Я в замешательстве.
22.05.2009 в 12:34Сайты чаще всего вылетаю за большое количество продажных ссылок на странице.
22.05.2009 в 21:22Согласна с Антоном Васильевым
27.05.2009 в 16:42а на мой сайт с этого поисковика даже трафик идёт, всего 4-10 рыл но всёже ))
29.05.2009 в 16:24Народ, внимательнее надо смотреть – в самом низу на том сайте
======Developed by Database Group at University of Wisconsin and Community Systems Group at Yahoo! Research ============ – вот вам и ответ – они пиздят базу у Яху.
У меня там в их кеше главная одного сайта в ру зоне и вот еще собственный блог в org.ua – тож там :( . Там походу только главные стр. – посмотрите на список страниц в кеше Яндекса – они там с концом мля stroyka-rf.ru, http://www.ikzavod.ru, eo-russ.ru, sileruss.ru и другие…
Решение одно – нах заблокировать робота Яху – мне лично от него никакой пользы, а Вам?
30.05.2009 в 01:22Олег, действительно так и есть. Однако этот дурацкий Yahoo Slurp не так то и просто запретить – только если через htaccess, и то он постоянно ходит на сайт.
30.05.2009 в 18:08Ну по поводу ФастВДС. Я лично в них уверен, и грешить бы на них не стал. Ну
17.01.2010 в 14:16это так к слову. Вроде у них все надежно, я к ним недавно переехал но аптайм там выше 99%. Хотя у меня конечно отдельный сервер.
А про вылеты, это да, яша странно себя порой ведет. У меня и корпоративные сайты вылетали как то, из за того что кто то контент стырил, хотя у нас он висел уже очень давно. А первоисточником признали другого (