Привіт, друзі. Сьогодні обіцяю бути цікавим, а головне-корисним. Поділюся з вами своєю невеликою радісною новиною – як ви вже здогадалися з назви, мені вдалося реабілітувати мій сайт, який рівно рік тому під фільтр Гугл Пінгвін. Хочу особливо звернути вашу увагу, що мова піде саме про автоматично накладені санкції без повідомлень в панелі вебмастера про заходи, вжиті вручну – нічого цього не було, просто у жовтні 2012 року трафік на сайт різко впав, а позиції вилетіли із зони видимості (за межі ТОП 200). І з тих пір становище тільки посилювалося, але…

Але нарешті сталося те, чого я так довго чекав! Фільтр за спамний вхідні посилання знявся, значно покращилася видимість сайту, позиції сильно зросли.

Сказавши вище слово «новина», я, звичайно ж, вас обдурив, тому що це не новина. Цей пост я почав писати ще 14 жовтня 2013 року, але так і не дописав його, спочатку вирішив трохи почекати, щоб не робити поспішних висновків, потім лінувався, а потім взагалі звільнився з роботи, і переїхав в інше місто. Коротше, мені було зовсім не до Пінгвінів. Але тепер я готовий не тільки продовжити, але і доповнити свій пост новими думками, ідеями та висновками.

Хочу нагадати, що останній на сьогодні апдейт алгоритму Google Penguin відбувся 5 жовтня 2013 року, називається він Penguin 5 (або Penguin 2.1), за даними Google новий алгоритм зачепив близько 1% запитів. Ось про це апдейте і піде далі мова.

Далі я вам розповім, що стало причиною накладення фільтра, які були наслідки, як мені в підсумку вдалося перемогти Гугл Пінгвіна, і що відбувається на даний момент, а так само мої рекомендації про те, як робити не варто, маючи отриманий досвід!

Пост буде дуже довгим, але наберіться терпіння, це допоможе вам або застрахувати себе від можливого фільтра, або позбутися від нього, якщо він вже накладено. Отже, поїхали!

Короткий екскурс в історію

Ось посилання на мій квітневий пост, де я писав про визначення посилального профілю (тоді ще програми FastTrust навіть в планах не було). Там же я згадав про один мій проект, який я нікому не свічку, але сьогодні я вирішив спалити, ось цей сайт — http://slimdown.ru/. Так, це жіночий сайт, до речі, найбільший збірник структурований дієт в рунеті. І це для нього я робив мобільні додатки для iOS і Android – якщо не в облом, можете завантажити і поставити оцінку в 5 зірок, я буду дуже вдячний (посилання на додатки в сайдбарі зверху на зазначеному сайті)! Але не про крутизну мого сайту мова, як ви розумієте.

А мова про те, що даний сайт в жовтні 2012 року потрапив під фільтр Google Penguin. Дивіться самі.

Зріз середньодобової відвідуваності з пошуку Google по місяцях за даними LiveInternet.ru:

Або ось вам статистика переходів з ПС Google за період 1 січня 2012 – 13 жовтня 2013:

Як бачите, 2 жовтня 2012 у мене було все в повному порядку, взяв новий рекорд відвідуваності Google майже в 3000 відвідувачів в добу, а вже 6 числа все виявилося в дупі і далі тільки посилювалося. Абсолютно очевидно, що це накладення фільтра за штучні або спамний посилання, т. к. як раз в ці дні був апдейт Пінгвіна. І якщо всі попередні оновлення алгоритму для мене проходили непомітно, більше того – сайт тільки зростав, то в цей раз мені це з рук не зійшло. Апдейт цього злощасного алгоритму був 5 жовтня 2012 року, називався він Penguin 3 і торкнувся за офіційними даними близько 0.3% всіх запитів.

Так от, в пості, який вже згадувався вище, я висунув гіпотезу, що «поява в ссылочном профілі трастових сайтів повинно покращити ситуацію і теоретично повернути трафік з Google хоча б частково». А так само альтернативне дослідження полягало в тому, щоб зробити вивантаження беклинков на сайт з усіх можливих джерел, перевірити їх якість… Далі чомусь я тоді нічого не сказав, але логічно, що після перевірки треба було зрозуміти, наскільки поганий поточний посилальної профіль, вибрати всіх поганих донорів і відхилити через інструмент Google Disavow Links Tool.

Відновимо хронологію подій

Щоб нічого не упустити, ще раз розкладемо хронологію:

  • До 5 жовтня 2012 року все було чудово, трафік ріс завидними темпами, я збирався починати збирати на яхту )))
  • 5 жовтня відбувся апдейт алгоритму, після чого трафік різко впав, я зрозумів, що це фільтр. Звичайно, першим ділом заглянув в панель вебмастера, в розділ «Заходи, вжиті вручну». Але і тоді і зараз там написано «щодо цього сайту вручну не вживалися заходи по боротьбі з веб-спамом». Я засмутився, перестав закуповувати посилання і взагалі що-небудь робити з сайтом.
  • 15 листопада 2012 року, тоді ще, може хтось пам’ятає, була на сторінці «заходів, прийнятих вручну» чарівна кнопка, що дозволяє написати лист в Гугл, навіть якщо ніяких заходів не вжито. Незабаром цю кнопку прибрали, мабуть, кількість таких ідіотів як я перевищила критичну позначку. Так от я вирішив прикинутися валянком і написати слізного листа з благаннями про помилування. Яке ж було моє здивування, коли текст цього листа, дбайливо збережений в txt-файл, я знайшов сьогодні в одній із забутих папок на робочому столі:

    Показати лист

    Добрий день, шановна служба підтримки веб-майстрів.

    Я до вас звертаюся з питання, по якому, напевно, звертаються тисячі людей – проблеми з ранжируванням сайту.

    Я прочитав цю інструкцію у вашій довідці — http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=2648487
    Мій сайт http://slimdown.ru . Я скачав список посилань з панелі вебмастера для свого сайту. Переглянув його, а там близько 4 тисяч посилань, і жахнувся, дуже багато посилань з шахрайський сайтів, або дорвеїв, створених на безкоштовних хостингах, типу narod.ru та ін., ось кілька посилань прикладів:

    http://a570028.narod.ru/page/dieta_na_chae_s_molokom_72.html
    http://alex1953.narod2.ru/dieta_kristiny_orbakayte.html
    http://andreydust.narod2.ru/kefirnaya_dieta_9_dnyay_otzyvy.html
    http://balbeska-999.narod2.ru/dieta_na_800_kkal.html

    Всі вони виглядають однаково і їх дуже багато. Я переглянув близько 1500 посилань зі списку з 4000 і ледь не зійшов з розуму, перевіряючи все вручну.

    Я склав список доменів для інструменту відхилення посилань https://www.google.com/webmasters/tools/disavow-links?hl=ru&siteUrl=http%3A%2F%2Fslimdown.ru%2F і завантажив текстовий файл. Приклад змісту файлу:
    domain: 0good-diet-2011.ru
    domain: aleksei-pelevin.narod2.ru
    domain: deorseradar.pochta.ru
    domain: easy-diet.cu.cc
    і т. д.

    У відповідності з вашою довідкою пишу вам цей лист.

    Хотілося б ще попутно задати кілька запитань:
    — Пропадуть посилання з доменів, зазначених і завантажених у файлі для інструменту відхилення посилань? Якщо так, то я зможу періодично перевіряти список посилань і додавати відхилення нові, неякісні посилання.
    — Чи можна додавати в список на відхилення домени верхнього рівня? Наприклад, narod.ru, щоб всі піддомени так само не враховувалися. Я готовий пожертвувати посиланнями з нормальних сайтів на безкоштовних хостингах, інакше просто неможливо відстежити всі шкідливі піддомени третього рівня.

    Невелика передісторія цього листа. Раніше мій сайт дуже добре почував себе в пошуку Google і отримував хороший трафік. Я почав вести свій сайт з кінця 2009 року і поступово наповнював його якісними статтями. Спочатку ми з дружиною писали туди новини, потім стали залучати й інших людей, які допомагали наповнювати сайт. По суті, ось вже 3 роки і продовжуємо щодня публікувати статті.

    Я постійно стежу за станом сайту в панелі вебмастера, виправляю помилки, стежу, щоб не було однакового змісту на різних сторінках і т. д. Впроваджую ваші рекомендації, якими ви ділитеся в блозі і в довідці для веб-майстра.

    Але ось на початку жовтня 2012 року трафік з Google різко впав. Ось скріншот графіка одного з лічильників — http://s2.ipicture.ru/uploads/20121115/7RIIQFhG.png (04.03.2014, прим — картинка вже не існує). Помітно, що трафік з початку 2012 року почав дуже добре рости, ми якраз почали більш активно наповнювати сайт, частіше публікувати новини. Яндекс довго думав перш ніж зрозуміти, що ми стали наполегливіше працювати над сайтом і тільки в травні трафік почав рости. І я не знаю, з чим пов’язане таке різке падіння відвідувачів з Google, адже розвиток сайту було завжди в одному напрямку, просто стали додавати більше статей. Всі статті унікальні, ми їх пишемо самі, хоча іноді я перевіряю, не поцупив хтось наші тексти.

    Тому і звертаюся до вас за допомогою. Може бути і правда, причина в тих самих посиланнях, про яких я говорив на самому початку листа.

    Ми дуже чекаємо вашої відповіді.
    Дякую, що вислухали і прочитали таке велике письмо.

    Приховати лист

    Як ви розумієте, прикидатися валянком було марно, ні відповіді, ні якоїсь іншої реакції на мій лист не надійшло. Я продовжував сумувати.

  • В квітні 2013 настало прозріння – задумався про траст, запив скрипт-парсер маджестика, попутно висунув гіпотезу, вирішив провести позначений експеримент. А ще через кілька днів прийшла думка з розряду, а що якщо… якщо створити програму для автоматизації оцінки наявних посилань і майбутніх донорів!? І почалася розробка (у травні).
  • 26 червня 2013 стався публічний реліз програми FastTrust. Як ви знаєте, трапився такий ажіотаж навколо програми, що я взагалі забив все крім програми, а часу не вистачало навіть на сон.
  • Влітку на експеримент я забив, але не забув. За місяць до релізу програми на першому робочому прототипі я першим ділом прогнав базу донорів GGL і став закуповуватися потроху посилання з трастових сайтів (Траст > 50, Спам < 7, ціна до 500р), використовуючи в якості анкорів просто url сторінок.
  • Паралельно закуп посилань я скачав повний список беклинков з Google WMT і з панелі вебмастера Яндекса. Поєднав ці таблиці, додав в FastTrust і повністю перевірив. На виході отримав список сайтів по самим жорстоким фільтрів (Траст 7) і, сформувавши txt-файл, використовував інструмент Disavow Tools. Під роздачу за такими критеріями потрапили близько 95% сайтів, потрібні жорстокі заходи. Даний txt-файл, який я завантажив в Disavow 11 вересня 2013:
  • 5 жовтня 2013 року трапляється апдейт алгоритму Google, видимість різко поліпшується, запити з нізвідки повертаються в межі ТОП10-ТОП30. Здавалося б, ось вона, Перемога! Але…

«Світ вже ніколи не буде колишнім» ©

Пам’ятаєте ті графіки на початку посту? Я їх зробив через кілька днів після зняття фільтра. Я був сповнений оптимізму, спостерігаючи зростаючий графік Liveinternet’у і дивлячись на тут «пипку», схожу на що з’явився пульс після зупинки серця, на графіку Яндекс Метрики…

Я впевнений, ви хочете знати, що зараз відбувається, які зараз графіки і взагалі.
Ось, будь ласка.

Статистика по трафіку з Google за даними Яндекс Метрики за 2 роки (період 26 лютого 2012 – 26 лютого 2014):

Не зовсім зрозуміло що там на графіку відбувається. Тому нижче пропоную вам два графіка Liveinternet (середньодобова відвідуваність) з угрупуванням по місяцях і тижнях:

Ви думаєте, якась фігня, АлаичЪ нас дурить! На графіку по місяцях і правда можна подумати, що це не більше ніж «пук в калюжу». Але на графіку по тижнях видно, що в перший же день трафік виріс в 2 рази і продовжує зростати далі. Далі провал, пов’язаний з новим роком, а так само сплеск, пов’язаний з ним. Робити ще якісь висновки з цих графіків я не беруся, але абсолютно чітко видно, що падінь немає, але, на жаль, немає і зростання…

Чому це – Перемога!

Ви не повірите, наскільки сильно мені хочеться повернути колишню славу мого сайту в очах Гугла, наскільки сильно мені хочеться повернути і збільшити трафік. Зрозуміло, щоб таки почати збирати на яхту, адже я ж живу тепер зовсім близько моря ))) Але чудес не буває, зате бувають перемоги, і це одна з них.

Відкривайте картинку по посиланню нижче в новій вкладці у повний розмір і дивіться. Першою ознакою зняття фільтра і поліпшення самопочуття сайту в цілому є поліпшення видимості у видачі. На графіку видно, що видимість покращилася з 5000 до 8000 показів. Після цього протягом 2 тижнів видимість збільшилася до 12 000, але скріншота цього графіка у мене немає, а зараз повернутися в ті часи не можна, історія зберігається тільки за останні 2 місяці. Іншими словами, видимість сайту зросла більш ніж у 2 рази. А нижче графіка ви можете бачити зміна видимості якихось окремих запитів, їх CTR і середньої позиції.

Ну і ось вам ще більш конкретний приклад моєї статистики – реальні запити і зміна їх позицій. Історична зведення по позиціях ключових слів від червня 2012 року до жовтня 2013. Нагадаю, що апдейт алгоритму Пінгвіна стався 5 жовтня 2012 (фільтр накладено) і 5 жовтня 2013 (фільтр знявся).

Так само хочу звернути вашу увагу на самі ключові слова (я їх не став приховувати), це частина зі списку моїх орієнтовних ключів – це найбільш ВЧ ключевики в ніші (у всякому разі, з тих часів, наприклад, тільки один запит «японська дієта» дає 1000+ переходів в день, це без довгого хвоста). Я розраховував вивести їх в топ протягом ще декількох місяців, і це потенційно давало мені 30-50 тисяч відвідувачів щодня. Але як у відомому ролику «пацан до успіху йшов», та не дійшов. Я спеціально для моніторингу вибирав ВЧ, т. к. НЧ і СЧ відмінно і самі сиділи стабільно в топі, моніторити їх сенсу особливого не було.

Ось вам ще один графік із зміною позицій з маркерним ключів після зняття фільтра. Трохи більш наочно, ніж історичний графік:

Не знаю, що тут ще додати, графіки все наочно показують. Але у нас залишається відкритим чи не найважливіше питання – а чому все сталося саме так?

Причини і наслідки

Отже, є у мене кілька ідей і думок на тему, чому все сталося саме так, а не інакше, чому трафік не відновився повністю, чому, чому…

Почну здалеку. Чи знаєте ви, що існують спеціальні форуми Google для вебмайстрів, де можна поспілкуватися безпосередньо з офіційними представниками пошуку і обговорити питання? Найбільше нам цікавий форум про індексування і ранжування сайтів, де обговорюються питання про взаємодію сайтів з пошуковою системою і їх положенні в пошуковій видачі.

Конкретно там обговорюються проблеми, пов’язані з накладенням фільтра, там можна «запалити» свій сайт, якщо не боїтеся і обговорити, чому ж вашому сайту стало погано. Особисто я боюся там обговорювати свій сайт, там валянком не прикинешься, там розтерзають на місці, я вже достатньо бачив випадків повного морального знищення вебмайстрів 🙂

Ось просто для затравки вам кілька посилань, пов’язаних з накладенням Пінгвіна:
Сайт різко «впав» з усім пошуковим запитам
Допоможіть вийти з під автофільтра

Якщо почитати кілька топіків, можна помітити, що в обговореннях відповідають дуже вміло оперують даними по беклинкам з Solomono – сховатися від алгоритму можна спробувати, а від людей – ніяк. Якщо ви порушуєте правила, вас моментально викриють.

Коротше, не про те мова. Вище я вам просто дав корисні посилання, які варто почитати. Але я вів до того, що я там одного разу натрапив на довгу переписку одного вебмастера і представника Гугла. Полягала листування в наступному – на сайт наклали ручної фільтр, користувач скористався Disavow Links, але ефекту не отримав, вирішив запитати, що робити і як далі жити. Спочатку з’ясувалося, що він просто некоректно створив txt-файл зі списком посилань для відхилення, далі з’ясовували, звідки взялися посилання і як їх видалити, частина видалили частину, що залишилася, вирішили відхилити. В процесі всього це цирку, який тривав близько місяця, вебмайстру кілька разів відмовляли у знятті ручного фільтра, з горем навпіл він нарешті зміг створити і завантажити правильний список посилань для відхилення його прийняли. Про чудо! Ручний фільтр зняли…

А що було далі?

Ви не повірите, але сайт вебмайстра не піднявся у видачі – він просів і втратив навіть найгірші наявні позиції! Феєрична розв’язка, чи не так? Далі було все ще смішніше – вебмастер благав накласти назад на його сайт фільтр, щоб повернути хоч якісь позиції. У підсумку справа закінчилася нічим — поохали, поахали і розійшлися з миром. Зате я добре пам’ятаю пояснення представника Гугла на рахунок повторного падіння позицій. Він сказав щось в дусі: «А що ви хотіли?! Ви відхилили посилання, вони тепер не враховуються, а ваш сайт, може бути, тільки за рахунок них і тримався хоч на якихось позиціях, тепер ці посилання не враховуються, ось і позицій теж немає».

Вірити представникам ПС не можна, але і не вірити теж не можна. Можливо тому однією з причин, чому трафік на моєму сайті не повернувся до колишнього рівня, став саме неврахування анкорных посилань. А я, будучи абсолютно безстрашним людиною, просував все по-хардкору – анкорные посилання з точним входженням ключевіков (але без повторів, просто дуже великий набір кейвордів). У підсумку на сайт до моменту накладення фільтра було куплено близько 300 посилань на 50 000р в GGL і ще 300 посилань на 30 000 грн в RotaPost. Посилання купувалися максимально тематичні — у статтях по темі на відповідних сайтах. Ще одне підтвердження того, що тематика сайту мало що вирішує, а зовсім інші чинники відповідають за те, чи буде посилання працювати і не накладуть фільтр. До речі, я ж потім проаналізував куплені мною посилання, виявилося, що більша частина сайтів, на яких стоять ці посилання, заспамлены і не трастові зовсім. Тому майже всі куплені посилання і вирушили в Disavow, адже колись вони чудово працювали…до пори до часу.

Зате в Яндексі посилання продовжують добре працювати. Давайте поглянемо на графік середньодобової відвідуваності з Яндекса по Liveinternet’у по місяцях.

Коли трафік з Гугла почав падати, з Яндекса він почав рости. Мабуть, тільки тоді до Яндекса дійшло, що я почав купувати посилання, він почав їх поступово індексувати і враховувати. Після фільтра в жовтні я відразу перестав купувати посилання, але Яндекс довго їх враховував, бо зростання йшов аж до лютого. Згідно експерименту, влітку 2013-ого я почав закуповувати трастові посилання, до Яндекса це дійшло тільки в жовтні-листопаді, зате добре дійшло, відвідуваність зросла з 3000 до 5000 добу. Так що під Яндекс посилання з хороших сайтів продовжують керувати.

Посилання я відбираю FastTrust’ом за критеріями Траст > 50, Спам < 7. Два рази в місяць выгружаю всю базу GGL, вигнала її, фильтрую, а відповідні сайти додаю в білий список і закупляюсь тільки з них.

Як правильно відфільтрувати неякісні посилання

Я писав, що знаходив неякісні беклинки своєю програмою. Але програма є не у всіх, і далеко не у всіх є можливість її купити, я це прекрасно знаю. І тому місяць тому, в кінці січня, я непомітно анонсував наш новий міні-сервіс під назвою BackLinks Checker, мета якого пошук та фільтрація неякісних посилань.

Ви просто завантажуєте файл, скачаний з панелі вебмастера Гугла, а сервіс сам проаналізує кожен сайт. Коли аналіз закінчиться, буде сформований готовий txt-файл, який прямо відразу без жодних правок можна буде завантажити в Google Disavow Tools. Алгоритми відбору неякісних сайтів ґрунтуються на дослідах і спостереженнях, можете мені довіряти!

І головне – вартість такої перевірки до смішного мала – 5 копійок за один перевірених хост! Зверніть увагу, що я сказав не URL, а хост. У вашому файлі з беклинками може бути і 50 000 посилань, але посилань з унікальних доменів там може бути усього 300, наприклад. Відповідно і плата візьметься в розмірі 300*5=1500 копійок = 15 рублів! Де ви ще таке бачили, щоб перевірка 1000 посилань коштувала вам всього 50 рублів!

Що стосується просунутих користувачів, які хочуть контролювати кожен крок і вирішувати все самостійно, ти в даний момент ми працюємо над великим сервісом під назвою CheckTrust — реліз його поки не відбувся, але я вже встиг зробити анонс в Москві на конференції AllInTop Conf. Сервіс в стадії бети, але ви можете реєструватися вже зараз і повноцінно користуватися ним. При реєстрації кожному буде видано 500 безкоштовних перевірок. Якщо говорити коротко, то цей сервіс – аналог програми FastTrust в інтернеті, а до свого релізу він обросте новими унікальними можливостями, яких у програми немає і не буде. Користуйтеся на здоров’я і не забувайте повідомляти про всі знайдені баги!

Про те, як отримати список неякісних посилань я вам розповів. Але як кажуть в тому анекдоті – є нюанс! І цей нюанс взявся з публічних заяв представників Google, висловлювань на форумі підтримки вебмайстрів і, власне, листів-повідомлень про накладення ручних санкцій на сайт:

«Виправіть або видаліть всі штучні посилання, не обмежуючись наведеними вище прикладами. Можливо, для цього Вам доведеться зв’язатися з веб-майстрами відповідних сайтів. Якщо Ви не змогли домогтися видалення будь-яких посилань, скористайтеся інструментом для відхилення посилань. Однак пам’ятайте, що недостатньо просто внести в нього всі підозрілі посилання: відправляючи запит на повторну перевірку, необхідно продемонструвати, що Ви зробили все можливе для видалення штучних посилань з інших ресурсів».

Так от нюанс полягає в тому, щоб не тупо завантажити список посилань в Disavow, але створити видимість того, що ви доклали всіх зусиль до того, щоб позбавитись «поганих» посилань. Якщо ви орендуєте посилання в sape, то просто перестаньте це робити. А якщо ви купували вічні посилання, як це робив я, то можете спробувати зв’язатися з веб-майстрами і домовитися видалити посилання. Але я вирішив забити на нюанс, побоюючись за Яндекс, і тому обмежився лише інструментом Disavow.

В якості післямови

Треба сказати, що все вищеописане актуально і для зняття ручного фільтра Google Penguin, коли вас приходять повідомлення в панель вебмастера про штучних входять посиланнях. В цьому випадку завдання спрощується, вам не треба буде гадати, чи все ви зробили правильно, ви просто чистіть посилання, відправляєте запит на перегляд і чекаєте результату, якщо необхідно повторюєте процедуру. Все просто. А ось мануалів по позбавленню від автоматичного Пінгвіна я поки не зустрічав.

Ось так зовсім непомітно ви прочитали більше 20 000 знаків, при цьому мені довелося втратити деякі моменти, тому обов’язково задавайте питання, уточнюйте, разом спробуємо всю необхідну інформацію розкрити в коментарях.

Сподіваюся, що мій пост виявився для вас корисним і змусив задуматися про правильні речі!

Успіхів і перемог вам, дорогі друзі, в боротьбі з фільтрами. Але ще краще – не потрапляйте під фільтри взагалі!

Спасибі за увагу, до зв’язку.

З повагою, Олександр Алаєв