Всім привіт. Я тут написав грандіозний пост для одного відомого діджитал-видання, але його туди не прийняли, мовляв, занадто рекламний…О_о? Напевно, щоб він був типу не «рекламний», треба пропонувати людям робити все вручну, без спеціалізованого софту і сервісів. Але судити вам, прочитаєте і скажете мені в кінці, рекламний був пост.

Загалом, клав я на те видання, важливо інше – що пост вийшов чудовий, я писав його 3 повних дні, йшов на рекорд за кількістю знаків і концентрації корисного матеріалу!

Далі розповідається, для чого потрібен seo аудит сайту, які завдання вирішує проблеми, які покликаний виправити і, власне, найважливіше – це все вирішити і зробити самостійно!

Аудит сайту: для чого потрібен і які завдання вирішує?

Спочатку я планував написати чисто про технічний аудит сайтів, а потім згадав, які труднощі я щоразу відчуваю, домовляючись з черговим замовником про проведення аудиту. Що буде входити в аудит, рекомендації і щодо чого? Якщо навіть мені самому важко визначитися у цьому питанні, навіть не уявляю, чого буде коштувати вам.

Для кого-то технічний аудит – це результат роботи якого-небудь автоматичного сервісу для проведення експрес-аудиту, де в результаті ми дізнаємося, який тіц сайті, скільки сторінок проіндексовано в Яндексі і Гуглі, в яких каталогах сайт знаходиться, скільки на нього зворотних посилань, побачимо нудоту головної сторінки і її title. І що? Навіщо нам ця інформація? Для чого нам знати, скільки сторінок в індексі, якщо поняття не маємо, що це за сторінки? Навіщо нам кількість зворотних посилань без розуміння природи їх походження? Навіщо нам знати нудоту тексту головної сторінки, якщо її title просто «Головна»?

На мою думку, саме на такі питання повинен відповісти аудит. Питання, відповіді на які можна автоматизувати, відповіді, які потребують поглибленого вивчення сайту і його бекграунду.

Не менш складно визначити межі, де закінчується технічна частина, а де починається юзабіліті або маркетингова складова. Відсутність кнопки «замовити в 1 клік» на картці товару – це технічна недоробка або проблема з юзабіліті? А складнощі при оформленні замовлення в інтернет-магазині: занадто велика форма для заповнення або посилання з листа про підтвердження замовлення, ведуча на будь-яку сторінку, крім повідомлення про успішне оформленні…

Я можу перераховувати нескінченно! Скільки там у мене за плечима аудитів за мою практику… 200… 300, може, 500? І всі вони були комплексні, тому що не можна просто так взяти і пройти повз очевидної помилки, дотримуючись формальностей, мовляв, це не відноситься до технічної частини.

Отже, приблизний розуміння, для чого потрібен технічний аудит у вас вже має бути. Постараюся формалізувати список завдань, які має вирішувати аудит:

  • Технічні моменти: 404 помилки і биті посилання; дублікати сторінок і повтори title; налаштування метатегів; використання заголовків на шпальтах; чистота та коректність коду сторінок; відповідність базовим вимогам пошукових систем;
  • Індексація сайту: які сторінки на сайті доступні для індексації, а які за фактом в індексі; немає проблем з метатегами, що відповідають за індексацію;
  • Швидкість завантаження сайту та окремих сторінок, виявлення причин повільної роботи сайту;
  • Працездатність сайту і його складових;
  • Функціонал сайту, відповідність його вимогам і алгоритмів пошукових систем для певних тематик і типів запитів.

Як бачите, фронт робіт колосальний. Розібратися з усім цим, якщо ви не фахівець, буде складно, а для кого-то й неможливо.

А якщо говорити про вартість послуг, то перші 3 пункти будуть коштувати 20 000руб., т. к. максимально піддаються автоматизації, а весь час роботи займає перелік, опис і пояснення де, що і як треба зробити. Всі п’ять пунктів, скажімо, можуть коштувати вже 50 000р. І може бути, ці три додаткові пункти виллються всього в 1-2 аркуша рекомендацій, але за ними стоїть серйозна робота. Скільки, на вашу думку, може коштувати повідомлення про те, що форма заявки на вашому сайті не працює? Або кнопка продовжити в кошику постійно перекидає користувача на перший крок і не продовжує оформлення замовлення? І питання тут в іншому – а які ви понесете збитки! Безцінне. І ситуації ці реальні, вони з моєї практики. (Повертаючись до цін, скажу, що це мої розцінки, а у яких-небудь московських seo-компаній все буде в 3-5 разів дорожче, а у середнього фрілансера в 2 рази дешевше. Вирішувати вам.)

Інструменти, необхідні для проведення повноцінного аудиту

Панель вебмастера Яндекса

Як тільки ви створюєте сайт, або берете клієнтський сайт на просування, перше, що треба зробити – отримати (створити) доступ в панель Яндекс.Вебмайстер і Яндекс.Метрику. Це не вимагає ніяких спеціальних знань. Потім зайдіть в розділ повідомлень в панелі Вебмастера.

Немає часу пояснювати, просто дивіться:

Чи важливо це? Дуже важливо!

Панель вебмастера Яндекса знайшла нове життя, коли її оновили до версії 2.0. У розділі діагностики повідомляють про критичних і можливі проблеми і видають рекомендації. У розділі безпека повідомляють про віруси і шкідливі програми коді, в порушення – про накладені фільтри (наприклад, якщо ви перестаралися з посиланнями та отримали Мінусинськ).

Наступний важливий розділ – Індексування – де можна подивитися, які сторінки проіндексовані, які беруть участь у пошуку, а які віддають помилки.

Окреме спасибі за те, що всі дані з панелі можна вивантажувати у вигляді архіву, де, за їх словами, міститься вичерпна інформація. Шкода, що з цими даними не можна взаємодіяти, наприклад, відзначити проблеми з неіснуючими або забороненими до індексації сторінками, як вирішені, щоб зникли з статистики, як це зроблено в Google Search Console. Але з іншого боку, турбот менше, чи не так? 🙂

Що ще варто обов’язково зробити в панелі вебмастера Яндекса:

  • Додати файли sitemap.xml;
  • У розділі Переїзд сайту вказати основне дзеркало;
  • В розділі «Регіональність» вказати регіон, або переконатися, що вказаний потрібний регіон;
  • Вибрати регістр сайту. Просто для краси, або в надії, що це трохи збільшить CTR на видачу;
  • У Швидких посиланнях провести ревізію, щоб показувалися тільки найважливіші посилання в потрібному порядку. Про зміни в швидких посиланнях приходять повідомлення «Повідомлення»;
  • Все інше вже по ситуації і в залежності від вимог.
  • Зазвичай я домовляюся з замовником, що всі налаштування панелі виробляю сам, тому що описувати, що і як зробити, набагато довше, ніж всі настроїти самостійно.

    Google Search Console (Панель для веб-майстрів)

    Додати сайт в панель Гугла – це таке ж необхідне дію. Тут є розділ з важливими повідомленнями, де зберігаються рекомендації для сайтів і повідомлення про помилки:

    Сайт погано індексується? 404 помилки? Вам повідомлять!

    Трохи дратує, що для вказівки головного дзеркала сайту (Шестірня у правому верхньому кутку – Налаштування сайту – Основний домен), необхідно всі дзеркала додати і підтвердити панелі і тільки потім для дзеркал вказувати основний сайт. Потім всі ці дзеркала для всіх сайтів будуть в загальному списку бовтатися. Бісить!

    Наступний важливий розділ: Вид пошуку — Оптимізація HTML. Варто звернути особливу увагу на пункт «Повторювані заголовки (теги title)». Дублікати title говорять про серйозні недоліки. Основних причин кілька: у вас некоректно формуються title, у вас є дублікати сторінок, не закриті від індексації «зайві» сторінки.

    Розділ «Заходи, вжиті вручну» – тут за аналогією з Яндексом (насправді, це у Яндекса за аналогією з Гуглом) показуються застосовані до сайту фільтри. Не всі, а як випливає з назви, а тільки накладені вручну: фільтр за переоптімізацію і фільтр за посилальний спам.

    Сканування – Помилки сканування – тут ви знайдете помилки всередині сайту, пов’язані з недоступністю сторінок, які або видалені, або сервер вчасно не відповіли або видав помилку. Таблицю можна передати в архів, але вичерпних даних ви все одно не отримаєте. Не знаю чому, але Гугл затиснув повний список і віддає тільки частина. Зате вирішені проблеми можна відзначити, і вони тут же пропадуть з статистики.

    Взагалі в панелі Гугла більше питань, ніж відповідей: навіщо нам просто циферки, коли набагато важливіше знати, що за ними ховається? В карті сайту проіндексовано 1000 сторінок з 10000, і що далі? Які це сторінки, чому не індексуються? Не зрозуміло. Гугл дуже скупий на інформацію для веб-майстрів. Єдине, що можна вивантажити повністю – це беклинки.

    Раніше я часто заходив у Серч Консоль, але з появою Веб 2.0 Яндекса я роблю це все рідше і рідше.

    Програма ComparseR

    Думаю, майже всі ви, дорогі читачі, знаєте мою програму. Програма трохи платна, але можна завантажити демо-версію і подивитися додаткову інформацію на промо-сайті (правда, він не оновлювався з 2014 року, але програма оновлюється регулярно). Програма розроблялася під вимоги і потреби моєї веб-студії. Вона дозволяє швидко і ефективно знаходити на сайтах технічні помилки: биті посилання, сторінки мають проблеми з індексацією (некоректний мета robots або canonical), дублікати заголовок і сторінки з порожнім тегом, дублі заголовки h1, зовнішні посилання по типах і ще багато чого. Більшу частину з переліченого вміють робити і аналоги, але у Компарсера є унікальна функція – парсинг пошукових систем і порівняння індексу зі структурою сайту.

    Далі я буду розповідати про найпоширеніші помилки на сайтах. Їх легко знайти, працюючи з comparser’ом, але ви можете використовувати будь-яку іншу програму для пошуку цих проблем на своєму сайті, але я рекомендую скачати хоча б демо-версію.

    Заголовок title та його оптимізація

    Title по праву вважається найсильнішим тегом під внутрішньої оптимізації, відповідно, помилки з них вважаються одними з найбільш грубих. Це дуже часта проблема: більше 90% всіх сайтів, що приходять до мене на аудит чи просування, мають проблеми з дублікатами. Причин багато, але серед найпоширеніших:

    • Дублювання на сторінках лістингів в інтернет магазинах (посторінкова навігація, коли товарів в категорії дуже багато). Це вирішується додаванням приставки “- сторінка XX” title, проставлянням тег rel=”canonical” із зазначенням на першу сторінку, або, простіше всього, закриттям сторінок /*/page, *?page= і т. п. в robots.txt. Сторінки пагинации часто дублюють title першої сторінки не тільки в інтернет-магазинах, але і на інших типах сайтів.
    • Сортування – біч будь-якого каталогу. Хочете відсортувати товари за ціною, наявності або просто розташувати вітрину не списком, а плиткою – будь ласка. Купа дублів – будь ласка! Я завжди рекомендую робити сортування за допомогою технології AJAX, щоб сортування товару відбувалася без перезавантаження сторінки і без переходу на інший url. Іноді це складно реалізувати, тому альтернативою стане використання rel=”canonical”, або зовсім простий спосіб закрити параметри сортування robots.txt.
    • На сайтах з однотипними товарами виникає багато дублів. Наприклад, шини, де для однієї моделі крім типорозмірів існують такі характеристики, як максимальна маса навантаження або максимальна швидкість. Для суконь одного дизайнера і однієї моделі може бути різний розмір, колір, артикул. Для штор може бути рівень затінення, ширина і довжина штори. В title за замовчуванням додається назва товару з бази, а в результаті купа дублів і замість всіх карток товару нормально ранжується тільки одна, перевагу якій віддав пошуковий робот. Як пошуковик дивиться? Однаковий title, ага. Однаковий description, ага. Однакову назву на сторінці, ага. Значить це дубль, треба вибрати тільки одну унікальну картку товару. Вирішується додаванням унікальних параметрів товару в title.
    • В інтернет-магазинах часто застосовуються індексовані фільтри. Наприклад, по бренду або інший якийсь характеристиці. І без належної уваги сторінок фільтрів присвоюється title від батьківської категорії. А адже такі індексовані seo фільтри – це джерело низькочастотного трафіку: фільтри легко масштабувати, налаштовувати за шаблоном, і нехай навіть кожна сторінка принесе по одному відвідувачу в місяць, завдяки їх кількості рахунок йде на тисячі потенційних покупців.
    • Деякі движки вже наскільки вивчені (Бітрікс, який найчастіше зустрічається серед наших клієнтів), що навіть не треба ніякої програми, щоб припустити, де ховаються проблеми. Практика показує, коли програмісти здають сайт, за налаштуваннями для seo ніхто не стежить. Взагалі-то вони й не повинні, адже розробники відповідають за продакшн: щоб виглядало добре і працювало без проблем. Тому перш ніж приймати роботу, проконсультуйтеся зі своїм лікуючим лікарем з seo-спеціалістом, щоб усунути недоліки на старті.

    Як ви могли помітити, більша частина прикладів взята від інтернет-магазинів – це мій улюблений тип сайтів, я дуже люблю великі портали з десятками і сотнями тисяч сторінок. Чим більше, тим краще, тим більше можна показати класний результат, виправивши допущені помилки. Мені дуже хочеться розповісти про сайтах наших клієнтів, але весь мій час займає робота над цими сайтами. Хоча один великий і докладний кейс я все ж опублікував, коли ще працював «найманцем» — кейс про сайт по оренді нерухомості. Мені вдалося домогтися збільшення відвідуваності з пошуку в 20 разів за 8 місяців роботи. Звичайно, це не тільки виправлення помилок, а довга і кропітка робота по вивченню ніші і користувальницького попиту, але без ідеальної технічної бази я б не зміг це зробити!

    Заголовок H1 і нецільове використання заголовків

    Ще одним сильним елементом внутрішньої оптимізації сторінок є заголовок H1 – це основний заголовок сторінки, який призначений для відвідувачів. Розпоряджатися цим заголовком вже багато навчилися і навіть до верстальників донесли, що основний заголовок сторінки повинен бути обгорнутий в h1. Пошукові роботи надають значення вмісту заголовка, тому не можна нехтувати і використанням ключових слів у ньому.

    Помилки проте нерідко допускають. Згідно з канонами, головний заголовок повинен бути один на сторінці. І крапка! Але деякі верстають в h1 логотип та/або назву сайту в шапці – це дуже часте явище. Використовувати головний заголовок повторно при верстці тексту на сторінці теж невірно, адже для цього і придумали h2, h3, h4, h5 і h6 (я рекомендую обмежитися використанням лише h2 і h3).

    Приклад нецільового використання я навів вище – обернути логотип в заголовок. Часто при верстці макета заголовки блоків в сайдбарі верстаються заголовками. Це неправильно, заголовки не повинні використовуватися в наскрізних елементах при оформленні дизайну. Заголовки треба використовувати тільки для самого основного вмісту сторінки, інакше вони втрачають свою ефективність.

    Мене часто запитують, як формувати заголовки title і H1 і як використовувати в них ключові слова, можна прописувати одні і ті ж запити в цих заголовках. Як вибрати оптимальну довжину і що робити якщо хочеться просунути багато запитів на одну сторінку. Одного разу мені набридло відповідати, і я написав докладне керівництво по оптимізації заголовків title і h1.

    404 помилки і биті посилання

    Не буду пояснювати, чому наявність помилок всередині сайту погано. Їх треба просто взяти і виправити. Вони можуть з’являтися з різних причин: на сайті видаляються неактуальні публікації, при верстці тексту контент-менеджер неправильно скопіював посилання, при зміні структури url не зробили редиректи і внутрішні посилання померли. Це трапляється з усіма, тому сканувати сайт треба періодично.

    При обході сайту Компарсер формує зведення за всіма кодами відповіді сервера, зеленим відзначено, де все окей, жовтим – попередження, червоним – помилка.

    Натискаємо на цікаву рядок, виведеться список битих посилань, а також джерело (сторінка, з якої варто злощасна бите посилання.)

    Серед вебмайстрів найвідоміша програма для пошуку битих посилань на сайті — Xenu’s Link Sleuth. Програму не можна назвати зручною або гарною, найпопулярніша вона лише завдяки своїй безкоштовності. За заявою на офіційній сторінці вона працює у Windows 10 незважаючи на те, що останнє оновлення програми датоване 2010 роком. Сам не перевіряв, я їй не користуюся.

    301 і 302 редиректи

    Редиректи це і не добре і не погано. Але тільки в тому випадку, якщо ви знаєте, як і для чого їх треба використовувати. Тому в програмі редиректи помічені жовтим кольором – значить треба звернути увагу.

    301 редирект – це постійний редирект, який говорить пошуковому роботу, що сторінка переїхала на нову адресу. Назавжди. А значить старий адреса треба забути і асоціювати його з новим. При склейці адрес передаються властивості старої сторінки. Вхідні посилання, траст і т. д. 301 редирект використовується при переїзді сайту з одного домену на інший, при зміні структури формування адрес на сайті, а також для знищення дублів сторінок.

    302 редирект – це тимчасовий редирект, який говорить пошуковику, що сторінка лише тимчасово змінила адресу, і що її не можна викидати з індексу. 302 редирект на практиці використовується рідко, набагато частіше він зустрічається помилка, коли повинен був використовуватися 301 редирект, але через неуважність програмісти поставили 302 редирект (у веб-серверах під управлінням *nix систем команда для редіректу за замовчуванням використовує 302 редирект, якщо окремо не зазначено використання 301 редіректу). Так що, швидше за все, 302 редирект вам не потрібен.

    Будь-які редиректи всередині сайту використовувати не слід, треба, щоб всі посилання були прямі і вели відразу на кінцеву мету. Редирект потрібен для того, щоб не втратити зовнішні посилання та зв’язки, адже на зовнішніх джерелах ми не можемо вручну виправити посилання.

    Нікого не здивую, сказавши, що я вже написав величезний пост-керівництво про те, навіщо потрібні редиректи, як їх правильно використовувати та прописувати. Докладно розібрані часті випадки, а на додачу ще 750 коментарів обговорень і розбору приватних випадків від читачів.

    Вихідні посилання – що з ними робити?

    Багато переживають з-за зовнішніх посилань на сторонні сайти. Типу вага сторінок «витікає», пошуковики можуть гірше ставитися до сайтів з безліччю зовнішніх посилань і т. д. На рахунок зовнішніх посилань повинні переживати тільки ті, хто займається продажем посилань на біржах, тому що можуть не пройти по фільтрам. А пошуковики негативно ставляться тільки до продажним і нетематичним посиланнями, а якщо посилання ведуть на авторитетний сайт або документ, який доповнює написане на сторінці, – то за що тут карати?

    Для зовсім вже одержимих (таких як я), щоб все було ідеально і красиво, можу порадити просканувати всі зовнішні посилання з сайту і закрити їх у nofollow, а всі биті посилання на зовнішні сайти або видалити, або виправити. Ось типова карта зовнішніх посилань на инфосайте від року і старше:

    Звертаю вашу увагу на те, що кілька років тому принцип дії атрибут nofollow для посилань змінився. Раніше використання цього атрибута припиняла «витіканню» ваги зі сторінки за посиланням, а тепер все інакше – вага все одно витікає, але не досягає тієї сторінки, на яку веде посилання, тобто просто випаровується. Таким чином атрибут nofollow лише говорить пошуковому роботу, що посилання не треба враховувати, передавати по ній вагу і page rank.

    Для тих, кого лякає сама думка, що з сайту кудись «витікає» якусь вагу, теж є рішення – приховувати посилання за допомогою скриптів. Можна зробити так, щоб сама html конструкція посилання на сторінці відсутня, і роботи посилання не бачили, при цьому для користувача це посилання буде видно і буде активна.

    Google Insights PageSpeed

    Дуже корисний і простий інструмент, який покаже вам дві важливі речі: зручність для користувачів мобільних пристроїв і швидкість завантаження сайту з оцінкою за 100-бальною шкалою. Я відразу обмовлюся, що до 100 балам прагнути зовсім не обов’язково, тому що вони є важкодосяжними, і в гонитві за ними ви можете просто зіпсувати сайт. 70-80 балів буде достатньо, а от менше 50 – це привід для тривоги!

    Про мобільну версію або адаптивну верстку для мобільних користувачів я мовчу, тут і їжаку зрозуміло, що треба брати і робити.

    Якщо ваш сайт знаходиться в червоній зоні (нижче 50 балів), я вам раджу звернути увагу на 2 найважливіших пункту, виправлення яких підвищить і бали, і збільшить швидкодію сайту для реальних відвідувачів: «Використовуйте кеш браузера», «Увімкніть стиснення». Розкрийте ці пункти і побачите перелік адрес, якщо там є ресурси з вашого домену, значить треба виправляти. Зазвичай це вирішується коректної налаштуванням движка сайт, установкою модуля, або додаванням декількох рядків .htaccess. Якщо ви мало що зрозуміли з сказаного, попросіть програміста, він за пару годин все зробить.

    До речі, чому досягнення 100 балів є нетривіальним завданням? Тому що серед ресурсів, що вимагають оптимізації, є лічильники Метрики і Гугл Аналітики, сторонні JS, особливо скрипти соцмереж, необхідні для відображення віджетів або кнопок. Іноді виправити це просто неможливо, а головне, що і швидкодії не додасть (сучасні скрипти підвантажуються асинхронно)!

    Індексація сайту: вивчення і налаштування

    Вище ми говорили про те, як змусити сторінки краще ранжируватися, але не торкнулися питання, як змусити сторінки краще індексуватися. А адже індексація йде перш, ніж ранжирування, відповідно, немає сенсу оптимізувати непроиндесированную сторінку.

    Проблеми з індексацією зустрічаються найчастіше на великих сайтах: чим більше сайт, тим більше проблем. Зараз розповім про налаштування сайту для хорошої індексації.

    Параметри індексування всередині сайту

    Перше, що потрібно зробити, це заборонити для індексації всі технічні сторінки, які не представляють інтересу для пошукачів і не призначені для залучення трафіку. Найкраще забороняти сторінки від індексації за допомогою метатега robots, замість файлу robots.txt. Google, не дивлячись на заборони в robots.txt все одно додає сторінки в індекс, але їх вміст не ранжує. Одного разу я вже детально описував, як і чому це відбувається.

    Так само варто виключити дуже схожі сторінки і дублі (про це ми вже говорили вище). Якщо на сайті є однакові або схожі сторінки, пошуковим роботам буде складно визначити потрібну релевантну сторінку, а ми не будемо розуміти, куди приземляються відвідувачі, наші очікування не співпадуть з реальністю і це, повірте, велика проблема. Буває, що пошуковикам хочеться вибирати правильну сторінку з набору схожих і вони вважатимуть за краще взагалі не ранжувати ваш сайт, а віддати перевагу іншим сайтам, де такої проблеми немає.

    Є такий термін – канібалізація – негативний вплив використання одних і тих самих ключових слів на різних документах сайту. Ви змушуєте пошукові системи вибирати, але що ще гірше, ви запутываете відвідувача і втрачаєте контроль над його поведінкою на сайті, погіршуєте поведінкові фактори й самі не знаєте, яку сторінку просувати. Золоте правило – під один ключовий запит (групу схожих ключових запитів) повинна бути тільки одна єдина релевантна сторінка. Якщо на вашому сайті є така проблема, використовуйте редирект на пріоритетну сторінку, або пропишіть canonical.

    Крім закриття непотрібних сторінок важливо не посилатися на ці непотрібні сторінки. На сайті не повинно бути внутрішніх посилань на закриті сторінки, тому що пошукові системи будуть все одно на них рватися. Для фанатів «ваги» сторінок варто сказати, що із-за таких посилань витікає вага сайту в нікуди – голактеко опасносте, панове! В іншому випадку статистика сайту в панелі вебмастера буде засмічуватися звітами про сторінках, заборонених до індексації. Особисто мене ця статистика пригнічує, заважає вивчати реально існуючі проблеми, і я постійно думаю, що щось пішло не так.

    Чули що-небудь про «краулинговый бюджет»? Це певний відведений пошуковими роботами ліміт сторінок для вашого сайту, які робот омине і можливо додасть в індекс. І чим більше непотрібних сторінок зустрінеться на шляху, тим менше корисних сторінок проіндексовано. Нерідкі випадки, коли на сайті сторінок багато, а знаходиться в індексі в десятки, сотні, а то й тисячі разів менше сторінок. Іноді великим сайтів не вистачає цього самого бюджету, а іноді до сторінок банально дуже складно дістатися. Обов’язково створіть html та xml карту сайту, налаштуйте сервер, щоб він максимально швидко відповідав на запити.

    І не забувайте про перелінковку, але таку, щоб була корисна відвідувачам. Для інформаційних сайтів це може бути блок посилань на публікації з тієї ж категорії. Посилання на публікації по темі з тіла статті – аля Вікіпедія. Для інтернет-магазинів прекрасно працюють блоки посилань на схожі за характеристиками товари та посилання на супутні товари. Все це принесе користь не тільки відвідувачам сайту, але і дозволить пошуковим системам краще і швидше індексувати корисні сторінки.

    Для своїх инфосайтов я ефективно застосовував кільцеву перелінковку – це коли одна публікація має блок посилань на 5 попередніх публікацій сайту, і так по колу. Кожна публікація посилається на сусідні, в результаті всі публікації на сайті отримують однакову кількість внутрішніх посилань, ніхто не залишається обділеним.

    Ця методика чудово себе показала, і мені вдалося домогтися 100% індексації на своїх сайтах. Для CMS DLE, яку я використовував, був написаний спеціальний модуль кільцевої перелінковки LinkEnso (пізніше був випущений LinkEnso PRO – платна версія з розширеним функціоналом), який став справжнім хітом: десятки і сотні тисяч скачувань покупок, і це при тому, що модуль валяється на кожному розі безкоштовно.

    Технологія реально робоча, я масштабировал її на комерційні сайти, і це дало ефект, так що беріть на озброєння!

    Вивчення пошукового індексу сайту

    Коли я тільки думав над створенням програми ComparseR, ключовою особливістю я бачив можливість парсити індекс пошукової системи і порівнювати з тим, що є на сайті. Цінність полягала в тому, щоб знайти непроиндексированные сторінки і пакетно загнати їх у аддурилку. Але до мене швидко дійшло – цінність в тому, щоб знайти те, що на сайті відсутній.

    Розумієте, про що я? Ось приміром, на ваш сайт залили дорвей, як ви про це дізнаєтеся? На нього не залишать внутрішніх посилань, він ніяк не пов’язаний з вашої CMS і ніяк не вплине на роботу сайту. Бувають випадки, коли зловмисники беруть і частково копіюють дизайн вашого сайту разом з лічильниками для сторінок на своєму дорвее. Дорвей вистрілює і на нього починає йти трафік. У Метриці ви побачите сплеск відвідуваності за скоєно неймовірний для вас запитам (чомусь таке часто виникає на Битриксе, я кілька разів ставав свідком «вибуху» відвідуваності на клієнтських сайтах саме на Битриксе). Але що якщо лічильник не скопіювали, скільки часу пройде доки ви помітите? Ви помітите це коли ваш сайт загине разом з дорвеем. Дорвеї горять яскраво і живуть недовго, вони складаються з великої кількості сторінок, кожна з яких заточена під один пошуковий запит і сильно переоптимизирована. Якщо розмір вашого сайту сильно менше, ніж розмір дорвея, коли пошукач почне «випилювати» дорвей, ваш сайт піде на дно разом з ним, як незначна невелика його частина.

    Щоб вчасно помітити біду, треба періодично парсити пошуковий індекс вашого сайту. З цим завданням чудово справляється Компарсер – показати все, що приховано:

    Сторінки, які знайшлися на сайті, але відсутні в індексі, треба змусити проиндексироваться. Раніше, коли була стара версія Яндекс.Вебмастера, існувала аддурилка – туди можна було поштучно відправляти будь-які адреси і вони ставали у чергу на індексацію. Вручну це робити було нереально (вставляти адресу, вводити капчу), але Компарсер це автоматизував. Тільки от лавочку прикрили, аддурилку Яндекс прибрав. Тепер єдиним варіантом змусити сторінки індексуватися – це ті прийоми, про яких я розповідав у попередньому блоці.

    В Гуглі лавочку з додаванням сторінок не закрили, але захистили – раніше там була класична рекапча, яку індуси клацали на раз, тепер там стоїть новомодна штуковина, змушує зіставляти картинки за змістом, якщо вас запідозрили в «роботизме». У підсумку автоматичне додавання сторінок на індексацію обломилося скрізь 🙁

    Все непросто – це коли знайдені сторінки в індексі пошуку на сайті при обході чомусь не виявлені. Треба зрозуміти, що це за сторінки і чому вони не знайдені при обході сайту:

    • Видалені сторінки, 404 Not Found. Буває, що товари з магазинів зникають, записи знімаються з публікації. Відповідно, на сайті цих сторінок вже немає, та посилань на них теж. А в індексі ці сторінки можуть залишитися і видавати помилку. Треба взяти список цих сторінок і закинути в інструмент пакетного видалення з індексу. Це ще працює для Яндекса і Гугла.
    • Сторінки товарів, заховані далеко в каталозі. Якщо в інтернет-магазині багато товарів, а в категоріях присутній постраничка, яка закрита від індексації, щоб уникнути дублювання, може статися так, що до багатьох товарів неможливо дістатися. І дістатися не може не тільки програма-краулер, але і пошукові роботи, так що такі сторінки з індексу з часом випадуть, а нам цього не треба. Розберіться з перелінковкою.
    • Дублі! Звідки вони можуть взятися? Параметри! Ви ведете контекстну рекламу і використовуєте utm-мітки, люди переходять за посиланнями з цими мітками, і вони індексуються. У вас на сайті є партнерська програма, в якій будь-партнер підставивши в url сторінки наприкінці параметр ?PartnerId=123 приваблює рефералів. Параметри можуть взятися з найнесподіваніших місць, а ви про це можете і не знати. Сторінки з параметрами повністю дублюють аналогічні сторінки без параметрів, але індексуються нарівні з ними і є дублями, псуючи карму вашого сайту і окремим сторінкам. Такі дублі треба вирішувати за допомогою rel=”canonical”.
    • Дорвеї. Я про них вже говорив, але тепер покажу, як це виглядає. Крани, підйомники, вакансії компанії… А потім бах – простата, віза в польщу, атанасян, бацзи! Що? О_о
      В даному прикладі дорвей вже видалили, але в індексі він ще бовтається:

    Все це барахло: неіснуючі сторінки, помилки та інше треба видаляти з сайту, закривати від індексації і пакетно видаляти з індексу. Благо, така можливість є, автоматизація реалізована, а лавочку поки не прикрили.

    Я вже згадував, що в новій панелі вебмастера Яндекса зробили можливість вивантажити будь-які дані архівом для вивчення. Компарсер ми навчили викачувати архів, забирати звідти проіндексовані сторінки і додавати в таблицю. Таким чином можна обійти обмеження пошукової видачі на 1000 результатів і отримати 100% точний результат індексації сайту. Це полегшує завдання багаторазово, а ось в Гуглі є проблеми, там не тільки в панелі вебмастера мізерні дані, але і у видачі – отримати всі проіндексовані сторінки неможливо, навіть якщо їх зовсім невелика кількість. Зате наявність і різноманітність проблемних сторінок в індексі, навіть закритих від індексації, компенсує цей недолік.

    MegaIndex.com

    MegaIndex.com (зверніть увагу: .com, а не .ru) прекрасний інструмент для зовнішнього аудиту будь-якого сайту. Внутрішній аудит сайту він не робить, помилки всередині не покаже, але зате покаже видимість сайту за запитами, які посилання на нього ведуть, робиться контекстна реклама і які оголошення, і ще багато-багато-багато всяких корисних штучок. Сервіс розвивається, там з’являються нові інструменти, деякі з яких є унікальними у своєму роді і недоступні навіть в інших платних сервісах. І це, не повірите, — все абсолютно безкоштовно.

    На жаль, з 1 травня 2017 року МегаИндекс перестав був безкоштовним інструментом 🙁
    Смуток.
    Туга…

    Коли приходить сайт на аудит чи просування, я користуюся наступними можливостями:

    • Загальна інформація – тут і правда загальна інформація: видимість сайту в органіці, видимість в контексті, кількість зовнішніх посилань, джерела трафіку, ключові слова і т. д. Важливий момент! Дані по трафіку і джерел не коректні для регіонів, для Москви і ще десятка міст все чітко, а для Краснодара і менших міст все погано. Кількість трафіку навіть для Москви не можна вважати достовірним в абсолютних значеннях, а ось у відносних цілком. Тобто, якщо на вашому сайті показується 100 переходів з пошуку, і 50 з контексту, це може бути далеко від реальності, теж відноситься і до конкурентів. Але якщо порівнювати дані щодо, то все майже збігається.
    • Зовнішні посилання. Самі знаєте, з посиланнями жарти погані останнім часом, треба бути дуже уважним. Про це я зовсім недавно писав і говорив докладно. Тому краще відразу зрозуміти, купуються чи посилання на сайт, з якими анкорами, є ризик накладення фільтра. А заодно подивитися, як поводяться конкуренти, і можна просунути сайт в конкретній тематиці без посилань.
    • Аналіз фрагментів. Цей інструмент мені подобається тим, що на одній сторінці можна швидко подивитися, які фрагменти для різних сторінок і запитів показуються на видачу. До технічних моментів це не відноситься (ну, хіба що, замість опису показується якась белиберда), але по частині CTR на пошуку дуже навіть корисно!
    • Вихідні посилання. Якась швидка альтернатива сканування сайту програмою. Якщо сайт проіндексований сервісом, то можна вивчити вихідні посилання, куди вони ведуть, спамний вони, чи точно вони розміщені по добрій волі чи це підступи зловмисників.

    За Мегаиндексу можна взагалі окремий пост написати, яким інструментом і для чого користуватися. Але це вже не для аудиту, а для аналітики і майбутнього просування – визначити основних конкурентів, дізнатися по яких запитах вони просуваються і знаходяться в топі, якими посиланнями закуповуються і т. д.

    Сила в простоті

    Не знаю, звідки взявся такий підзаголовок… Просто мені треба було якось відокремити змістовну частину публікації від розв’язки, а банальні заголовки використовувати не хотілося.

    Коли я планував, становив структуру і почав писати цей пост, я зовсім не розраховував, що він вийде таким величезним, я щиро вірив, що зможу крім технічної частини ще розповісти вам про юзабіліті, трохи про маркетинг і методики тестування сайтів, але відчуваю, що навіть без цього вийшло занадто багато. Тому ви мене вибачте, якщо не збігся з вашими очікуваннями, і домовимося, що я обов’язково напишу продовження, де розповім про те, що не встиг сьогодні.

    А тепер повернемося до подзаголовку «Сила простоти». Близько 3-х років тому я вирішив написати пост, придумав йому інтригуючий заголовок «Seo-дрочерство» і…не написав його. Хоча чернетка валяється, а значить я його коли-небудь допишу. Сенс в цей пост я хотів вкласти наступний: складні речі в seo не працюють, вони не потрібні. А працюють очевидні речі. Коли підтримка Яндекса говорить вам «робіть якісні сайти для людей», думаєте, вони вас тролять? Ні! Я теж саме кажу людям, які звертаються до мене за консультацією і починають питати про нудоту тексту, як приховати зовнішні посилання, скільки посилань купити на кожну сторінку і розбавляти чи анкор на 30% або на 45%. Так і кортить сказати: товариш, ехай…ехай нах*й!

    Навіщо страждати дурницями, коли сайт дерьмово, якому вже нічого не допоможе, як мертвому припарки? Мені навіть не зрозуміло, звідки в головах виникають такі божевільні думки. Начитаются, а потім починається. Але мені-то все одно, як говорив Форест Гамп, що хто дурень, той сам знає. Хочу звести підсумок до позитиву – почніть з простого, перевірте і виправте базові речі, вони найпростіші і найбільш ефективні. Зробіть те, що я написав вище і досягнете успіху, а полірувати будете вже потім.

    На самому початку я сказав, що мій пост не взяли в те видання, куди мені б хотілося, але все ж стаття була опублікована на профільному сайті – у Академії інтернет-маркетингу WebPromoExperts. Крім того, що пост, який ви тільки що читали на моєму блозі, я трохи адаптував перед публікацією, оригінал за посиланням відрізняється наявністю розділу «Альтернативні програми і сервіси», в якому перераховані, власне, альтернативи Компарсеру, які так само можна використовувати для проведення аудиту. Так що не забудьте перейти за посиланням.

    Спасибі вам за увагу, друзі!

    До зустрічі!

    З повагою, Олександр Алаєв