Привіт, друзі! Ви мене читаєте в Твіттері? Днями я писав про відвідала мене ідеї для нового софта. Хоча ідея і не нова, і крутиться в голові вже як мінімум півроку, але я дозрів тільки зараз!

Нижче я розповім про проблему, яка послужила причиною для створення нової програми. Якщо ви приділяєте пильну увагу внутрішньої оптимізації сайту, то ідея вам дуже сподобається, адже вона дозволить визначити ті помилки сайту, які важко виявити існуючими інструментами. Трохи розповім про саму програму і специфіку її роботи. А найголовніше – я в черговий раз пропоную всім бажаючим взяти участь в краудфандінге і стати бета-тестерами нового продукту. Але про все по порядку!

Передісторія або мій біль!

Як часто ви цікавитеся індексацією свого сайту? Хоча б на предмет того, які сторінки вашого сайту потрапили і сидять в індексі, а які ні? А коли ці сторінки були проіндексовані або переиндексированы?

Або ось ви взяли черговий сайт на просування і треба його вивчити. У першу чергу на предмет внутрішніх помилок: дублів, битих посилань, редиректів та інших проблем. Благо програм зараз для цього предостатньо. Окей, вивчили, помилки пофиксили, залишили для індексації тільки все потрібне, а все непотрібне закрили. На цьому й заспокоїлися…

Щотижня у мене обов’язково трапляється 1-2 замовлення на технічний аудит, а в зв’язку з тим, що я знову вирішив взяти трохи на просування сайтів, то тепер і нові клієнти трапляються. І ось в один із аудитів мені дуже знадобилося вивчити індексацію сайту, захотілося порівняти те, що я знайшов на сайті і те, що я зможу знайти у видачі. Мені пощастило, я робив це вручну і буквально на перших сторінках видачі знайшов помилки і кілька дублів сторінок, які Яндекс проіндексував, а на сайті цих сторінок не було (точніше вони були колись, але власник міг поміняти адреси і не поставити редирект, а так часто буває). А якби мені не пощастило, і я ці сторінок вручну не знайшов?

У Яндекса немає такого чудового інструменту в панелі вебмастера як у Google, де відображаються проблеми щодо дублювання контенту (title, зокрема). Інструменти для веб-майстрів Google реально виручають і дозволяють знаходити серйозні проблеми, але і ці інструменти не ідеальні, т. к. інформація оновлюється з деякою затримкою, і відображаються далеко не всі проблеми. Та й сайт взагалі може бути не доданий в панель.

Питань багато, і хочеться вирішити їх тут і зараз. А головне, щоб це було зручно і якісно…

Знайома ситуація? Чи доводилося вам коли-небудь порівнювати пошуковий індекс вашого сайту з реальним списком сторінок, зібраних з сайту? Якщо доводилося, прошу вас відзначитися в коментарях і розповісти, якими інструментами ви користувалися, що робили, і як змогли досягти своєї мети?

Для мене це стало болем! Я не зміг відразу придумати, як можна вирішити мою проблему. Після того, як я написав про нову програму, на ФБ мені написав Вітьок і запитав, а че за софт-то? Ну, я в двох словах сказав, що софт покликаний одержувати і порівнювати списки сторінок, зібраних з сайту, зі списком сторінок, зібраних з індексу пошукових систем. Виявилося, що Вітьок морочився саме таким завданням для одного великого проекту і навіть майже домігся успіху. Алгоритм наступний: взяти Яззл, вбити список запитів для парсингу Яндекса, експортувати результат; взяти програму Xenu і спарс їй сайт, експортувати результат; домогтися однакового форматування двох файлів експорту і звести в одну таблицю в Ексель, а потім якось це порівняти. На словах звучить, начебто, цілком реально, правда я так і не зрозумів, як можна два списку порівняти між собою і знайти подібності або відмінності між ними.

Підрахуємо потенційні втрати: 4000 р. на покупку Яззл (можна постаратися знайти аналоги для парсингу видачі, може бути, навіть безкоштовні), необхідність мати відразу декілька програм, робити кілька экспортов і зводити в одну таблицю, шаманити з Excel, щоб порівняти отримані результати.

Дофіга делов – хтось може і готовий це терпіти, але не я.

Ідея створити інструмент, який дозволить все зробити в одному вікні і за пару кліків, прийшла давно. Пора втілювати в життя!

Про майбутню програмі в двох словах

Програма буде складатися з декількох модулів:

  • Сканер сайту – звичайний краулер, який обходить сайт, збирає всі унікальні сторінки, ДО и, заголовки і інші важливі характеристики. Вміє враховувати правила robots.txt, мета-тега robots і навіть rel=canonical. Існуючі аналоги: Xenu, Page-Weight, Netpeak Spider і т. п.
  • Парсер видачі – парсер, який відправляє запити в Яндекс (типу site:alaev.info, host:alaev.info або url:alaev.info залежить від ситуації) і збирає всі отримані результати. Алгоритми перебору, щоб завантажити більше 1000 результатів. Можливість підключити Яндекс XML. Збирає підписи, ДО и, дату індексації та дату збереженої копії. Заодно пробиває існування і доступність знайдених сторінок на сайті. Те ж саме для Google, але там все складніше, з ним будемо експериментувати. Просто парсерів видачі можна знайти багато, а ось, щоб вони збирали потрібну інфу в потрібному вигляді – такого не бачив. Так що аналогів немає.
  • Статистика і аналітика – той самий головний і важливий модуль, який покаже результати порівняння списків сторінок. Те, що було знайдено на сайті, але відсутній у видачі, або навпаки, що знайшлося у видачі, а на сайті не знайшлося. Так-то при бажанні можна буде порівнювати що завгодно і робити будь-які вибірки… Аналогів, ясна річ, немає.

Круто?

Мені теж здається, що круто!

Краудфандінг і бета-тестінг

Головне на порядку денному. Пам’ятаєте, як зароджувався FastTrust? Я вам нагадаю. Народилася ідея, і гроші на її реалізацію було, але не було впевненості у затребуваності майбутнього продукту, і тому не хотілося втратити великі гроші на те, що нікому не знадобиться. Я вирішив влаштувати голосування (тоді я ще не знав слова краудфандінг). Голосування рублем – бажаючі отримати майбутній продукт безкоштовно і на особливих умовах повинні були сплатити вступний внесок. І все вийшло дуже класно. А що було далі, ви вже знаєте – тепер FastTrust успішний і відомий продукт у якого майже дві тисячі користувачів.

Я поки не вирішив, чи буде нова програма платна або безкоштовна, але в накладі жоден учасник складчини не залишиться, це я вам гарантую!

Сплативши участь, ви автоматично стаєте бета-тестером і отримуєте доступ до програми. Ваші ідеї та побажання до програми мають істотну вагу, тобто ви реально можете впливати на те, якою буде програма у результаті і буде вона мати ті функції, які потрібні саме вам. А ще доступ в закритий розділ форуму, присвячений програмі.

Дорогі друзі, збір коштів закритий! Чекайте публічного релізу програми!
Учасників набралася достатня кількість, навіть, зізнатися, більш ніж достатня. Я і не очікував, що буде такий ажіотаж, тому і доводиться достроково закривати прийом учасників.
Всім, хто прийняв участь, висловлюю величезну подяку за виявлену довіру! Спасибі, хлопці!

До речі, ви взагалі ні чим не ризикуєте. По-перше, на відміну від минулого разу я не шукаю програмістів, вони вже є і перевірені часом. По-друге, програма не в планах, а вона вже створена і вже працює, навіть встигли вийти кілька оновлень (однак, крім мене програму ще ніхто не бачив). А по-третє, у мене вже є досвід у таких справах.
З нагоди, прошу учасників закритого клубу розробки FastTrust відписатися в коментарях, чи задоволені ви результатами?

На цьому все, друзі! До зв’язку.

Питання, коментарі, пропозиції – пишіть, не соромтеся!

З повагою, Олександр Алаєв