Що потрібно знати про рендеринге в пошуку Google

1. Що це повідомлення означає для SEO-фахівців
2. В майбутньому Google почне використовувати більш пізню версію Сhrome для рендеринга
3. Google використовує Chrome 41 для рендеринга. Що це означає?
4. Сканер Google - це превью в Chrome 41
5. Chrome 41 vs Сканер Google: попередження
6. майбутнє Googlebot
7. Chrome 41 vs Googlebot: ефективність сканування
8. замість висновку

Наша взаимовыгодная связь https://banwar.org/

Автор - Бартош Горалевіч, глава SEO-агентства Elephate.

В останні кілька років сканування та індексування перейшли в розряд активно обговорюваних в SEO-співтоваристві тем. Після того, як Google запустив фільтр Panda, люди кинулися перевіряти журнали сервера і статистику сканування і почали усувати помилки індексування. Всі ці проблеми не існували в еру «SEO = вхідні посилання».

У зв'язку з активним ростом технічного SEO, оптимізаторів потрібно все більше вникати в ці питання. При цьому до цих пір точно невідомо, як Google сканує сайти. У той же час багато SEO-фахівці все ще не можуть сказати, в чому різниця між скануванням і індексуванням.

Найбільша проблема, однак, полягає в тому, що єдиним інструментом при вирішенні проблем з індексацією в арсеналі оптимізатора є Сканер Google для сайтів в Search Console. При цьому, якщо на сайті використовується не тільки HTML і CSS, то залишається тільки гадати, як контент буде проіндексований пошукачем.

Цей підхід ризикований, дорогий і не завжди робочий. Навіть якщо ви виявите ділянки сайту, що не були проіндексовані належним чином, в більшості випадків буде надзвичайно важко знайти причину і ті ділянки коду, які привели до проблем з індексацією.

На щастя, скоро це зміниться. Нещодавно співробітник Google Ілля Григорик поділився дуже важливою інформацією про те, як працюють краулери:

Цікаво, що цей твіт привернув до себе не так багато уваги, як можна було б очікувати.

Що це повідомлення означає для SEO-фахівців

Знання про те, що Web Rendering Service працює на основі Chrome 41, все змінює. Перед публікацією цього твіти, щоб подивитися, обробляється чи сторінка WRS, можна було використовувати тільки Сканер Google в Search Console. Тепер же буде простіше усувати технічні проблеми, що в іншому випадку вимагало б проведення експериментів і створення проміжних середовищ. Відтепер все, що вам потрібно, це скачати і встановити Chrome 41, щоб подивитися, як сайт завантажується в браузері.

Перевірити можливості, підтримувані Chrome 41, можна по посиланнях Caniuse.com або Chromestatus.com (Googlebot повинен підтримувати аналогічні функції). Ці два сайти роблять життя розробника простіше.

Хоча ми точно не знаємо, який саме реліз мав на увазі Ілля, ми можемо знайти версію Chrome, яка використовується WRS, переглянувши журнали сервера. Це Chrome 41.0.2272.118.

В майбутньому Google почне використовувати більш пізню версію Сhrome для рендеринга

Chrome 41 був створений два роки тому. Відповідно, він сильно відрізняється від поточної версії браузера. Проте, за словами Іллі Григорик, оновлення не за горами:

Нам пощастило домогтися того, щоб Ілля прочитав цю статтю до її публікації, і він поділився цінною інформацією по цій темі. Зокрема, він згадав, що розробники сподіваються оновити WRS до 2018 року.

Google використовує Chrome 41 для рендеринга. Що це означає?

Тепер у нас є корисна інформація про те, як Google обробляє сайти. Але що це означає для творців сайтів і їх клієнтів? Чи означає це, що відтепер ми можемо ігнорувати рендеринг на стороні сервера і розгортати багаті на JavaScript сайти з рендерингом на стороні клієнта?

Не так швидко. На це питання Ілля відповів так:

Тепер ми знаємо можливості WRS щодо рендеринга JavaScript і то, як проводити налагодження. Однак пам'ятайте, що не всі краулери підтримують сканування JavaScript. В даний час в цей список входять Google і Ask. Навіть якщо вас не цікавлять соціальні мережі та інші пошукові системи крім Google, слід пам'ятати про те, що навіть з використанням Chrome 41, Google здатний індексувати не всі JavaScript-фреймворки.

Наприклад, ми зіткнулися з проблемами при індексації контенту Polymer. Ілля Григорик розповів, як справлятися з такого роду труднощами. На основі цієї інформації ми провели експеримент, покликаний зробити сайт http://jsseo.expert/polymer/ індексовані. В даний час він добре працює в Chrome 41 і коректно індексується.

На нашу думку, це ще один потужний інструмент для веб-розробників, які хочуть зробити свої JavaScript-сайти індексованими.

Якщо ви хочете подивитися «живий» приклад, відкрийте http://jsseo.expert/angular2-bug/ в Chrome 41 і використовуйте Інструменти Chrome для розробників, щоб пограти з JavaScript для усунення проблем з індексацією:

Сканер Google - це превью в Chrome 41

Є ще один цікавий момент, пов'язаний з Chrome 41. Інструмент Сканер Google в Search Console по суті являє собою превью в Chrome 41. Зображення сайту з правого боку (як відвідувач сайту бачить сторінку) формується ботом Google Search Console, який є ... Chrome 41.0. 2272.118.

Є дані про те, що Googlebot і Google Search Console Bot обробляють сторінки, використовуючи Chrome 41. Але ми все ще не знаємо, які між ними є відмінності. Одним помітним відмінністю є те, що бот Google Search Console не звертає увагу на файл robots.txt. Відмінностей може бути більше, але на даний момент ми не змогли їх знайти.

Chrome 41 vs Сканер Google: попередження

Chrome 41 - це відмінний інструмент для налагодження Googlebot. Однак іноді (не часто) можливі ситуації, в яких Chrome 41 обробляє сторінку коректно, а скріншоти в сканер Google говорять про зворотне. Це може бути викликано анімаціями і переходами в CSS, тайм-аутами Googlebot або використанням тих функцій, які він не підтримує. Давайте розглянемо на прикладі.

Прев'ю в Chrome 41:

Сторінка вище містить досить велику кількість контенту і зображень, проте в Google Search Console вона виглядає абсолютно по-іншому.

Прев'ю для тієї ж сторінки в Google Search Console:

На скріншоті видно, що превью для цього URL в Google Search Console повністю відрізняється від того, що ми бачили на попередньому скріншоті (Chrome 41). Весь контент пропав і все, що ми можемо бачити - це пошуковий рядок.

Ми помітили, що Google Search Console обробляє CSS трохи по-іншому, ніж Chrome 41. Це відбувається не часто, але як і у випадку більшості інструментів, краще перевіряти двічі.

Все це приводить нас до питання: «Які функції підтримують Googlebot і WRS?».

згідно керівництву по рендерингу в пошуку Google , Googlebot не підтримує IndexedDB, WebSQL і WebGL.

HTTP-сookies і місцеве сховище, а також сховище сесій очищаються між завантаженнями сторінок.

Всі функції, що вимагають дозволу користувача (Notifications API, буфер обміну, push, device-info) відключені.

Google не може індексувати 3D- і VR-контент.

Googlebot підтримує тільки сканування HTTP / 1.1, HTTP / 2 поки не підтримується.

майбутнє Googlebot

є думка , Що консольний режим в Chrome 59 був створений для Googlebot. Щонайменше, це питання обговорювалося в процесі роботи над дизайном. Складно сказати, чи правда це, але якщо це так, то Googlebot зможе «бачити» сайт так само, як і звичайні інтернет-користувачі.

Таким чином, цілком можливо, що в майбутньому Googlebot зможе сканувати навіть найскладніші сайти.

Chrome 41 vs Googlebot: ефективність сканування

Chrome 41 - це потужний інструмент для налагодження сканування та індексування JavaScript. Однак важливо проявляти обережність і не починати запуск сайтів тільки на підставі результатів перевірки в Chrome 41.

Навіть якщо Googlebot може «бачити» ваш сайт, є безліч інших факторів, які можуть вплинути на ефективність його сканування. Наприклад, у нас є докази того, що Googlebot може індексувати JavaScript та інші JS-фреймворки. Але це не означає, що JavaScript - хороший вибір для SEO. Згідно зібраним нами даними , JavaScript-сторінки не скануються навіть наполовину так само ефективно, як сторінки на основі HTML.

замість висновку

Повідомлення Іллі Григорик пролило більше світла на те, як Google сканує сторінки і завдяки цьому, нам не потрібно розробляти експерименти для кожної фичи, яку ми тестуємо. Замість цього ми можемо використовувати для налагодження Chrome 41.