Головна › Блог

Дублі сторінок на сайті: як знайти та прибрати без шкоди для позицій

Опубліковано

·

Автори: Ярослава Баржицька та Єва Мочайло

Дублі сторінок на сайті: однакова сторінка за кількома різними адресами

Людина бачить на вашому сайті одну сторінку «Чистка зубів». Google може бачити п’ять: з www і без, з косою рискою в кінці й без неї, з міткою рекламної кампанії, ще й друковану версію. Для пошукової системи це різні адреси з однаковим вмістом, тобто дублі сторінок. З цієї статті ви дізнаєтеся, як їх знайти самостійно, як вирішити, що робити з кожним типом, і в якому порядку братися до виправлень.

Зазвичай нічого катастрофічного не стається: окремих «штрафів за дублікати» Google не накладає. Але сайт втрачає в іншому — сила посилань розпорошується між копіями, у пошуку з’являється не та адреса, яку ви просуваєте, а нові сторінки індексуються повільніше.

Матеріал розрахований на власника невеликого сайту послуг чи магазину, а не на програміста. Технічні дії, які краще доручити фахівцеві, позначені окремо, а все, що можна перевірити самостійно, розписано по кроках.

Головне зі статті: Дублі сторінок на сайті: як знайти та прибрати без шкоди для позицій

Дублі сторінок простими словами: одна сторінка, кілька адрес

Дубль — це сторінка, вміст якої повністю або майже повністю збігається з іншою, але доступний за іншою адресою. Ключове слово тут «адреса»: для людини https://site.ua/poslugy/ і https://www.site.ua/poslugy/ — одне й те саме, для Google — два окремі документи.

Коли пошукова система знаходить кілька однакових сторінок, вона обирає одну головною, тобто канонічною, і показує в результатах саме її. Інші копії вона «склеює» з головною або просто ігнорує. Проблема в тому, що обрати Google може не ту адресу, яку обрали б ви: наприклад, версію з рекламною міткою чи сторінку для друку без меню й кнопок запису.

Тому завдання власника сайту — не «знищити всі копії», а чітко підказати Google, яка адреса головна, і прибрати зайві варіанти там, де вони нікому не потрібні. Більшість таких підказок налаштовується один раз і далі працює роками.

Варто розуміти й інше: дублі сторінок майже ніколи не з’являються з вини власника. Їх створюють налаштування хостингу, рушій сайту, плагіни, рекламні мітки, які додають сервіси автоматично. Тому знахідка десятка копій під час перевірки — не привід звинувачувати розробника, а звичайний пункт у списку робіт.

Повні, часткові та «людські» копії

Повні дублікати

Сторінки ідентичні до символу, різниться лише адреса. Це майже завжди технічні причини: налаштування сервера, рушія сайту, параметри в адресі. Їх легко знайти і, як правило, легко прибрати.

Часткові дублікати

Змінюється кілька слів: назва міста, колір товару, порядок сортування, номер сторінки каталогу. На око сторінки здаються різними, тому такі копії помічають рідше. Водночас для Google вони майже однакові, і він часто показує лише одну з них.

Дублікати, створені людьми

Хтось оновив сторінку, створивши нову замість редагування старої, і забув прибрати попередню. Хтось розмістив ту саму статтю в блозі й у розділі новин. Хтось скопіював опис послуги з сайту постачальника. Такі копії знаходяться гірше, бо адреси в них зовсім різні, але шкодять сильніше: сторінки конкурують між собою за ті самі запити, і жодна не отримує повної уваги Google.

Окремий випадок — текст, скопійований з чужого сайту. Тут проблема вже не лише технічна: Google може вважати першоджерелом інший ресурс і просто не показувати вашу сторінку. Рішення одне — власний текст, і про нього нижче.

Технічні джерела дублікатів

Здебільшого копії з’являються не тому, що хтось скопіював текст, а через налаштування сайту. Ось найпоширеніші джерела і типові способи виправлення:

ДжерелоПрикладЯк зазвичай виправляють
www і без wwwwww.site.ua і site.ua301-редирект на одну версію
http і httpshttp://site.ua і https://site.ua301-редирект на https
Коса риска в кінці/tsiny і /tsiny/301-редирект на один варіант
Мітки в адресі/tsiny/?utm_source=instaТег canonical на основну адресу
Фільтри й сортування/katalog/?sort=priceCanonical або noindex
Друк, теги, архіви/post/print/, /tag/seo/Noindex або вимкнення
Головна під кількома адресами/, /index.php, /home/301-редирект на корінь сайту
Скопійовані сторінкиОдна послуга в двох розділахОб’єднання або переписування

Перші три рядки стосуються кожної сторінки сайту одночасно: якщо версії з www і без не склеєні, кожна ваша сторінка існує щонайменше у двох примірниках. Тому їх перевіряють першими. Повний перелік базових технічних налаштувань, з яких варто починати будь-яке просування, зібраний у статті про технічне SEO.

Що зробити самому, а що доручити фахівцю

Самостійно ви можете знайти копії, скласти їх список, переписати схожі тексти, змінити заголовки й видалити непотрібні теги чи чернетки. Налаштування перенаправлень на сервері, правила для параметрів в адресах і масові зміни canonical краще доручити людині, яка розуміє, як влаштований саме ваш сайт. Помилка в цих налаштуваннях може зачепити всі сторінки одночасно.

Реальна шкода і поширені міфи

Слово «дублі» звучить страшно, тому варто чесно розділити реальні проблеми і перебільшення.

  • Розпорошення сили посилань. Якщо на одну версію сторінки посилаються з Instagram, а на іншу — з каталогу компаній, жодна з них не отримує всієї ваги.
  • Не та адреса в пошуку. Google може показувати версію з міткою чи друковану сторінку без меню і кнопок.
  • Повільніша індексація. Пошуковий робот витрачає час на копії замість нових сторінок.
  • Плутанина у звітах. Статистика однієї сторінки розкидана між кількома адресами, і ви не бачите реальної картини.
  • Конкуренція власних сторінок. Дві схожі сторінки однієї послуги заважають одна одній піднятися за тим самим запитом.

Міф — що за дублікати сайт «банять» або різко опускають. Санкції бувають за навмисне копіювання чужого вмісту чи масові однакові сторінки для маніпуляцій, але не за технічні копії, які є на більшості сайтів. Тож дублі сторінок варто прибирати спокійно і планомірно, без поспішних масових змін.

Інший міф — що проблему вирішує одна «чарівна» галочка в налаштуваннях. Галочки допомагають з технічними копіями, але не з тими, що створили люди: дві сторінки однієї послуги з різними текстами доведеться розбирати вручну.

Як оцінити масштаб саме у вас

Порівняйте дві цифри: скільки сторінок на сайті насправді (порахуйте послуги, статті, товари) і скільки адрес Google знає про ваш сайт у звіті індексування. Якщо друга цифра в рази більша, копій багато, і з ними варто розбиратися в першу чергу. Якщо цифри близькі, дублікатів, найімовірніше, небагато, і можна зосередитися на інших задачах.

Діагностика за десять хвилин без програм

Почати можна без платних інструментів, лише з браузером. Пройдіть ці кроки по черзі і записуйте результат:

  1. Введіть адресу головної з www, потім без www. Обидва варіанти мають автоматично привести на одну й ту саму адресу.
  2. Введіть адресу з http:// замість https://. Має відбутися перехід на захищену версію.
  3. Відкрийте будь-яку сторінку послуги, допишіть або приберіть косу риску в кінці адреси. Сайт має перенаправити на один варіант.
  4. Допишіть до адреси сторінки ?test=1. Якщо сторінка відкривається, це нормально, але перевірте, чи вказаний у її коді canonical на основну адресу (це краще доручити фахівцю).
  5. Спробуйте /index.php або /index.html після домену. Якщо відкривається копія головної, це теж дубль.
  6. Введіть у Google site:вашдомен.ua і перегляньте результати: дивні адреси з параметрами, теги, сторінки друку одразу кидаються в очі.

Якщо на будь-якому кроці відкрилися дві різні адреси з однаковою сторінкою без перенаправлення, ви знайшли технічний дубль. Для сайту послуг на 10–30 сторінок цих перевірок разом зі звітом Search Console зазвичай достатньо. Для великих магазинів знадобиться програма-сканер, яка обходить усі сторінки й порівнює заголовки та вміст.

Знайшли копію — що далі

Не поспішайте виправляти одразу. Спершу зберіть повний список: так ви побачите, чи це одна системна причина (наприклад, не налаштований редирект з www), чи багато окремих випадків. Системну причину зазвичай закриває одне налаштування, і вона прибирає десятки копій одночасно, а окремі випадки доведеться розбирати по одному.

Що підказує звіт «Сторінки» в Search Console

Найточніше джерело — сам Google. У Search Console розділ індексування показує, які сторінки потрапили в пошук, які ні і з якої причини. Якщо ви ще не користувалися сервісом, почніть з інструкції як підключити та читати Google Search Console.

«Сторінка-дублікат без вибраної користувачем канонічної версії»

Google знайшов копії і сам обрав головну, бо ви йому нічого не підказали. Подивіться на приклади адрес: якщо це варіанти з мітками чи параметрами, допоможе canonical; якщо версії з www або без косої риски — редирект.

«Дублікат: Google вибрав іншу канонічну сторінку»

Ви вказали головну адресу, але Google з вами не погодився. Найчастіше причина в тому, що сторінки насправді різні, або на «головну» мало внутрішніх посилань, або в меню веде інша адреса. Тут варто розбиратися уважніше.

«Альтернативна сторінка з належним тегом canonical»

Це не помилка: Google побачив копію, прочитав вашу підказку і погодився з нею. Нічого робити не потрібно. Якщо ж вас загалом цікавить, чому окремі сторінки не потрапляють у пошук, докладніше про це — у статті про індексацію сайту.

Однакові title і description як сигнал

Ще одна непряма ознака копій — однакові заголовки сторінок. Якщо у п’яти сторінок title «Послуги — Назва компанії», Google бачить їх схожими ще до того, як прочитає текст. А людина в пошуку не розуміє, чим одна сторінка відрізняється від іншої.

Перевірити це просто: у Search Console на вкладці «Сторінки» звіту «Ефективність» подивіться, які адреси показуються за одними й тими самими запитами. Якщо за запитом «чистка зубів» по черзі з’являються дві різні сторінки, це майже напевно ознака того, що вони конкурують між собою.

Те саме стосується описів. Якщо в усіх сторінок однаковий description, який рушій підставив автоматично, Google частіше генерує власний фрагмент тексту для результатів пошуку, і він не завжди вдалий. Однакові заголовки й описи не роблять сторінки дублікатами самі по собі, але часто вказують на місця, де копії вже є або от-от з’являться.

Чим прибрати дублі сторінок: чотири інструменти

Універсального рішення немає. Вибір залежить від двох питань: чи потрібна копія людям і чи є в неї власна цінність. Таблиця нижче допомагає визначитися.

СитуаціяІнструментЩо відбуваєтьсяВажливо знати
Копія не потрібна нікому301-редиректЛюдина і Google автоматично потрапляють на основну адресуСила посилань переходить на основну сторінку
Копія потрібна людям, але не пошуку як окремаТег canonicalСторінка доступна, в коді вказано головну адресуЦе підказка, а не наказ: Google може не погодитися
Сторінка не повинна бути в пошуку взагаліNoindexСторінка працює для відвідувачів, Google її не показуєGoogle має мати змогу прочитати сторінку
Дві сторінки однієї послугиЗлиття або переписуванняОдна сильна сторінка замість двох слабкихПісля злиття — редирект зі старої адреси

Коли що обирати на практиці

Версії з www і без, http і https, коса риска, старі адреси після зміни структури — редирект. Адреси з рекламними мітками, сортуванням, варіантами товару — canonical. Сторінки пошуку по сайту, друковані версії, службові розділи, порожні теги блогу — noindex. Дві сторінки, що описують одну послугу різними словами, — злиття в одну сильнішу з перенаправленням другої. А якщо вони справді мають бути окремими, перепишіть так, щоб кожна відповідала на свій запит; з цим може допомогти фахівець з наповнення сайту текстами.

Корисна практика — вказувати canonical навіть на основних сторінках, тобто посилатися сторінкою на саму себе. Тоді будь-яка копія з міткою чи параметром автоматично несе в коді правильну підказку, і Google простіше зрозуміти, яку адресу ви вважаєте головною. Багато рушіїв і SEO-модулів роблять це за замовчуванням, але перевірити варто.

Порядок робіт і робочий журнал

Найгірше, що можна зробити, — виправляти все одночасно. Тоді неможливо зрозуміти, яка зміна дала ефект, а яка зашкодила. Рухайтеся за пріоритетами:

  1. Технічні копії всього сайту: www, https, коса риска, адреси головної. Вони стосуються кожної сторінки.
  2. Сторінки послуг і товарів, які приносять гроші: перевірте, чи немає в них двійників.
  3. Сторінки з параметрами: мітки, фільтри, сортування.
  4. Блог: однакові статті в різних розділах, теги й архіви.
  5. Службові сторінки: друк, пошук по сайту, вкладення.

Записуйте кожну знахідку в просту таблицю. Через місяць ви зможете перевірити, чи Google прийняв зміни, і не загубитеся, що вже зроблено. Умовний приклад заповнення:

ДубльОсновна сторінкаСпосібДатаСтатус через місяць
http://site.ua/https://site.ua/301-редирект[дата]Прийнято
/tsiny/tsiny/301-редирект[дата]Прийнято
/blog/tag/zuby/—Noindex[дата]Ще в індексі, чекаємо
/poslugy/chystka-2//poslugy/chystka/Злиття і редирект[дата]Прийнято

Адреси в таблиці умовні. Колонка «статус» заповнюється після перевірки в Search Console; якщо через два-три місяці зміни так і не прийняті, це привід перевірити налаштування ще раз.

Інтернет-магазин: фільтри, сортування, варіанти товару

У магазинах дублікатів зазвичай найбільше, бо кожне поєднання фільтрів може створювати нову адресу: колір, розмір, ціна, бренд, порядок сортування, номер сторінки каталогу. З двох десятків товарів легко отримати сотні адрес з майже однаковим вмістом.

  • Сортування за ціною чи популярністю — canonical на основну сторінку категорії.
  • Фільтри, за якими ніхто не шукає, — canonical або noindex.
  • Фільтри, за якими люди справді шукають (наприклад, «зимові черевики дитячі»), — окрема сторінка з власним заголовком і текстом.
  • Варіанти одного товару різного кольору — зазвичай одна картка з вибором, а не окремі копії.
  • Сторінки пагінації каталогу — без noindex на першій сторінці і з посиланнями між сторінками.

Це спрощена схема: рішення для конкретного магазину залежать від асортименту і того, як люди шукають ваші товари. Докладніше про специфіку ми писали в статті про SEO для інтернет-магазину.

Чому не варто закривати весь каталог

Буває, що, злякавшись кількості копій, власник закриває від індексації всі сторінки з фільтрами, а заодно і ті, що приводили покупців. Перед будь-якими масовими змінами подивіться в Search Console, які адреси з параметрами отримують кліки. Їх варто зберегти і посилити, а прибирати — лише ті, що не мають ні показів, ні відвідувачів.

Сторінки під різні міста: копія чи самостійна сторінка

Поширена практика — створити «Ремонт квартир у Києві», «Ремонт квартир в Ірпені», «Ремонт квартир у Броварах» з однаковим текстом, де змінено лише назву міста. Для Google це часткові дублі сторінок, і найчастіше він показує лише одну з них, а решту ігнорує.

Окремі сторінки для міст мають сенс, коли вам є що сказати про кожне: реальні роботи в цьому місті, умови виїзду, ціни з урахуванням доставки матеріалів, відгуки місцевих клієнтів. Якщо такої інформації немає, чесніше й ефективніше мати одну сильну сторінку з переліком міст, де ви працюєте.

Простий тест: прочитайте дві сторінки для різних міст поспіль. Якщо після заміни назви міста вони стають однаковими, Google теж вважатиме їх копіями. Як вибудувати присутність у кількох містах без шаблонних сторінок, описано в статті про просування сайту в конкретному місті.

Що робить сторінку міста самостійною

  • Фото і короткий опис робіт, виконаних саме в цьому місті.
  • Умови виїзду: з якого дня, чи є доплата, скільки часу займає дорога.
  • Відгуки клієнтів із цього міста з їхньою згодою.
  • Особливості: типові будинки, вимоги керуючих компаній, сезонні нюанси.
  • Контакт людини, яка відповідає за роботи в цьому місті, якщо така є.

Пастки під час виправлень

  • Не закривайте копії в robots.txt, якщо хочете, щоб Google побачив canonical чи noindex: заборонену сторінку він просто не прочитає.
  • Не видаляйте сторінки масово без перенаправлень: зовнішні посилання на них стануть битими.
  • Не ставте canonical на сторінки з різним вмістом, наприклад, з усіх товарів на головну.
  • Не поєднуйте noindex і canonical на одній сторінці: це суперечливі сигнали.
  • Не створюйте ланцюжки редиректів, коли адреса А веде на Б, а Б — на В. Перенаправляйте одразу на кінцеву адресу.
  • Не очікуйте змін за день: Google переглядає сторінки поступово, зазвичай від кількох тижнів.

Більшість цих пасток з’являється через поспіх. Дублі сторінок накопичувалися місяцями чи роками, і нічого страшного не станеться, якщо ви прибиратимете їх кілька тижнів, але акуратно й з перевіркою після кожного кроку.

Як переконатися, що виправлення спрацювали

Через кілька тижнів після змін поверніться до журналу і пройдіться по ньому. Перевірка займає пів години.

  1. Повторіть ручну перевірку версій з www, http і косою рискою: усі мають вести на одну адресу.
  2. Відкрийте звіт «Сторінки» в Search Console і подивіться, чи зменшилася кількість рядків про дублікати.
  3. Перевірте ключові сторінки інструментом перевірки URL: яку канонічну адресу обрав Google.
  4. Надішліть оновлену карту сайту, якщо змінювалися адреси.
  5. Порівняйте кліки на основні сторінки до і після змін за однакові періоди.

Коли варто покликати фахівця

Якщо через два-три місяці кількість копій у звіті не зменшилася, Google вперто обирає не ту канонічну сторінку або після змін просіли кліки на важливі сторінки, не експериментуйте далі навмання. Покажіть журнал змін фахівцеві: з ним діагностика займе значно менше часу, ніж без нього, бо одразу видно, що і коли змінювалося.

Технічні копії — типова знахідка під час перевірки сайту, і їх легше прибрати на етапі аудиту, ніж розплутувати через рік. У GuideWay SEO-аудит сайту коштує від 49 $ за експрес-перевірку до 199 $ за повну, зі списком конкретних виправлень; інші послуги та пакети зібрані на сторінці цін. Якщо ж потрібна регулярна робота, а не разова перевірка, подивіться, що входить у просування в Google.

Часті запитання

Чи карає Google за дублі сторінок?

Ні, за технічні дублікати на кшталт версій з www і без чи адрес із мітками реклами санкцій немає. Google просто обирає одну адресу і показує її. Проблеми виникають опосередковано: розпорошується сила посилань, у пошуку з’являється не та сторінка, повільніше індексуються нові. Тому копії варто прибирати, але без паніки.

Що краще: 301-редирект чи canonical?

Редирект підходить, коли копія не потрібна нікому: людина й Google автоматично потрапляють на основну адресу. Canonical — коли сторінка має залишатися доступною, наприклад, із сортуванням чи міткою реклами, але в пошуку має бути основна версія. Редирект — сильніший сигнал, canonical — лише підказка.

Як перевірити, чи є на сайті дублікати?

Відкрийте сайт з www і без, з http і https: усі варіанти мають вести на одну адресу. Потім перегляньте у Search Console звіт «Сторінки» і пошукайте причини зі словом «дублікат». Для невеликих сайтів цього зазвичай достатньо, для магазинів знадобиться ще програма-сканер.

Скільки часу Google прибирає дублікати після виправлення?

Зазвичай від кількох тижнів до двох-трьох місяців, залежно від розміру сайту і того, як часто Google його відвідує. Пришвидшити процес можна, подавши оновлену карту сайту та надіславши ключові сторінки на перевірку через Search Console. Повторно масово змінювати налаштування за цей час не варто.

Чи можна просто видалити сторінку-дубль?

Можна, якщо на неї ніхто не посилається і вона не отримує відвідувачів. Але безпечніше налаштувати 301-редирект на основну сторінку: тоді люди, які збережуть старе посилання, і зовнішні сайти, що на неї посилаються, потраплять у правильне місце, а накопичена вага сторінки не загубиться.

Чи є дублем однаковий текст на сайті й у Google Картах чи соцмережах?

Ні, проблема дублікатів стосується насамперед сторінок у межах вашого сайту. Короткий опис компанії, що повторюється в профілі на Картах чи в соцмережах, нормальна практика. А от великі тексти послуг краще писати для сайту окремо і не копіювати повністю на інші майданчики, щоб головним джерелом залишався ваш сайт.

Чи можна прибрати дублікати самостійно без програміста?

Частину — так: знайти копії, переписати схожі сторінки, змінити заголовки, видалити непотрібні теги. Налаштування редиректів, canonical і noindex залежить від рушія сайту: у деяких системах це робиться в налаштуваннях, в інших потрібні зміни в коді чи на сервері. Якщо не впевнені, доручіть саме цю частину фахівцеві.

Над статтею працювали

Ярослава Баржицька, SEO-спеціаліст GuideWay
Ярослава БаржицькаSEO-спеціаліст, 20 років у просуванні сайтів
Єва Мочайло, розробниця сайтів GuideWay
Єва МочайлоРозробка сайтів, 4 роки досвіду

GuideWay — веб-студія з України: створюємо сайти для малого бізнесу й просуваємо їх у Google. Більше про нас

Потрібен сайт, який приводить клієнтів?

Готовий сайт для вашої ніші з SEO з першого дня — від 290 $ і від 5 робочих днів. Консультація безкоштовна.