Яким сервісом краще шукати дублі сторінок сайту?

[pathononskate1006]

Є сайт магазину. Зараз виконую його аудит та прцюю над пошуком дублікатів сторінок. Використовував програму Скрімінг Фрог та цей сервіс. Вони начебто працють, знаходять дублі, але в ручному режимі знаходжу дублі сторінок, яких нема у звіті цих сервісів. Може хтось порадить де краще перевіряти сайт на дублі?

[vvkit]

Пробували запитати ШІ? Нижче, наприклад, ШІ відповідь на ваше запитання. На мій погляд, варто почати з Google Search Console. 
 

Часто проблема не лише в інструменті, а в тому, які саме дублі шукати. Screaming Frog та apollon.guru переважно знаходять дублі за метаданими (title, H1, description) і за хешем повного контенту. Якщо дублі не точні, а часткові (типова ситуація для інтернет-магазинів — однакові описи на варіаціях товарів, картки в різних категоріях, фільтри/сортування), вони можуть випадати з обох звітів.

Що варто перевірити у самому Screaming Frog, перш ніж міняти інструмент:

• Увімкнути JavaScript rendering (Configuration → Spider → Rendering). Багато магазинів на Vue/React віддають контент клієнтом, і без рендеру SF бачить порожні шаблони — як ідентичні.
• Підключити Custom Search / Custom Extraction — вибирати конкретний блок (опис товару, характеристики) і шукати дублі вже по ньому, а не по всій сторінці.
• Перевірити Near Duplicates (Configuration → Content → Duplicates, поріг ~80–90%). Це окремий звіт, його часто пропускають — він шукає схожі, а не ідентичні сторінки.
• Виключити з аналізу шапку/футер/меню через Content Area (Configuration → Content → Area), інакше шум маскує справжні збіги.

Альтернативні інструменти, які варто додати:

• Sitebulb — найближчий конкурент Screaming Frog, але звіт по дублях зручніший: окремі категорії для точних, near-duplicate і duplicate metadata, з візуалізацією.
• Netpeak Spider — український продукт, добре працює з кириличними сайтами, має окремий модуль пошуку дублів за різними критеріями (URL, контент, метатеги).
• JetOctopus — хмарний краулер, сильний на великих магазинах, дозволяє знаходити дублі через сегментацію (наприклад, всі URL з параметрами проти canonical).
• Siteliner (від Copyscape) — безкоштовний, показує відсоток збігу між сторінками одного сайту. Хороший для швидкої перевірки.
• Ahrefs Site Audit / SEMrush Site Audit — якщо у вас вже є підписка, у них непогані звіти по дублях, включно з near-duplicate.

Найкорисніше для магазину (часто пропускають):

• Google Search Console → Pages → "Duplicate without user-selected canonical" та "Duplicate, Google chose different canonical". Це фактично думка Google про ваші дублі — ні в одному краулері такого нема.
• Оператори в Google: site:example.com "унікальний фрагмент опису товару" — швидко покаже, скільки сторінок індексується з тим самим текстом.
• Експорт всіх URL зі Screaming Frog → групування за параметрами (?color=, ?sort=, ?page=) у Excel/Sheets — типове джерело дублів у магазинах.

Якщо дасте контекст (на якій CMS магазин, який тип дублів знаходите вручну — за URL, за контентом, за варіаціями товарів), можу підказати точніше, де саме копати.