"English Google Webmaster Central Duplicate Content office-hours hangout."
Сегодня на встрече вебмастеров и поисковых оптимизаторов Джон Мюллер представил всем краткую презентацию в которой есть ответы на основные вопросы по дублированию контента. Т.к. в этой теме есть много спорных и сомнительных моментов очень рекомендую прочитать статью до конца или посмотреть видео.

Что такое дублирование контента?

- Та же страница но по другому адресу или тот же материал (или часть материала).
- Дубли из-за www / без www / http /https / index.html / ?utm=... /
- Отдельная версия для мобильных устройств, для распечатки, сервисы ускорения сайта.
- Синдицированный контент и т.п.

Что такое не дублирование контента?

- Переводы.
- Разные страницы с одним заголовком, описанием.
- Контент в софтверных приложениях.
- Локальный контент (иногда).

Далее технические моменты:

Стартует п.с. с ссылок "URLs".
Составляется расписание "Scheduler".
Для ползающего по ссылкам робота "Crawler".
Дальше данные интернета передаются на разбор страниц "Parser".
Потом происходит индексация страницы "Indexing".
И после этого страница доступна в поиске "Search".
Дублированный контент определяется на этапах "Scheduler", "Indexing", "Search".

Часть дублированного контента отбрасывается на этапе робота "Crawler". В этом случае дублирование определяется из-за разных параметров ссылки на материал. Например с ввв и без. Для таких случаев не рекомендуется использовать запреты в robots.txt на дубли. Пенальти за такое не будет.

Часть дублированного контента отбрасывается на этапе индексации. Если дублирована вся страница, то будет оставлена всего одна копия. Одинаковые страницы для разных стран учитываются и оставляются в выдаче. Пенальти за это не дают.

На этапе поиска, при наличии одинаковых частей в разных страницах, в выдаче будет показана только одна страница. Пенальти за такое нет.

За что дают пенальти при дублировании контента?

За сайта которые собирают контент с других сайтов. Сайты которые крутят по кругу контент с других сайтов. Автоматические переводы, иногда даже ручной рерайтинг и т.п. Доврвеи.

Если вам необходимо разместить дублируемый контент, то надо постараться дополнить его, постараться сделать уникальным, если такой возможности нет, то рекомендуется использовать noindex.

Фиксим дублированный контент.

Важно указывать одну и туже версию ссылки в карте сайта и везде где это возможно.
Избегать дублирования ссылок Цмсками.
Испоьзовать 301 редирект с дублей.
Использовать rel=canonical и hreflang.
В админской зоне гугла выбрать предпочитаемый вид ссылки на сайт.

Фиксите дубли при их наличии сами, и поводов для беспокойств будет меньше :) asdw.by