Дубли страниц и robots txt. Исправляю ошибки на сайте. Htaccess и json

Сейчас я буду исправлять ошибки на сайте по тому списку, что мне на аудите в крутом сервисе выдало. Мне Настя сказала, что примерно нужно исправлять, я думала, изи, это будет быстро, но оказалось, что я недооценила проблему с json. Если результат этих действий не будет заметен, буду искать другие способы.

  • Закрытие /?p в robots txt.
  • Ноуиндекс нофоллоу на постраничную.
  • Отключение фидов в RSS.
  • Закрытие индексации тегов (меток).
  • Json-прекратить их генерацию и закрыть в роботсе.
  • Определить канонические адреса и поставить редирект в файле . htaccess.
  • Кнопки соцсетей поставить в ноуиндекс.

Это все мои ошибки на сайте (не все, конечно, а только те, что с дублями связаны). Пришло время пофиксить все. Тем более, у меня новая тема, новый код, скоро обновлюсь до версии 5.0.2. Будет вообще прекрасно (но не факт).

дубли страниц

Убираем дубли страниц

Дубли страниц и другие у меня имеются в нескольких вариантах. Я закрыла страницы с помощью

Disallow: /page/.

Disallow: /*/page/.

Но гугл может это все проигнорировать (он всегда так делает и нагло мне сообщает об этом в серчконсоли).

Далее поискала у разных блоггеров и посмотрела чужие роботсы. Пока остановлюсь на той версии, которую описываю в этой статье. Если узнаю что-то еще, попозже напишу. Есть мысль, что нужно закрывать многие вещи не в роботсе, а с помощью метатега <meta name="robots" content="noindex, follow"/>. Но я не уверена, что это необходимо, очень много заморочек. Проверю пока, будет ли разница через роботс. Исчезнут ли ошибки.

Также я закрыла фиды RSS, хотя у меня не стоит специально никакого RSS, а фид был закрыт, почему-то выдавало их дубли. Решила подстраховаться, посмотрю, исчезнет ли ошибка.

Категории закрыты, но Гугл пишет, что он все равно их проиндексировал. Это грустно. Я добавила закрытие тегов, т.к. недавно стала их использовать. Позже выведу.

Disallow: */tag/*

Disallow: /tags/$

Disallow: /category/*/*.

Осталось избавиться от кое-чего нового.

Убираем из индекса wp-json

Появился он, начиная с версии 4.4 вордпресса. Связано с API. Это виртуальная директория. Создавалось с полезной целью, но не предусмотрели запрет от индексации. Теперь стали появляться дубли, которые нам не нужны.

В роботсе надо написать:

Disallow: /wp-json/

Disallow: /oembed

Disallow: /embed

Кроме этих запретов, нужно предотвратить дальнейшую генерацию.

Теперь понадобится внести изменения в функции и . htaccess.

Сначала я изменю functions.php, точнее, добавлю некоторые запреты. Информацию нашла на одном из сайтов, хотя посмотрела несколько. Речь примерно об одном и том же. Здесь я писать весь код не буду. Я прикрпелю файл с кодом на скачку с яндекс-диска. КОД

Я имею дочернюю тему, поэтому в файле функции дочерней я дописала вместе с комментариями от автора код. У меня там не все функции, я не копировала один в один их из родительской. Я только дописываю новое в дочернюю. Функции так, как и другие коды, главное не разрывать на куски, тогда ничего не лаганет на сайте.

функции json

Далее я с хостинга взяла htaccess (по ftp), открыла в блокноте и дописала строчки, приведенные на том же сайте, заменив домен на свой:

RedirectMatch 301 /wp-json https://psy-helga.ru/

RedirectMatch 301 /oembed http:// psy-helga.ru/

RedirectMatch 301 /embed http:// psy-helga.ru/

RedirectMatch 301 /1.0/ http:// psy-helga.ru/

Пересохранила. Инарвалась на ошибку 500. Короче, если вы планируете все эти вещи делать, вы должны точно сидеть через ftp, а не через админку, и перекиньте копии функций и htaccess себе на комп в оригинале. Потому что, если лаганет сайт и перестанет открываться, сможете удалить измененные файлы и закинуть старые. Мне помогло. Я не могла понять сразу, отчего 500-я. Оказалось, это от того, что вставила коды до #. А потом я вставила отдельно в конец и стало открываться все.

Думаю, надо еще читать в других источниках. Я все сделала, но не уверена, что это был самый правильный и лучший вариант. У меня скорость низкая последнее время на сайте. Еще эти всякие 301 редиректы теперь пойдут.

роботс

 

Закрытие кнопок соцсетей в нофоллоу

Все пишут, что нет особого смысла это делать, что гугл это не смотрит и все равно ходит по ссылкам. Не знаю, у меня кнопки были сразу в теме, их код в функциях. И я не знаю, как логично их закрыть. Позже посмотрю. Не нашла адекватной инструкции. И еще я не нашла кодов для кнопок нигде, кроме функций.  Мне пока сложно понять, что можно сделать.

Настраиваем канонические адреса

У меня главным адресом будет урл со слешем. Нужно написать метатег в хедер:

<link rel="canonical" href="https://psy-helga.ru/" />

И еще я попробовала написать в htaccess 301 редирект со слеша. Вынесла теги на новую строку, скопировала и внутрь прописала страницы.

<IfModule mod_rewrite.c>

    RewriteEngine On

    RewriteBase /

Redirect 301 /https://psy-helga.ru https://psy-helga.ru/</IfModule>

Теги Ифмодуль и остальное – это чтоб работала переадресация. Они и так есть сверху. Но я подумала, если я так вот напишу, то более надежно. Я не могу найти в обычных настройках плагинов вп и его общих настройках, где указывать канонические, поэтому полезла в коды. Если найду в настройках, так будет лучше. Мне ж все надо страницы переправить, не знаю как. Может, надо в php писать. Не делала никогда.

В общем, надо смотреть результаты аудита, потом думать, что еще доделывать. А то очень много сейчас выброшенных страниц. И редиректов много, и постраничная проходит как дубль.

Кстати, обнаружила включенный плагин постраничной, который не нужен в новой теме. Отключила. Тяжело все замечать после крупных изменений. А мне точно так же нужно будет еще на втором сайте делать. Хорошо, что сейчас три выходные. Обычно все некогда. Ладно, если есть умные мысли насчет описанных здесь вопросов, излагайте. Надо как-то порешать все эти дела.

 

Комментарии 16

  • Посмотрел на xtool.ru удручающую статистику Вашего блога.
    В очередной раз подтвердилась правильность моего выбора – создание блога под ключ.
    Теперь идеальную техническую сторону ресурса получил от Дениса Повага.
    Прекрасные sео показатели его собственных двух блогов и многих учеников говорят сами за себя.

    • У меня большая пачка проблем. это я в курсе, и очень многое в процессе изменений. И постоянно прыгает. А еще скорость однажды взяла и куда-то убежала. Тоже сейчас немного в печали. Я пользуюсь другими сервисами. Но я не хочу ни под какой ключ. А учиться тогда как, если все готовое? Скучно.

    • Зашла глянула этот сервис. Ссылки хорошо показывает, а так куча инфы недоступна мне. Я чаще всего пользуюсь Сеолик, серчконсоль, метрика и сегодня заходила в яндекс вебмастер.

  • У всякого блогера СВОЯ ЦЕЛЬ.
    Однако оказывается, чтобы её достигнуть, проще научится правильно писать статьи именно про ЕДУ.
    Это ведь повседневная необходимость жизни каждого человека.
    Для статьи нужно брать именно на сегодня популярные БЛЮДА.
    Выдача ПОД поисковой строкой Яндекса, по мере набора ТОЛЬКО НАЧАЛА названия АКТУАЛЬНОГО БЛЮДА сразу же начинает подсказывать наиболее часто запрашиваемые Ключевые Словосочетания по КОНКРЕТНОМУ РЕЦЕПТУ.
    Вот ТОЧНО ЭТИ 5-6 ФРАЗ и нужно использовать В КАЖДОЙ статье.
    Причём В САМОМ НАЧАЛЕ.
    А уже в КОНЦЕ можно писать О ЧЁМ ДУША ПОЖЕЛАЕТ.
    Вот сам скачал и выучил бесплатную 600 страничную книгу Дениса Повага.
    РЕКОМЕНДУЮ!!!
    Меня интересовало только, как ПРАВИЛЬНО писать ЗАГОЛОВКИ и ПОДЗАГОЛОВКИ.
    Но в книге очень много крайне полезной информации и о многом другом.
    Однако ТЕПЕРЬ очень заинтересовался ГЛАВНОЙ ТЕМОЙ РЕЦЕПТАМИ, которая поможет популяризовать и МОЁ ХОББИ – ВЕРМИКУЛЬТИВИРОВАНИЕ.
    Книги мне оказалось недостаточно и пошел в платную школу Дениса.
    И не пожалел – учиться приходится по 25 часов в сутки.
    Извините, не знаю Вашего имени, Свободолюбивая Птица, что-то получилось длинновато.
    Но мне очень понравилось то, как о чём Вы пишите – уже много лет, как и сам о своём.
    Да только посетителей у нас с Вами кот наплакал.
    А наверняка, как и мне хочется, чтобы блог стал популярным.
    Да и копейка с рекламы не помешает в семейный бюджет.
    Так, что начинайте ВСЕ ДО ЕДИНОЙ свои статьи – именно с ЧАСТО ЗАПРАШИВАЕМОГО на СЕГОДНЯ БЛЮДА.
    Уделите этому не менее 7-15 тысяч знаков.
    А потом об остальном в Вашей жизни.
    В общем – смотрите частоту и содержание моих и статьи остальных учеников, которые будут у меня в комментаторах.

    • А Денис не говорил, что нужно писать о том, в чем разбираешься. Допустим. в блюдах я не сильна, я у других их читаю. Я очень мало бы смогла рецептов реально рабочих рассказать. Я пишу о том, в чем разбираюсь. обычно. Но стратегия ясна, наверняка, рабочая. И все же есть тематика сайта. Если писать про блюда, то тематика должна касаться. Иначе будет нерелевантно. Кстати, моя проблема тоже в том. что у меня нет узкой тематики, много нерелевантного названию сайта. Но я планирую наверстывать, чтобы основной тематики было больше. Но это после переделывания всего старого контента, который больше не соответствует новому сео. И актуализировать. Я не пользуюсь подсказками поиска, я смотрю по вордстату, но это похоже. И как там учат писать заголовки? Любопытно, как он учит ключи вписывать в первый абзац и H1,2. Насчет главного в начале согласна. Но если писать вначале тематично, а потом, что вздумается, не самый лучший вариант, хотя сама грешила этим раньше.

  • Ольга, статья, очевидно, хорошая, но не для меня…Я мало что поняла в вашей статье…Тем, кто в этом хорошо разбирается,наверное, будет интересно прочитать и сравнить со своим сайтом…С наступающими вас новогодними праздниками, Ольга! С уважением, Анна.

    • С наступающим! Совсем уже скоро. Прямо не верится. А я постарею.((( Кстати, мне этой зимой так лета хочется, что-то я стала мало из дома выходить.

  • Я пользовалась ceoto.me, но все ошибки до конца так и не исправила…
    Сейчас посматриваю яндекс метрика и яндекс вебмастер

    • Не знаю этот сервис. Сегодня я смотрела скорость. У меня сильно упал мобильный трафик. Это случилось вскоре за непонятным падением скорости загрузки. Все плохо. Предполагаем, что связано с новым ботом гугла для смартфона. Он обошел сайт и выкинул по мобильной версии куда подальше. Больше я адекватной причины не нашла.((((((((((((( Буду ставить другие плагины. У меня проблемы остались с кешированием, теги не закрыты. Их просто индексируют, невзирая на роботс.

  • Я ненужные страницы закрываю всегда через мета-тег. В сео плагине просто указываешь чтобы закрыть данную страницу к индексации и все. В роботсе такие страницы лучше не прописывать, а закрывать изнутри.

    Исключение лишь wp-json. Его в WP 5 можно закрыть через роботс и то, только для Яндекса. Таксономии я не закрываю.

    • С wp-json вышло. Аудит показывает, что закрыто. Мы просто смотрим по разным сервисам, иногда гугл не слушается ни тегов, ни роботса. Вот категории ни в какую не хочет, индексирует до сих пор. С яндексом проще. Еще важно было убрать фиды. Очень смущает меня такой пункт, как наличие поддоменов и переадресаций. Я просто понять не могу, откуда поддомены. Подозреваю, что с той поры осталось, как появился домен 2 уровня, там я нашла ссылки в своих же комментах с тем доменом старым. Думаю, это все лишнее снести и посмотреть, что будет.

  • А зачем тебе закрывать категории и теги. Если они индексируются то закрой через сео плагин. Вроботсе их закрывать не нужно. Фиды тоже через се,о плагин вроде как закрываются. У меня тоже с этим проблем нет. А полностью фиды вырубать я не рекомендую. Вот нужно подписаться на рсс ленту и как это сделать. В общем хорошенько настрой сео плагин. Тогда и дублей не будет. У меня их нет. И канонические ссылки он сам прописывает. Тут тоже проблем нет. С заголовками таких проблем как у тебя у меня не было. То есть зоголовок не дублироваться. Поэтому смотри внимательно настройки сео плагина и ничего лишнего не мудри.

    • В ёсте я такого не нашла, поэтому через роботс. Ну теги и фиды делают дубли и страницы, классифицируемые как некачественный контент. Это оттого, что тег просто метка. Туда зайдет робот. а там нет инфы. Для него это считается плохая страница. РСс нужны крупным новостным. А так это дыра для кражи контента. С каноническими вроде норм уже. Я роботс сильно изменила, много чего закрыла, что относится к новинкам современного кода. Мы смотрели по аудиту на работе еще. Конечно, теперь, имея плагин клирфи, некоторое уже не нужно.

  • А через какой сервис. Смотреть дубли? И какой надо сео плагин.

  • Не могу сама составить. Списала.это для программистов.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Я согласен с политикой конфиденциальности

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.