форум webanet

Как получить выдачу Яндекса по разным странам и регионам

webanet — Mon, 20 Nov 2017 16:27:21 GMT

Чуткая любовь и забота поисковых систем об удобствах по отношению к своим пользователям уже давно перешагнула все границы вменяемости. За нас давно решают что нам нужно, что нам нравится и самое обидное - за нас уже решили как и где мы должны искать. Например, если вы из Белоруссии вы ну никак не сможете попасть на страницу yandex.ru вас сразу перекинет на вашу Белорусскую локализацию и изменить это будет сложно и практически невозможно, если вы авторизированны в своем аккаунте.

Это значит, что поисковая система решила, что вам нельзя видеть русскую локализацию, решила настолько, что даже смена города вам тоже не поможет. Если у вас в профиле в настройках поиска ещё стоит показ ваших предпочтений с сохраненной историей, то один раз поинтересовавшись шляпами, вас будут долбить этими шляпами долго, до сброса истории поиска. Ну и конечно вы всегда будете видеть в выдаче свои часто-посещаемые сайты. Для рядового пользователя, который в сотый раз ищет в поиске любимую соц. сеть одноклассники - это круто, очень удобно и вообще отлично. Но если вы вебмастер, то подобная подставная беллиберда в выдаче вас может не устроить по всем причинам. Да и навязчивая забота о пользователях, ищущих свою соц. сеть - это вовсе не забота, а просто заработок на рекламе. Это все очень тошнотворная лирика, но нам нужна выдача, а не сборник бреда. Вперед!

Пошаговые рекомендации по получению выдачи Яндекса по разным регионам

Шаг первый: Разлогиниваемся в своем аккаунте!

На самом деле полностью разлогиниться в аккаунте Яндекса не совсем просто. Вы нажали кнопку выход и думаете, что вышли. Если на страницах выдачи Яндекс приветствует вас по имени, вы не вышли. Перед разлогиниваем надо в настройках поиска стереть историю, убрать галки на показ предпочтений и часто-посещаемых сайтов. То есть вам нужно полностью отключить (насколько это возможно) персонализацию. Далее можете не жать на кнопку выход, а сразу в настройках браузера удалять историю и кукисы Яндекса (все) Вот после полного убийства кукисов вы можете считать что вышли.

Шаг второй: Список кодов регионов и стран!

Да. Без этого списка или знания кодов мы не сможем выдернуть выдачу по интересующему нас региону. Вот собственно сам список от Яндекса https://search.yaca.yandex.ru/geo.c2n

Шаг третий: Подмена адреса выдачи

Начинать можно в своей локализации, то есть туда куда кинет вас Яндекс. Введите нужный поисковый запрос и жмите поиск. Вы получите выдачу по своему региону (прокси, VNP и прочие страшные слова анонимуса вам не помогут точно, слишком много информации передает поисковой системе ваш браузер). Итак, вы получили результат и ссылку в адресной строке примерно такого вида

https://yandex.fr/search/?lr= 1&clid=1&tld=ru&text=пластиковые%20окна

На самом деле ссылка будет намного длиннее, но нам нужны всего два с половиной параметра

Параметр ?lr=1 значение после равно изменяем на нужный код региона, который вы выбрали в списке в шаге втором.
Далее перебиваем идентификатор сессии
Параметр clid=1 значение после равно надо изменить обязательно в первый раз
Далее настраиваем язык региона
Параметр tld=ru значение после равно это язык выбранного вами региона

Шаг четвертый: Наслаждаемся выдачей по регионам или бац! заклинило!

Хром подобные браузеры кешируют все. Они такие быстрые, крутые и вообще. Ну да. Быстрые. Но показывают вам кеш. Кеш можно показать очень быстро.
О смене региона вам сообщит сама выдача, да и вы сами будете видеть, что она разная для разных регионов. Пример выдача для Москвы и области

А это уже выдача для Запорожья

О том, что идет все нормально, вы можете судить и по ссылке в адресной строке, если значения меняются правильно и переключается по регионам - все хорошо. Но если вдруг перестало менять значение ?lr=1 и там упорно показывает ваш истинный регион, вам нужно сбросить кеш и кукисы для Яндекса. После можно дальше продолжать

О преимуществах продвижения в Google

worldname — Tue, 31 May 2016 14:35:34 GMT

Вы создали сайт? Тогда Google идет к вам

О преимуществах продвижения в Гугле

Хоть и принято считать, что в рунете правит Яндекс и большая часть русскоговорящих пользователей пользуется только им, не стоит обращать внимание на преувеличенные слухи. И вместо трудоемких, иногда бесперспективных попыток подпрыгнуть в Яндексе, а потом свалиться вниз, лучше подумать о существовании действительно мощного поисковика, который может дать иногда намного больше, и это больше всегда будет радовать вас стабильностью
Google стабилен. В ним у вас не будет чехарды из непонятных взлетов и падений. В Гугле можно действительно продвинуться без каких либо вложений и лишних телодвижений. Скорость индексирования и качество выдачи. Лояльность, о которой можно слагать стихи.
Санкции наложенные на сайт можно снять простым устранением причин наложения и не ждать годами милости, а довольно быстро вернуться в строй. Этот поисковик беспристрастен, он выдает именно то, что вы ищете. Вам нужна инструкция по выращиванию одуванчиков - вы получите именно инструкцию по вашим одуванчикам, а не список трастовых и очень весомых сайтов, где встречаются слова одуванчик и инструкция, и потом на эN- ной странице может быть и найдете что искали.
Гугл намного реже меняет свои алгоритмы, даже если и меняет и вводит новые, то делается это в мягкой форме.
Если у вас качественный сайт для людей, с качественным уникальным контентом, то Google сам придет к вам, а если ваш сайт регулярно обновляется пополняясь материалами, то этот робот просто поселится у вас на сайте и обеспечит вам и быструю индексацию и хорошие позиции в выдаче

Как избежать фильтров Google

Несмотря на свою отзывчивость и лояльность этот поисковик очень не любит, когда его пытаются обмануть. Это может быть и излишняя оптимизация текстов и страниц. Увлечение тегами strong и h1,2,3 и так далее, причем на заспамленность страниц strong-ами Гугл реагирует так же плачевно, как и на множество h1. С h1 понятно - он должен быть один. А вот со strong-ами можно сказать, что их не должно быть много на странице и лучше перемешивать с <*b>, а ещё лучше применять их в ограниченном количестве только в текстах.
Так же плачевно может сказаться неестественный ссылочный прирост, или поисковый спам. Не уникальные некачественные тексты, а так же очень быстрый их прирост. Заспамленность ключевиками и тошнота текста.
Множество битый ссылок, ссылок с редиректами, скрытых ссылок, ссылки в коде на чужие домены - все это тоже способно отправить ваш сайт под фильтр
Если вы активно и хаотично закупаете ссылки для продвижения, то не надейтесь на взлет в Гугле, а готовьтесь к пессимизации
Похожие или одинаковые заголовки и описания страниц тоже не обрадуют поисковик

О фильтрах Гугла

Панда (он же плинтус)
Это жестокий ответ поисковика всем методам обмана, борьба не только с черным и серым СЕО, а так же смертельный бой некачественным сайтам не для людей. Слишком много говносайтов пострадало от плинтуса, что привело к слухам о том, что в Google продвинуться невозможно. Но ведь сайты для людей с качественным контентом не пострадали вообще, и даже наоборот. Панда - это собирательная санкция. Если ваше детище подходит под множество номинаций перечисленных ниже, то вполне вероятно, что панда вас "укусит"
Песочница
Это комплексный фильтр, смысл которого сводится к потере доверия поисковика к вашему сайту. Принято думать, что все молодые сайты (домены) первый год жизни находятся в песочнице и ничего с этим сделать нельзя. Немного неверное утверждение. В песочницу может загреметь любой сайт, который попадает под несколько номинаций фильтров сразу. Молодой же сайт не пытающийся обмануть поисковую машину, ровно и стабильно развивающийся, так же ровно и стабильно будет подыматься
Флорида
Это фильтр пессимизации сайта. Эффект от него ощущается в виде падения трафика, ну и естественно падение всех позиций сайта в выдаче. Получить Флориду можно несколькими способами:
1) откровенный спам с титлах и описаниях
2) теги h1-6 и их избыточное количество, тоже самое касается strong
3) перенасыщенность текстов ключами
В общем это неблагодарный ответ Гугла на излишнюю оптимизацию и слишком большое количество лишних телодвижений в продвижении
Сопли
Этот фильтр накладывается на страницы с одинаковым или похожим контентом. В выдаче выводится одна из страниц, остальное кладется под Дополнительные результаты или выводится в сниппет как количество соплей с перечислением. Яркий пример на этом сайте - это категория Список прокси, где лежит более двухсот материалов с примерно одинаковым содержанием (список циферек) и с практически одинаковыми титлами. Так поисковик освобождает выдачу от лишнего мусора.
Бомбежка
Этот фильтр полностью останавливает рост позиций по определенным запросам. Если увлекаетесь закупками ссылок, при этом анкоры у этих ссылок одинаковые, то вы теперь автоматом попадаете под фильтр. Фильтр появился после бума продвижения ГС закупленными ссылками. Теперь закупкой ссылок нужно заниматься осторожно, умеренно
Минус 30
Довольно тяжелый фильтр. Выдается по нескольким номинациям:
1) Клоакинг - элемент черного СЕО, при котором поисковикам выдается одно содержимое, а посетителям другое. Агрессивный Клоакинг карается в итоге песочницей
2) Присутствие на страницах java script редиректа
3) Очень быстрый рост ссылочной массы с произвольных ресурсов. Обычно это плоды массовой закупки ссылок или прогона по бесчисленным каталогам и доскам объявлений
Так же сайт может попасть под фильтр из-за большого количества битых ссылок с 404 ответом, из-за очень быстрого прироста контента низкого качества и вообще. Так же опасно участвовать в перекрестном обмене ссылками, когда у вас на страницах несколько десятков ссылок и баннеров ваших новых "друзей". Довольно опасно обильно и часто ссылаться некачественные
ресурсы.
Можно быть награжденным санкцией из-за обилия на страницах не уникального контента копипаста.
Вредоносный код на сайте - это когда ваш ресурс попадает под заглушку с предупреждением о том, что посещение этого ресурса может нанести вред компьютеру

Даже если вы узнали себя и свои действия описанные тут или попали под один из вышеперечисленных пунктов, то расстраиваться не стоит, нужно просто убрать причины фильтра и все восстановится

Важно знать, что чем дольше ваш сайт находился под одним из пунктов пессимизации поисковой машины - тем дольше вам ждать восстановления позиций после исправления грехов.
Если вы не исправляете сразу, то поисковый робот все реже и реже появляется у вас на сайте. Если вы слишком затянете и робот уйдет совсем, то в лучшем случае вам придется отправлять свой ресурс на полную переиндексацию и как говориться, расти заново.

Инструмент разметки структурированных данных Google

webanet — Wed, 09 Sep 2015 20:28:05 GMT

Расширенное описание страниц сайта - это данные, которые выводятся в сниппете под ссылкой на сайт. Описание играет большую роль в выборе именно вашего сайта из списка поисковой выдачи. Чем привлекательней и полнее будет описание - тем больше вероятность, что именно ваш сайт будет выбран пользователем для перехода. И это в свою очередь может положительно сказаться на посещаемости вашего ресурса
Структурированные данные могут выглядеть вот так

Звездочки рейтинга довольно привлекательно выглядят на фоне ссылок с кратким описанием. Но кроме звездочек в описании может быть подробная информация о материале

Такая разметка позволяет пользователю получить полную информацию о материале ещё на странице поиска

Микроданные прописываются в код страниц с помощью HTML кода с соответствующей разметкой. Примеры описания микроразметки можно увидеть тут https://schema.org/docs/gs.html#microdata_why
Для людей не сильно разбирающихся в HTML это темный непроходимый лес на грани иероглифов с вечным вопросом:" А куда это все совать?"

Для облегчения страданий Google выпустил вспомогательный инструмент с названием Мастер разметки структурированных данных Для того чтобы им воспользоваться вам нужно иметь аккаунт в инструментах для вебмастеров Google, минимальные знания HTML и знания структуры шаблонов в системе uCoz (на примере системы uCoz)

Описание работы с Мастером разметки структурированных данных Google

Шаг первый:

Авторизируйтесь в инструментах для вебмастеров Google www.google.ru/intl/ru/webmasters/‎

В списке сайтов у вас должен быть ваш сайт. Сайт должен быть проиндексирован. Перейдите в начальной странице инструмента https://www.google.com/webmasters/markup-helper/

Выберите любую подходящую для вашего сайта или страницы тематику

Впишите адрес страницы с материалом и нажмите на кнопку начать разметку.

Примечание! В первую очередь нужно задать структуру основным страницам сайта. А это страница с материалом и комментарием к нему или созданные страницы в редакторе страниц.
Ошибочно начинать лепить разметку на страницы каталогов со списками материалов

Шаг второй:

Приступаем к выделению меток. Google дает довольно удобный редактор с двумя рабочими пространствами. В окне слева вы будете видеть свою проиндексированную страницу. В окне справа вы будете видеть мастер меток, который позволит отследить ошибки и в котором будет отображаться список необходимых метов и в котором вы будете видеть результаты

Справа вы будете видеть список тегов, которые вам предстоит выделить на странице сайта слева. Например первый и самый главный пункт название. Выделяем название материала прямо в левом окне на сайте. При выделении названия откроется вспомогательное окно, где вы сможете поставить метку названия. Вот так

И так все пункты на странице: Автор, дата публикации, текст материала (выделяйте небольшую часть не более 180 символов), изображение (если есть), раздел статьи (можно пометить хлебные крошки - путь к материалы категории), урл (можно указать урл категории или раздела в котором находится материал) и оценку (оценка в поледствии будет отражаться в виде звездочек в сниппете)

Вы можете добавить недостающие вам теги, но обычно это не требуется

После того, как вы разметили страницу и если нет ошибок вы можете получить HTML код с разметкой

Шаг третий:

На этом этапе вы опять будете видеть два окна. левое со своей страничкой, а в правом теперь будет отображаться готовый HTML код с микроразметкой. Код микроразметки будет выделен и его можно легко увидеть. Вот так

В окне справа вы увидите исходный код странички. Для того, чтобы прописать микроразметку в шаблоны сайта вам надо уметь работать с исходником и шаблонами сайта и знать в чем состоит разница. Дело в том, что исходник может несколько отличаться от шаблона страницы материала и комментария. Поэтому хотя бы начальные знания HTML обязательны.
Для облегчения процесса поиска участков кода в шаблоне пользуйтесь поиском на странице в браузере. Выделяйте код до помеченной микроразметки в правом окне и ищите на странице с шаблоном. Кто ориентируется в шаблонах сделает все за 5 минут.
Ваша задача прописать выделенные в правом окне участи кода в шаблон сайта.

Кроме готового HTML кода Google дает Структурированные данные как разметка JSON-LD. Кто не понимает для чего это и что это за зверь, проходит мимо, так как готового HTML вполне хватает для расширенного описания странички

Шаг четвертый:

После того как вы прописали разметку для микроданных в код шаблона и сохранили, вы можете проверить результат своих мучений тут https://www.google.com/webmasters/tools/richsnippets
Вы получите картинку как это будет выглядеть в выдаче (без краткого описания, которое зависит от запроса)

И сам код структурированных данных, которые найдет робот на странице. Эти данные и будут потом использоваться в описании

Если у вас все получилось, то после переиндексации сайта, вы сможете увидеть расширенное описание своих страниц в выдаче Google

Если вы не знаете HTML, то не стоит отчаиваться! Для вас Google предлагает Маркер - визуальный редактор для создания микроразметки страниц

Список мета - тегов, которые учитывает Google

webanet — Fri, 26 Jun 2015 19:55:21 GMT

Часто веб-мастера совершают ошибку, приписывая несколько километров нужных и ненужных мета-тегов в код страниц. Бывают случаи, когда прописываются несуществующие в природе мета - теги, этим страдают горе-оптимизаторы

К несуществующим или неиспользуемым относятся следующие мета - теги:

Код

Такая конструкция не используется и поисковые системы её игнорируют. Но многие прописывают и этот код, объясняя это тем, что есть основной тег title, а то что они прописали код вспомогательный, с помощью которого можно отобразить предпочитаемый титл в выдаче. В данном случае предпочитают только оптимизаторы, а поисковые системы игнорируют

Код

Такая конструкция не существует, как и не существуют поисковые системы, понимающие её и обрабатывающие.

На самом деле поисковые системы и Google в частности обрабатывают не так много мета посланий в коде страниц. Некоторые просто игнорируются, некоторые обрабатываются, но не учитываются нигде. Некоторые просто бесполезны.
С недавнего времени уже официально объявили о том, что мета-тег keywords не учитывается и стал игнорироваться поисковыми системами, но тем не менее эту конструкцию до сих пор прописывают по инерции по принципу "А вдруг!"

Список мета - тегов, которые учитываются Google

Код

Передает кодировку документа и его тип. На сайтах системы uCoz прописан в шаблоны по умолчанию и изменять его не следует. Так же не следует прописывать другую кодировку

Код

Описание страницы учитывается Google и в некоторых случаях выводится и формирует сниппет
Описание не должно повторяться на различных страницах, что иногда случается в шаблонных системах, таких как uCoz. Поэтому лучше всего использовать только на главной

Код

И на страницах материала и комментария, что можно осуществить дополнительными полями или существующими неиспользуемыми

Код

Управляет индексацией страницы и обращается ко всем роботам, Google принимает на свой счет тоже при общем обращении. Если не прописан, то индексация разрешена. Может быть прописан комбинацией index,nofollow, где страница индексируется, но ссылки на ней не учитываются и наоборот. Конструкция noindex,nofollow говорит роботу о полном запрете индексации Конструкция index, follow дает полное разрешение на индексацию страницы и учет ссылок на неё и равносильна непрописанному мета-тегу. Поэтому прописывать не обязательно

Код

Управляет индексацией именно Гугле бота. Применяется в расширенных обращениях к роботу
При персональном обращении к роботу обрабатывает следующие команды:

noarchive - запрещает кеширование страницы Google. Это означает, что в кеше Гугла не будет храниться копия страницы на момент обработки

noimageindex - запрещает роботу указывать страницу, как источник ссылки для изображений в выдаче

nosnippet - запрещает выводить текст со страницы в сниппете выдачи

noodp - запрещает выводить в выдачу описание из ODP/DMOZ

Код

Мета - тег, который запрещает Google выводить ссылку на перевод страницы в выдаче

Код

Google понимает эту конструкцию как способ перенаправления пользователей на другие страницы. Такой тип перенаправления не следует использовать и роботом он учитывается как негативный. Из-за его свойств. Таким редиректом можно автоматически перенаправить пользователя куда угодно и на вредоносные или рекламные сайты в том числе
301 редирект в любом случае предпочительней

Код

Мета - тег, с помощью которого можно подтвердить права на владение сайтом в инструментах для вебмастеров Google

Вот в принципе и все. Все остальные мета - теги или не учитываются или игнорируются поисковой системой Google

Поиск плагиата по уникальности текста

worldname — Mon, 23 Mar 2015 07:11:37 GMT

Как найти сайты плагиаторы, которые любезно копируют ваши статьи и тексты? Интересно ведь, кто скопировал в каких количествах и самый больной вопрос - поставили ли ссылку на источник текста. Сегодня мы попытаемся вооружиться инструментами, которые помогут вам найти ваши тексты по интернету.
Этими же программами пользуются доблестные рерайтеры. Но не будем о них. Мы будем заниматься поиском плагиата своих творений
Итак, нам понадобятся всего две программы

Advego Plagiatus

Advego Plagiatus 1.1.0.80 программа, которая ищет совпадения указанного текста на сайтах. Самое вкусное в программе для нас - это то, что она показывает источники одинаковых текстов. То есть выводить точные адреса страниц, где встречается текст
Как это работает: вводите в окошечко программы часть текста символов 500-900 и жмете на кнопочку проверить на уникальность. Программа делает запросы к поисковым системам и получает ответы. Если найдены 100% совпадения и получены ссылки на источники, то мы можем по этим ссылкам обнаружить свою скопированную статью со всеми вытекающими
Так же можете проверить на уникальность контента целый сайтик
Нюансы работы: тайм аут нужно выставлять как можно больший. Это нужно для Яндекса, который блочит запросы подобных программ. Если что, то вам нужно ввести капчу. С остальными поисковиками, кроме Яндекса и Рамблера программа работает нормально. Очень точные результаты выдает.
Если точных совпадений не обнаружено, то программа выведет вам кучку сайтов, где встречаются словосочетания, которые были в тексте и пометит текст как текст с высокой уникальностью.
Программа просто замечательная, быстрая и легкая. Есть портативная версия, не требующая установки.
Единственное что, это нужно будет настроить фаерволл на допуск программы

Скачать Advego Plagiatus 1.1.0.80 с сайта производителя скачать

eTXT Антиплагиат

Программа того же класса, что и предыдущая. eTXT Антиплагиат способен искать по сохраненным копиям страниц поисковиков
Так же вставляете кусок текста до 900 символов, настраиваете тайм аут, не отключаете капчу и жмете на Проверить на уникальность. Программа выдает довольно точные результаты с ссылками на источники одинаковых текстов. Неуникальные фразы помечаются разными цветами.
Те же проблемы с Яндексом и Рамблером
Во всех программах можно исключить свой сайт из выдачи проверки. Так вы будете находить свои тексты только на чужих сайтах

Скачать eTXT Антиплагиат с сайта производителя Скачать

Если не хочется пользоваться программами

Или не хочется или нет совместимости или ещё что-то. Можно и вручную все проверить через тот же Яндекс.
Поисковый запрос в Яндекс не должен превышать 40 слов. Берем кусок своей статьи, лучше всего с самого начала и вставляем в поиск. Получаем результаты
Так же можно скопировать точное название своей статьи и опять же сунуть в поиск и Яндексу и Гуглу. Последний трюк с заголовком может не сработать в том случае, если статью переименовали или просто скопировали текст без названия. Поэтому точнее будет все же кусками текста

Мета - теги что это такое. Мета - тег description

worldname — Wed, 11 Mar 2015 11:01:31 GMT

Мета - тег description

В коде страницы должен выглядеть так

Код

Инструкция от Google по данному мета-тегу

Тег description иногда может использоваться для формирования сниппета или краткого описания ссылки в результатах поиска, особенно, если описание содержит ключевое слово.

Вот яркий пример как Google выводит в сниппет описание страницы. За счет этого можно несколько расширить и разнообразить запросы

В примере видно как ключ добывается из description. И такие случаи у Google явно не редкость. Поэтому несмотря на все больше набирающие популярность слухи о том, что поисковики перестали реагировать на мета - теги, описание страницы нужно прописывать обязательно

Как правильно прописать meta name="description"?

В этой теме показано как прописывать мета-теги вообще. Поэтому наверное не стоит ещё раз жевать, что мета-тег должен быть прописан в хеаде

Код

заголовок вашей страницы

Так как все же description иногда тем или иным путем может попасть в сниппет, по которому пользователь ориентируется на сколько страница может отвечать его запросам, данный тег можно считать третьим по важности мета-тегом.
Тег - описание должен быть прописан к каждому материалу на сайте и должен быть уникальным для каждого материала. В кратком описании должен отражаться смысл страницы.
Ошибкой можно считать простое перечисление ключевых слов в описании. Ещё более критичной ошибкой может стать или крайне длинное описание или крайне долгое перечисление ключевых слов.
Старайтесь в описании уложиться в 150 символов и укладывайтесь обязательно в виде словосочетаний или целого предложения в которые желательно ввернуть пару ключей

Вывод: мета - тегом description не стоит пренебрегать. Прописывать уникальные описания к каждому материалу. Укладываться в отпущенную длину. Помнить о том, что чем больше слов и символов - тем меньше их вес

Мета - тег keywords и другие

worldname — Wed, 11 Mar 2015 10:59:44 GMT

Мета - тег keywords

Этот метатег имеет наименьшую важность. Прописывать его или не прописывать - вопрос сложный, но стараются прописывать все. Если раньше данные этого мета-тега могли учитываться поисковиками, то сейчас практически не учитываются, а служат лишь как бы подтверждением наличия ключевых слов на странице. И хорошо бы оно было бы совсем хорошо. Особенно если бы те ключевики, которые поисковики сами определят для страницы совпали бы с вашими, прописанными в данном мета-теге.
Количество ключей не должно превышать 15. Если текст на странице небольшой, то и того меньше.

Мета - тег document-state

Этот мета-тег в основном учитывается Google. Имеет он два значения

Code

в положении dynamic тег указывает поисковому роботу на то, что на данной странице могут происходить постоянные изменения и эту страницу нужно постоянно переиндексировать

Code

в положении static тег указывает роботу, что страница изменяться не будет и её переиндексация не нужна

Мета - тег revisit

Этот мета-тег указывает роботу с какой частотой желательно индексировать сайт

Code

Данный тег полностью игнорируется Яндексом, гда Google носит рекомендательный характер

Мета тег - robots

Этот мета-тег указывает роботам на характер индексации страницы

Code

— разрешено индексировать текст и ссылки на странице, аналогично
          — не индексировать текст страницы,
          — не переходить по ссылкам на странице и не индексировать их,
          — запрещено индексировать и текст, и ссылки на странице, аналогично
          — не показывать ссылку на сохраненную копию на странице результатов поиска.

Если данные теги с запретом или вариантами разрешений не прописаны, то по умолчанию для поисковика действует правило

index, follow, archive - то есть все разрешено

Данные теги учитываются и Google и Яндексом

Теги lang и author

С помощью данных тегов можно указывать авторство и язык

Code

Вывод: На самом деле мета-тегов намного больше чем тут перечислено. И каждый имеет свою определенную функцию и значение. Но как правило можно ограничиться тремя - четырьмя основными. Не стоит на каждой странице прописывать огромное количество мета-тегов, только самые важные или действительно нужные для данной страницы

Добавить URL отдельной страницы в индекс Google

worldname — Wed, 11 Mar 2015 10:59:18 GMT

Добавить URL отдельной страницы в индекс

Теперь вебмастер Google предоставляет воистину революционный сервис! Появилась возможность добавлять в индекс отдельные страницы сайта. Не только в индекс, то и на переиндесацию.

Как это работает

Инструменты для вебмастеров Google - Панель инструментов - Диагностика - Посмотреть сайт как Googlebot - Страница Функции "Просмотреть как Googlebot" - Вводим нужный нам адрес страницы сайта и получаем

Получаем что и привыкли получать - это выполнение запроса на просмотр сайта глазами робота + предложение добавить страницу в индекс

Есть два типа предложения:

1 тип - это добавление новой страницы на индексацию или переиндексацию. Если вам нужно добавить отдельную страницу в индекс или если на проиндексированой странице произошли изменения и вам нужна переиндексация материала, то вы должны выбрать этот пункт. Выглядит окно с предложением так

2 тип - это добавление страницы на индексацию или переиндексацию, которая послужит отправной точкой к индексации или целого сайта в общем или крупных связанных частей. Например форум на сайте можно проиндексировать или переиндексировать подобным образом или любой из каталогов сайта. Выглядит окно с предложением так

Если в первом случае нужно отдавать на индекс только отдельную любую страничку, то во втором случае лучше отдавать или главную сайта, если вам нужна полная индексация - переиндексация. Или подставлять главные страницы каталога или отдельного участка сайта

Ограничения

На новую функцию наложены ограничения.

Осталось запросов на просмотр: исходно у меня было 50 заявок с одного аккаунта на все сайты прикрепленные к данному аккаунту

Осталось запросов на добавление URL и связанных страниц: исходно у меня было 12 заявок с одного аккаунта на все сайты прикрепленные к аккаунту

В неделю на индексацию или переиндексацию можно оставлять до 50-и запросов по первому типу. В месяц на преиндексацию или индексацию сайта или глобальных связанных кусков, можно отправлять до 10-и запросов по второму типу. Введение ограничений с подключением нового функционала вполне понятно и оправдано по понятным причинам.

Вывод: новая функция поможет ускорить процесс переиндексации отдельных участков сайта и страниц, и возможно ускорит первичную индексацию отдельной страницы. Исходя из моих экспериментов переиндексация страницы произошла почти в полтора раза быстрее, чем естественным путем. Функция нужная и полезная и уникальная, потому что можно указывать роботу на отдельную страницу напрямую

UP: теперь на индексацию или переиндексацию можно оставлять 500 запросов

Обзор изменений 2014 год Просмотреть как Googlebot обзор изменений

На сайте один title, а в выдаче другой

worldname — Wed, 11 Mar 2015 10:55:44 GMT

Почему поисковики могут изменить титл в выдаче и как с этим бороться
Начнем с Гугла и живого примера. Страница с титлом морда сайта пример + мусор который uCoz автоматом дописывает стандартным кодом выводящим заголовок темы. Как видим на картинке, вместо заголовока прописанного в коде красуется краткое имя морды всего сайта. При этом и истинный адрес показывается правильно под видоизмененным названием и снимок страницы тоже верный
Почему происходит подмена title?
Есть несколько причин:
1)Название слишком длинное. Google нормально воспринимает 60-65 символов, иногда до 70-и. В случае превышения количества со знаками препинания, пробелами и дефисами, поисковик может выдать наиболее релевантную версию для данной страницы в кратком виде. А может просто обрезать.
2)Тег титл не заполнен или отсутствует. Только ценные страницы с полезной информацией могут попасть в выдачу с такими симптомами. В таких случаях подставляется ключ, определяющий смысл контента без имени. Случай редкий, но бывает. Обычно отсутствующий заголовок считается довольно серьезной ошибкой
3)Запрос был сделан в виде точного адреса (как в примере). Если надо проверить проиндексирован материал или нет, то самым простым способом проверить это считается ввод URL. Так как поиск ведется по словесным запросам, а не по адресам (пользователи поступают именно так), то выдача по урлам может выглядеть как угодно и скорее всего повода к беспокойству нет
4) Заголовок был взят из описания сайта в каталоге. В данном случае речь идет об ЯндексКаталоге и об DMOZ. В таких случаях наверное можно радоваться, когда релевантные ключи передается из описания сайта в каталоге. Так как чаще всего идет и передача веса
5) Вместо титла в выдаче показывается адрес сайта в виде URL. Такое часто случается, и у этого феномена несколько причин: первая - это все тот же не прописанный или отсутствующий тег В таких случаях главная сайта выводится именно так, внутренние страницы могут вылететь, если не имеют огромной ценности
Другая причина - временная недоступность сайта по домену. Чаще всего случается, когда домен не был вовремя продлен и был временно отключен
Третьей причиной может быть неправильная склейка зеркал.
6) Подмена переоптимизированного названия страницы. Эта версия сугубо теоретическая, хотя подтверждений этому уже много. Старательные SEO оптимизаторы могут переусердствовать с тошнотой ключей в титлах. И получить версию поисковика в ответ ; краткую, отвечающую смыслу содержания, и не такую агрессивную для продвижения.
7) Работа быстроробота. Измененное название может быть и плодом спешки бота, чаще встречается у Гугла. Симптомами является появление точного урла в индексе, но отсутствие его в выдаче, кеша нет. Это значит, что страница не прошла ещё процедуру "весов" или ранжирования, и её место и релевантность ещё не определены. Если простыми словами, то в течении 6-10 дней, такая наспех закинутая страница появляется в органической выдаче по запросу и растет в позициях. В таком состоянии "невесомости" документ может иметь даже временный титл. См. пример.

Баги Яндекс вебмастера или поисковый спам

worldname — Wed, 11 Mar 2015 10:54:34 GMT

Проблема заключается в том, что с первого числа в вебмастере Яндекса по всем сайтам появилась новая ссылка в списке страниц в выдаче. Собственно появляется она сверху и имеет такой вид

Цитата

"Яндекс" - поисковая система и интернет-портал
webanetlabs.net/

ссылка ведет на морду пострадавшего сайта, а в анкоре красуется текстик от Яшки

Яндексоиды на вопросы откуда и зачем культурно отвечают следующее

Цитата

Благодарим за сообщение об ошибке, связанной с некорректным отображением главной страницы Вашего сайта в разделе "Страниц в поиске" в сервисе Яндекс.Вебмастер, мы постараемся устранить её в ближайшее время. Приносим извинения за доставленные неудобства.

Неизвестно сколько по времени длится понятие "ближайшее время" но багу скоро исполнится десять дней.
Кто в армии служил - тот в цирке не смеется. Так и с этой великой поисковой системой. Уже не смешно, но все пытаются разгадать очередную загадку гениальных алгоритмов. Были предположения о том, что подобное появляется только в вебмастере сайтов, которые находятся под АГС . Предположение не подтвердилось. Даже у белых и пушистых сайтиков стоит метка поисковой системы

Полюбоваться на это дело в выдаче можно следующим образом. Введите в поле поискового запроса следующую конструкцию:

Код

host:www.site.ru | host:site.ru

То есть через разделитель хост без http с www и хост без www
Первым пунктом выдачи вы получите картину маслом

И если в вебмастере стоит ссылка на морду вашего сайта, то в выдаче стоит ссылка на главную Яндекса. Вот вам батенька и поисковый спам в промышленных масштабах. Не пора ли банить поисковую систему и интернет портал? Может сам на себя наложит АГС наконец и все перестанут мучаться?
Посмотрим сколько времени уйдет на исправление бага, а пока насладимся черным юмором народа

А вообще по большому счету уж очень часто и беспросветно глючит вебмастер. Информативность его и так практически нулевая, а когда он совсем плох, то...

UP: 20 ноября баг был исправлен

Письма владельцам сайтов от Google

worldname — Wed, 11 Mar 2015 10:53:10 GMT

Последнее время выпадение или понижение сайта в выдаче Гугла стало сопровождаться письмами в Webmaster Tools от команды качества поиска Google

И ранее приходили письма вебмастерам, но раньше это были чаще информационные письма об устаревшей версии CMS или предупреждения безопасности о том, что на страницах сайта был обнаружен агрессивный или вредоносный код.
В основном это были предупреждения безопасности и Гугл таким образом боролся с мошенническими и зараженными ресурсами повышая качество и безопасность поиска
Теперь же всё немного изменилось. Письма от команды качества поиска стали приходить и сайтам на которые наложены санкции не только по безопасности, но и по качеству контента и по нарушениям использования поиска, и по нарушениям или излишествам с партнерскими программами и рекламой, и по покупным ссылкам.
Это могут быть и письма с рекомендациями выполнение которых может вернуть или повысить доверие поисковой системы к сайту

Что делать, если пришло письмо от команды качества поиска?

В первую очередь не паниковать из-за обрушения позиций в выдаче и тотального снижения трафика в связи с санкциями. Нужно постараться выполнить все рекомендации, которые будут изложены в сообщении и подождать недели три. За три недели позиции сайта могут вернуться как и трафик, а наложенные санкции сняты.
Если вы выполнили все требования команды качества, то вам стоит сразу же отправить сайт на пересмотр
Чтобы подать заявку на пересмотр нужно залогиниться в вебмастер Гугла и пройти по этой ссылке https://www.google.com/webmasters/tools/reconsideration?hl=ru

Самое неприятное ждет тех, кому пришло сообщение о некачественном контенте примерно такого содержания

Цитата

На Вашем сайте имеются не представляющие самостоятельной ценности низкокачественные страницы, на которых отсутствует уникальное содержание. К таковым относятся страницы партнерских программ без оригинального содержания, дорвеи, а также страницы, содержание которых было создано автоматически или скопировано с других сайтов.

В этом случае владельцу ресурса чтобы выбраться и поисковой ямы придется сильно постараться и полностью пересмотреть содержание и структуру своего творения

Подобные извещения вебмастерам - это огромный плюс, так как владелец ресурса, на который наложены санкции не блуждает в темноте и не догадывается о том, что произошло, а получает довольно точные и нформативные инструкции по исправлению и имеет понятие о причине произошедшего
Работа с пользователями Google в данном случае выгодно отличается от той же тех.поддержки Яндекса, когда вебмастеру нужно самому писать, спрашивать и получать неинформативные робото-ответы без указания причин наложения фильтра
Гугл более подробно расписывает причину санкций и дает более информативные ответы

Маркер - инструмент визуальной микроразметки страниц

webanet — Wed, 11 Mar 2015 10:37:53 GMT

Маркер Google - это новый инструмент, с помощью которого можно без знаний HTML, вооружившись одной мышью, структурировать данные на сайте в визуальном режиме. Если раньше вебмастерам приходилось вручную размечать страницы и прописывать спец. HTML код микроразметки, то теперь есть Маркер, который в разы облегчает процесс

Чем удобен Маркер

1) В первую очередь инструмент спасает огромную армию пользователей конструкторов сайтов, которые не владеют HTML и пользуются только визуальными редакторами. Маркер - тот же самый визуальный редактор и по виду и по фунциям

2) Некоторые бесплатные хостинги, на которых создаются сайты не дают доступа вебмастерам к коду сайта. А это значит, что вручную прописать код расширенного описания веб-страниц невозможно. В этом случае, не изменяя код на своем сайте, можно передать структурированные данные Google

3) С помощью маркера можно передать расширенное описание страниц только Google, с учетом того, что не прописан HTML код разметки.

Возможности Маркера

1) В визуальном режиме можно передать данные микроразметки для отдельной страницы. Чаще всего вебмастеров привлекает возможность получить в расширенном сниппете в выдаче звездочки рейтинга, которые очень привлекают потенциальных посетителей. С помощью Маркера вы можете получить рейтинг в таком виде

Или есть возможность сформировать более красивый и структурированный сниппет страницы

То есть можно сделать все то, что мы делали вручную, прописывая код самостоятельно или с помощью Инструмента разметки структурированных данных Google

2) С помощью Маркера можно помочь Google собрать данные об идентичных страницах сайта, которые сходятся по содержанию или тематике. Для этого нам нужно создать группу страниц и пометить их тегами. В итоге мы получим примерно такой расширенный вид сниппета

Как работать с Маркером Google

Инструменты для вебмастеров - Панель инструментов - Оптимизация - Маркер - Начать выделение

Вводим адрес нужной страницы - Выбираем группу из предложенных - Задаем параметр для отдельной страницы или для групп страниц. Мы сделаем для группы страниц

Далее начинаем выделять части страницы тегами. В списке тегов ориентируемся и выделяем название материала, картинку, категорию, дату публикации и все что посчитаете нужным. Список тегов находится в правой части страницы, где отражаются уже помеченные теги.

Во время выделения тегов вы можете получать ошибки. Например, если неверно выберете один из предложенных вариантов

Исправить можно легко, просто сменив предложенную категорию. В моем случае смена оценки на количество голосов помогло.
Будьте внимательны, если вы пометите сначала один тег как категорию например, а потом тут же на одной странице выделите другой тег как категорию, то вы получите серию образцов страниц справа, где отображаются помеченные теги. Все образцы нужно привести к единому виду, иначе вы получите ошибки на следующих стадиях разметки. Справа уже готовые теги можно удалять, тем самым редактируя разметку. Следите, чтобы справа по возможности был только один образец страницы

После выделения всех необходимых тегов жмите на кнопку Готово. Далее мы переходим на создание группы страниц. У нас два варианта или воспользоваться тем, что нарыл на сайте робот или создать свою группу страниц. После выбора (лучше оставить по умолчанию) жмем на кнопку Создать группу страниц

Далее мы переходим на пометку остальных образцов. Робот вам предоставит страницу, которую он выбрал сам из вашей группы. Следите за окном справа. Если все верно размечено, то у вас будут выделены верные теги и будет одна страница справа. Если страницы на вашем сайте несколько отличаются и робот выбрал именно такую, то вы сможете выделить на данном этапе необходимые теги. Но идеальным вариантом будет совпадение разметки страниц

Жмем далее и переходим на другой образец страницы. Робот выбрал страницу, которая будет отличаться по набору тегов от других. В моем случае нарисовалась проблема с комментариями. Первой страницей с тегами была страница с комментариями и мною были помечены теги для комментариев. Робот же выбрал страницу без комментариев и поэтому теги получили ошибки

Вам нужно привести правую часть редактора к одной странице и исправить все найденные ошибки. Робот может подставить вам страницу каталога, где разметка будет значительно отличаться от страницы материала. Такие страницы нужно удалять. Если вы удалили очень много образцов, то можете получить ошибку на конечной стадии, что не удалось определить теги. В этом случае вам придется продолжить проверку страниц и приводить их в одному образцу справа
В моем случае было пройдено 9 образцов и во время корректировки пройденные образцы из-за изменений были помечены ошибками

Иногда нужно править мелкие ошибки, а иногда нет. На последнем образце мы смело жмем дальше несмотря на обнаруженные ошибки и переходим на страницу проверки и публикации
На странице проверки вы увидите редактор, где в левой окне вы будете видеть страницы своего сайта, которые стали образцами. А в правой части, вы увидите результаты разметки
Проверьте все ещё раз, чтобы разметка совпадала с типом страниц

После полной проверки жмите на кнопку Опубликовать

Это кульминационный момент ваших мучений) Если даже с небольшими помарками все пройдет нормально и робот разберется во всех тегах, то вы перейдете на страницу со списком ваших публикаций и получите надпись

Цитата

Группа страниц опубликована.
Данные станут доступны после того, как Google повторно просканирует ваш сайт. Дополнительная информация

Но может быть и вариант, когда ошибок будет слишком много или в списке пройденных страниц вы получите красные предупреждения, вместо оранжевых треугольничков. Тогда вам придется вернуться обратно на проблемные страницы. Для этого надо в списке образцов нажать на номер страницы, помеченной красным треугольником или оранжевым

Примечания:

1) Условием начала работы с маркером является индексация сайта Google. Если ваш сайт не проиндексирован, то работа с данным инструментом будет невозможна

2) Страница, с которой вы начнете выделение тегов обязательно должна быть проиндексирована Google. Если страница не была проиндексирована, вы получите ошибку

3) Страница, с которой вы начнете выделение тегов должна быть открыта для поисковых систем и гостей сайта. Если страница закрыта от просмотра настройками прав групп и гость видит пустоту или предложение зарегистрироваться на ровном месте, то тоже самое видит и робот. А значит такое структурировать не стоит

4) Если вы радикально сменили структуру группы страниц - новый шаблон или радикальная смена дизайна, то вам придется взяться за Маркер снова и пройти всю процедуру разметки для ваших публикаций снова

5) Изменения в выдаче вы можете увидеть не сразу. Это может занять от пары дней для отдельных самых популярных запросов до нескольких недель. Это значит, что передав структурированные данные роботу, нужно сразу в соседней вкладке начинать дергать поиск в надежде увидеть внесенные изменения.

Отклонение ссылок Disavow links

webanet — Wed, 11 Mar 2015 10:34:27 GMT

16 октября Google запустил новый сервис для вебмастеров, суть которого в отклонении нежелательных ссылок на ваш сайт.
Обратные ссылки имеют довольно большое значение в определении авторитетности страницы и являются одним из факторов PR страниц. Обратные ссылки являются основным источником различных злоупотреблений и манипуляций со стороны вебмастеров

Google все жестче и жестче относится к поисковому спаму или любым попыткам влиять на поисковую выдачу. Обновленный алгоритм Пингвин жёстко ударил по искусственному продвижению сайтов и искусственной накачки ссылочной массы.

В первую очередь функцией Отклонения ссылок должны воспользоваться сайты, попавшие под репрессии Пингвина. Всем владельцам сайтов попавшим под фильтр, через вебмастер Google должны были прийти письменные предупреждения о фильтре с намеками на поисковый спам или некачественные ссылки на сайт. Если вы получили оповещение через вебмастер, то должны воспользоваться Отклонением ссылок, а потом отдать сайт на пересмотр

Примечание: В некоторых случаях в письме-предупреждении вы можете получить образцы некачественных ссылок, но это будет не полный список

Подробнее об Отклонении ссылок (Disavow links) вы сможете прочитать на официальном блоге Google

Как и кому пользоваться Отклонением ссылок Disavow links

В первую очередь сайтам попавшим под фильтр Пингвин и особенно тем, кто получил уведомление в вебмастере Google

1) Вы должны постараться удалить все некачественные ссылки на сайт и весь поисковый спам. Если это невозможно или какие-либо некачественные ссылки остались, то вы должны воспользоваться новой функцией отклонения ссылок
2) Локально создаете файл txt и прописываете туда нехорошие ссылки. Сначала те, которые вам прислали в уведомлении. Потом анализируйте вкладу инструментов для вебмастеров Трафик - Ссылки на ваш сайт
В текстовый файл прописываете ссылки так

http://plohiessilki.ru/content/ssilki
http://spamssylki.com/cotent/spam
http://plohaeassylka.ru/contactspolom/trash

С каждой новой строки ссылка на страницу, где есть нежелательная ссылка
если вам надо отклонить ссылки со всего сайта, а не с отдельной страницы, то прописывать ссылку на сайт нужно так

domain:plohoyisaitikk7.com

После заполнения файла txt сохраните его, дайте ему имя используя латинские символы. Максимальный размер файла 2 мб. Для каждого сайта, прикрепленном у к аккаунту вебмастера можно прикрепить по одному файлу

3) Вы должны авторизоваться в панели Инструментов для вебмастров Google. В списке самих инструментов нет нигде ссылки на новую функцию, поэтому вам нужно пройти по ссылке https://www.google.com/webmasters/tools/disavow-links-main
4) Вы должны выбрать нужный сайт (в первую очередь тот, на который наложен фильтр или пришло письмо-уведомление)

Далее вы попадаете на страницу уведомления об осторожности использования расширенной функции

5) На странице загрузки файла вы должны загрузить заготовленный файл. В последствии вы можете его редактировать путем редактирования на компьютере и заливки файла с тем же именем через форму. Новый файл заменит старый, тем самым информация обновится

6) Те кто получили уведомление в инструментах для вебмастеров по определенному сайту, через несколько дней после заливки файла с ссылками нужно отдать сайт на пересмотр http://www.google.com/webmasters/tools/reconsideration?hl=ru
Кто не получил уведомления, сайт на пересмотр после отправки файла не отдают! Ручной пересмотр возможен только для сайтов под фильтром, получивших уведомление. Остальные ждут обновления выдачи, алгоритма

Если вы не получали уведомление и если ваш сайт не попал под фильтр, но вы видите в списке ссылок на ваш сайт (вебмастер Google) некачественные, то вы тоже можете воспользоваться Отклонением ссылок. В этом случае отдавать сайт на пересмотр не нужно. А нужно просто ждать обновления индекса. Отклоненные ссылки в итоге не будут учитываться.

Возможно новая функция отклонения ссылок будет полезна молодым или неопытным вебмастерам, которые убивают свои сайты различными прогонами и хаотичной закупкой некачественных сапо-ссылок. Возможно это будет полезно при нечестной чёрной конкуренции, когда конкуренты генерят дорвеи с контентом с ссылками на ваш сайт, а так же возможно поможет в борьбе с вредоносными сайтами под фильтром безопасности с вашими ссылками на борту. Может быть это будет полезно в борьбе с так называемыми порно-ссылками, а так же с генериками сквозняков

Если вы не можете отличить хорошую ссылку от плохо и вам не приходило уведомление в инструментах для вебмастеров, то вам не стоит ничего предпринимать

Просмотреть как Googlebot обзор изменений

webanet — Wed, 11 Mar 2015 10:32:14 GMT

Функция Просмотреть как Googlebot появилась три года назад и за это время она довольно существенно изменилась. И в плане внешнего вида и в плане стабильности и местоположения в панели инструментов. После последнего обновления функции Просмотреть как Googlebot настал час провести сравнительный обзор

Начало работы

Инструменты для вебмастеров - Панель инструментов сайта - Сканирование - Просмотреть как Googlebot

Мы видим новый улучшенный интерфейс с отдельным выбором устройства. Это или ПК или варианты сканирования с мобильных устройств. Также мы видим разделенную функцию сканирования. Есть выбор простого сканирования или сканирования и отображения
Важно помнить, что при добавлении ссылки на материал, нужно прописывать адрес ссылки без адреса сайта. Адрес сайта с закрытым слешем Google подставляет сам. Если нам нужно добавить адрес /forum/29-148-1 то мы добавляем в форму только эту часть forum/29-148-1. В противном случае вы будете получать ошибки сканирования в виде неправильных урлов

Обзор изменений работы Просмотреть как Googlebot

Вводите адрес страницы, которую хотите отправить на сканирование, ждете несколько секунд до появления Готово и кнопки Добавить в индекс

При добавлении в индекс появится два варианта отправки: Сканировать только этот URL и Сканировать этот URL и прямые ссылки. При наведении на один из вариантов сканирования, вы получаете информацию о способе сканирования И! инфо по месячной квоте
Инфо о месячной квоте во всплывающем окне добавления в индекс и есть первый существенный минус изменений. Раньше информация о квоте выводилась на странице функции под формой ввода адреса. Теперь не занявшись сканированием, мы не увидим количество оставшихся запросов на сканирование

Из плюсов можно отметить более понятный пояснительный текст вариантов сканирования

Запрос на простое сканирование обрабатывается намного быстрее, чем запрос на комбинированное с просмотром. Нажав на Готово вы перейдете на страницу, где вы сможете изучить результаты. В случае с комбинированным сканированием вы увидите визуальное отображение страницы и сможете посмотреть её кодовую часть, как это видит робот Googlebot с информацией по ответу сервера

Раньше увидеть визуальное отображение можно было при наведении на ссылку в списке запросов, на при нажатие на Готово - кодовое отображение страницы "глазами робота"

Разделение вариантов сканирования огромный плюс в изменениях работы функции. Это позволит избежать неприятных глюков, которыми славилась функция Просмотреть как Googlebot. Если страница не отвечала в течении 18-29 мск, то вся страница со списком просканированных урлов могла обновляться до бесконечности и работа была практически невозможна
К плюсам можно отнести подробный отчет в виде Роботу Google не удалось получить следующие ресурсы веб-страницы: где по пунктам все рамписано, где нет доступа, где запрещено в файле robots.txt

В минусах до сих пор довольно глючная и медлительная функция отображения и ошибок отказа получения данных. К минусам можно причислить невозможность отображения при наведении на ссылку в списке

Хочется отметить, что после последнего обновления в мае месяце индексация новых и переиндексакция существующих страниц происходит намного быстрее. Если раньше на индексацию быстро-роботом уходило от 15 минут до пары часов, то теперь речь идет о минутах. На переиндексацию могли уйти сутки или более. Теперь переиндексация может занять от 10 минут до пары часов

Из негативных моментов последних изменений - это полное обнуление всех предыдущих запросов. После обновления не осталось ни одной ссылки и никаких предупреждений не поступало на этот счет. Ведь Просмотреть как Googlebot можно было использовать не только для индексации, переиндексации и отображения страницы роботом, но для для длительного хранения исходника нужной страницы. Теперь и исходниками с опаской

О мифе использования Просмотреть как Googlebot и уникальных материалах

С появлением в далеком 2011 году фишки просмотра сайта глазами робота и ручной индексации с помощью быстро-робота появилась надежда, которая со временем превратилась в миф. Миф о том, что закинутые материалы таким образом в поиск, не потеряют своей уникальности и таким образом можно передавать роботу уникальные материалы и быть в выдаче повыше остальных копипастеров. Была надежда на то, что работа с быстро-роботом будет работать как функция Яндекса Оригинальные тексты, где можно заявить себя как первоисточник материала. Надежда не сбылась вообще. Закинутый быстро-роботом материал без учета уникальности на общих основаниях ползет в выдаче вверх и любой копипастер с толстой мордой может с вашим же уникальным материалом иметь успех намного больший, чем сайт источник
Яндекс не смотря ни на что намного лучше определяет первоисточники и относится с большим уважением к ваятелям уникального контента, при этом все равно используешь ты фишку Оригинальные тексты или нет. Очень хотелось бы, чтобы Просмотреть как Googlebot когда-нибудь начал учитывать оригинальность материала чуть больше, чем сейчас и очень хотелось, чтобы с помощью этого инструмента можно было заявить об Оригинальном материале, как и мечталось об этом

История появления инструмента Просмотреть как Googlebot

Яндекс на войне с переоптимизированными текстами

worldname — Wed, 11 Mar 2015 10:29:30 GMT

Яндекс 13 сентября официально объявил войну
переоптимизированным текстам, а заодно и всей оптимизации.
Вот текстик об этом на бложике http://webmaster.ya.ru/replies.xml?item_no=11464

Очень показательна и издевательски насыщена первая часть петиции, где вживую продемонстрировано то с чем и собрались бороться.
Концовка опуса поражает своей лаконичностью и больше походит на инструкцию к действию.

Quote

Веб-мастерам, чьих сайтов могут коснуться действия этого алгоритма, мы рекомендуем заранее пересмотреть свой контент, отталкиваясь от интересов и удобства посетителей. Не забывайте, что короткие, но информативные тексты лучше воспринимаются пользователем, чем длинные и малосодержательные. Пишите логично и понятно – это придется по вкусу и вашим посетителям, и поисковым роботам.

После прочтения этого, как то сам вспомнился анекдот про сеошника найденный на Лурке:

Quote

Заходит как–то SEOшник в бар, ресторан, купить алкогольные напитки, клубы, лучшие бары в Москве, заказать банкет в ресторане, онлайн недорого, без регистрации

— Анекдоты смешные истории афоризмы рассказы из жизни прикольные истории цитаты читать лучшие анекдоты

Отчего такие дурные ассоциации? Да от совета Яндекса о том какие тексты нужно писать. Коротко, ясно, логично с охватом всех логических параллелей, и главное понятно пользователю потому что коротко.

А теперь вернемся к первоисточнику, к курсу средней школы по русскому языку и литературе, и постепенно возвысимся до литературоведческих изысканий. На уроках вышеуказанных дисциплин (замена слов русский язык и литература во избежании тошноты текста и с робкой надеждой, что текст не забанят за переотимизацию, но со страхом что могут заподозрить употребление синонимов для расширения количества ключей) было такое явление как сочинение, а так же много часов пояснений как написать или пересказать хороший текст.
Что такое плохое сочинение: это длинные перечисления чего либо, это супер короткие предложения, это повторение одного и того же слова в тексте много раз (явный признак очень малого словарного запаса и незнания что такое синонимы), это слова-паразиты и их обилие. И в конце концов - это полное неумение передать свою мысль в письменной форме.
На самом деле подобных признаков и правил составления грамотных текстов намного больше. Но мы взяли те, которые нам по теме подходят
В школе все по-разному учились, литературными гениями стали единицы, так же единицы могут выдать действительно литературно красивый, понятный и высокохудожественный короткий текст

Есть такие совершенно не востребованные в миру профессии как филологи и литературоведы, но очень востребованные в интернете. Рерайтер и Копирайтер - эти две должности может исполнять любой филолог и литературовед в сети. В первом случае любой исходный текст любой степени корявости и примитивизма, а так же тошноты, может быть переписан с сохранением смысла в более литературную форму и своими словами. Во втором случае может быть написан любой текст под заказ, практически на любую тему после получения исходных данных и уточнения тематики
Блогеры, простые владельцы сайтов и прочий простой люд с малым словарным запасом с отрывочными знаниями о правильном написании текстов, допускающих стилистические ошибки в составлении своих произведений могут пойти под нож великому и могучему Яндексу.
Коммерческие сайты, работающие на продвижение своего сайто-бизнесса в массы посредством Яндекса могут нанять лит.гениев для написания или оптимизации контента
СЕОшники против которых была поднята военная кампания быстро переориентируются и перенаоборот оптимизируют страницы и тексты и все равно найдут способ нагнуть сей нервный поисковик

Вывод напрашивается сам. По умолчанию будет очень много фолсов или ложных срабатываний, если по-русски. Не всегда "переоптимизированные" тексты создаются нарочно. Не всегда пишущий сможет подобрать "безопасный" синоним...

Долой безграмотных имбецилов из интернета! Даешь коммерческий платный контент под заказ! Очистим выдачу от поискового спама!
Тем временем хитрые СЕОшники просто повыпиливают ключи и разбавят где надо машинно-сгенерированные тексты литературно творческими отступлениями. Исправят смысловые ошибки генераторов. Где надо обрежут до нужной длинны, где надо увеличат
А простые писатели - создатели уник. контента, теперь будут писать с оглядкой и по шаблону Яндекса, в строгом соответствии с допустимым количеством символов, без выделений слов в тексте и по прямой

Внимание! Сей текст является говнотекстом, ибо в нем допущены все возможные стилистические ошибки и он не был написан в угоду Яндексу. Читать людям и копирастить на свои сайты опасно для здоровья!

Robots.txt управление индексацией

worldname — Mon, 29 Aug 2011 21:42:41 GMT

Что такое robots.txt и зачем он нужен

Файл robots.txt - это обыкновенный текстовый файл, с помощью которого можно управлять индексацией сайта. Чаще всего используется для описания запрещающих директив. В некоторых случаях используется комбинация из директив запрещающий и разрешающих. Файл позволяет обращаться ко всем роботам поддерживающих стандарт или к каждому в отдельности, особенно когда для каждого робота, нужно прописать различные указания
Полное отсутствие файла robots.txt является командой по умолчанию - всё разрешено
С помощью роботса можно запрещать к индексации как отдельные страницы, так и целые каталоги, а так же файлы

Примеры использования robots.txt

user-agent: * обращение ко всем роботам поддерживающим стандарт
user-agent: googlebot общее обращение к роботу Google, так же можно обращаться к различным роботам Google отдельно
user-agent: YandexBot общее обращение к роботу Яндекса, так же можно обращаться отдельно к различным роботам Яндекса
user-agent: Yandex общее обращение ко всем роботам Яндекса
Рамблер поддерживает стандарт, но понимает общее обращение ко всем роботам и только директивы запрета

Если нужно запретить весь сайт к индексированию всеми роботами, то используется следующая конструкция

Code

user-agent: *
Disallow: /

Если нужно запретить целый каталог к индексации, то используется следующая конструкция

Code

user-agent: *
Disallow: /название каталога/ обязательно с закрывающим слешем

Если нужно запретить несколько каталогов на сайте, то запрет для каждого каталога пишется с новой строчки. Пример

Code

user-agent: *
Disallow: /название каталога/
Disallow: /название каталога2/
Disallow: /название каталога3/

Если прописать название каталога без закрывающего слеша, то это будет означать блокировку всех страниц, начинающихся с названия каталога. Пример:

Code

Disallow: /название каталога

То есть по сути - это блокировка страниц в каталоге

Директива Allow:

Ошибочно считать, что это директива разрешения для индексации сайта и на её основе можно разрешать сайт к индексированию. На самом деле, данная директива используется только для тонких настроек запрета!
Если у вас запрещен к индексации целый каталог, но нужно дать разрешение на индексацию всего одной страницы каталога, то в этом случае уместно применить директиву Allow: Пример:

Code

Allow: /название каталога/primer.html
Disallow: /название каталога/

Большой глупостью будет писать robots.txt только разрешениями Allow: в надежде на полную индексацию сайта. Нужна полная индексация, или не удаляем robots.txt вообще, или прописываем

Code

user-agent: *
Disallow:

Запретить к индексации некоторые страницы сайта можно так:

Code

user-agent: *
Disallow: /primer1.html
Disallow: /primer2.html
Disallow: /primer3.html

Каждую страницу с новой строки и без закрывающего слеша на конце

Тонкие настройки

Если нужно запретить к индексации файл по расширению

Code

user-agent: *
Disallow: /название каталога/*.xml данная конструкция запрещает /название каталога/primer1.xml так же запрещает /название каталога/primer1/file1.xml и /название каталога/primer3/file2.xml то есть идет запрет на все что оканчивается на .xml

Disallow: /*primer  данная конструкция запрещает  /primer  и так же запрещает /название каталога/primer
то есть все страницы имеющие в адресе после слеша  primer

Можно настроить ещё тоньше

Code

user-agent: *
Disallow: /primer$ данная конструкция запрещает к индексации /primer, но при этом не запрещает /primer.xml

Как это работает

Файл robots.txt является рекомендательным, это значит, что директивы прописанные не обязательны к исполнению. Но, думается мне, что после скандала с Яндексом поисковые роботы станут более вежливыми в смысле исполнения запрещающего файла. Запрещенные страницы и каталоги могут быть отсканированы роботом, но не включены в поисковый индекс или эти страницы и каталоги будут пущены под фильтр и увидеть их в выдаче можно будет только вызвав содержимое фильтра. В общей выдаче запрещенные URL не будут числиться и выдаваться.
Если есть на сайте запрещенная к индексированию страница, то так же если адрес данной страницы будет найден роботом на стороннем ресурсе, то не исключено попадание запрещенной страницы в поисковый индекс
Поэтому, если вам нужно наверняка заблокировать появление страницы в индексе, лучше всего на этой странице прописать мета-тег

Code

Единственное что исполняется роботами практически без оговорок - это полный запрет к индексации всего сайта

Code

User-agent: *
Disallow: /

Мета - теги что это такое. Теги title

worldname — Thu, 01 Jan 1970 00:00:00 GMT

Мета - теги

Вот так должны быть прописаны мета-теги на странице

Мета теги - это теги, которые используются для передачи той или иной информации о сайте поисковым системам. Эти теги браузером не обрабатываются и остаются всегда скрытыми для глаз пользователей

Тег title

Один из ключевых тегов на странице, и единственный который обрабатывается браузерами. То что отображается в заголовке браузера - то и прописано в тег Title

Выглядит тег так

Code

Это заголовок вашей страницы.

Тег должен содержать ключевое слово <br /> Содержание тега должно примерно отражать смысл страницы, заголовком которой он является <br /> Длина тега не должна превышать примерно 100 символов. Чем больше слов и символов - тем меньше их вес. Лишние символы поисковики или отрезают коверкая смысл или не индексируют вообще. Google часто игнорирует страницы с длинными
Тег не должен содержать список ключевых слов через запятую, он должен быть читаемым, а не перечисляемым

meta name ="title"

meta name ="title" content="любителям рисовать два титла на странице посвящается"

Да. До сих пор и этот мета тег используют аксакалы-виртуозы. Аксакалы, потому что этот мета-тег практически отмер, самым высшим приоритетом для поисковиков является тег title так как он в первую очередь обрабатывается в этой же очереди и учитывается
Использовать, если и решитесь нужно только с осторожностью

Code

meta name ="title"

должен быть ещё короче чем тег title
Если оба тега будут содержать только перечисления ключевых слов, причем не связанных друг с другом, то у вас есть шанс попасть под поисковую пессимизацию, а если будет сделано грубо, то и под бан

Вывод: Тег title - является ключевым тегом на странице, присутствовать он должен обязательно, обращение с ним осторожное, так как имеет слишком большое значение