Встречайте: мгновенная индексация страниц в Google

При запуске нового сайта первые дней 10 вебмастер вынужден ждать, пока его ресурс пройдет индексацию и попадет в выдачу поисковиков. Google обычно индексирует быстрее и качественнее Яндекса. Но все равно обход роботом всего сайта занимает несколько дней. Индексацию можно ускорить и сделать это проще, чем кажется.

Та же ситуация касается и случаев, когда вы вносите существенные изменения в уже работающий сайт. Например, меняете систему урлов или верстку. В таком случае нас будет интересовать переиндексация всех страниц.

Для начала нужно заставить поисковики “полюбить” ваш сайт. В нем не должно быть загадки. Лучший способ это создание карты сайта для удобной навигации.

Создайте Sitemap

Для начала заведите себе карту сайта (Sitemap.xml).

Sitemap это файл с данными о вашем сайте для поисковиков. Он содержит список страниц, которые нужно проиндексировать. Благодаря xml-разметке сайтмеп помогает поисковикам быстро определить структуру сайта, частоту его обновления и “вес” одних страниц в сравнении с другими.

Если вы не знаете о sitemap, это нестрашно. Есть множество онлайн-ресурсов, которые создают его за вас. Например:

• MySiteMapGenerator (язык: русский, до 500 стр. бесплатно)
• Web-Site-Map.com (язык: английский, полностью бесплатно)
• xml-sitemaps.com (язык: английский, до 500 стр. бесплатно)

Все просто: вводите урл и код безопасности, остальные настройки трогать в 90% случаев не нужно.

После этого ждем, пока робот обойдет ваш сайт и добавит все найденные страницы в файл. Этот файл в результате можно будет скачать. Индексация обычно длится минут 10-15. Полученный файл лучше переименовать в sitemap.xml, его нужно загрузить в корневую папку вашего сайта.

Для корректной работы данные о карте сайта в robots.txt . Почитать о том, что это . Вам же для начала нужно просто добавить адрес sitemap в этот файл:

User-agent: *
Allow: /
Sitemap: http://сайт/sitemap.xml

Половина работы сделана. Так держать.

Зарегистрируйтесь в инструментах для веб-мастеров Google

У гугла есть Инструменты для веб-мастеров . Работать с ними просто. Добавляем адрес сайта:

Чтобы ваш сайт не могли отслеживать другие, права на него нужно будет подтвердить. Для этого есть несколько способов. Самый простой - поставить код Google Analytics в . Просто установите код счетчика и нажмите “Проверить”. Кстати, GA один из лучших способов следить за поведением посетителей на сайте. Поэтому рекомендую им активно пользоваться и интересоваться, чем занимаются гости у вас на сайте. И удобно ли им там.

Сайт подтвердили:

Загрузите Sitemap

Открывайте панель управления сайтом, в блоке “Сканирование” откройте “Файлы Sitemap”:

Указывайте адрес карты сайта:

После подтверждения дайте роботам время проверить файл на ошибки и внести список урлов в базу для индексации. Результаты можно будет увидеть позже в этом же разделе. В идеале количество отправленных урлов должно совпадать с количеством проиндексированных.

Упрощайте навигацию, ускоряйте сайт, генерируйте качественный контент. Так ваш сайт будет проиндексирован полностью. И не попадет под фильтр за копипаст.

Как ускорить индексацию

А теперь небольшая фишка, которую я увидел когда-то на англоязычном форуме. Вебмастер интересовался, как ускорить индексацию нового сайта. Sitemap он загрузил, но страницы все не попадали в выдачу. Совет был предельно прост: чтобы “заставить” google сразу запустить сканирование, нужно в панели управления запустить инструмент “Посмотреть как Googlebot”.

В появившейся форме нужно ввести адрес карты сайта. Добавленный файл появится в списке под формой. Жмем “отправить в индекс”. После этого робот гугла пройдется по всем ссылкам из карты сайта, приняв за исходную страницу карту сайта.

В примечании к форме указано, что Google не гарантирует, что все файлы сайта попадут в индекс. Тем не менее этот способ - самый простой, чтобы обратить на свой сайт внимание поисковика.

На сладкое

Когда сайт проиндексирован, можно и отдохнуть. Ну и на десерт для вас этот ролик о лете и активном отдыхе:

Тисни «Лайк», щоб читати нас у Фейсбуці

Google – это первый поисковик в мире. В каком бы регионе вы не продвигали сайт, вам обязательно нужно добавить его в этот поисковик. В этой статье я покажу, как добавить сайт в Google и добиться от него быстрой и правильной индексации.

А о том, как добавить сайт в Яндекс, вы можете узнать .

Как добавить сайт в Google

Запаситесь терпением, ведь все поисковые машины очень медлительны. На индексирование сайта уйдёт несколько недель. Это означает, что не нужно откладывать добавление сайта в поисковик. Если вы только создали сайт, и записей в нём ещё нет, то уже можете добавлять.

Чтобы добавить сайт в Google, у вас должен быть аккаунт в этом поисковике (если пользуетесь почтой Gmail, то считайте, что есть аккаунт, через него можно получить доступ ко всем инструментам Google). Сделайте следующие действия по порядку:

1. Перейдите в инструменты вебмастера Google, которые находятся , и нажмите на кнопку «Добавить ресурс ». Введите адрес сайта, который добавляете, и нажмите кнопку «Продолжить ».

   Добавление сайта в Google

2. Появится следующая страница, на которой необходимо подтвердить права на свой сайт. Есть несколько способов, но самый простой и удобный с помощью HTML-файла. Скачайте файл, который вам предлагается в п.1 инструкции Google, и закачайте его в корневой каталог вашего сайта. Если всё сделали правильно, то при клике по ссылке в п.3 в инструкции Google вы увидите содержимое этого сайта. Если нет, то страницу 404. Нажмите кнопку «Подтвердить ».

   Подтверждение прав на сайт

3. Чтобы добавить сайт в Google и добиться правильной и быстрой индексации, необходимо показать поисковым роботам, где у вас . Для этого переходим в панель управления сайтом в инструментах вебмастера Google, нажимаем пункт «Сканирование » и выбираем подпункт «Файлы Sitemap ». Нажмите на кнопку «Добавление/проверка файла Sitemap » и введите в строке адрес до карты, например «ru/ sitemap. xml ». Обратите внимание, что домен сайта там уже написан, поэтому вводить нужно без него – «sitemap. xml ». Потом нажмите кнопку «Отправить файл Sitemap ». Если хотите проверить её перед этим на ошибки, нажмите «Проверить Sitemap ».

   Добавление карты сайта

Если вы сделали всё по этих пунктам, то считайте, что у вас получилось добавить сайт в Google. Теперь необходимо немного подождать, пока поисковик всё проиндексирует. Как правило, на это уходит 1-3 недели. Вы можете контролировать весь процесс индексации в

И Wonder Wheel, в прошлом месяце поисковой гигант решил добавить новые функции в Google Webmaster Tools, а именно возможность ускорить индексацию или переиндексацию уже существующих страниц сайта в Google . Об этом пишет официальный блог Google Webmaster и у вас есть возможность прочитать оригинальный текст на английском .

Как ускорить индексацию в поисковой системе?

Данная возможность будет очень полезна тем, кто:

• провел внутреннюю перелинковку
• изменил контент на странице, который должен помочь улучшить ранжирование по определенным запросам.
• добавил новую страницу
• изменил мета-тэги Title, Description

После приведенных выше изменений, многие оптимизаторы и вебмастера задавались вопросом: «А как же попасть в индекс как можно быстрее?».

По данной теме было написано большое множество статей, давались разные советы, даже я писал о том , но большинство данных примеров работает только для новых страниц. Так что же делать со старыми страницами, на которых изменился контент? Ведь старые страницы на блоге или сайте поисковые машины могут посещать раз в месяц или того реже… Как же ускорить переиндексацию уже существующих страниц сайта? Решением данного вопроса занялся Google и добавил такую возможность для вебмастеров в Google Webmaster Tools с помощью функции «Просмотреть как Googlebot».

Функция «Просмотреть как Googlebot» позволяла раньше увидеть страницу такой, как её видит поисковая машина. Теперь же в данной функции появилась возможность ускорить индексирование новых или переиндексацию уже существующих страниц.

Теперь вы можете попросить поисковик обратить внимание на определенную страницу или группу страниц и сказать ему: «Google смотри, у меня появился новый контент или я улучшил уже существующий».

При добавлении страниц на индексирование существует разделение на две категории:

• индексация через функцию «Просмотреть как Googlebot» для сайта, владельцем которого являетесь вы. То есть данный сайт внесен в список ваших сайтов в Google Webmaster Tools
• индексация с помощью публичной формы добавления страниц (индексация страниц сайтов, не принадлежащих вам).

Сейчас я расскажу более подробно о каждом из типов добавления страниц на индексацию.

Альтернативой, выше указанному способу, может послужить , который поможет быстро индексировать ваш блог не используя посторонних сервисов.

Индексация URL сайта, который принадлежит вам

Во-первых, вам необходимо зайти в Инструменты для вебмастеров от Google с помощью вашего Google аккаунта, где вы найдете список сайтов принадлежащих вам. Потом выбрать из списка тот сайт, на котором вам необходимо проиндексировать страницы.

Во-вторых, перейти в меню Диагностика→Просмотреть как Googlebot. Там вы можете добавить URL новой или уже существующей страницы, которою необходимо проиндексировать.

В первое поле помеченное красным, вы добавляете страницу, которою необходимо проиндексировать в Google (для индексации главной страницы поле необходимо оставить пустым) и жмем на кнопку «Получить содержание».

После нажатия на кнопку «Отправить в индекс» вы увидите всплывающее окно

В данном окне вы можете выбрать: индексировать только один заданный URL или все страницы, на которые ссылается данный URL. Решать вам, но второй вариант будет очень полезен тем, у кого проблемы с общей индексацией сайта. Данная возможность позволит вам добавить в индекс как можно большее количество страниц.

Каждую неделю у вебмастера есть возможность добавить 50 страниц на индексацию в Google. И только 10 раз в месяц вы можете добавить заданный URL и все страницы, на который он ссылается. Если же вам необходимо проиндексировать видео или картинки, то Google рекомендует добавлять на индексацию сайтмапы.

Индексация URL сайта, который не принадлежит вам

Вы обменялись ссылками или купили ссылку на сайте? И хотели, чтобы ваша ссылка была обнаружена Гуглом как можно быстрее, то вам поможет публичное добавление на индексацию. Найти форму добавления URL можно в Google Webmaster Tools . Это лучший способ быстро проиндексировать любой URL в Google.

Если говорить о практике, то я ее уже успешно провел. Были статьи со ссылками, которые я купил в Getgoodlinks (читайте о том ) и которые не могли попасть в индекс Google более 15 дней. Особых усилий для попадания их в индекс я не предпринимал, но прогон через Pingexpert не помог. После использования формы добавления страниц на индексацию в Google Webmaster Tools, страницы попали в индекс в течении дня.

Однако, не стоит забывать о словах источника в Google, который утверждает, что добавление на индексацию через форму в Webmaster Tools не гарантирует попадание страницы в индекс. Так же индексация страниц сайтов, которые принадлежат вам может пройти быстрее, чем добавление на индексацию страниц сайтов, которые не принадлежат вам. Этим самым Google дает преимущество на индексацию сайтов владельцам, а не случайным пользователям.

Всем тестировать новшества, о ваших результатах и впечатлениях рассказывайте в комментариях.

Сегодня же хотелось бы напомнить всем о том как не нужно меняться ссылками об этом я писал , но сегодня еще встретил похожую запись о неэффективных методах обмена ссылками . Всем советую прочитать обе статьи и выбрать главное из двух источников.

• Googlebot или инструмент Google для индексации страниц – это название поисковой программы (бота), обязанность которого – сбор данных о документации в Интернете для дальнейшего её включения в поисковый индекс Google.
• Процедура посещений ботами веб-сайтов (как новых, так и старых) в поисках нового и обновленного контента для дальнейшей передачи информации Google называется сканированием. Откуда бот знает, что сканировать? Этот процесс обуславливается ссылками!
• Индексация – это следующий шаг, совершающийся при обработке документов, собранных на этапе сканирования. Если контент идентифицируется как качественный, то как только обработка завершена, информация добавляется в индекс поиска Google. Рассмотрение слов на определенной странице в ходе индексации является обязательным. Кроме того, на этом этапе также происходит анализ и .

Но как же ботам удается обнаружить новый материал, будь то обновленное содержание страницы, блога или какого-либо абсолютно нового сайта? Это происходит благодаря ранее собранной в Интернете информации о страницах, проиндексированных Google, и информацией с , предлагаемой веб-мастером. Ключевой вопрос – как проиндексировать страницы быстрее?

Методы ускорения индексации сайта

• Создание Sitemap . Документ Sitemap XML представляет список страниц на сайте, хранящийся на сервере сайта. Когда вы добавляете новые страницы на сайт, он информирует поисковую систему об этом и дает инструкции относительно желаемого графика проверки изменений на определенных страницах. Вы вправе выбирать частоту. Если необходимо, можете заставить проверять ваши страницы на наличие обновленной информации (новые товары, посты или любой другой контент) каждый день. Если же нет, выберите другую частоту проверок. В случае с WordPress, установка плагина Google XML Sitemaps позволяет автоматизировать создание и обновление карты сайта, передавая необходимые данные поисковым системам. Еще один вариант – плагин Yoast SEO .
• Предоставьте Google Indexing Tool свою карту сайта . Итак, у вас есть карта сайта. Как только она будет создана, перейдите в Google Webmaster Tools в аккаунт сайта. Если у вас его нет, создайте бесплатную учетную запись в Google и зарегистрируйтесь в Webmaster Tools. Далее, добавьте свой сайт в Webmaster, откройте папку «Сканирование», выберите «Sitemaps» и вставьте ссылку на свой файл Sitemap. Таким образом вы сообщаете поисковой системе Google о новых страницах. Чтобы получить еще лучший результат, дополнительно используйте консоль Bing. Там есть возможность создать другую учетную запись, войти в систему и включить свою карту сайта с помощью Webmaster Tools. Как поисковый бот знает, что сканировать? Это благодаря ссылкам! Не забудьте запустить файла, чтобы убедиться, что все необходимые страницы разрешены для индексации.
• Используйте Google Analytics . Установка Google Analytics используется в основном для отслеживания источников трафика и анализа поведения пользователей. Но само добавление кода на новый сайт и настройка аккаунта в системе аналитики уже уведомляет Google о появлении нового сайта, который необходимо просканировать.
• Добавьте вручную . Это один из подходов, которым большинство людей пренебрегают, когда ищут возможности заставить поисковые системы просканировать страницы быстрее. Инструменты Google для индексирования не требуют дополнительных усилий или ресурсов и, безусловно, не наносят никакого вреда! Что необходимо сделать, так это, лишь войти в свой Google аккаунт и выбрать «Отправить URL» в Webmaster Tools.
• Создавайте и обновляйте свои социальные профили . Теперь, когда вы знаете, что ссылки служат для привлечения ботов на сайт, вы понимаете еще одну полезную функцию социальных сетей. Создайте профили в LinkedIn, Twitter, Pinterest, Facebook, YouTube и Google+. Используйте как можно больше соцсетей. После публикации страницы сразу публикуйте ссылку на неё в ваших соцсетях.
• Разместите ссылки на новую страницу на внешних ресурсах . Блоги, статьи, пресс-релизы, посты посетителей и другие варианты значительно ускоряют индексирование страницы.

Привет, друзья! В сегодняшнем посте я затрону тему индексации сайта в поисковой системе Google. Какие проблемы возникают с ней? Существует ли сейчас основной и дополнительный индекс? Все мои наблюдения на этот счет ниже.

Не знаю как у вас, а у меня Google индексирует меньше страниц, чем Яндекс. По крайней мере он показывает это по таким запросам:

Кстати в этой записи все буду разбирать на примере блога. Он находится в , на нем авторские уникальные статьи, теги, архивы и другие, дублирующие контент страницы (кроме категорий и нумерации страниц по средствам плагины PageNavi) запрещены в robots.txt. Что на такой запрос говорит Яндекс?

Тут уже 281 страница. Причем вообще в sitemap записано примерно 200 страниц + примерно 80 - это как раз те, которые создаются постраничной навигацией. Эти цифры ближе к реальности .

Вернемся опять к гуглу. Получилось, что сейчас он знает только о 172 страницах моего блога. Что же на самом деле? У меня получилась следующая картина:

Сейчас я объясню всю эту таблицу .

Что же получается? Google оказывается знает о 187 страницах + несколько десятков навигационных, а не о 172. По-моему кто-то что-то скрывает или прячет .

Выводы по поводу индексации в Google

До проведения данного анализа я считал, что у моих сайтов проблемы с индексацией страниц в Google. На самом же деле проблемы с тем, что некоторые документы попадают в дополнительный индекс, а о других Google знает, но молчит .

Почему Google отправляет страницы в дополнительный индекс?

1. Как я уже написал выше, причиной может служить дублирование контента. Для этого можно запретить к индексации дублирующие страницы: теги, архивы и так далее.
2. Часто страницы с копированным контентом тоже отправляются в сопли, либо просто с незначительным его количеством или низким качеством.
3. Ошибки поисковой системы. Поисковой робот может неправильно проанализировать страницу, несмотря на то, что она будет являться первоисточником с уникальным и интересным контентом.

Как же вывести страницы из соплей? А вот этим я и буду заниматься. В одном из последующих постов опубликую результаты эксперимента, который должен будет вытащить некоторые страницы блога в основной индекс. Не пропустите . Что вы думаете по поводу индексации ваших сайтов в гугл? Какие особенности были замечены?