Плавно возвращаемся к марафону… В ходе него мы сделали небольшой сайт определенной тематики , оптимизированный под поисковые системы, и готовый к дальнейшему продвижению . Сегодня надо написать о начальной индексации сайта и все, что с ней связано.

В статье про я писал про наполнение сайта статьями и совсем забыл написать о частоте наполнения . Всем понятно, что чем чаще мы будем обновлять (наполнять сайт контентом), тем лучше. Желательно делать это каждый день. В день по статье. Если не получается обновлять каждый день, то хотя бы через день – два. Так мы показываем поисковым системам, что сайт живой и постоянно развивается (так и есть).

Предположим, вы пишите статьи, но почему-то сайт долго не индексируется в ПС . Обычно Гугл быстро индексирует новые сайты, а вот Яндекс иногда упрямится, и для быстрой индексации приходится выполнять кое-какие действия.

Как быстро проиндексировать сайт?

Прежде всего, нужно сделать .

1. Добавление сайта в сервисы для веб-мастеров
Чтобы быстро проиндексировать сайт в Яндексе, делаем следующее:

Добавляем сайт в Яндекс.Вебмастер: http://webmaster.yandex.ru/
Подтверждаем права на сайт, делая то, что требуется.

Добавляем файл Sitemap.xml для своего сайта: http://webmaster.yandex.ru/site/map.xml .

Можно также добавить сайт в адурилку . Но это в принципе не нужно, потому что, при добавлении в Яндекс.Вебмастер, вы и так сообщаете Яндексу о новом сайте.

Для быстрой индексации, в Гугл тоже есть панель для веб-мастеров:

Добавляем файл Sitemap.xml . Смотрим настройки и изменяем их, если это нужно.

Если в инструменты для веб-мастеров добавиться не получается, то можно просто воспользоваться аддурилкой Гугла .

2. Используем пинг сервисы (ping – сервисы)
Пинг сервисы помогают быстро проиндексировать только что опубликованную запись, а точнее, они созданы для уведомления поисковых систем и прочих сервисов о появлении новых записей на вашем сайте.

В WordPress есть инструмент автоматического оповещения сервисов обновлений о появлении новой записи. Настраивается список пинг сервисов в Админке WP – «Настройки» – «Написание», Сервисы обновления .

В сети можно найти огромные списки сервисов обновления. Я не вижу смысла в большом списке пинг-сервисов и использую только вот эти сервисы:

http://rpc.pingomatic.com/
http://ping.blogs.yandex.ru/RPC2
http://blogsearch.google.com/ping/RPC2
http://ping.feedburner.com

Как средство для быстрой индексации сайта.
Сейчас есть множество соц. закладок и много сервисов и программ для постинга в соц. Закладки. Мне нравится программа Жукладочник . В общем, работа с соц. закладками проста. Регистрируете аккаунты в сервисах закладок, постите урл главной страницы или любой внутренней, пишите описание, ключевые слова и т.д.

Покупка ссылок. Для ускорения индексации можно купить ссылок. Я покупаю или в Сапе или в ГГЛ (все зависит от сайта, который нужно проиндексировать). Покупаю на трастовых ресурсах для людей, на которых контент обновляется по несколько раз в день и поисковые роботы ходят очень часто.

Свои сайты, форумы, сайты друзей и т.д. Главное не спамте. Вам нужно небольшое количество ссылок для индексации. Также можно , вот только вряд ли кто-то захочет меняться с непроиндексированным ресурсом

Несколько советов:
- Ни какого спама.
- Не используйте прогон по каталогам для новых сайтов. Сотни (а то и тысячи) говноссылок с каталогов и досок объявлений может быть и помогут быстро проиндексировать новый сайт, но толку от такого сайта не будет. Логика поисковых систем понятна, если на сайт ссылается куча говносайтов, скорее всего этот сайт тоже говносайт . Не говоря уже о паршивых донорах, Яндекс вообще не любит быстрого прироста ссылочной массы. Поэтому проставляйте ссылки избирательно, делайте все руками и с любовью

Пока поисковая система не проиндексирует страницу сайта , та не будет участвовать в её результатах выдачи. Узнать о сайте поисковик может двумя способами:

1. от вебмастера. Для чего URL-адрес веб-документа нужно добавить в аддурилку Яндекса или Google (от английского add url).
2. перейдя на страницы сайта по ссылке с других проиндексированных веб-документов.

На данном блоге я столкнулась с такой ситуацией, что без проблем Яндекс проиндексировал только Главную страницу, а вот внутренние не участвовали в поиске. У Google похожего невнимания не наблюдалось. Там практически молниеносно можно было заметить свою статью в выдаче.

Почему не индексируется сайт в Яндексе

1. Google заносит в свою базу данных все страницы сайта: качественные и некачественные без разбора. Но участвуют в ранжировании только полезные веб-документы [не путать ]. Яндекс же сразу не включает веб-хлам. Можно заставить его проиндексировать любую страницу, но со временем поисковик удалит мусор. У обоих систем есть дополнительный индекс. У обоих систем низкокачественные страницы влияют на рейтинг сайта в целом. По последнему пункту есть как официальное заявление [см. блог Google ], так и простая логика. Любимые сайты конкретного человека будут на более высоких позициях в его выдаче. Зато этот же человек с трудом найдёт сайт, который не смог его заинтересовать в прошлый раз. Поэтому вначале нужно закрыть от индексации дубликаты веб-документов , проверить есть ли страницы с отсутствующем содержанием и не пускать в выдачу никудышный контент.
2. "Проверить URL" в Вебмастере.Яндекса напомнит, что или что сервер выдаёт .
3. Если был приобретён поддержанный домен, на который наложены санкции, то нужно написать в службу поддержки что-то типа Здравствуйте. 01.01.2000 года был приобретён домен сайт.ru. 20.01.2000 года сайт был добавлен в Вебмастер и аддурилку. По прошествии трёх недель он не был проиндексирован. Подскажите, пожалуйста, может ли домен быть причиной плохой индексации?

Как ускорить индексацию в Яндексе

1. Подтвердить права на управление сайтом в Яндекс.Вебмастере .
2. Опубликовать ссылку на статью в . С 2012 года у Яндекса с ним подписан договор .
3. Установить на компьютер Яндекс.Браузер и "походить" по страницам сайта с его помощью.
4. Добавить . Там в графе "Индексирование" можно указать свои URL-адреса вручную точно также как в аддурилке. [не актуально ]
5. Установить код Яндекс.Метрики без указания галочки "Запрет отправки страниц на индексацию" .
6. Создать файл Sitemap. Тогда по приходу на сайт робот в первую очередь будет проверять его. Этот файл существует только для него и не виден аудитории. Состоит он из списка URL-адресов страниц. Только что созданные или с обновлённым содержимым находятся сверху. Адрес Sitemap прописывается в robots.txt или в соответствующую форму в Вебмастере-"Настройка индексирования"-"Файлы Sitemap".

Дополнительные действия, когда Яндекс проиндексировал только 1 страницу

1. Насколько часто обновляется страница, настолько часто поисковый робот будет её переиндексировать. В основном содержание периодически меняется на странице "карта сайта" и Главная. Чем чаще публиковать новые статьи, тем чаще будут обновляться вышеназванные страницы и по ссылкам внутри них индексироваться новый материал.
2. Если на всех страницах сделать сквозной блок с последними написанными публикациями, то поисковый робот может перейти на новую запись с любой посещённой им страницы сайта. А это будет быстрее. Ссылки в сквозном блоке не должны быть реализованы скриптом, по ним не нужно .
3. Сайты, имеющие , могут зарегистрироваться в каталоге Яндекс.блоги , а уже оттуда данные будут переданы основному роботу.
4. Оставить ссылки на свои статьи на часто обновляемых ресурсах: "Живой Журнал" , ", " " и др.

Обновление базы данных - апдейт (ап) выдачи - происходит в среднем раз в неделю. Если все вышеуказанные действия не помогли, чего у меня ни разу не было, то следует написать в службу поддержки письмо , где рассказать что было сделано, немного о сайте, о том, что он регулярно наполняется, что людям он интересен, дать пару ссылок на самые лучшие статьи в качестве примера. Если ресурс имеет низкую посещаемость по причине узкотематичности, нужно проговорить это. Например, сказать, что проект не планирует большую посещаемость, так как создан для общества лепидоптерологов, которые изучают бабочек семейства чешуекрылых. Если сайт коммерческий, то сообщите, что за ним стоит реальная организация.

Из этого материала вы узнаете:

• Что такое индексация
• Как внести сайт в базу
• Как ускорить индексацию

Что такое индексация?

Как внести сайт в базу?

1. Дождаться самостоятельной индексации. Рано или поздно роботы найдут ваш сайт — для этого нужно лишь оставить на него активные ссылки с других ресурсов. Считается, что чем больше ссылок — тем быстрее будет индексация.
2. Добавить сайт вручную, заполнив специальную форму в поисковике. Там нужно указать ссылку на сайт и краткую информацию о нем. В Яндексе, например, это делается в сервисе Яндекс Вебмастер на странице Сообщить о новом сайте .

Как ускорить индексацию?

1. Уникальный контент, который так любят поисковики. Один момент: если вы выложили на сайт или в блог статью и она еще не проиндексировалась, любой теоретически может утащить ее и разместить у себя. Если на другом сайте статья проиндексируется раньше — вы в пролете. Ваша статья будет считаться неуникальной, а конкурент останется в шоколаде.
2. Понятная структура сайта. Соблюдайте правило трех кликов: на каждую страницу с главной можно попасть не больше чем в три клика. Меньше — хорошо, больше — лучше не надо! Так вы облегчите задачу поисковикам, которые будут индексировать не только главную, но и другие страницы.
3. Перелинковка с внутренними страницами — полезно и для посетителей, и для робота.
4. Трансляция постов в RSS-каталоги. Все ваши посты будут дублироваться в RSS-каталоги, в которые добавляются RSS-ленты. Это ленты для подписки на обновления блогов или сайтов, чтобы вы получали все самое свежее на свою почту. С их помощью поисковик быстрее найдет ваши новые статьи и проиндексирует.

Приведем пример удачной индексации

То очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).

• Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
• Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
• В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).

Работая с клиентами я не раз сталкивался с тем, что из-за проблем с индексацией были плохие позиции. Эта техническая проблема, которую я обычно исправляю в первый месяц сотрудничества, за счет чего уже со 2-го месяца бывает заметный рост посетителей и позиций.

Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе . Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

Несколько способов.

Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

• Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
• Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы

Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)

Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике .

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: https://сайт/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom =324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:

Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)

Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:

После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

Индексация сайта - это процесс поиска, сбора, обработки и добавления сведений о сайте в базу данных поисковых систем.

Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA

Индексация сайта значит, что робот поисковой системы посещает ресурс и его страницы, изучает контент и заносит его в базу данных.Впоследствии эта информация выдается по ключевым запросам. То есть, пользователи сети вводят в строку поиска запрос и получают на него ответ в виде списка проиндексированных страниц.

Если говорить простым языком, получится приблизительно так: весь интернет - это огромная библиотека. В любой уважающей себя библиотеке есть каталог, который облегчает поиск нужной информации. В середине 90-х годов прошлого века, вся индексация сводилась к такой каталогизации. находили на сайтах ключевые слова и формировали из них базу данных.

Сегодня боты собирают и анализируют информацию по нескольким параметрам (ошибки, уникальность, полезность, доступность и проч.) прежде, чем внести ее в поисковой системы.

Алгоритмы работы поисковых роботов постоянно обновляются и становятся все сложнее. Базы данных содержат огромное количество информации, несмотря на это поиск нужных сведений не занимает много времени. Это и есть пример качественной индексации.

Если сайт не прошел индексацию, то информация до пользователей может и не дойти.

Как индексирует сайты Гугл и Яндекс

Яндекс и Гугл, пожалуй, самые популярные поисковики в России. Чтобы поисковые системы проиндексировали сайт, о нем нужно сообщить. Сделать это можно двумя способами:

1. Добавить сайт на индексацию при помощи ссылок на других ресурсах в интернете - этот способ считается оптимальным, так как страницы, найденные таким путем, робот считает полезными и их индексирование проходит быстрее, от 12 часов до двух недель.
2. Отправить сайт на индексацию путем заполнения специальной формы поисковой системы вручную с использованием сервисов Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и др.

Второй способ медленнее, сайт встает в очередь и индексируется в течение двух недель или больше.

В среднем, новые сайты и страницы проходят индексацию за 1–2 недели.

Считается, что Гугл индексирует сайты быстрее. Это происходит потому, что поисковая система Google индексирует все страницы - и полезные, и неполезные. Однако в ранжирование попадает только качественный контент.

Яндекс работает медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.

Индексирование сайта происходит так:

• поисковый робот находит портал и изучает его содержимое;
• полученная информация заносится в базу данных;
• примерно через две недели материал, успешно прошедший индексацию, появится в выдаче по запросу.

Есть 3 способа проверки индексации сайта и его страниц в Гугл и Яндексе:

1. при помощи инструментов для вебмастеров - google.com/webmasters или webmaster.yandex.ru;
2. при помощи ввода специальных команд в поисковую строку, команда для Яндекс будет выглядеть так: host: имя сайта+домен первого уровня; а для Гугл - site: имя сайта+домен;
3. с помощью специальных автоматических сервисов.

Проверяем индексацию

Это можно сделать используя:

1. операторы поисковых систем - смотрим в справке или ;
2. услуги специальных сервисов, например rds бар ;

Как ускорить индексацию сайта

От того, насколько быстро роботы проведут индексирование, зависит скорость появления нового материала в поисковой выдаче, тем быстрее на сайт придет целевая аудитория.

Для ускорения индексации поисковыми системами нужно соблюсти несколько рекомендаций.

1. Добавить сайт в поисковую систему.
2. Регулярно наполнять проект уникальным и полезным контентом.
3. Навигация по сайту должна быть удобной, доступ на страницы не длиннее, чем в 3 клика от главной.
4. Размещать ресурс на быстром и надежном хостинге.
5. Правильно настроить robots.txt: устранить ненужные запреты, закрыть от индексации служебные страницы.
6. Проверить на наличие ошибок, количество ключевых слов.
7. Сделать внутреннюю перелинковку (ссылки на другие страницы).
8. Разместить ссылки на статьи в социальных сетях, социальных закладках.
9. Создать карту сайта, можно даже две, - для посетителей и для роботов.

Как закрыть сайт от индексации

Закрыть сайт от индексации - запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Обычно это делается для того, чтобы скрыть от публичного доступа секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и т. п.

Сделать это можно несколькими способами:

• При помощи robots.txt можно запретить индексацию сайта или страницы. Для этого в корне веб-сайта создается текстовый документ, в котором прописываются правила для роботов поисковых систем. Эти правила состоят из двух частей: первая часть (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию какого-либо объекта.
  Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:

User-agent: *

Disallow: /

• При помощи мета-тега robots, что считается наиболее правильным для закрытия одной страницы от индексирования. При помощи тегов noindex и nofollow можно запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.

Запись для запрета индексации всего документа будет выглядеть так:

Можно создать запрет для конкретного робота:

На что влияет индексация при продвижении

Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.

Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.

Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.

Индексация - это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.

Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации - внесение информации в базу данных поисковых систем.