Как ускорить индексацию страниц поисковыми системами. Как ускорить индексацию страниц поисковыми системами Как ускорить переход в гугле вебмастере

Век живи, век учись. Отличная поговорка, которая еще раз напоминает нам о том, что невозможно объять необъятное и узнать все сразу. Надо сказать спасибо, что об этом способе я все-таки узнала, лучше поздно, чем никогда. Если вы еще не знаете, как быстро проиндексировать новую статью, то читайте внимательно и не пропустите эту фишку: «Как ускорить индексацию статьи в Google».

Для начала выложу свой результат ускорения попадания статьи в Google. Сразу скажу, что 4 минуты — не самый быстрый результат, так как я совершенно случайно вспомнила о том, что нужно об этой фишке рассказать своим читателям, и только после того, как я проделала все действия по расшариванию статьи, решила проверить ее в поиске Гугла. Очень была обрадована, что на третьей странице поиска я нашла свежую, только что написанную статью.

Что нужно сделать?

Нужно зайти в инструменты веб-мастера Google, и найти слева, на панели управления раздел «Сканирование». Выберите в этом разделе пункт «Посмотреть как googlebot».

Введите адрес страницы или сайта без названия домена и нажмите «Сканировать», затем — «Добавить в индекс». После этого в появившейся форме нажмите «Сканировать только этот URL».

Еще раз обращаю ваше внимание: если адрес страницы https://сайт/internet-uroki-soveti/kak-uskorit-in…stati-v-google, вводить нужно только internet-uroki-soveti/kak-uskorit-in…stati-v-google. После проделанных вами действий страница отобразится в панели со статусом «готово». Если вы на картинке заметили статус «частично выполнено», то это как раз следствие неправильно введенного адреса страницы. Ошиблась)) Бывает и такое.

Еще одна фишка

Но это еще не все. Ускорить можно и индексацию всего сайта. Целиком. Вы наверное видели в панели инструментов вебмастера диаграмму с количеством проиндексированных страниц сайта. На картинке данные двух сайтов:

Больше всего пугает первая картинка, где количество проиндексированных страниц сильно отличается от количества отправленных в индекс. То есть, я их отправляю в индекс, а индексироваться они не хотят категорически. Что будем делать? Будем лечить, а именно, отправим в индекс карту sitemap.xml. Точно так же, как мы это сделали со страницей сайте в разделе «Посмотреть как googlebot». Таким образом, мы попробуем обратить внимание поисковика на наш сайт и будем внимательно следить за изменением ситуации.

Если Google не желает самостоятельно заглядывать на наши сайты, отправим ему личные приглашения, верно? Ведь вовремя проиндексированные статьи направят к нам посетителей, страждущих найти ответы на свои вопросы, чего, собственно, мы и добиваемся — увеличения посетителей из поисковых систем.

Если вы уже убедились в том, что ваша статья или сайт проиндексированы, то можно и отдохнуть. Предлагаю вам посмотреть классное видео про Северную Корею. Просто красиво!

Большую часть трафика (посетителей) многие сайты получают с поисковых систем. Но чтобы этого добиться, сайт как минимум должен быть ими проиндексирован. Назревает вопрос: что такое индексация сайта ? Это процесс сканирования и добавления сайта и всех его страниц роботом поисковой системы в базу данных для того, чтобы он стал доступен для поиска. То есть если ваш сайт не будет проиндексирован поисковиком, то он не будет появляться в его выдаче при поиске, а соответственно посетителей с поисковых систем можете и не ждать.

Своим клиентам и людям, которые далеки от интернета, но тоже хотят, так сказать, приобщиться, на вопрос о том, что такое индексация сайта, я отвечаю просто — это процесс запоминания сайта поисковой системой. Может быть, звучит не совсем верно, но зато более или менее понятно. Если им сказать точное определение, то сразу возникнет масса вопросов про базу данных, роботов и так далее. Ведь некоторые даже не слышали про поисковики, и им приходится говорить примерно следующее: «Ну ведь про яндекс и гугл слышали что-нибудь?» Если они отвечают положительно, то остается лишь добавить: «Ну вот это и есть поисковики (поисковые системы).» И тогда все становится на свои места. На самом деле в этом нет ничего страшного, что люди плохо осведомлены в данной теме. Хорошо, что они хотя бы интересуются и хотят узнать об этом.

Вебмастеров же волнует более серьезный вопрос: как ускорить индексацию сайта? Тема на самом деле очень важная, но весьма простая в освоении. Изучив мои советы и применив их на практике, позже вы будете все это делать на автомате. Но для начала давайте определимся с тем, как долго индексируется сайт . Я знаю, что это волнует большую часть начинающих сайтостроителей. Не раз встречал вопросы на форумах об этом. Многие вебмастера, создав сайт и набив его минимальным количеством контента, уже через 3-5 дней бьют тревогу, почему он все еще не проиндексировался. Хочу успокоить вас. Это нормально, особенно в случае с яндексом. У меня был сайт, который целый месяц никак не мог залезть в индекс. Сказать честно, я для этого ничего особенного и не делал, так как для меня тогда это было не в приоритете. Но потом он благополучно проиндексировался, и впредь проблем с этим не возникало.

Пока сайт молод и не оброс внешними ссылками, доверие к нему со стороны поисковых систем находится на очень низком уровне. Не ждите, что новые страницы сайта будут влетать в индекс моментально, не ждите и высоких позиций в выдаче. Всему свое время. Если будете хорошо развивать свой ресурс, то спустя несколько месяцев поток посетителей с поисковых систем вам обеспечен.

Как ускорить индексацию сайта?

Итак, переходим к главному. Быстрая индексация сайта интересует всех вебмастеров. Это вполне реально, и добиться этого, кстати, можно бесплатными способами. Сразу хочу сказать, все, что связано с оптимизацией сайта под поисковые системы, включает в себя внутренние и внешние факторы. Работать необходимо как над теми, так и над другими. Начинать нужно именно с внутренней оптимизации. Порой ее бывает достаточно.

Ускорение индексации сайта — внутренняя оптимизация

1. Структура сайта .

Здесь работает правило трех кликов, то есть каждая страница сайта должна находиться не далее чем за три клика от главной. Продумайте меню. Если имеются страницы, на которые вообще не ведет ни одна ссылка, то обязательно исправьте это.

2. Внутренняя перелинковка сайта .

Без этого никуда. Грамотная внутренняя перелинковка может не только ускорить индексацию сайта, но и улучшить его позиции в выдаче поисковых систем. Иногда лишь ее достаточно, чтобы занять топовые места в выдаче по низкоконкурентным запросам.

Сделайте блоки с ссылками на популярные последние и похожие посты. Расположить их можно в сайдбаре (боковой колонке), под статьей или в любом другом удобном на ваш взгляд месте. Ссылайтесь в новых постах на старые. Также не помешает зайти в некоторые старые посты и проставить в них ссылки на новые. Не лишними будут и ссылки на следующую и предыдущую новости в статье. С каждой страницы 1-2 ссылки должны вести на главную. Таким образом все страницы вашего сайта будут связаны между собой ссылками. Это ускорит индексацию, а также исключит в будущем вылетание страниц из индекса. Ведь и такое бывает.

3. Файл robots.txt .

При помощи данного файла можно указать поисковому роботу, какие страницы индексировать можно, а какие нельзя, путь до карты сайта, главное зеркало и другие моменты. Подробно об этом я писал в статье. Правильно составленный robots.txt может заметно ускорить индексацию сайта. Поисковому роботу не придется индексировать различный мусор (с точки зрения поисковиков), который не должен находиться в индексе, а потом самостоятельно исключать его. Роботу будет сразу указано на это, и таким образом ему потребуется гораздо меньше времени на индексацию сайта.

4. Карта сайта .

Создать карту сайта можно как при помощи специального плагина для конкретной CMS (для — это Google XML Sitemaps), так и при помощи онлайн сервисов, таких как этот или этот . После того как карта в формате xml будет создана, помещаем ее в корень сайта и сообщаем о ней поисковикам. Дальше дело за поисковыми роботами.

5. Качество контента .

Кто бы что ни говорил, но с большим аппетитом поисковики поглощают качественный и уникальный контент. Естественно в индекс влетает и копипаст (ворованный контент), и рерайт, но все же предпочтение отдается тому контенту, который человек написал сам.

6. Частота обновления сайта .

Если вы хотите, чтобы новые страницы влетали в индекс в несколько раз быстрее, то регулярно обновляйте сайт. Чем чаще вы будете его обновлять, тем больше поисковые роботы будут на него заходить.

К примеру, яндекс обновляет свою поисковую базу апами (посмотреть их частоту можно ). То есть примерно 1-2 раза в неделю яндекс добавляет в выдачу новые страницы, учитывает новые ссылки, изменяет результаты выдачи. Подробную информацию по апдейтам можно смотреть . Если вы будете обновлять свой сайт каждый день, то через некоторое время на нем поселится быстроробот. Каждая новая страница будет индексироваться им в течение нескольких часов. У меня, к примеру, есть сайт, который обновляется ежедневно да еще и по несколько раз, так быстроробот сжирает (по-другому и сказать нельзя) все новые страницы в течение часа, а иногда и 20-30 минут. Таким образом с каждым апдейтом количество проиндексированных яндексом страниц увеличивается.

У гугла вообще другой подход. Новые страницы могут влетать в индекс чуть ли не каждый день. Информации по апдейтам поисковой выдачи нет, потому как она является динамической и постоянно меняется. Если будете обновлять свой сайт регулярно, то и индексироваться он будет быстро.

На этом основные приемы внутренней оптимизации для ускорения индексации сайта заканчиваются. Серьезно и внимательно отнеситесь к каждому из пунктов, так как, в принципе, и их будет вполне достаточно, чтобы сайт хорошо индексировался. Если же он никак не хочет лезть в индекс или новые страницы индексируются не так быстро, как вам хотелось бы, то стоит прибегнуть к внешней оптимизации.

Ускорение индексации сайта — внешняя оптимизация

1. Добавление сайта в поисковые системы .

Об этом уже выше упоминалось. В обязательном порядке добавьте сайт в поисковые системы Яндекс и Google , также не помешает добавить его в другие поисковики. Более того, с появлением на сайте каждой новой страницы сообщайте о ней яндексу . Он, конечно, и сам неплохо справляется со своей задачей, но все же сообщать ему о новых материалах на сайте лишним не будет точно.

2. Покупка внешних ссылок .

Покупать ссылки на совершенно новый сайт я не советую, так как это будет выглядеть слишком неестественно для поисковиков. Подумайте сами, сайту без году неделя, о нем никто не знает, но зато внешние ссылки появляются. Если же ваш сайт уже долгое время не может проиндексироваться, то можете купить одну ссылочку с главной страницы какого-нибудь трастового (с высоким уровнем доверия со стороны поисковиков) и регулярно обновляющегося сайта. Многие ресурсы предоставляют такую услугу. На таких сайтах поисковые роботы, как правило, разгуливают постоянно. Увидев на главной странице исходящую ссылку на ваш сайт, они непременно перейдут по ней. У меня, кстати, есть такой сайт, и если возникали проблемы с индексацией других ресурсов, то я временно ставил на них ссылки с главной страницы.

Другая ситуация, если ваш сайт уже давно в индексе, но какая-нибудь новая страница упорно отказывается туда лезть. В это случае нужно закупить на нее пару-тройку ссылок с других сайтов. Для этого рекомендую воспользоваться биржами вечных ссылок GoGetLinks и RotaPost . Слишком много ссылок не потребуется, но внимательно отнеситесь к подбору площадок. Они должны регулярно обновляться и иметь хорошую индексацию.

3. Ссылки с twitter

Лично убедился в том, что ссылки с твиттера являются очень даже полезными и результативными. Дело в том, что поисковые роботы там просто кишат, и каждая новая ссылка, которая появляется на стене того или иного аккаунта, не остается без внимания. Конечно, больший эффект оказывают ссылки с популярных аккаунтов, так как есть возможность получить еще и ретвиты. Если у вас таких нет, то можете воспользоваться сервисом

? Если вы попали на эту страницу, то наверняка вас не радует то, что поисковые системы, так медленно и неохотно индексируют ваш сайт и вам бы хотелось, чтобы ваши статьи влетали в индекс с такой скоростью, чтобы сразу видеть результат свой кропотливой работы. Все же не очень на душе приятно, когда пишешь километровую статью, а потом неделями ждешь, когда там Яндекс приползет и занесет ее в свою поисковую базу, чтобы ее потом можно было найти в поисковике.

Итак, в этой статье вы узнаете 23 способа, как загнать вашу сайт, статью, страницу в индекс, да так чтобы на утро она уже была, как в Яндексе так и в Google. Хотя, что я тут мелочусь: если вы используете все 23 способа, то ваш сайт со всеми страницами уже через час будет в индексе.

1 ) Первое, что нужно сделать, так это зарегистрироваться в обеих панелях для вебмастеров Яндекса и Google , и добавить туда ваш сайт.

2 ) Ок, перед тем, как пытаться скормить наш сайт поисковикам нам надо сделать для них специальную карту для поисковых ботов под названием . Как сделайте карту сразу же ее на свои хостинг в корень сайта, и установите на нее права 777. Потом вам нужно этот же файл занести в обе панели для вебмастеров Яндекса и Google. Вы сейчас думайте, наверное, а что это вообще за карта такая и зачем она вообще нужна? Ну, вообще-то это простой блокнот, в котором прописано, какие страницы вашего сайта можно индексировать, а какие нельзя. Без этого файлика Яндекс возможно вообще никогда не узнает о существовании вашего сайта, так что без него никуда.

3 ) Нужно сделать карту сайта Sitemap.xml и также закачать ее на свои , и в панели для вебмастеров. Карта сайта в отличие, от карты для поисковиков ботов — это просто список всех ваших страниц и статьей на сайте, блоге. Данную карту вы можете сделать на этом или использовать плагин для под названием .

4 ) Чтобы ускорить индексацию сайта нужно, чтобы его структура была правильной. Что это вообще значит? Да все просто: у каждой страницы есть свой уровень вложения. Смотрите сколько вам нужно раз кликнуть на моем сайте, чтобы добраться до этой статьи. Первый клик будет на « », второй клик на название статьи. То есть, как мы видим мы сделали 2 клика, а это значит, что моя статья имеет 2 уровень вложения. Так вот неправильная структура сайта — это, когда до вашей статьи или страницы нужно кликнуть больше 3 раз. Запомните, что статьи не должны быть четвертого, там пятого уровня вложенности, надеюсь, с этим все понятно.

5 ) Добавляем новый сайт или статью в адулировку. Это делается в той же панели вебмастеров, для Яндекс . Просто вставляем адрес нашей статьи, заполняем капчу (буквы, цифры от спама) и нажимаем «добавить». Таким способом вы сообщите Яндексу, что у вас появилось новый контент (статьи), и через некоторое время поисковые роботы придут на ваш сайт в порядке очереди.

6 ) Всегда делаем . Перелинковка - это просто поставленная ссылка с вашей статьи, которую вы написали на другую. Правильная перелинковка выглядит так: 1 ссылка на главную страницу сайта и от 3 ссылок на внутренние статьи сайта. В итоге в каждой нашей статье должно быть не меньше 4 ссылок на другие статьи, но этим способом можно и не пользоваться на начальном этапе, когда у вас появился только новый сайт, и на нем еще нет куча статей.

7 ) Добавляйте новые статьи на сайт как можно чаще! Хочу, подметит, что это очень важный пункт для тормознутого Яндекса, так как если вы будете писать одну статью раз в месяц, то вам все из приведенного списка мало что поможет ускорить индексацию сайта. Рекомендую писать и публиковать новые статьи не реже чем через 2-3 дня, но в идеале 1 день. Также желательно публиковать новый материал не только в одни день, но и в одно и то же время. Это дает просто мега результат, статья влетает в индексе меньше чем за час.

Кстати, если вы перестанете регулярно обновлять ваш сайт, то вскоре поисковики станут вам редко заглядывать, помните это! Чтобы ускорить индексацию сайта рекомендую писать статьи не меньше 2000 символов, так как есть слух, что Яндекс как-то не очень относится к таким сайтам, где статья меньше 2000 символов. Если вы напишите меньше, например 500, то она тоже проиндексируется, но продвигать такую статью будет очень проблематично.

8 ) Пишите только уникальные статьи с уникальностью не меньше 90%. Это я к тому, что не надо копировать чужие уже проиндексированные статьи себе на сайт. Такими делами вы не то, что поможете своему сайту, а наоборот грохните его да так, что потом придется новый создавать. Когда будете новый материал всегда проверяйте его на уникальность . Очень часто пользуюсь этим сервисом, на мой взгляд, самый лучший из всех, которые есть по проверки уникальности.

9 ) Убирайте мусорные страницы. Это такие страницы, на которых ничего нету по сути, ну или есть картинка там, например и все. Помните мы говорили с вами про файл robots.txt. Так вот чтобы все мусорные страницы убрать такие, как галерея картинок, адрес вход на сайт, другие файлы, которые не являются страницами сайта нужно в robots.txt запретить их индексировать.

Как ускорить индексацию сайта в Яндексе с помощью сторонних сервисов?

10 ) Делайте постинг (короткий обзор статьи) анонсов новых статей в социальные закладки. Это способ один из самых лучших в плане Google, но, увы, не в плане Яндекса. Все просто вам нужно сделать постинг (короткий обзор статьи), как можно больше число социальных закладок таких как: БобрДобр, Memori, Mister Wong, МоёМесто. Для этого я пользуюсь платной программой « », но вы можете использовать сервис который так, же вам бесплатно прогонит статью по нескольким закладкам. Как им пользоваться смотрите ниже.

11 ) Сделать RSS-трансляцию с сайта. RSS — это современная технология, позволяющая публиковать и транслировать практически любой материал с любого сайта. Данный способ, так же хорошо помогает ускорить индексацию сайта, как и социальные закладки.

12 ) Делайте постинг в блоги на платформах таких как: Livejournal.com, blogspot.com и другие. Также заметьте, что не обязательно мучиться, вставляя ссылку каждый раз самому с сайта в блоги, все это может за вас сделать плагин для WordPress LiveJournal Crossposter. При публикациях статьей они сразу же будут транслироваться в несколько социальных блогов.

13 ) Пользуйтесь сервисами вопрос-ответ Mail и Google. Просто заходим на mail и ищем человека, который ищет ответ на свой вопрос или информацию, о которой вы написали в вашей новой статье. Затем надо просто кратко написать ему в комментариях со ссылкой, то что вы уже все это подробно написал в своей статье.

14 ) Комментируйте сайты вашей тематики. Тут я хочу подметить, что необязательно комментировать 101 сайт. Все просто — ищем сайт, на котором есть быстрая обновляемость статьями. Если сайт, например, публикует одну статью в день, то это, то, что нужно. Теперь надо зайти на любую статью, прочитать ее и оставить осмысленный комментарий, а не типа что-то этого: спасибо за статью все мега-пупер, классная статья спасибо, большое спасибо за статью. Такие комментарии большинство удаляют чем оставляют.

15 ) Регистрируемся на my.ya.ru и заводим дневник. А вот эта вещь очень даже неплохо действует на Яндекс в ускорении индексации. Если оставить запись в своем дневнике на статью, то Яшка намного быстрее придет, замечено не только мной, но и многими другими вебмастерами (увы сайт больше не работает с 2014г).

16 ) Регистрируемся в популярных рейтингах, такихкак: Рамблер ТОП100 , Рейтинг@Майл , LiveInternet . На этих сайтах просто живут поисковые роботы особенно рамблера и майла.

18 ) Купите с главной страницы популярного сайта вашей тематики, который постоянно обновляется! Если вы купите такую ссылку, то поисковой бот будет вам чаще заходить даже через не хочу. Внимание прокатывает с Google, с Яндексом слабовато.

19 ) Купите несколько ссылок в (бирже ссылок). Это очень дешево, одна ссылка вам с хорошего сайта будет стоить всего 5 рублей за целых 30 дней. Когда купите, потом прогоните купленные ссылки по социальным закладкам. Этот метод применяют в крайних случаях, когда не знают, что делать.

20 ) Размещайте анонсы и пресс-релизы. Тут все просто — ищем сайты, на которых можно бесплатно оставить пресс-релиз (статью со ссылкой). Тут только один минус — статья должна быть уникальной, но большой плюс в том, что можно проставить до 3 ссылок в статье.

21 ) Зарегистрируйтесь на Subscribe.ru и ведите свою рассылку. В настройках рассылки можно вставить свою ссылку на сайт. Когда вы будете высылать новое письмо, поисковые роботы заметят это, что в свою очередь поможет ускорить индексацию сайта.

22 ) Проверяйте ответ от сервиса Яндекса. Бывают случай, что статья ну никак не хочет залезать в индекс Яшки, тогда идем в панель вебмастера Яндекс, переходим проверить ответ сервиса . Добавляем адрес страницы, статьи и жмем «проверить». Яндекс выдаст нам техническую информацию по данной странице. Данную операцию проделываем 7 раз, каждый раз меняя робота Яндекса на другого. Например, с основного робота на робота картинок.

23 ) Накапливайте ссылочную массу сайта. Когда у вас будет 1000 ссылок ведущих на ваш сайт можно больше не задумываться, как ускорить индексацию сайта — она всегда будет быстрой.

24 ) Используйте . Он поможет вам прогнать сотни ваших ссылок по многим RSS-лентам. Это очень удобно, например, когда вы ведете сразу несколько сайтов и вам некогда ждать, когда они проиндексируются. Кстати, этот же сервис можно использовать и для прогона своих доноров, на которых была куплена ссылка, чтобы она быстрее попала в индекс. Подробнее о нем смотрите в видео.

Вот, по сути, и все способы, хотя я пользуюсь не всеми ими, а только 1-10,15,17,22,24 способами. А теперь давайте потолкуем, зачем собственно это ускоренная индексация нужна вообще?

Зачем нужно ускорять индексацию сайта?

Ну, первый и самый главный и важный пункт это за тем, чтобы не украли ваши статьи. Представьте, написали вы статью огромную, убили на нее весь день как я на эту, а какой-то не совсем добрый и вменяемый человек взял да и опубликовал вашу статью у себя. Так вот в чем беда, если у него ваша статья проиндексируется быстрее это будет значить, что Яндекс и Google будут считать его первоисточником и автором данной статьи, и вы ничего тут уже не докажете, в службу поддержки бесполезно писать, до вас и так там тысяча тысяч людей обращались.

Но это также может случиться совершенно случайно без всякого злого умысла со стороны. Мало кто знаете, что такое: , Seo, копипаст (не уникальный текст) и т. д. И вот представьте, что просто пришел человек из поиска, и ему очень понравилась ваша статья, поэтому он взял да и опубликовал ее в своем блоге ЖЖ. Смешно конечно, но он-то откуда знали, что так делать нельзя?

У меня даже был случай забавный. Как-то заказывал статью на фрилансе, потом через время проверил ее на уникальность, нашел копию, написал владельцу сайта с горячими и нежными словами, в ответ тоже получил кучу нежных слов только еще нежнее, в итоге выяснилось, что тот фрилансер продал ему статью, которую писал для меня. Потом владелец сайта убрал статью, так как видел, что она у меня раньше опубликована, хотя дату вообще можно любую ставить. Вот такая короче история.

Вторая причина это если вы продаете ссылки с сайта. Это очень важно, если у вас слабая индексация у вас никто не будет покупать ссылки, если даже у вас Тиц 500 и вы продаете ссылку по 100руб, что очень дешево. Согласитесь, кто захочет выбрасывать деньги на ветер, когда можно купить с такими же параметрами только с 100% индексацией ссылку на свой сайт. Вот поэтому индексация так важна.

На этом, пожалуй, я закончу свой мануал. Надеюсь, после этой статьи у вас больше никогда не возникнет вопроса,

Индексация сайта, способы ускорения индексации

Индексация сайта… Что за зверь и с чем его едят?

Сегодня мы будем обсуждать такую глобальную тему, как индексация сайта . Разберем, что это вообще такое, для чего она необходима, а так же каковым образом эту самую индексацию сделать лучше. Уверен, что данная информация будет полезна не только начинающим блоггерам, но и маститым вебмастерам. Применив эти знания на практике, вы в разы ускорите индексацию своего сайта.

Итак, давайте рассмотрим, что называют индексацией. Индексация – процесс занесения содержимого вашего блога (статьи, картинки, видео и т.д.) в индексную базу поисковой системы. Мы будем ориентироваться на 2 поисковые системы — это Гугл и Яндекс. Про Маил.ру, Рамблер, Yahoo.com, Апорт и другие можно смело забыть. Как показывает практика, русскоязычный сегмент ими практически не пользуется.

У любого поисковика существует специальная утилита (поисковый робот или паук на языке сеошников), который блуждает по просторам интернета, то есть по всем сайтам, ищет на них новый контент и если такой имеется, то заносит его в свою поисковую базу. Возвратившись обратно на базу Яндекса или Гугла, он передает всю полученную информацию, и она появляется в поисковой выдаче. Затем робот отправляется за новой порцией информации. Это достаточно примитивная схема, работы поисковых систем. В реальности она гораздо сложнее и содержит огромное количество алгоритмов и различных поисковых роботов.

Нам же достаточно иметь представление о схеме работы в целом. Почему нам это важно? Потому что при наличии определенных знаний мы можем в некоторой степени воздействовать на поведение паука. Проще говоря, мы можем заставить его чаще заходить на наш блог, или вообще заставить его там жить. Вы представляете, с какой скоростью ваши статьи будут влетать в индексную базу, если на ваш блог будет часто заходить поисковый робот? Время индексации уменьшается до нескольких минут (Гугл) и пары часов (Яндекс)!

Перед тем как я расскажу вам, как можно ускорить индексацию , давайте рассмотрим плюсы быстрой индексации. Я вижу два основных и огромных плюса быстрой индексации сайта : во-первых, быстрая индексация приводит к быстрому появлению вашей статьи в результатах поисковой выдачи и соответственно увеличению трафика на ваш ресурс. Думаю, тут ничего объяснять не надо, понятно даже первокласснику.

Второй момент – это защита от воровства вашего контента. Да, да. Не все об этом знают, но, тем не менее, это так. Давайте я вам объясню на примере. Допустим, вы сделали новенький блог в интересной и востребованной теме. Как правило, за таким блогом сразу прикрепляется какой-нибудь парсер (пират по-русски), который постоянно сканирует ваш ресурс на появление нового контента. Итак, вы написали в блог отличную статью, убили на нее целый день (или ночь), и довольные собой любуетесь на свое произведение.

Беда в том, что эта статья есть на вашем блоге, но ее нет в индексной базе поисковых систем, и когда на ваш сайт зайдет робот еще неизвестно. И вот этот самый пират берет и копирует вашу статью на свой блог, а потом загоняет ее в индекс. В итоге эту статью робот проиндексирует сначала на его сайте, а потом только на вашем. В данном случае автором будет считаться этот нахал, а вы обычным копипастером. Да вас еще и понизят в результатах поисковой выдачи или вообще наложат фильтр. Вот такая вот несправедливость. Как показывает практика, огромное количество новых блогов попадает под фильтр именно по этой причине, из-за таких вот нехороших людей.

Ускорение индексации сайта — как это сделать?

Все способы ускорения я условно разобью на 2 группы. Первая группа – это внутренние факторы, то есть правильная установка и настройка wordpress, набор необходимых плагинов, настройка шаблона и тд. Проще говоря, это манипуляции с самим блогом, которые помогут сделать больше индексацию ресурса. Сначала мы рассмотрим именно внутренние факторы, а далее я расскажу вам о внешних факторах, посредством которых можно ускорить индексацию.

Внутренние факторы ускорения индексации:

1. Уникальный, красивый, удобный шаблон. Поверьте, это очень важный момент. Где его взять или как сделать самому, здесь писать не буду.

2. Регулярное написание уникального контента. В этой фразе два ключевых слова: регулярное и уникального. Допустим, вы пишите статьи через день. Робот зашел на ваш сайт и нашел новую статью. Пришел через неделю и нашел еще три новых статьи. Следующий раз он зайдет на ваш сайт не через семь дней, а через три. И так далее. А теперь представьте обратную ситуацию. Вы пишите редко. Робот пришел, а у вас ничего нового нет, ушел ни с чем. Пришел через неделю, опять та же ситуация. В следующий раз он придет через месяц. Зачем ему идти туда, где его не кормят? По поводу неуникального контента я думаю все понятно. Скопированный текст напрочь отбивает желание робота возвращаться к вам на сайт.

3. Создание карты сайта для робота. Это список всех страниц вашего блога в специальном формате. Создается он при помощи специального плагина Google Sitemap Generator. Устанавливаете плагин, нажимаете на кнопку создать карту сайта и в корне вашего блога появляются два файла: sitemap.xml и sitemap.xml.gz. Эти файлы нам понадобятся для следующего шага.

4. Регистрация в инструментах для вебмастеров Яндекса и Гугла. Это абсолютно необходимые сервисы для успешного ведения блога. В оба сервиса необходимо добавить ранее созданную карту сайта.

5. Создание верного файла robots.txt . Этот файл показывает роботам, что на вашем блоге надо индексировать, а что не надо.

6. Грамотная перелинковка и страница со всеми статьями на вашем блоге.

7. Добавление в настройки вашего wordpress списка пинг сервисов. Это специальные сервисы, которые при возникновении новой статьи у Вас на блоге отсылают запрос (пинг) поисковым роботам с призывом прийти на ваш сайт, и далее их нужно вставить в — параметры -> написание -> и в низу самом будет окно «сервисы обновления». Вот туда и надо вставить весь список, каждый сервис с новой строчки.

Ускорение индексации сайта (внешние факторы)

Фишка №1. После написания нового поста необходимо добавить ссылку на него в Яндекс и Google . Для этого у каждого поисковика есть специальные сервисы, так называемые «аддурилки» . В необходимой строке указываем ссылку на статью и нажимаем кнопку Добавить. У Яндекса необходимо ввести капчу, у гугла необходимо иметь аккаунт. Я пользуюсь специальным сервисом под названием PostPR.ru. Он позволяет сразу добавлять ссылку в обе поисковые системы. Позже мы еще вернемся к этому сервису.

Фишка №2. Добавление анонсов нового поста в социальные сети. Вам необходимо зарегистрироваться в таких соцсетях как Вконтакте, Одноклассники, Twitter, Facebook, Mой мир.

Фишка №3. Добавление анонсов в специальные группы для вебмастеров. Для этого регистрируемся в Grabr.ru, Postpr.ru (надеюсь, уже зарегистрировались), Webice.ru и Subscribe.ru. После написания поста добавляем анонсы в эти группы.

Фишка №4. Регистрация в 5-8 форумах по вашей тематике. Фишка в том, что в вашем в профиле практически на любом форуме можно оставить ссылку в подписи на свой сайт. После написания поста необходимо оставить осмысленный комментарий на каждом форуме. Автоматически вы получите несколько ссылок на свой ресурс.

Фишка №5. Комментирование блогов своей тематики. Опять же комментарии должны быть развернутыми и должны нести некоторую смысловую нагрузку. В противном случае ваши комментарии не пройдут модерацию, и админ их просто удалит.

Фишка №6. Добавление анонса статьи в социальные закладки. Много кто говорит, что социальные закладки уже умерли, но, тем не менее, на мой взгляд, пользоваться ими надо. Для постинга в социальные закладки я использую сервис bposter.net.
Он позволяет одновременно добавить анонс сразу в несколько наиболее популярных закладок (предварительно необходимо зарегистрироваться в каждой из закладок, впрочем, функция автоматической регистрации присутствует в данном сервисе). В бесплатной версии стоит ограничение на постинг только в 10 закладок. Всего же их 292. Что бы делать анонсы во все 292 закладки необходимо приобрести VIP-аккаунт. Стоит это не так дорого (20 долларов), VIP статус сохраняется пожизненно. Если вы решили серьезно заняться блоггингом, то советую вам его приобрести.

Второй способ добавления анонсов в социальные закладки – это использование специального программного обеспечения. На данный момент больше всего популярной является программа под названием Жукладочник. Более подробно можете почитать на сайте разработчика. Принцип работы тот же.

Фишка №7. Сервисы вопросов-ответов от Google и Mail.ru. Принцип тот же. Ищем подходящий вопрос, пишем на него ответ и ставим ссылку на свою статью.

Фишка №8. Создание блогов на бесплатных платформах, таких как wordpress.ru, Livejournal.com, blogspot.com, liveinternet.ru, my.ya.ru, blogs.mail.ru. На каждой платформе заводим отдельный блог по вашей теме, и после написания нового поста делаем анонсы во всех этих блогах. Много писать не надо, пара предложений и ссылка на новую статью.

Фишка №9. Прогон сайта по каталогам. Прогон вещь конечно хорошая, но не стоит ей злоупотреблять. Не рекомендую делать его чаще одного раза в месяц, в противном случае можно заработать какой-нибудь фильтр от поисковиков. В настоящий момент расплодилось огромное количество сервисов, предлагающих данную услугу. Цены везде разные, начиная от 50 рублей и до нескольких тысяч. Это зависит от качества и количества баз, по которым делается прогон.

Это методы как Вы поняли для белых сайтов . Что касаемо дорвеев и прочего. Можно добавить к этому списку спам по гостевым книгам, форумам, WEB 2.0 платформам.

Когда на сайте 10, 100 или 1000 страниц, то о полноте индексации, как правило, переживать не стоит. Но если речь идет о большом проекте (в основном, это интернет-магазины) с сотнями тысяч документов (а порой и несколькими миллионами), то с индексированием могут возникнуть проблемы.

Ниже я расскажу, как улучшить индексацию, чтобы добиться максимального количества эффективных посадочных страниц в индексе поисковых систем.

Индексация - основа поискового трафика. Непроиндексированная страница не принесет посетителей из поиска. Плохое качество индексации - один из главных "звонков" о проблемах в ранжировании сайта.

Поисковые системы стали более избирательны, чем ранее. С каждым годом количество сайтов и, соответственно, страниц растет чуть ли не в геометрической прогрессии. Если добавлять в индекс все, что на них публикуется, то это будет дополнительными расходами на серверные мощности. Поэтому поисковики выбирают, что и сколько им индексировать.

От чего отталкиваться?

Нельзя просто ввести, например, в google site:domen.ru, посмотреть результаты и сказать, что мой сайт плохо индексируется. Почему? Во-первых, количество проиндексированных страниц необходимо смотреть в Google Search Console и/или Яндекс.Вебмастер. Данные из поисковой выдачи могут серьезно отличаться от реальных.

Во-вторых, полученное количество документов в индексе нужно сравнивать с числом полезных страниц ресурса. Что сюда входит:

1. Категории/разделы;
2. Карточки товаров;
3. Статьи в блоге;
4. Фильтры, метки или теги (если индексируются);
5. Обзоры пользователей;
6. Отзывы;
7. Служебное меню ("О компании", "Услуги", "Оплата", "Доставка" и т. п.);
8. Бренды/производители;
9. Новости

В общем, необходимо проанилизировать структуру проекта и сложить количество всех полезных страниц. Затем полученную сумму сравнивать с числом документов в индексе по данным поисковых систем. Если:

Главные задачи:

1. запретить к индексации все лишнее на сайте;
2. давать только измененный и непроиндексированный контент;
3. помочь поисковым системам найти важные страницы.

1. Настройте Last-Modified и If-Modified-Since

Это HTTP-заголовки, которые сообщают индексирующему роботу о последнем изменении страницы. Если она изменена, то он зайдет на нее и проиндексирует (в случае если о ней до этого не знал)/переиндексирует. Если нет (сервер возвращает ответ "304 Not Modified") - проигнорирует и перейдет к другой.

Зачем это делать? Дело в том, что у каждого ресурса имеются свои ограничения по количеству просканированных документов за раз - краулинговый бюджет. На его величину влияет качество проекта, актуальность контента, частота обновлений и т.п.

В итоге краулинговый бюджет не тратится на неизмененные страницы - увеличивается число проиндексированных документов.

2. Избавьтесь от дублей и "мусорных" страниц

Второй по счету, но не по важности пункт. Краулинговый бюджет может тратиться не только на неизмененный контент, но и также на дубли и "мусор". Что сюда входит? В основном это страницы:

• поиска;
• с ошибками 404;
• календаря;
• с сессиями в URL;
• фильтров;
• тегов/меток;
• с некачественным контентом: пустые, спамные;
• служебные (корзина, административная панель);
• с версиями для печати;
• сортировок.

Это далеко не полный список. Все случаи индивидуальны. Как правило, качественный аудит расставляет точки над i .

На заметку . Редиректы и альтернативные страницы ( , hreflang и, вероятно, ) также забирают краулинговый бюджет.

3. Организуйте грамотную перелинковку

Пункт "лежит" на поверхности, но не все им пользуются. - сильный фактор для улучшения индексации. На что здесь можно обратить внимание:

• блок "похожие товары";
• сопутствующее;
• популярные;
• со скидкой и по акции;
• предыдущий/следующий товар;
• хлебные крошки

Чем меньше вложенность страниц, тем лучше для индексации. Следите, чтобы до любого документа можно было добраться с главной за 3-5 кликов.

4. Создайте Sitemap: XML + HTML

Тоже общеизвестный пункт, но со своими особенностями. Частые ошибки:

• неработающие подкарты со старыми урлами (когда-то все работало, но спустя время перестало - необходимо иногда проверять sitemap);
• все ссылки на одной странице (ограничение 50.000 URL на одну карту; если больше - создавать несколько подкарт);
• sitemap на поддомене (нужно публиковать карту в рамках основного доменного имени).

Есть следующий интересный способ. В карту сайта добавляются не все, а только непроиндексированные документы. Сам такой метод не тестировал, но логика в нем несомненно имеется . Первое - реализовать подобное будет не совсем просто (необходима дополнительная разработка, взаимодействие с Яндекс.Вебмастером/Google Search Console). Второе - использовать только тогда, когда стоит задача добавить в индекс, действительно, большое количество URL"s.

5. Уменьшите время загрузки сайта и оптимизируйте сервер

Многие вебмастера знают, что если сканировать медленный сайт, например, Screaming Frog SEOSpider или XENU, то программы работают существенно дольше. У индексирующих роботов схожий принцип работы. Чем меньше 5хх-ошибок и быстрее:

• ответ от сервера;
• генерация страниц;
• отдача контента;
• и т. п.

тем легче поисковому пауку будет взаимодействовать с сайтом, тем полнее он будет индексироваться.

Пункт важен не только в индексации, но и в рамках ранжировании. Им в принципе пренебрегать не стоит.

6. Плавно увеличивайте число страниц

Поставьте планировщик, который будет публиковать все страницы постепенно. Например, можно разделить общее количество на 2-6 месяцев (в зависимости от масштабов). Так поисковому роботу будет легче индексировать ресурс. Дополнительный бонус - раз проект постоянно обновляется, то он развивается (сигнал для ранжирования).

7. Направьте трафик на непроиндексированные страницы

"Трафик и индексация, где здесь связь?" - спросите вы. Раньше, может быть и не было, но сейчас есть. 2 пункта:

• Сервисы статистики (например, Яндекс.Метрика) могут отправлять непроиндексированные документы на индексацию. Что мешает Google Analytics делать то же самое (хотя официальных подтверждений я не нашел).
• Браузеры (Яндекс.Браузер, Google Chrome) могут поступать аналогично.

Логика в следующем: раз страницу посещают, то, скорее всего, она полезная, а значит должна быть в индексе. Устанавливайте сервисы статистики от поисковых систем и приобретайте трафик. Не обязательно дорогой контекстный. Можно задействовать и другие источники:

• социальные сети;
• тизерные системы;
• задания на почтовиках;
• САРы.

Соответственно, "лить" трафик на непроиндексированные документы.

8. Поставьте ссылки

Еще один дополнительный сигнал поисковым системам о том, что сайт нужно индексировать наиболее полно. Вечные ссылки на каждую страницу, конечно же, не поставишь. Здесь больше важен общий уровень доверия со стороны поисковиков.

Можно использовать общую ссылочную стратегию для основных продвигаемых страниц (будет также полезно). Немного "рискованный" вариант - использование арендных ссылок, но без фанатизма (подбирать , высокий уровень вложенности и использовать ).

Добавить в индекс несколько миллионов документов не совсем простая задача. В каких-то случаях может помочь только 1-2 пункта, но лучше использовать весь комплекс. А какие способы вам кажутся самыми эффективными? Может быть, вы знаете другие варианты? Буду рад пообщаться с вами на эту тему в комментариях.