Ускоряем индексацию сайта проверенными способами

Большую часть трафика (посетителей) многие сайты получают с поисковых систем. Но чтобы этого добиться, сайт как минимум должен быть ими проиндексирован. Назревает вопрос: что такое индексация сайта? Это процесс сканирования и добавления сайта и всех его страниц роботом поисковой системы в базу данных для того, чтобы он стал доступен для поиска. То есть если ваш сайт не будет проиндексирован поисковиком, то он не будет появляться в его выдаче при поиске, а соответственно посетителей с поисковых систем можете и не ждать.

Своим клиентам и людям, которые далеки от интернета, но тоже хотят, так сказать, приобщиться, на вопрос о том, что такое индексация сайта, я отвечаю просто — это процесс запоминания сайта поисковой системой. Может быть, звучит не совсем верно, но зато более или менее понятно. Если им сказать точное определение, то сразу возникнет масса вопросов про базу данных, роботов и так далее. Ведь некоторые даже не слышали про поисковики, и им приходится говорить примерно следующее: «Ну ведь про яндекс и гугл слышали что-нибудь?» Если они отвечают положительно, то остается лишь добавить: «Ну вот это и есть поисковики (поисковые системы).» И тогда все становится на свои места. На самом деле в этом нет ничего страшного, что люди плохо осведомлены в данной теме. Хорошо, что они хотя бы интересуются и хотят узнать об этом.

Вебмастеров же волнует более серьезный вопрос: как ускорить индексацию сайта? Тема на самом деле очень важная, но весьма простая в освоении. Изучив мои советы и применив их на практике, позже вы будете все это делать на автомате. Но для начала давайте определимся с тем, как долго индексируется сайт. Я знаю, что это волнует большую часть начинающих сайтостроителей. Не раз встречал вопросы на форумах об этом. Многие вебмастера, создав сайт и набив его минимальным количеством контента, уже через 3-5 дней бьют тревогу, почему он все еще не проиндексировался. Хочу успокоить вас. Это нормально, особенно в случае с яндексом. У меня был сайт, который целый месяц никак не мог залезть в индекс. Сказать честно, я для этого ничего особенного и не делал, так как для меня тогда это было не в приоритете. Но потом он благополучно проиндексировался, и впредь проблем с этим не возникало.

Пока сайт молод и не оброс внешними ссылками, доверие к нему со стороны поисковых систем находится на очень низком уровне. Не ждите, что новые страницы сайта будут влетать в индекс моментально, не ждите и высоких позиций в выдаче. Всему свое время. Если будете хорошо развивать свой ресурс, то спустя несколько месяцев поток посетителей с поисковых систем вам обеспечен.

Как ускорить индексацию сайта?

Итак, переходим к главному. Быстрая индексация сайта интересует всех вебмастеров. Это вполне реально, и добиться этого, кстати, можно бесплатными способами. Сразу хочу сказать, все, что связано с оптимизацией сайта под поисковые системы, включает в себя внутренние и внешние факторы. Работать необходимо как над теми, так и над другими. Начинать нужно именно с внутренней оптимизации. Порой ее бывает достаточно.

Ускорение индексации сайта — внутренняя оптимизация

1. Структура сайта.

Здесь работает правило трех кликов, то есть каждая страница сайта должна находиться не далее чем за три клика от главной. Продумайте меню. Если имеются страницы, на которые вообще не ведет ни одна ссылка, то обязательно исправьте это.

2. Внутренняя перелинковка сайта.

Без этого никуда. Грамотная внутренняя перелинковка может не только ускорить индексацию сайта, но и улучшить его позиции в выдаче поисковых систем. Иногда лишь ее достаточно, чтобы занять топовые места в выдаче по низкоконкурентным запросам.

Сделайте блоки с ссылками на популярные последние и похожие посты. Расположить их можно в сайдбаре (боковой колонке), под статьей или в любом другом удобном на ваш взгляд месте. Ссылайтесь в новых постах на старые. Также не помешает зайти в некоторые старые посты и проставить в них ссылки на новые. Не лишними будут и ссылки на следующую и предыдущую новости в статье. С каждой страницы 1-2 ссылки должны вести на главную. Таким образом все страницы вашего сайта будут связаны между собой ссылками. Это ускорит индексацию, а также исключит в будущем вылетание страниц из индекса. Ведь и такое бывает.

3. Файл robots.txt.

При помощи данного файла можно указать поисковому роботу, какие страницы индексировать можно, а какие нельзя, путь до карты сайта, главное зеркало и другие моменты. Подробно об этом я писал в этой статье. Правильно составленный robots.txt может заметно ускорить индексацию сайта. Поисковому роботу не придется индексировать различный мусор (с точки зрения поисковиков), который не должен находиться в индексе, а потом самостоятельно исключать его. Роботу будет сразу указано на это, и таким образом ему потребуется гораздо меньше времени на индексацию сайта.

4. Карта сайта.

Для каждого сайта обязательно должна быть составлена карта (sitemap). В ней указаваются ссылки на абсолютно все страницы сайта, таким образом вы облегчаете поисковым роботам их задачу. Им не придется рыскать в дебрях вашего сайта, так как все будет доступно в одном файле. Карта сайта, как правило, создается в двух форматах. Карту в формате xml (выглядит так) нужно скормить поисковикам, а в формате html выложить на сайт в качестве отдельной страницы. Чтобы ускорить процесс, необходимо сообщить поисковикам о наличии карты сайта в вебмастерках яндекса (здесь) и гугла (здесь). Кстати, если вы до сих пор не добавили свои сайты в поисковые системы, обязательно это сделайте. Подробнее об этом я буду рассказывать в следующих статьях, поэтому подпишитесь на обновления моего блога.

Создать карту сайта можно как при помощи специального плагина для конкретной CMS (для wordpress — это Google XML Sitemaps), так и при помощи онлайн сервисов, таких как этот или этот. После того как карта в формате xml будет создана, помещаем ее в корень сайта и сообщаем о ней поисковикам. Дальше дело за поисковыми роботами.

5. Качество контента.

Кто бы что ни говорил, но с большим аппетитом поисковики поглощают качественный и уникальный контент. Естественно в индекс влетает и копипаст (ворованный контент), и рерайт, но все же предпочтение отдается тому контенту, который человек написал сам.

6. Частота обновления сайта.

Если вы хотите, чтобы новые страницы влетали в индекс в несколько раз быстрее, то регулярно обновляйте сайт. Чем чаще вы будете его обновлять, тем больше поисковые роботы будут на него заходить.

К примеру, яндекс обновляет свою поисковую базу апами (посмотреть их частоту можно здесь). То есть примерно 1-2 раза в неделю яндекс добавляет в выдачу новые страницы, учитывает новые ссылки, изменяет результаты выдачи. Подробную информацию по апдейтам можно смотреть тут. Если вы будете обновлять свой сайт каждый день, то через некоторое время на нем поселится быстроробот. Каждая новая страница будет индексироваться им в течение нескольких часов. У меня, к примеру, есть сайт, который обновляется ежедневно да еще и по несколько раз, так быстроробот сжирает (по-другому и сказать нельзя) все новые страницы в течение часа, а иногда и 20-30 минут. Таким образом с каждым апдейтом количество проиндексированных яндексом страниц увеличивается.

У гугла вообще другой подход. Новые страницы могут влетать в индекс чуть ли не каждый день. Информации по апдейтам поисковой выдачи нет, потому как она является динамической и постоянно меняется. Если будете обновлять свой сайт регулярно, то и индексироваться он будет быстро.

На этом основные приемы внутренней оптимизации для ускорения индексации сайта заканчиваются. Серьезно и внимательно отнеситесь к каждому из пунктов, так как, в принципе, и их будет вполне достаточно, чтобы сайт хорошо индексировался. Если же он никак не хочет лезть в индекс или новые страницы индексируются не так быстро, как вам хотелось бы, то стоит прибегнуть к внешней оптимизации.

Ускорение индексации сайта — внешняя оптимизация

1. Добавление сайта в поисковые системы.

Об этом уже выше упоминалось. В обязательном порядке добавьте сайт в поисковые системы Яндекс и Google, также не помешает добавить его в другие поисковики. Более того, с появлением на сайте каждой новой страницы сообщайте о ней яндексу здесь. Он, конечно, и сам неплохо справляется со своей задачей, но все же сообщать ему о новых материалах на сайте лишним не будет точно.

2. Покупка внешних ссылок.

Покупать ссылки на совершенно новый сайт я не советую, так как это будет выглядеть слишком неестественно для поисковиков. Подумайте сами, сайту без году неделя, о нем никто не знает, но зато внешние ссылки появляются. Если же ваш сайт уже долгое время не может проиндексироваться, то можете купить одну ссылочку с главной страницы какого-нибудь трастового (с высоким уровнем доверия со стороны поисковиков) и регулярно обновляющегося сайта. Многие ресурсы предоставляют такую услугу. На таких сайтах поисковые роботы, как правило, разгуливают постоянно. Увидев на главной странице исходящую ссылку на ваш сайт, они непременно перейдут по ней. У меня, кстати, есть такой сайт, и если возникали проблемы с индексацией других ресурсов, то я временно ставил на них ссылки с главной страницы.

Другая ситуация, если ваш сайт уже давно в индексе, но какая-нибудь новая страница упорно отказывается туда лезть. В это случае нужно закупить на нее пару-тройку ссылок с других сайтов. Для этого рекомендую воспользоваться биржами вечных ссылок GoGetLinks и RotaPost. Слишком много ссылок не потребуется, но внимательно отнеситесь к подбору площадок. Они должны регулярно обновляться и иметь хорошую индексацию.

3. Ссылки с twitter

Лично убедился в том, что ссылки с твиттера являются очень даже полезными и результативными. Дело в том, что поисковые роботы там просто кишат, и каждая новая ссылка, которая появляется на стене того или иного аккаунта, не остается без внимания. Конечно, больший эффект оказывают ссылки с популярных аккаунтов, так как есть возможность получить еще и ретвиты. Если у вас таких нет, то можете воспользоваться сервисом twite, где можно по вполне приемлемой цене купить ссылки с twitter-аккаунтов. Конечно, попадаются аккаунты с накрученным количеством фолловеров, но куда сейчас без этого? Везде пытаются обмануть и извлечь только собственную выгоду.

Кстати, мой личный опыт с ссылками с твиттера был связан со следующим. У меня был и до сих пор есть блог, с которого я благополучно продаю ссылки на GoGetLinks. Никогда не возникало проблем с индексацией, но как-то раз уже старые страницы стали вылетать из индекса одна за другой. Уровень индексации снизился примерно со 100 процентов до 80 (точно не помню). Я немного запаниковал, но тут мне в голову пришла идея (а, может, кто-то посоветовал) закупить ссылок с твиттер-аккаунтов. Я воспользовался сервисом twite.ru. На каждую выпавшую страницу я закупил по 15-20 ссылок с твиттера. Покупал исключительно дешевые ссылки, дорогие с мега популярных аккаунтов тут ни к чему. Так вот, через некоторое время сайт полностью восстановился в индексе.

4. Социальные закладки.

Конечно, эффект от них уже не такой сильный, как был раньше, уж больно их заспамили. Когда-то при помощи социальных закладок и тИЦ можно было нарастить, но эти времена прошли. Но все же ускорить индексацию при помощи них можно. Вот некоторые из них: Memori, МоеМесто, БобрДобр. Необходимо зарегистрироваться, создать закладку и вставить в нее ссылку. Кстати, ссылки можно ставить как на главные, так и на внутренние страницы сайта.

5. Ссылки с форумов.

Я сам не пользуюсь данным способом, но, если рассуждать логически, то он тоже является действенным. Популярные форумы часто обновляются, а значит на них постоянно присутствуют поисковые роботы. Найдите посещаемый форум на тематику вашего сайта и зарегистрируйтесь на нем. Ссылку можно вставить в подпись и профиль.

6. Комментирование популярных блогов.

К примеру, вы владеете автомобильным сайтом, и вам известен популярный блог схожей тематики. Чаще всего на блогах в форме комментирования имеется поле для указания сайта, туда вы и должны вставить адрес своего ресурса. Не нужно вставлять ссылки в самих комментариях, вряд ли они пройдут модерацию. Конечно, если ваш комментарий окажется полезным, и ссылка в нем будет просто необходима, то скорее всего владелец блога его одобрит.

На этом список внешних факторов, ускоряющих индексацию, я хочу закончить. Конечно, существуют и некоторые другие. К примеру, если у сайта есть RSS-лента, то ее можно добавить в популярные RSS-каталоги, можно сделать кросспостинг анонсов статей в блоги на бесплатных платформах, отвечать в сервисах вопросов и ответов, вставляя при этом свою ссылку, публиковать анонсы постов в социальных сетях, заказывать прогоны по каталогам и трастовым сайтам. Но перечисленных выше способов вполне хватит, чтобы сайт успешно и быстро индексировался. Если этого не происходит, значит вы что-то упустили, пройдитесь еще раз по каждому пункту. Их не так много, всего лишь шесть во внутренней оптимизации и столько же во внешней. Если ваш сайт еще совсем молодой, можете почитать мою статью о том, с чего начать продвижение сайта.

Как видите, невыполнимых задач не бывает. Если сайт плохо индексируется, значит вы что-то сделали не так. Не нужно сразу начинать винить поисковиков, хостера и соседа, который не дает спать по ночам. Кстати, чуть не забыл, ведь на самом деле виной всему может являться и хостинг. У него может быть плохой аптайм (время бесперебойной работы), некоторые хостеры вообще не автомате банят ip-адреса поисковых роботов, у некоторых каналы слабые, и из-за этого медленно загружаются сайты. Все это сказывается на индексации. Лично я некоторое время назад перевез все свои сайты на VPS (виртуальный сервер) от Inferno Solutions, чему очень рад. Сайты работают быстро, проблем с индексацией не возникало вообще. Теперь вы знаете, как ускорить индексацию сайта, дальше дело за вами. Действуйте!