Как проиндексировать сайт в Google через API

Google Indexing Api SEO
При создании сайтов с большим количеством страниц, Google очень неохотно индексирует страницы, даже при отправке карты сайта (sitemap) в аккаунте Google search console. Добавлять страницы в ручную индексацию через кнопку «Запросить индексацию», сопровождается лимитами (не более 10 страниц в день) и часто капчами.

Сегодня поговорим о том как расширить лимиты и отправлять пачками (массово, по 100 страниц за раз, 2 раза в сутки) URL страниц на индексацию при помощи Google Indexing API.

Настройка Google Indexing API

1. Авторизуемся в Google и переходим по ссылке: https://console.cloud.google.com/projectselector2/iam-admin/serviceaccounts?supportedpurview=project.

2. На открывшейся странице переходим в «Service Accounts» и создаем сервисный аккаунт Google нажав на «Create Project».

Создание сервисного аккаунта
Название проекта пишем любое.

Создание сервисного аккаунта - имя проекта

3. На следующей странице нажимайте кнопку «Создать сервисный аккаунт»:

Create service account

В поле имя можно вводить все что угодно, я ввожу название проекта.

Service account details

Далее, обязательно нужно выбрать роль нового аккаунта, это очень важно. Выбирайте «Владелец» либо если у вас так же на английском языке, как у меня — «Owner».

Grant this service account access to project

Далее жмем «CONTINUE» все пропускаем и нажав «Done».

done

4. На следующей странице копируем куда-нибудь созданную почту скопируйте, после чего справа нажимаем на кнопку с действиями и выберете пункт управления ключами «Manage keys».

Переходим в управление ключами

5. На открывшейся странице переходим во вкладку «KEYS» и создаем новый ключ щелкнув по «ADD KEY» — «Create new key».

Создаем новый ключ

в сплывающем окне выбираем формат JSON и жмем по кнопке «CREATE».

Создаем новый ключ в формате JSON

После чего ключ должна начаться скачка ключа на ПК, сохраняем его.

6. Далее идем в настройки Google Search Console и переходим во вкладку «Пользователи и разрешения».

настройки Google Search Console - добавляем нового владельца сайта

На открывшейся странице жмем по кнопке «ДОБАВИТЬ ПОЛЬЗОВАТЕЛЯ», в сплывающем окне, в поле «адрес электронной почты» вводим сохраненный в 4м пункте сервисный email, в поле разрешение ранее обязательно выберете статус «Владелец» (не как на скриншоте). И жмем по кнопке добавить.

Добавляем нового пользователя

Так мы добавили в search console наш ранее созданный сервисный аккаунт и дали ему полные права.

7. Последний шаг включение Indexing API для вашего проекта. Переходим по ссылке: https://console.developers.google.com/apis/api/indexing.googleapis.com/overview
и нажимаем Enable.

включение Indexing API

Все готово. Indexing API Google подключена к Вашему сайту.

Как получить список URL не проиндексированных в Google страниц

Чтобы получить список URL не проиндексированных страниц, зайдите в Search Console, перейдите во вкладку «Покрытие». На открывшейся странице в верху щелкните по вкладке исключено (на скрине серая где 2к страниц). Далее в сведениях ниже увидите в сведениях строки «исключено».

Покрытие - исключено

Нажимаем по одной из строки и проваливаемся на страницу со списком не проиндексированных страниц, где вы их можете экспортировать на ПК.

Экспорт списка исключенных страниц

И точно также скачиваете второй список (если он у вас есть). Потом будите брать из этих списков URL для отправки в индекс.

Отправка страниц в индекс

Для CMS WordPress

Если у вас WordPress, зайдите в его админку и установите маленький бесплатный плагин Instant Indexing for Google, автор Rank Math. В настройках плагина вставьте код из файлика json в поле (скачали этот файлик в 5 пункте, можно открыть блокнотом, а лучше редактором кода).

WP Instant Indexing for Google

После чего можно отправлять страницы в индекс.

WP Instant Indexing for Google - отправка страниц

Для любых сайтов при помощи скрипта

Качаем по ссылке https://github.com/swalker-888/google-indexing-api-bulk скрипт с github на ПК.

качаем скрипт с github

Разархивируем скачанный скрипт, после этого сохраняем в удобной для вас папке (я сохранил его на рабочий стол). Именно с ней мы будем работать.

Открываем папку со скриптом, там есть файлики:

  • service_account.json — открываем его редактором кода (или блокнотом), заменяем все его содержимое на содержимое из скачанного JSON ключа (пункт 5).
  • urls.txt — сюда закидываем 100 url адресов которые хотите отправить в индекс гугла. В сутки можно отправить до 200 url (2 раза по 100 url или 4 раза по 50 url и т.д.).

Скрипт подготовлен к работе, но для его работы нужен node.js, скачиваем его по ссылке https://nodejs.org/en/download/ и устанавливаем.

установка node js

Запускаем скрипт (первый запуск)

После подготовки скрипта и установки node.js можно приступить к запуску скрипта. Для этого запускаем командную строку (обычный запуск, не нужно запускать с полными правами).

В командной строке нам нужно зайти в подготовленную папку со скриптом — у меня это папка «google-indexing-api-bulk-master» которая находится на рабочем столе.

Папка со скриптом - путь

Давайте подключаться, для этого по очереди набираем следующие команды и нажимаем «Enter»:

  1. Заходим на рабочий стол «cd Desktop» (жмем Enter).
  2. Заходим в папку со скриптом «cd google-indexing-api-bulk-master» (папка, в которой находятся наши файлы), нажимаем Enter.

Подключение к папке на рабочем столе

После того как мы зашли в папку, необходимо загрузить нужные файлы библиотеки туда же. Делается это при помощи следующих команд:

  • npm install requests
  • npm audit fix
  • npm audit fix --force

После каждой команды нужно немного подождать.

Загружаем библиотеки

Загружаем библиотеки

После того как все файлы библиотеки установлены (в папке со скриптом появиться еще одна папка с библиотеками «node_modules»), запускаем последнюю команду node index.js.
По итогу вы должны будете увидеть такую финальную картину.

Пример выполнение команды node index.js

Пример выполнение команды node index.js конец

после того как отправили первую партию URL, идем в файл urls.txt, закидываем туда вторую пачку URL и снова выполняем команду node index.js.

Если вместо этого скрина вы увидели что-то другое, значит вернитесь к началу статьи и внимательно проверьте каждый пункт.

Запускаем скрипт (повторные запуски)

Повторный запуск скрипта по факту тот же, что и первый, единственно нам не нужно устанавливать библиотеки:

Идем в скрипт, в файл urls.txt закидываем URL.

Запускаем командную строку и подключаемся к папке скрипта

  1. cd Desktop
  2. cd google-indexing-api-bulk-master

После чего выполняем команду node index.js.

Мои результаты использования API

Если зайти во вкладку покрытие в Google Search Console и посмотреть график, который показывает, какие страницы проиндексированы и находятся в поиске. То увидим следующую картину:

Покрытие

Видите довольно резкий скачок страниц — это время начала использования Google indexing API. Да и как вы видите 425 страниц Гугл все же не проиндексировал. Через пару недель я их снова отправлю и если они снова не про индексируются их скорее всего придется переделывать.

Поделиться с друзьями
Алексей

Веб-дизайнер и SEO оптимизатор. Занимаюсь созданием сайтов с 2010 года и их продвижение с 2012 года!

Оцените автора
( Пока оценок нет )
Web-Revenue.ru