16 источников входящих ссылок на сайт собираем в одну базу

Мы используем множество источников внешних входящих ссылок (сервисы Ahrefs, Semrush, Majestic и т.д.). Ни один сервис не умеет находить все бэклинки, которые ведут на сайт. Поэтому, для получения более полной ссылочной базы используется максимальное количество источников и каждый источник дополняет остальные.

Работать будем в Google-таблицах с использованием Excel и других прикладных программ. Ниже пример сводного листа созданного по 16 источникам:

После сбора и проработки (ее рассмотрим в следующий раз) эти данные можно будет использовать для:

1. Отправки некачественных доменов в сервис Google Disavow Tool для их отклонения.
2. Усиления качественных ссылок за счёт выстраивания ещё одного ссылочного уровня для них.
3. Настройки редиректов с битых посадочных страниц продвигаемого сайта.
4. Пополнения ссылочной базы агентства новыми качественными доменами для ссылочных работ.

Но основной задачей является индексация качественных, но ещё не проиндексированных ссылок.

При работе с файлом особое внимание стоит уделять корректному оформлению. Этот файл предоставляется клиенту и нужно, чтобы он выглядел профессионально и скрупулезно проработанным.

В качестве шаблона используем файл "Шаблон - Анализ ссылочного профиля для GDL (00.0000), site.ru". Заполненный шаблон выглядит приблизительно так:

Оформление:

• Порядок вкладок в файле организован таким образом, чтобы в первую очередь прорабатывать источники с более качественными данными, тогда в последних источниках с менее качественными данными останется не так много доменов на проверку. В связи с этим нужно прорабатывать вкладки в том порядке, в котором они представлены в шаблоне, сам порядок вкладок также нельзя менять.
• Все данные в источники вставляем только таким образом: Правая кнопка мыши → Вставить без форматирования (Ctrl+Shift+V).
• Все ссылки в punycode конвертируем в кириллицу. Например: http://xn----btbeefogby2aeg6ao.xn--p1ai/ после конвертации: http://где-поблизости.рф/
• Названия, количество и порядок столбцов в файлах выгрузки из сервисов могут меняться в связи с их внутренними обновлениями. Поэтому при вставке данных нужно следить корректно ли всё вставилось, не поехали ли данные в таблице.

На заполнение всех источников ссылок уходит ~4-5 часов. Поэтому лучшим решением для экономии времени будет постепенное заполнение источников данными. Например, заниматься добавлением данных из Semrush лучше всего после полной проработки ссылок из Ahrefs.

После проверки всех ссылок в файле встаёт вопрос о том, когда следует обновить данные в источниках и начинать повторную проработку ссылочного профиля. Частота обновления данных в источниках и повторное выполнение задачи зависит от скорости появления новых ссылок на сайт по каждому конкретному проекту. Это может быть раз в 3/6/12 месяцев, в зависимости от скорости появления новых ссылок.

В этом разделе будут описаны шаги для получения данных из различных источников. Всего проверяем 16 источников.

Этот источник нужен для того, чтобы указывать в нём ссылки, которые мы в агентстве "Релианта" проставили сами в рамках ссылочных работ. Например, типы работ: "Каталоги", "ДИС", "Веб 2.0", "Форумы", "Доски", "Покупка ссылок на биржах", "PBN" и так далее. Можете пока пропустить. Пример:

Все эти ссылки являются качественными по умолчанию. У добавления этих ссылок в файл есть две цели:

• Экономия времени. Мы точно знаем, что это качественные ссылки, которые не требуют проверки.
• Одна база. Все качественные ссылки для дальнейшей индексации будут находиться в одном месте.

Каждый раз перед началом работ нужно обновлять данную вкладку, дополняя её новыми ссылками.

1. Заходим в Ahrefs, открываем раздел "Backlinks" и выставляем настройки:

"Show history" - если у сайта есть тысячи доменов-доноров, то эту настройку можно не трогать. Если же данных немного, то выставляем самый максимальный диапазон, который позволяет выбрать тариф Ahrefs. Эта функция позволяет увидеть страницы, с которых раньше стояли ссылки на продвигаемый сайт, но потом они пропали. Несмотря на это (видимо из-за задержки обновления данных в Ahrefs) часть ссылок на наш сайт со страниц, откуда они пропали, на самом деле активны. Таким образом можно найти дополнительные ссылки на сайт.

2. Выгружаем данные и открываем файл в Excel:

3. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

4. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Semrush, открываем "Backlink Analytics" и выставляем настройки:

2. Выгружаем данные и открываем файл в Excel:

3. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

4. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Majestic, открываем "Backlinks" и выставляем настройки:

2. Выгружаем данные и открываем файл в Excel:

3. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

4. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Keys.so, открываем "Входящие ссылки":

2. Выгружаем данные и открываем файл в Excel:

3. Следуем инструкции "Получение 1 ссылки с 1 домена" (в приложении).

4. Для столбцов "Дата обнаружения" и "Дата обновления" устанавливаем "Краткий формат даты".

5. Далее в Excel через формулу ВПР, например, =ВПР(N2;$A:$L;2;0)), подтягиваем данные в пустые столбцы.

6. Для получения доменной зоны следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

7. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Serpstat, открываем "Backlinks" и выставляем настройки:

Нажимаем "Copy" и копируем данные из буфера обмена в Excel.

Если данных больше 500, то нужно будет также скопировать данные с других листов.

С "Lost backlinks" поступаем, как с "Show history" в Ahrefs.

2. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

3. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Регистрируемся по ссылке (вводить номер телефона необязательно). Также можно зарегистрироваться через вход в Gmail-аккаунт.

2. Отвечаем на короткий опрос.

3. Подтверждаем аккаунт по ссылке на почте.

4. Переходим сюда (или из меню слева "Backlinks" → "All Reports").

5. Жмем кнопку "Search".

6. Далее "Get Full Report".

7. Жмем на цифру в отчете:

8. Выбираем "One Backlink Per Domain".

9. Следуем инструкции "Получение данных c помощью Link Grabber" (в приложении).

10. Получаем "Title" ссылок через "SEO Screaming Frog.

11. Следуем инструкции "Получение списка доменов и доменных зон" для получения списка доменов для всех ссылок (в приложении).

12. Следуем инструкции "Получение 1 ссылки с 1 домена" (в приложении).

13. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Регистрируемся по ссылке.

2. Подтверждаем почту.

3. Переходим сюда (или из верхнего меню "SEO Tools" → "LinkMiner").

4. Вводим домен, жмем зеленую кнопку "Find backlinks".

5. Жмём "Copy to clipboard":

6. Следуем инструкции "Получение 1 ссылки с 1 домена" (в приложении).

7. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

8. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Xtool, открываем "Ссылки".

2. Вводим полный адрес сайта и жмём "Найти".

3. Над таблицей со ссылками нажимаем "Выгрузить в Excel".

4. Выгружаем данные и открываем файл в Excel.

5. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

6. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Backlinkwatch.

2. Вставляем в поисковую строку адрес главного зеркала сайта и нажимаем "Check Backlinks".

3. Следуем инструкции "Получение данных c помощью Link Grabber" (в приложении).

4. Получаем "Title" ссылок через "SEO Screaming Frog".

5. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

6. Копируем все данные из Excel файла в рабочий онлайн-файл.

Этот источник подразумевает, что мы получаем данные по внешним входящим ссылкам на сайт из SERP Yandex.

1. Следуем инструкции "Получение данных из SERP" (в приложении).
2. Следуем инструкции "Получение списка доменов и доменных зон" для получения списка доменов для всех ссылок (в приложении) (в приложении).
3. Следуем инструкции "Получение 1 ссылки с 1 домена" (в приложении).
4. Следуем инструкции "Проверка наличия ссылок на сайтах-донорах" (в приложении).
5. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).
6. Копируем все данные из Excel файла в рабочий онлайн-файл.

Все действия аналогичны источнику "SERP Yandex". Небольшим отличием является только то, что Google обычно предоставляет немного меньше данных, чем Yandex.

30.05.2024 Яндекс анонсировал перезапуск раздела "Ссылки". Теперь этот источник стал доступен для полноценной работы. Этот источник предоставляет очень много сайтов, которые работают по методу хотлинкинга. Все эти сайты по умолчанию мы помечаем как некачественные.

1. Заходим в Яндекс Вебмастер.

2. Выбираем нужный сайт.

3. Заходим в раздел "Ссылки" → "Внешние ссылки".

4. Скачиваем архив.

5. Извлекаем файл из архива.

6. "Файл" → "Открыть" → используем "Мастер текстов".

Пример:

7. Следуем инструкции "Получение списка доменов и доменных зон" для получения списка доменов для всех ссылок (в приложении).

8. Следуем инструкции "Получение 1 ссылки с 1 домена" (в приложении).

9. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

10. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Google Search Console.

2. Выбираем нужный сайт из выпадающего списка слева.

3. Заходим в раздел "Ссылки".

4. В правом верхнем углу нажимаем "Экспортировать внешние ссылки" → "Новые ссылки".

5. Выгружаем данные и открываем файл в Excel.

6. Получаем "Title" ссылок через "SEO Screaming Frog".

7. Следуем инструкции "Получение 1 ссылки с 1 домена" (в приложении).

8. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

9. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Yandex Metrika.

2. Выбираем проект.

3. "Отчеты" → "Источники" → "Сайты".

При большом объёме данных Яндекс Метрика часто начинает тормозить и выдавать ошибки. Чтобы получить данные, нам нужно упростить ей задачу:

• Выставляем "Детализация: по месяцам".
• В качестве типа отображения данных "Диаграмма".
• В меню "Группировки" удаляем всё, что там есть и добавляем только "Реферер".
• В меню "Метрики" оставляем только "Визиты".

Настройки:

• Выставляем "Выборка: 100%".
• В качестве начальной даты берём год, когда Метрика впервые получила какие-то данные по сайту. Эту дату можно также вычислить в отчёте "Отчеты → "Посещаемость" (этот отчёт грузится быстрее).
• В качестве конечной - текущую дату.

4. Выгружаем данные таблицы и открываем файл.

Часто бывает так, что ссылка на сайт-акцептор размещена на всех страницах донора (сквозная ссылка).

Нам нет смысла сканировать все страницы таких доноров. Поэтому лучше будет избавиться от этих лишних страниц.

5. Преобразуем данные в такую таблицу:

Пример формулы подсчёта: =СЧЁТЕСЛИ($A$2:$A$1048576;A2)

6. Оставляем около 10 страниц с каждого такого "сквозного" донора.

7. Несколько раз сканируем страницы в "SEO Screaming Frog" и собираем список "200 - Ok" страниц.

8. Следуем инструкции "Проверка наличия ссылок на сайтах-донорах" (в приложении).

9. Копируем в Excel страницы, на которых были обнаружены ссылки на наш сайт.

10. Следуем инструкции "Получение списка доменов и доменных зон" для получения списка доменов для всех ссылок (в приложении).

11. Следуем инструкции "Получение 1 ссылки с 1 домена" (в приложении).

12. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

13. Копируем все данные из Excel файла в рабочий онлайн-файл.

1. Заходим в Google Analytics 4.

2. Выбираем проект.

3. "Отчеты" → "Жизненный цикл" → "Источники трафика" → "Привлечение трафика".

4. Из выпадающего списка в таблице ниже выбираем "Источник сеанса". Пример:

5. Выставляем максимальный период.

6. Выгружаем данные.

7. Следуем инструкции "Получение данных из SERP" (в приложении).

8. Следуем инструкции "Получение списка доменов и доменных зон" для получения списка доменов для всех ссылок.

9. Следуем инструкции "Получение 1 ссылки с 1 домена" (в приложении).

10. Следуем инструкции "Проверка наличия ссылок на сайтах-донорах" (в приложении).

11. Следуем инструкции "Получение списка доменов и доменных зон" (в приложении).

12. Копируем все данные из Excel файла в рабочий онлайн-файл.

Проверка наличия ссылок на сайтах-донорах

1. Запускаем "SEO Screaming Frog".

2. Скачиваем файл настроек для парсинга.

3. Загружаем настройки в SEO Screaming Frog.

4. Настраиваем количество потоков "Configuration" → "Speed" (10-30 в зависимости от скорости интернета и ПК).

5. Открываем настройки дополнительного поиска.

6. Вбиваем название сайта без суффиксов и протоколов. Если доменное имя сайта кириллическое, то при поиске нужно использовать как кириллическое написание, так и написание в punycode, которое можно сгенерировать, например, тут.

• сайт.рф (кириллица)
• xn--80aswg.xn--p1ai (punycode)

7. Копируем страницы, которые мы хотим проверить на наличие ссылок, в буфер обмена.

8. Вставляем ссылки ("Mode" → "List") и ("Upload" → "Paste").

9. Ждём окончания парсинга.

10. Везде, где значение "Search 1" > 0 означает, что ссылка была найдена на странице.

11. Чтобы получить список этих страниц используем фильтр.

Если у нас было 2 значения, как в примере выше:

• сайт.рф (кириллица)
• xn--80aswg.xn--p1ai (punycode)

то настройки фильтра будут выглядеть так:

12. Так мы получаем список страниц, на которых есть ссылки на наш сайт

Столбцы и "Domain" и "Domain zone" присутствуют на всех листах рабочего файла и принцип их формирования один и тот же - для этого нам потребуется Excel.

Domain

Этот список нужен для того, чтобы формулы рабочего файла сравнивали такие списки между собой и показывали какие домены уникальны и ещё не встречались, а значит требуют проверки.

1. Копируем все ссылки источника в столбец "Domain".

2. Запускаем SEO Tools в "Excel" → "Гиперссылки и UTM-метки" → "Изменить протокол".

3. Удаляем все протоколы.

4. Удаляем всё, что идёт после слеша через Ctrl+H и /*

и получаем список доменов, очищенный от суффиксов, протоколов, слешей и внутренних страниц.

Domain zone

Зачастую доменная зона может указывать на спамный характер ссылки и эти данные могут пригодиться для фильтрации ссылок и их отсева, как некачественных.

1. Копируем данные столбца Domain.

2. Удаляем всё, что идёт после слеша через Ctrl+H и *.

и получаем список доменных зон.

Получение 1 ссылки с 1 домена

Бывают ситуации, когда сервис не позволяет сделать выгрузку данных в формате "1 домен - 1 ссылка". В этом случае придётся сделать это вручную в Excel.

1. Получаем список входящих ссылок из любого сервиса.

2. Следуем инструкции "Получение списка доменов и доменных зон".

3. Далее копируем список доменных имен в пустой столбец справа и удаляем дубликаты.

4. Далее через ВПР подтягиваем к доменам по 1 ссылке.

Получение данных из SERP

1. Открываем Key Collector 4.

2. Создаём новые группы под проект:

3. Добавляем запросы на парсинг в обе группы:

Пример для источника SERP:

Пример для Yandex Webmaster, Yandex Metrika и Google Analytics 4:

4. Проверяем настройки Key Collector:

Настройки для Yandex:

Настройки для Google:

5. Собираем поисковую выдачу в группе по Яндексу. Кнопка:

Количество исследуемых позиций для Яндекса: 200

6. Собираем поисковую выдачу в группе по Google. Кнопка:

Количество исследуемых позиций для Google: 100

7. Выбираем одну из поисковых систем, выгружаем данные с такими настройками и открываем файл:

8. Копируем ссылки из столбца "URL [Yandex]" или "URL [Google]".

Получение данных c помощью Link Grabber

Чтобы извлечь ссылки со страницы иногда удобнее использовать расширение Link Grabber для Google Chrome.

1. Устанавливаем расширение Link Grabber в Google Chrome.

2. После установки расширения в Google Chrome открываем страницу с данными, которые нам нужно извлечь.

3. При необходимости подгружаем на страницу максимальное количество ссылок.

Например:

4. Google Chrome нажимаем на значок расширения.

5. На открывшейся странице отмечаем чекбокс "Hide same hostname":

Это отсекает те ссылки на странице, которые относятся к самому сервису и не нужны нам. Пример:

6. Копируем данные в буфер обмена и вставляем в Excel.

7. В Excel в начале и конце списка удаляем лишние ссылки, которые не имеют отношения к беклинкам. Пример:

Если в сервисе несколько страниц с данными, то нужно проделать описанные операции несколько раз, чтобы взять ссылки со всех страниц.

Таким образом мы собрали полную базу входящих ссылок на сайт с помощью платных и бесплатных источников. В следующей статье расскажем, как мы в агентстве "Релианта" анализируем все эти большие массы ссылок (чистим по маскам, проходимся руками), какие из них считаем "плохими", а какие "хорошими".