Новый алгоритм Google BERT: как работает и влияет на продвижение

Новый алгоритм Google BERT (Bidirectional Encoder Representations from Transformers - двунаправленная нейронная сеть кодировщик) опирается на использование нейросетей и предназначен для улучшения понимания запросов на естественном языке и стоящего за ними намерения пользователя. Он помогает поисковой системе определить значение слов с учетом контекста всего предложения. Его внедрение должно позволить поиску обучиться находить более релевантные результаты, а пользователям - задавать более естественные запросы.

Bert с открытым исходным кодом, который доступен для исследования и может применяться для обучения других систем анализа языка.

Когда появился алгоритм BERT?

Концепция технологии была подготовлена и представлена в открытом доступе в 2018 году.

В октябре 2019 года появился анонс нового алгоритма от вице-президента Google Search Панду Найак. Началось его внедрение в поиск на английском языке. Запуск BERT считается самым крупным изменением в поисковой системе Google за последние 5 лет. Изначально под его действие попадало 10% англоязычных запросов в США. Со временем планируется распространение на все языки, поддерживаемые поисковой системой.

С декабря 2019 года новая технология BERT начала использоваться для анализа поисковых запросов на русском языке. Например, ранее в ответ на запрос «Памятник строителям коммунизма у Цимлянского водохранилища» поиск выдавал страницу Цимлянской ГЭС из Википедии. BERT помог сформировать выдачу таким образом, чтобы пользователь получал информацию именно о запрошенном монументе.

Применять нейросети для уточнения смысла запроса и установления его связи с текстами документов еще раньше начал Яндекс – с введением в 2016 году нового алгоритма Палех. В 2017 году эта технология получила свое развитие в алгоритме Королев.

С 2018 года Яндекс стал использовать языковую модель BERT в своем переводчике, а с 2019 года – при анализе заголовков новостей.

Принцип действия BERT

Ключевой особенностью BERT является двунаправленное обучение. Традиционные алгоритмы для лучшего понимания значения и релевантности фразы проверяют последовательность слов в предложении только в одном направлении (слева направо или справа налево). В отличие от них BERT анализирует все содержимое предложения – и до, и после слова, включая предлоги и взаимосвязи между словами. Такая модель способна определить смысл запроса более точно, с учетом всего контекста и решить конкретные задачи пользователя.

Использование BERT сделает поиск Google в целом более эффективным прежде всего для длинных запросов на естественном, разговорном языке, особенно для фраз с предлогами.

В качестве одного из примеров приводится запрос «2019 brazil traveler to usa need a visa». До внедрения поисковик не учитывал важность предлога «to» для понимания смысла запроса и возвращал по нему результаты о гражданах США, путешествующих в Бразилию. Хотя на самом деле речь идёт о необходимости бразильским туристам иметь визу для посещения Соединённых Штатов. Теперь Google учитывает предлог «to» и правильно понимает такие запросы.

Где применяется и на что влияет BERT?

1. Заявление Google о запуске BERT относится к органическому поиску. При этом он не будет использоваться для анализа всех поисковых запросов – в первую очередь он предназначен для понимания разговорных фраз и длинных предложений, а также запросов, значение которых зависит от предлогов. Для коротких фраз или поиска по названию компаний данная технология не актуальна. Поэтому влияние алгоритма скажется на ранжировании только части страниц. Прежде всего, это касается результатов поиска по информационным запросам, ответы на которые станут точнее.

2. Данное обновление также будет в какой-то мере влиять и на поиск с помощью голосового помощника Google Assistant. Благодаря обработке таких запросов BERT будут учитываться не только ключевые слова, но и контекст вокруг них. Это позволит выбирать более релевантные ответы из основного поиска.

3. BERT также может оказать влияние на выделенные описания, которые появляются в блоках с быстрыми ответами на нулевой позиции органического поиска (featured snippets или «избранные сниппеты»). На приведенном ниже примере сравниваются избранные сниппеты по запросу «parking on a hill with no curb» (парковка на возвышенности без бордюра) до и после использования алгоритма BERT. Ранее такой запрос приводил Google в замешательство. Поисковая система уделяла слишком много внимания слову “curb” (бордюр) и игнорировала слово “no”, не понимая его важность для нахождения правильного ответа на этот запрос. Поэтому в выдачу попадали результаты о парковках на возвышенности с бордюром.

Сейчас BERT используется при создании избранных сниппетов в 25 странах. Благодаря этому улучшилось формирование выделенных описаний на таких языках, как корейский, португальский и хинди.

4. На данный момент технология не используется в рекламной выдаче, но в будущем допускается возможность её применения в сервисах контекстной рекламы. Это позволит увеличить релевантность показываемых объявлений.

BERT и RankBrain

После внедрения нового алгоритма возникли вопросы о его соотношении с технологией интеллектуального поиска RankBrain, введенной Google в 2015 году.

RankBrain – используется для определения тематики запроса. Он работает наряду с традиционными алгоритмами ранжирования поиска и применяется для уточнения результатов, полученных с помощью этих алгоритмов. RankBrain просматривает запрос, находит его варианты в прошлом, а затем корректирует результаты выдачи. Слова, которые он ранее никогда не встречал, соотносит с теми, что уже упоминались в поиске.

RankBrain помогает поисковой системе находить правильные ответы по смыслу, даже без буквального совпадения ключевых слов в запросе и в документе. Например, при поиске по запросу «купить прибор для измерения тока напряжения и сопротивления» Google смог определить, что речь идет о мультиметре, хотя в запросе он не упоминался.

Новый BERT не заменяет RankBrain, это дополнительный метод, который Google использует для понимания содержимого web-страниц и некоторых запросов. Он может применяться самостоятельно, вместе с другими алгоритмами Google, включая RankBrain, или не использоваться вовсе - в зависимости от потребностей поиска по конкретному запросу.

Как оптимизировать сайт под новый BERT?

Согласно заявлению представителей компании Google, введение нового алгоритма не требует никакой специальной оптимизации. Главным остается создание полезного контента, который удовлетворяет поисковые запросы пользователей.

Использование технологии BERT позволяет сосредоточиться на написании качественных естественных текстов вместо наполнения страниц линейными фразами для поисковых роботов.

Помимо адаптирования текстов для людей, рекомендуется расширение семантического ядра страницы, чтобы привлечь дополнительный трафик. Благодаря способности нового алгоритма лучше понимать длинные предложения, BERT может привести на сайт больше целевых посетителей по низкочастотным запросам с длинным хвостом.

Для того, чтобы расширить список ключевых фраз такими запросами:

• применяйте синонимы – подбирайте такие выражения, которые может использовать ваша целевая аудитория;

• обратите внимание на подсказки, предложенные для автоподстановки в поисковой строке и для поиска по похожим запросам - там отображаются наиболее популярные фразы;

• по возможности добавляйте в текст обороты, часто употребляемые в устной речи - это поможет сайту лучше ранжироваться при голосовом поиске;

• используйте фразы и выражения из скрытой семантики – рекомендации по её добавлению вы можете получить на сервисе «Лабрика».