Поисковой алгоритм «Королёв» – алгоритм Яндекса нового поколения. Система с помощью сигналов нейронной сети совмещает семантику запросов пользователей и той информации, которую они ищут. С помощью новой версии ответы на запросы в Яндексе стали более точными и релевантными, а количество соответствующей информации для сложных запросов увеличилось.
Больше видео на нашем канале - изучайте интернет-маркетинг с SEMANTICA
Например, вы увидели картину, с кричащим человеком. Она вам очень понравилась, и вы решили найти ее в интернете. Но вы не знаете ни имени автора, ни названия самой картины, поэтому вы делаете следующий запрос:
Конечно, полотно не называется «картина, где человек кричит», но поисковик все равно помог нам найти именно то, что мы искали. В этом и есть принцип работы алгоритма «Королёв» – система ищет не только название материала, но и сам текст, размещенный на странице.
Такой же алгоритм работает и в Google, но уже под другим названием RankBrain.
Чем отличается от алгоритма «Палех»
Новый алгоритм «Королев» – это усовершенствованная версия предыдущего алгоритма компании, который носил название « ». Он был представлен в ноябре 2016 года и стал первым шагом в сторону семантического поиска. Его основная задача – лучше понять содержание контента на страницах.
В «Палехе» также использовались нейронные сети для поиска информации, но именно в «Королёве» увеличено их влияние на распределение сайтов поиске. Вот в чем отличия этих алгоритмов:
- В «Королеве» встроена система сравнения смыслов запросов. В Яндексе привели пример запросов «ленивая кошка из монголии» и «манул». Целью двух этих запросов является найти информацию о мануле, и новый алгоритм Яндекса «Королёв» удовлетворит оба варианта поиска
- В «Палехе» нейронные сигналы вступали в действие уже на последних этапах распределения информации, и останавливались примерно на 150 первых документах. Из-за такой схемы поиска терялось довольно много документов, особенно сложных, которые могли быть именно теми, что пользователь искал. «Королёв» ранжирует информацию уже на стадии индексирования, что приводит к вычислению 200 тысяч(!) документов.
После выпуска «Королева» поисковик смотрит не только на заголовок страницы, но и на ее содержание, на текст.
В чем суть работы и обучаемости нейронной сети
Яндекс не достиг бы таких высоких показателей без прямой связи с пользователями. Новый алгоритм совершенствуется и обучается с помощью обезличенной поисковой статистики. Система статистики учитывает, с какого запроса пользователь зашел на ту или иную страницу. Если он провёл на ней много времени, тогда вполне резонно предположить, что это именно та страница, которую он искал. Это значит, что поисковик выдал правильный ответ на вопрос пользователя.
Люди являются главными помощниками машин в этом дела. Яндексу нужна реальная оценка качества поиска от своих пользователей, поэтому они создали специальную платформу – . Пользователи сервиса анализируют и оценивают работу поисковой системы. Они помогают компании улучшать качество работы алгоритма и получают за это денежное вознаграждение.
Раньше этим занимались нанятые работники – асессоры, но с ростом рынка спроса их стало катастрофически не хватать. Это и есть основной причиной создания Толоки.
На данный момент численность участников Толоки составляет больше миллиона человек.
С помощью алгоритма «Королев» Яндекс существенно сможет улучшить качество поиска. Люди сами делают свои запросы в Яндексе лучше, и чем больше людей будет привлечено в данный проект, тем меньше неудач в поиске на нас ждет в будущем.
Принцип работы нового алгоритма «Королёв»
Так же как и в алгоритме прошлого поколения «Палех», текст сайта с помощью нейросети преобразуется в смысловые векторы. «Королёв» высчитывает градиенты страниц не в тот момент, когда вы делаете запрос, а намного раньше, на этапе индексирования. Как только сайт проходит индексирование, к нему уже прикрепляются некоторые ключевые слова, которые поспособствуют дальнейшему упрощению поиска информации. Поэтому, когда вы вводите информацию, Яндекс уже выдает семантически схожие страницы.
Также система способна устанавливать связь между данным единичным запросом и другими запросами, которые способствуют попаданию пользователя на эту же страницу.
Влияет ли алгоритм на выдачу и нужно ли предпринимать какие-то действия, чтобы оптимизировать контент под «Королева»
Да, данный алгоритм в некоторой мере изменил поиск в Яндексе. Вот некоторые точные данные о том, насколько сильные есть изменения:
Как видим, изменение не являются феноменально большими. Особые изменение произошли в возрасте документов. В топ-100 поиска свежие документы теперь будут появляться намного чаще.
Оптимизировать статьи под «Королёв» нет смысла, потому что система учится определять смысл текста самостоятельно, а это значит, что в скором будущем в работе оптимизаторов значимость текстовой оптимизации снизится.
Вчера вечером, в присутствии нескольких тысяч вебмастеров и двух космонавтов, Яндекс объявил о запуске нового алгоритма под названием «Королев». Никогда раньше компания не заявляла об изменении алгоритма с таким размахом: презентация в стиле Apple, прямая связь с космосом, огромный зал Московского планетария, online-трансляция, и пост-релизы в крупных изданиях Рунета. Не удивительно, что такой мощный PR вызвал бурную реакцию SEO-сообщества и очередной всплеск эмоций по отношению к «кровожадному Яндексу, который страстно желает загнать всех в Директ».
Давайте разберемся, что же произошло на самом деле и чего нам ждать от очередных нововведений.
Чего ждать от Королева в ближайшей перспективе?
Основное отличие Королева от предыдущих алгоритмов заключается в том, что ранжируемый документ может считаться релевантным запросу даже в том случае, если сам запрос в теле документа ни разу не содержится (логическое продолжение Палеха, который делал тоже самое, только для Title).
Нейронная сеть выявляет смысловые взаимосвязи между разными словами и фразами, сохраняет их в отдельную базу. На эти взаимосвязи и опирается алгоритм при формировании ответа на конкретный запрос. В итоге ТОПовые страницы могут давать четкий ответ на вопрос пользователя, но при этом не содержать ни слова из самого запроса.
Этот факт вызывает много вопросов и домыслов со стороны вебмастеров. Как теперь оптимизировать тексты? Как распределять запросы по страницам? Стоит ли ожидать просадок позиций и трафика в ближайшее время?
Выводы делать еще рано, но склоняюсь к мнению, что в ближайшей перспективе большинство специалистов не увидят никакой разницы, потому что:
1) Для коммерческих тематик мало что поменяется
Из примеров, которые приводились в презентации и пресс-релизах, видно, что алгоритм работает прежде всего с информационными НЧ, которые отражают смысл вылетевших из головы названий и терминов:
– картина где небо закручивается (ВанГог)
– ленивая кошка из монголии (Манул)
– фильм про человека, который выращивал картошку на другой планете («Марсианин»)
Сложно представить, что пользователь будет искать по такому запросу какой-то товар, например «смартфон с логотипом надкушенное яблоко» или «транспортное средство в виде планки с двумя колесами по бокам» .
2) Изменения затрагивают в первую очередь многословные запросы
Судя по презентации, основная задача алгоритма – лучше понимать смысл уточняющих запросов. Как правило, это запросы, состоящие из 5 и более слов. Нужно ли использовать нейронные сети, чтобы понять смысл запросов типа «снять квартиру в Москве », «рулонные шторы в спальню » или «такси в аэропорт »? Думаю, вопрос риторический.
Как определить, повлиял ли «Королев» на мои сайты?
Судя по количеству задач на проверку позиций в SEOlib , сегодня все вебмастера ринулись проверять, как сказался новый алгоритм на ранжировании их сайтов.
Согласно презентации, алгоритм был запущен раньше и уже некоторое время работает в основном поиске. Поэтому динамику нужно оценивать не за последние сутки, а за последние несколько недель.
Более того, влияние нового алгоритма неправильно диагностировать только по позициям. Если за последние несколько месяцев у вас просаживаются или скачут позиции по СЧ/НЧ, уверена на 99%, что проблема не в «Королеве» (если нужна помощь в поиске причин, отправьте нам заявку – постараемся помочь).
Как проверить? Посмотрите, изменился ли у вас трафик с Яндекса по НЧ-хвосту (см. в Я.Метрике отчет «Ключевые слова» – «Другие»). Если он значительно упал или вырос, то вы счастливый обладатель последствий «Королева».
Как оптимизировать тексты под Королев?
Для информационников, собирающих трафик по НЧ запросам, этот вопрос актуален как никогда. Но прошло очень мало времени, чтобы составлять конкретные инструкции или давать точечные рекомендации по текстам.
Пока могу дать только один совет. Если вы уже запланировали работу копирайтеров на месяцы вперед, возьмите таймаут на 2-4 недели и займитесь пересмотром ТЗ. Не можете остановить конвейер? Тогда пишите богатые на семантику тексты, чтобы повысить вероятность заполучить счастье:
«Другая важная особенность «Королёва» в том, что помимо сопоставления смысла запроса и страницы, он учитывает ещё и смысл других запросов, которым страница релевантна» . Пруфлинк
Думаю, в очень скором будущем появятся сервисы для автоматизации процесса, и эпоха кластеризаторов сменится эпохой LSI-анализаторов.
Есть основания предполагать, что со временем Яндекс будет расширять влияние «Королева» на коммерческие и короткие запросы. Наверное, этому стоит радоваться. Ведь тогда не нужно будет баллансировать между необходимостью оптимизировать текст вхождениями и риском получить Баден-Баден. Чтобы не случилось, все к лучшему.
Если ваш сайт просел в Яндексе или Google, и вы не можете установить причину – обращайтесь, постараемся помочь.
Здравствуйте, дорогие читатели блога сайт. Прошу прощения, что некоторые посты выходят с большим промежутком по времени, но я запустил еще несколько проектов, которые резко вырвались в ТОП за 1,5 месяца, используя свои знания в области блоггинга (кому нужна консультация пишите в личку). Приходится разрываться между проектами и стройкой дома для своей семьи.
Сегодня затронем новый алгоритм Королев от Яндекса и постараемся сравнить его с предшественниками. Лично на мой блог, он особо не повлиял, разве что полезные и объемные статьи стали еще выше в ТОПе. Ну давайте подробнее рассмотрим все в статье и сделаем необходимые выводы после наблюдения за этим алгоритмом.
Алгоритм Королёв Яндекс - что это такое и как работает
В конце августа 2017 вышел новый алгоритм Королев Яндекс. Новость об обновлении в поисковике сразу же заинтересовала СЕО специалистов и СМИ.
Главная особенность Королева является увеличение скорости обработки информации и повышение качества смыслового анализа текста.
В несколько тысяч раз повысилась скорость обработки данных. Палех для формирования ТОПа использовал 150 документов. Теперь сравнивается более 200 000 статей между собой. Этот результат был достигнут за счет оптимизации протокола ранжирования.
Чтобы понять новый алгоритм, надо вернуться на шаг назад к Палеху. Его презентация проведена 2 ноября 2016 года. Статистика показывала, что наибольшая часть поисковых фраз приходится на НЧ фразы, заточенные под единственно верный ответ. Эта часть приходится на длинный хвост птицы.
Чтобы дать нужный ответ клиенту необходимо обладать ассоциативным мышлением и навыком самообучения, как у человека. С подобными задачами лучше всего справляются нейронные сети, поэтому они и стали основой нового алгоритма.
Главная цель «Королёва»
При желании найти конкретный предмет человек начинает описывать его свойства, это особенности ассоциативного мышления. Если мы забыли название видео, то мы начинаем говорить, что содержалось внутри: «фильм про девушек во время войны» или «фильм про существо с хвостом и крыльями». В первом случае Яндекс предоставляет «А зори здесь тихие», во втором варианте получаем «химера».
Яндекс улучшает качество сравнения многословных фраз. Программа анализирует связь между каждым, словом в предложении и выстраивает своеобразную ассоциацию с множеством вариантов ответов. Также как это делает человеческий мозг.
Что нового?
Нововведения:
- семантический вектор для всего контента, а не только заголовка;
- сравнение более 200 000 статей при формировании поисковой выдачи;
- учитывается поведение пользователя на странице;
- люди помогают обучать систему.
Королев анализирует не только заголовок, а полностью весь контент (в том числе фото, видео, таблицы и т. п.) и на его основе составляет семантический вектор.
Главным нововведением стало многократное ускорение работы поисковых методов. В прошлом семантический вектор выстраивался в момент введения фразы в поисковую строку. Подобный метод сильно нагружал сервера и задерживал скорость выдачи ответа.
При отправке поисковой фразы происходит сравнение его семантического вектора с массивом уже записанных в базе данных. Палех сравнивал около 150 вариантов, новая же версия анализирует более 200 000 статей за 1 раз. За счет чего повышается шанс нахождения желаемого ответа.
Нейросеть Яндекс: принцип работы нейронной сети Королев + примеры
Главной особенностью нейронной сети является возможность самообучения. Работа осуществляется не только по преднамеренным формулам, а также на основе предыдущего опыта и ошибок.
Человеческий мозг представляет собой огромнейшую нейросетьс ассоциативным мышлением, компьютеры же стараются эмитировать человеческое поведение за счет воссоздания архитектуры нейронных сетей.
Особенности нейросетевой структуры
Нейронная сеть представляет из себя множество единичных нейронов, каждый из которых хранит или обрабатывает информацию. Каждый из нейронов способен принимать, обрабатывать и отдавать сигналы. Поток входных данных постепенно перерабатывается от одного нейрона к другому и в конце получается необходимый результат.
Искусственные нейронные сети передают между собой условные веса – числа от 0 до 1, чтобы определить насколько тот или иной вариант входящей информации соответствует нужной информации. После окончания анализа нейрон с наибольшим весом считается наиболее подходящим для ответа на поставленный вопрос.
Схема изображает нейронную сеть. Первые два слоя занимаются обработкой. Каждый из нейронов содержит определенную функцию, которая получает входные данные и после обработки выдает необходимый ответ. Так сравниваются семантические вектора.
Семантические векторы
Компьютеры не умеют оперировать словами или картинками, поэтому для сравнения информации между собой они используют массивы чисел. Поисковики должны самостоятельно определять главную тему и мысль текста, чтобы выдавать пользователю то что ему нужно.
Чем схоже вектора заданного вопроса и текста, тем выше находится статья в приоритете выдачи. В Королеве используется анализ всего контента:
- таблицы;
- текст;
- фото;
- видео;
- заголовки;
- цитаты;
- списки;
- выделения (курсив, жирный и т. д.).
В несколько раз повышается качество построения вектора за счет преобразования большего количества информации.
Для создания векторов используется нейросеть, текст пропускают через последовательность нейронов и в итоге получают выходной трехсотмерный массив из чисел. В дальнейшем его вносят в единую базу данных и используют для сравнения.
Обучение
Главная особенность нейронных сетей – обучаемость. В отличие от стандартных алгоритмов нейроны способны запоминать свой предыдущий опыт и самообучаться на нем. Компьютер с каждым разом все лучше и лучше различает информацию.
В прошлом обучением занимались сотрудники компании, их задача состояла переходить по миллионам запросов и на свое усмотрение изменять приоритеты выдачи. Затем разработчики создали приложение Яндекс.Толока, оно представляет из себя список несложных заданий. Надо переходить по запросам и оценивать качество поисковой выдачи. За каждое задание платят около 0.1-1$
Какой контент по мнению нового поискового алгоритма является хорошим
Наиболее подходящей для ТОП выдачи будет статья содержащия максимум полезной информации для пользователя и соответствующая запросу. Следовательно, в ней должны по разделам раскрываться всевозможные вопросы клиента.
В Королеве в приоритете учитывается поведение пользователя на странице. Поэтому задача администраторов постараться удержать пользователя и заинтересовать его. Чтобы это сделать используйте структурированность заголовков, таблицы, списки, выделения, фото и видео.
Новые приоритеты поиска
SEO специалисты, после релиза, провели исследование, чтобы оценить изменения приоритетов ранжирования. Особых изменений не наблюдалась приоритетами остаются:
- структурированность текста;
- полнота раскрытия темы;
- простата чтения контента;
- соответствие заголовков смысловому содержанию текста;
- правильное формирование семантического ядра.
Главное писать для живых людей, этот приоритет остается самым важным.
Зачем Яндекс запустил новый поисковый алгоритм и чем это грозит сайтам
Любая компания стремится сделать свою продукцию лучшей на рынке услуг. В данном случае крупнейшим соперником Yandexявляется Google. Нововведения были созданы для следующих целей:
- улучшение качества поиска по нестандартным вопросам;
- привлечение новых инвесторов;
- увеличение продуктивности ранжирования (более 200000 статей при формировании выдачи).
Главная цель была улучшить качество выдачи. Кроме того, надо было показать инвесторам, что работа в компании ведется полным ходом и их деньги использовались по назначению.Новшества в последующем использовались при создании голосового помощника «Алиса».
Линейка предыдущих алгоритмов
Чтобы лучше разобраться с новыми технологиями надо вернуться в прошлое. В данном случае рассмотрим линейку предыдущих алгоритмов, которые использовались поисковиком для ранжирования.
В первое время интернет содержал всего пару тысяч сайтов, чтобы найти нужную статью на них достаточно было сравнить ключевые слова поисковой фразы. В последующем глобальная сеть разрасталась в геометрической прогрессии, сейчас на одну тематику можно найти более сотен тысяч схожих сайтов с миллионом статей.
Поэтому надо было усложнить системы ранжирования и начали учитывать следующие дополнительные параметры:
- количество ссылающихся материалов;
- уникальность контента;
- поведение клиента на странице.
Матрикснет
В 2009 году Yandex столкнулись с проблемой, что статьи все чаще не отвечают на вопросы пользователей. Чтобы исправить эту ошибку надо было научить сервера самостоятельно принимать решения и самообучаться.
Была изобретена сложная математическая формула с множеством параметров для определения соответствия текста к поисковой фразе.
Но оставались следующие проблемы:
- поиск зависит от слов;
- не учитываются вспомогательные материалы (фото, видео, цитаты и т. п.).
Главная из проблем была в том, что не всегда в одном заголовке можно было полностью описать смысл статьи. Довольно часто в статье нет конкретных ключевых слов, но при этом она полностью раскрывает тему и дает развернутый ответ на вопрос пользователя.
Алгоритм Палех
В 2016 году в системе ранжирования была применена компьютерная модель нейросети. Главная особенность подобного подхода в том, что теперь компьютер способен запоминать свои ошибки и обучаться на собственном опыте.
В этом же году были введены семантические вектора. Название статьи пропускалось через нейронную сеть и раскладывался на множество векторов. Теперь компьютеры сравнивали не слова из поиска, а многомерные массивы чисел и векторов. Удалось уйти от прямой зависимости от количества тех или иных слов в фразе, а отдать приоритет смысловому содержанию.
Из недочетов осталась проблема низкой скорости работы. Для формирования поисковой выдачи сравнивались всего 200 наиболее подходящих статей. Поэтому системе было сложно отыскать многословные смысловые фразы типа «фильм про девочку, шпионку которая сбегает и учиться в школе».
Алгоритм Yandex Королев
В последнем нововведении в первую очередь провели оптимизацию нейросети и улучшили продуктивность обработки текста. Сейчас вектора сравниваются заранее в оффлайн режиме, благодаря этому удалось повысить результативность формирования поиска.
Yandex самостоятельно собирает статистику об заинтересованности пользователей и по ним создает заранее подготовленную поисковую выдачу.
Благодаря оптимизации семантический вектор составляется не только для заголовков, а для всего контента целиков. Удается найти максимум смысловых связей между словами.
Угрозы для сайтов
В целом никаких опасностей для сайтов не создалось и статистика переходов особо не изменяется. В первую очередь нововведения коснуться информационных блогов, форумов и сайтов с фильмами.
С лидирующих позиций могут слететь вебсайты не отвечающих интересам пользователя. Например, название «домашний яблочный сок», а в статье рассматриваются методы выращивания деревьев, блинчики с повидлом и совершенно иной текст.
Не забываем сделать репост и подписаться на рассылку блога. Всех благ.
Всего наилучшего, Галиуин Руслан.
Яндекс запустил новый алгоритм ранжирования - «Королев». Теперь поисковая система сопоставляет смыслы поискового запроса и страницы. Это очень удобно для пользователей. Однако что новый алгоритм означает для оптимизаторов и владельцев сайтов, как изменится продвижение и стоит ли ждать изменения трафика.
Как никогда весь «сеошный» мир ждал запуска нового алгоритма ранжирования, анонсированного на 22 августа 2017 года. Ещё бы, подобные анонсы – вещь для Яндекса абсолютно нетипичная, обычно они предпочитают не распространяться о своих планах, и сообщают об очередном релизе алгоритма ранжирования постфактум.
22 августа 2017 года Яндекс запустил новую версию поиска. В её основе лежит поисковый алгоритм «Королёв» (с 2008-го года новые алгоритмы ранжирования в Яндексе называют в честь городов). Алгоритм с помощью нейронной сети сопоставляет смысл запросов и веб-страниц - это позволяет Яндексу точнее отвечать на сложные запросы. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Таким образом, вклад в развитие поиска вносят не только разработчики, но и все пользователи Яндекса.
Область применения нового алгоритма практически не затрагивает традиционные сеошные сферы интересов, в первую очередь к которым можно отнести коммерческую выдачу. «Королёв» оказался логическим продолжением алгоритма «Палех» и призван обслуживать длинный хвост микрочастотных запросов, как правило, задаваемых на естественном языке. Особенностью таких запросов является то, что релевантные им документы могут не содержать многих из слов, входящих в запрос. Это ставит в тупик традиционные алгоритмы ранжирования, основанные на текстовой релевантности.
Решение найдено в виде использования нейросетей, которые обучаются в том числе и на поведении пользователей. Поэтому новый алгоритм Яндекса работает на основе нейронной сети. Он обучается на примерах запросов пользователей, и подбирает ответы исходя из смысла текста на странице. Это означает, в частности, что он будет гораздо эффективнее работать с нестандартными запросами, когда пользователи сами не уверены, как называется то, что они хотят найти. Здесь многое упирается в вычислительные мощности.
Вообще подобный подход к решению задачи ранжирования длинного микрочастотного хвоста запросов не нов. Еще в 2015-м году стало известно о технологии, применяемой поисковой системой Google для поиска ответов на многословные запросы, заданные на естественном языке – RankBrain. Эта технология, так же основанная на машинном обучении, позволяет распознавать наиболее значимые слова в запросах, и анализировать контекст, в котором осуществляется поиск. Что позволяет находить релевантные документы, которые не содержат всех слов запроса.
Кроме того, алгоритм работает и с картинками. Он анализирует содержание изображения и подбирает необходимый вариант, исходя из него, а не только из описания в тегах или окружающего его текста.
Впрочем, длинный хвост микрочастотных многословных запросов на естественном языке вполне может быть интересен «выжигателям» информационной семантики – создателям так называемых инфосайтов «на все случаи жизни». В общем-то, они и так стараются под как можно большее количество известных им запросов, которые удается заполучить с помощью различных методов сбора семантики, организовать точное вхождение в свои тексты. Там же, где точных вхождений не будет, т.е. для запросов, которые не всосал «семантический пылесос» создателей инфосайтов или для которых им не удалось обеспечить точных вхождений в контент, и начинается вотчина «Королёва», который призван искать соответствия между запросами и ответами в том случае, когда между ними мало пересечений по ключевым словам. В таких случаях «Королёв» несомненно повысит требования к качеству контента, и реально интересные читабельные статьи будут еще больше выигрывать у сборников вхождений ключевых фраз, разбавленных водой, т.к. именно в таких статьях могут содержаться полезные для нового алгоритма сигналы. Ну, а всем остальным сеошникам действительно можно расслабиться – очередная порка откладывается. Жертв и разрушений нет.
Запуская «Палех», Яндекс научил нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел - семантические векторы.
Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок.
Чем он отличается от «Палеха»?
Основным отличием нового алгоритма, помимо улучшения технической реализации, является возможность распознавать схожие «смыслы» по всему документу, а не только по заголовку (Title), который появляется в окне браузера.
Как работает алгоритм «Королёв»
Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком - а не только их заголовки. Это позволяет выйти на новый уровень понимания смысла.
Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования.
Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.
Эффект «Королёва»
Умение понимать смысл особенно полезно при обработке редких и необычных запросов - когда люди пытаются описать своими словами свойства того или иного объекта и ожидают, что поиск подскажет его название.
Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ - один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 000 документов.
Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу.
Так можно установить дополнительные смысловые связи.
Люди учат машины
Использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.
Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят.
Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, - то есть страница хорошо отвечает на его запрос. Это положительный пример.
Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.Статистика, которая используется для обучения алгоритма, обезличена
В помощи людей нуждается и Матрикснет, который строит формулу ранжирования.
Толока
Чтобы поиск развивался, люди должны постоянно давать оценку его работе. Когда-то выставлением оценок занимались только сотрудники Яндекса - так называемые асессоры. Но чем больше оценок, тем лучше - поэтому Яндекс привлек к этому всех желающих и запустили сервис Яндекс.Толока . Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов Яндекса. Задания на Толоке оплачиваются - сумма, которую можно заработать, указана рядом с заданием. За два с лишним года существования сервиса толокеры дали около двух миллиардов оценок.
В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат - миллионы пользователей Яндекса. Любой запрос - это анонимный сигнал, который помогает машине всё лучше понимать людей. Новый поиск - это поиск, который мы делаем вместе.
22 августа 2017 года Яндекс официально заявил о запуске нового поискового алгоритма «Королёв» (назван в честь города, как и большинство предыдущих поисковых алгоритмов). В его основе лежит механизм распознавания сложных запросов, который работает по принципу самообучаемой нейронной сети. Это значит, что Яндекс должен определять подходящие по смыслу документы, даже если они не содержат слов из запроса.
Чем он отличается от «Палеха»?
Ещё в ноябре 2016 года Яндекс запустил предшественника «Королёва» - поисковый алгоритм «Палех». Основное отличие нового алгоритма, помимо улучшения технической реализации, - возможность распознавать схожие «смыслы» по всему документу, а не только заголовку (Title), который появляется в окне браузера.
Для чего внедрили алгоритм «Королёв»?
В Яндексе давно задумывались над проблемой определения релевантных документов по большому пулу низкочастотных запросов, которые задаются не совсем естественным языком. Это большой список запросов типа:
— [на какой картине плавятся часы]
— [где придумали одеколон]
— [в каком фильме писатель сходит с ума отеле]
Основная проблема - подходящие документы могли не содержать слов из запроса. Чтобы её решить и показывать более подходящую выдачу, было задумано создание алгоритма «Королёв» - самообучающейся нейронной сети. Как заверяют в самом Яндексе, нейронная сеть на основе машинного обучения будет совершенствоваться в понимании «смыслов», которые подразумевает человек при вводе запросов.
Как работает этот алгоритм на практике?
Описанный Яндексом подход звучит, конечно, хорошо, но гораздо интереснее посмотреть на конкретные результаты в выдаче.
Для начала возьмём запрос, который сам Яндекс рекламировал:
[картина где небо закручивается]
В объектных ответах справа Яндекс правильно определил, что мы подразумевали своим запросом. Он также указал верные ответы в Яндекс.Картинках. Остальная выдача состоит из новостей о новом алгоритме. Становится очевидным: в данной ситуации Яндекс пользуется традиционными методами определения релевантности и для выдачи алгоритм «Королёв» не работает.
Попробуем по-другому и зададим следующий запрос:
[где появился первый парламент]
В данном случае можно увидеть интересную выдачу. В объектных ответах появилось значение «Англия». В самой же выдаче есть разные сайты, которые содержат слова из запроса.
Алгоритм в объектных ответах работает, если мы хотим знать:
— где появилось слово «парламент»;
— где появился первый представительный и законодательный орган, который называется «парламент».
Алгоритм не работает:
— если мы хотим знать, где появился вообще первый законодательный орган.
Принято считать, что первый парламент появился в Исландии, но назывался он не «парламент», а «альтинг». В выдаче (на скриншоте выше) можно увидеть и правильный ответ на наш запрос. Он появился только потому, что в заголовке статьи есть слова из запроса.
Важно понять:
поисковик может понять запрос, только если каждое слово обладает одним понятным смыслом.
Если слово обладает несколькими смыслами, как в нашем случае «парламент», могут возникать проблемы.
Проведём ещё один эксперимент:
[песня про теракт в уоррингтоне]
Запрос максимально конкретный и на него может быть только один конкретный ответ - песня «Zombie» группы The Cranberries.
Если немного поменять запрос и указать [песня про теракт в 1993 году] , можно увидеть, что поисковик выдачу разделяет: часть ответов о песне, часть — о теракте. Яндекс не совсем понимает, о чём именно мы хотим получить информацию.
Если сделать запрос ещё более общим, то правильного ответа не будет совсем:
[песня про теракт в англии]
Выдача полностью состоит из новостей о теракте, а о заявленном смысле речи не идёт.
Теперь наберём запрос:
[фильм в котором писатель сходит с ума в отеле]
В этом случае можно увидеть, что алгоритм работает. Яндекс понимает, что мы хотим найти и, при этом, указывает, что у данного запроса есть два смысла (два интента): фильм «Сияние» и фильм «1408». Тут также важно, что слова из запроса не встречаются на страницах. В этом случае алгоритм работает.
Теперь попробуем набрать запрос:
[фильм в котором траволта танцует]
Варианты с наиболее популярными фильмами есть в объектных ответах, но не в выдаче.
Ответы становятся более конкретными, если модифицировать запрос:
[фильм в котором траволта танцует молодой]
Правильный вариант можно увидеть только в виде объектного ответа и страницы Википедии. Остальная выдача далека от нужного результата.
Ещё раз изменим запрос и наберём:
[фильм в котором траволта танцует в баре]
Как мы видим, алгоритм даёт сбой. Это происходит потому, что на данный запрос крайне сложно дать однозначный ответ. Например, в фильме «Криминальное чтиво» танцы происходят в ресторане, в фильме «Лихорадка субботнего вечера» - в клубе. Но есть фильм «Майкл», в котором Траволта как раз танцует в баре. Если несколько раз протестировать выдачу с целью найти необходимый фильм, начнут появляться релевантные результаты.
Какие выводы можно из этого сделать?
- Алгоритм показывает свою работу в выдаче только на страницах больших информационных сайтов (типа Википедия или Кинопоиск) и в объектных ответах.
- Алгоритм понимает только простые запросы, которые содержат один смысл.
- «Королёв» лучше работает при поиске популярной информации (например, по запросу «фильм» он покажет наиболее популярный, наиболее известный - тот, о котором информации в индексе больше всего).
- Алгоритм работает только с информационными запросами.
- Алгоритм действительно самообучаемый и при повторных обращениях результаты становятся лучше.
Для SEO алгоритм сейчас даёт мало. По большинству запросов большое значение имеет текстовый фактор. Там, где работает новый алгоритм, Яндекс отдаёт предпочтение более известным сайтам, например, Википедии. Небольшим проектам будет тяжело с ними конкурировать. Возможность высоко ранжироваться по таким запросам появится только когда у алгоритма будет более полная база знаний о желаниях и предпочтениях пользователей. Но для этого уже сейчас нужно:
— создавать текстовый контент, который содержит как можно больше слов, определяющих тематику страницы;
— улучшать поведенческие факторы, чтобы поисковик точно знал, что страница будет полезной пользователю.