Руководство поисковой системы яндекс

Поисковый инструментарий

В отличие от конкурента, «Яндекс» дает воспользоваться инструментарием не с главной страницы – yandex.ru, – а уже после того, как была осуществлена попытка поиска:

Нажмите на иконку настроек справа от поля запроса и сможете произвести базовую настройку поиска:

• в каком регионе вы хотите искать информацию;
• выбрать период времени размещения – сутки, 2 недели или месяц;
• задать язык, на котором вы хотите найти данные.

Также обратите внимание на иконку с микрофоном – в «Яндексе» вы можете задавать поисковые запросы голосом.

Вы также можете искать картинки (здесь инструментарий вообще очень богат), видео, товары, новости, вопросы, услуги, музыку и т. д. – все эти данные предоставляют различные сервисы того же «Яндекса».

Поиск без рекламы

Если вас раздражает переполненная рекламой и отвлекающими блоками основная страница «Яндекса», то воспользуйтесь специальным «шорткатом» ya.ru, представляющим собой страницу с одним только поисковым полем:

Один минус – после ввода поискового запроса вы попадете на стандартную главную страницу с рекламой и прочими сервисами.

Уточнение слова

«Яндекс» точнее, чем Google, ищет фразы на русском языке. Но если вы хотите найти только заданное вами слово, его лучше уточнить с помощью оператора «!»:

В таком виде поиск должен находить все документы с упоминанием отмеченного вами слова в заданной форме. При этом игнорируется склонение, падеж, но учитывается множественное или единственное число.

Качество работы оператора вам предлагается проверить самостоятельно, поскольку даже в примере выше первая найденная статья не содержит уточненного нами слова в сниппете (описании). Остается надеяться, что оно будет присутствовать при переходе на страницу.

Оператор может быть использован несколько раз для включения всех нужных вам слов в выдачу.

Поиск по точной фразе

Чтобы найти точную фразу или цитату, заключите ее в любые кавычки:

Такой способ должен найти указанное вами сочетание слов в точном виде, при этом вы можете оставить за пределами кавычек прочие слова, которые могут входить в цитату в различном виде или составе.

Способ работает частично, выше вы можете видеть, что в сниппете второй позиции выдачи указанная нами фраза отсутствует. Зато присутствует в точном указании в двух других.

Нахождение отсутствующих слов

Если вы знаете точную фразу, содержание которой необходимо найти, но забыли точное слово или часть из нее, то можете обозначить это оператором «*»:

Оператор работает только в сочетании с фразой в кавычках. А сам способ хорошо подходит в том случае, если вы задаете длинный набор слов, но под ним подразумевается много значений, разброс которых в выдаче слишком велик.

Уточняем присутствие обязательных слов

Допустим, ваш запрос должен содержать несколько слов, относящихся к определенной тематике, но найденная информация по ней может быть любой. Задайте обязательные слова с помощью оператора(ов) «+», а тематику укажите без операторов:

Тему вы можете задать и через кавычки, чтобы гарантированно получить фразы с указанными словами именно по ней.

Исключение слов из запроса

В случае, когда вам нужно найти информацию без упоминания определенных слов или тематик, то добавьте слова в поисковый запрос с оператором «-», который можно использовать сколько угодно раз прежде чем выдача полностью очистится от ненужного:

По данным «Яндекса», по общему количеству запросов в поиске всегда лидируют три темы: школа, кино и порно (последние две темы – вечером и ночью). Первым делом с утра люди спрашивают про погоду, включают радио и выясняют значение своих снов.

Около четверти всех запросов касаются развлекательного контента: люди хотят смотреть, слушать и играть.

Выбор из нескольких вариантов в поиске

Когда вам необходимо найти информацию по нескольким направлениям, но не важно, какое из них будет представлено в выдаче, разделяйте их оператором «|». Одно из слов, разделенных оператором, обязательно будет включено в выдачу, но не обязательно вместе с другим:

Для обязательного включения нескольких слов в запрос используйте операторы-кавычки или восклицательный знак.

Поиск по определенному URL

Чтобы найти текст, размещенный на выбранной вами странице, ее нужно сообщить через оператор «url:». Сначала нужно ввести нужное слово или фразу, затем указать страницу через оператор, причем лучше заключить ее в кавычки. Надо отметить, что способ не самый удобный и не очень работоспособный. Лучше воспользоваться его расширением: через оператор «*» отметить все страницы, размещенные в заданном разделе сайта, например, так:

«Звездочка» заменяет в поиске любые символы или даже фразы.

Новый поиск «Яндекса»: «серому» SEO будет совсем плохо от Y1

Поиск на заданном сайте

Чтобы не указывать конкретные страницы, добавьте к нужным вам словам URL всего сайта, заданный через оператор «site:». Так «Яндекс» будет искать информацию исключительно на указанном сайте, включая все его страницы.

Ищем информацию на определенном домене

Чаще всего домен обозначает принадлежность сайта определенной стране, поэтому вы можете найти необходимую информацию, указав нужный домен через «domain:»

Поиск файлов для скачивания

В том случае, когда вам нужен не сайт, а сразу файл с необходимой информацией, вы можете производить поиск по формату этого файла. Укажите его через оператор «mime:» и добавьте искомый текст:

Как и в Google, здесь невозможно указать сразу несколько типов файлов, чтобы искать данные сразу в нескольких типах исполнения.

Совмещайте оператор с другими, например, с «site:», чтобы искать нужные файлы на определенном сайте.

Поиск на заданном языке

Если вам необходимо найти контент на определенном языке, то выберите его обозначение по стандарту ISO 639-1 и укажите через оператор «lang:»

Например:

• английский – en;
• испанский – es;
• итальянский – it;
• португальский – pt;
• русский – ru.

Самое длинное название России (25 знаков!) и еще гора удивительных фактов в новом отчете «Яндекс.Карты»

Информация по дате изменения страницы

Чтобы найти данные с указанием даты их выкладки или последнего изменения, используйте оператор «date:» следующим образом:

• date:ГГГГММДД – для указания точной даты размещения;
• date:<ГГГГММДД (>) – информация раньше или позже указанной даты;
• date:ГГГГММДД..ГГГГММДД – в указанном интервале;
• date:ГГГГММ* – в указанном месяце года;
• date:ГГГГ* – в указанном году.

Поиск только по заголовкам

Если вам нужно найти слова или фразы исключительно в заголовке страниц сайта, то используйте оператор «title:»

Переводчик в поисковой строке

Чтобы сразу перевести текст (по умолчанию с русского на английский или с определенного системой языка на русский), наберите «перевод:слово»:

«Яндекс.Калькулятор»

Просто наберите в поисковой строке слово «калькулятор»:

Кроме того, вы можете написать выражение в поисковую строку, и «Яндекс.Калькулятор» сразу его посчитает:

«Яндекс.Конвертер»

Вы можете переводить одни единицы в другие, просто начав вводить их название:

Если вам необходимо посчитать конкретное значение одних единиц в других, то введите выражение и получите ответ прямо в браузере.

Быстрый прогноз погоды

Чтобы не ходить по сайтам с погодой, вы можете набрать слово «погода» и указать ваш город, после чего увидите краткую сводку гидрометцентра:

Если вы не укажете город, то «Яндекс» покажет погоду в месте, определенном по вашим координатам.

Дополнительные настройки поиска в «Яндексе»

Для персонализации поиска вы можете воспользоваться настройками, ссылка на которые располагается в нижней части страницы поисковой выдачи:

До этого вы можете включить семейный поиск, чтобы избавить выдачу от непристойных результатов и спорного контента.

Содержание самих настроек поиска:

1. Чтобы не забыть какие запросы вы вводили, используйте историю поиска. Ее вы можете очистить в настройках или отключить, сняв галочку.
2. Часто используемые сайты могут помочь, если вы используете некоторые ресурсы постоянно – так они всегда будут под рукой. Но и их можно отключить в настройках.
3. Время посещения сайтов позволяет вам легче вспоминать, с чем и когда вы работали. Эта возможность также отключается здесь.
4. Выделяйте меткой персонализированные результаты в выдаче либо отключите и эту возможность.
5. Кроме семейного поиска, можно использовать два типа фильтрации контента – без ограничений и с умеренным фильтром. По умолчанию включен именно он, так что имейте в виду.

Надеемся, что эти лайфхаки помогут вам быстро находить нужную информацию.

Вместе с тем, сам поиск «Яндекса» тоже все время становится умнее. Например, он может найти верный фильм по запросам вроде «мужик полетел в космос и застрял между шкафами» («Интерстеллар»), «фильм где дерево живое и енот живой» («Стражи галактики») и даже «фильм Стивена Кинга, где Николсон бухает, печатает книгу и ломает дверь» («Сияние»).

Мы увеличиваем посещаемость и позиции в выдаче. Вы получаете продажи и платите только за реальный результат, только за целевые переходы из поисковых систем

Интернет — просто охренеть какая огромная штука. И в нем есть все. Общение с друзьями? Вот, пожалуйста — Facebook. Фотоальбом — в Instagram. Купить дачу? У меня уже есть «Веселый фермер». А энциклопедией давно пользовались? Зачем, ведь есть поисковики, которые знают все. И сегодня мне бы хотелось отдать должное этим чудо-сервисам. А точнее рассказать вам о том, как работает Яндекс поиск.

Помните Гермиону из саги о Гарри Поттере? Как вы думаете: почему она была такой сверхэрудированной всезнайкой? Правильно, потому что постоянно ходила где-то читала про всякие зелья, изучала разные заклинания, допытывалась до учителей по всем непонятным моментам. В общем, делала все, чтобы расширить свою базу знаний. Точно так же работает Яндекс поисковик. Еще до того, как вы задали ему вопрос, он уже кое-что узнал про вашу тему и сохранил себе в копилочку.

Как формируется поисковая база Яндекса

Пауки всемирной паутины

Поисковик Яндекс знает несколько триллионов урлов. И каждый день он изучает по паре миллиардов из них. Делают это специальные роботы—пауки, краулеры. Они заходят на страницу, анализируют содержимое, делают копию и отправляют на сервер. А затем уходят по ссылкам на другие страницы. Так происходит знакомство поисковика с сайтом. Далее следует этап индексикации.

Если произвести нехитрые математические расчеты, то можно выявить, что пауки Яндекса обойдут все известные страницы приблизительно за 2 года. Но это будет неверно, так как количество урлов постоянно увеличивается
=> работа по созданию поисковой базы бесконечна.

Индексикация

Определение индекса сайта — это процесс добавления всей важной информации о странице в базу поисковика. То есть определяется язык, формируются данные об отдельных словах и вытаскиваются все ссылки исходящие на другие страницы. Кроме того у Yandex есть специальный инструмент, который называется логи Яндекса. Он изучает, как пользователь ведет себя в выдаче: на что кликает, а на что не кликает. Опираясь на все полученные параметры и задается поисковый индекс сайта.

Логи Яндекса широко применяются не только при индексикации, но и при ранжировании.

Составление поисковой базы

Поисковые индексы, полученные в ходе предыдущего этапа, отправляются в поисковую базу. У Яндекс поиска она функционирует на программной платформе мапредьюс YT. Здесь данные превращаются файлы и «остаются жить».

Суммарный объем данных YT приблизительно 50 петабайт = 51 200ТБ.

У поисковой базы данных есть еженедельное обновление — апдейт. Это тот момент, когда поисковый робот Яндекса, накачав определенное количество файлов и рассчитав для них все необходимые характеристики, принимает решение, что можно добавить эту информацию в поиск.

Согласно статистическим данным Игоря Ашманова — специалиста по поисковым системам в интернете, полнота поисковой базы у Яндекса (красные на графике) в несколько раз выше, чем у их ближайшего конкурента Google (черные).

Пока индекс — времязатратный и протекает комплексно сразу для большого количества данных. Поэтому у Яндекса есть специальный быстрый контур, который может добавлять и доносить до пользователя отдельные, срочные файлы. Ну, например, новости в реальном времени.

Как работает сам Яндекс поиск

Любой запрос в поисковой системе Яндекс проходит по следующей схеме.

Балансеры — это машины, которые агрегируют выдачу.
Построение выдачи формируется из результатов трех средних метапоисков. Поясню, что это значит. В выдаче вы видите результаты запроса по страницам, картинкам и видео. Происходит это потому, что ваш запрос проходит по трем разным индексам. И по ним он спускается в самую—самую глубь поисковой базы, разделенную на несколько тысяч кусков. Этот процесс обозначается, как поисковая кластеризация.

Работа поискового кластера состоит из функционирования более миллиона экземпляров различных программ. Они выполняют всяческого рода задачи, у них разные системные требования и всем им нужно где—то «жить». Поэтому поисковая кластеризация занимает еще и огроменное количество компьютерного железного хостинга.

Для хранения и передачи всех программ и данных к ним Яндекс использует внутренний торрент—трекер. Число раздач на нем больше, чем на крупнейшем в мире пиратском трекере The Pirate Bay.

Вернемся к результатам выдачи.
В поисковую выдачу попадают наиболее релевантные, соответствующие поисковому запросу документы. Дальше происходит ранжирование — упорядочивание результатов поиска. Проходит оно с помощью специальной формулы. Чтобы порядок результатов каждый раз был качественным, актуальным и максимально релевантным разработчики Яндекса придумали одну очень крутую штуку.

Матрикснет — метод машинного обучения, с помощью которого строится формула ранжирования Яндекс. Он постоянно модернизирует эту схему: выстраивает комбинации, добавляет и убирает факторы, выставляет коэффициенты. Другая важная характеристика этого метода — возможность индивидуальной настройки формулы ранжирования для узкопрофильных категорий запросов. То есть для отдельных запросов, например, про кино или компьютерные игры, можно улучшить качество поиска. При этом ранжирование по остальным классам запросов не ухудшится.

Первая формула ранжирования Яндекса составляла примерно 10 байт. На сегодняшний момент — около 100 мегабайт.

Задача поисковика не просто находить иголки в сеновалах, но и определять самые острые из них. И самое удивительное то, как работает Яндекс поиск. Результат выдается за доли секунд. Десять первых наиболее релевантных запросов — как правило, это все, что нужно пользователю. Если в этих запросах мы не находим то, что искали, то мы пробуем или другой запрос, или меняем поисковик. Но рано или поздно: «Найдется все!»

Скриншоты взяты из лекции Петра Попова.

icon by Arthur Shlain

Язык поисковых запросов представляет собой набор специально разработанных операторов и правил для них, помогающих максимально точно сформулировать запрос, а также сузить или наоборот расширить диапазон поиска. 

Поисковый язык Яндекса отличается не только от языка других поисковых систем, например, Google, но и внутри собственных сервисов, таких как Директ, Вордстат и т.д. 

Виды поиска в Яндексе 

Можно выделить 6 видов поиска: 

1. Простой – с ним знаком каждый пользователь, который хоть раз сталкивался с необходимостью поиска информации в Яндексе. 

2. Расширенный – позволяет указать дополнительные параметры поиска. Вызвать панель выбора можно, кликнув по соответствующему значку справа от строки поиска. 

3. Персональный поиск предоставляет результаты для пользователей, авторизованных в почте. Яндекс собирает данные о предпочтениях конкретного пользователя и его «любимых» сайтах и формирует на этой основе выдачу. 

4. Поисковые подсказки – предлагаемые варианты выбора поисковых фраз во время ввода запроса. 

5. Семейный поиск – ограничение отображения результатов «для взрослых». 

6. Поиск людей – поиск информации о человеке, который Яндекс осуществляет по соцсетям. 

Операторы поиска 

Можно выделить две основные группы операторов поиска, которые позволяют уточнить запрос и быстро найти необходимую информацию: 

1. Простые – состоят из знаков препинания и спецсимволов, например, «!». 

2. Документальные, их еще называют сложными – поддерживают дополнительные слова, с помощью которых можно уточнить результаты. 

Важно! Все нижеприведенные операторы задаются без пробелов перед и после словом или фразой, допускается компоновка в рамках одного поискового запроса. 

Простые операторы поиска 

1.  + (плюс) – применим в случаях, когда необходим поиск по страницам, обязательно содержащим то или иное слово или предлог. Допускается неоднократное применение в рамках одного запроса. 

2. – (минус) – в противоположность предыдущему варианту применим, если нужно исключить слово или предлог из запроса. 

3. ! (восклицательный знак) – используется в случае поиска по точной словоформе, то есть без изменения числа, падежа и т. д. 

4. «» (кавычки) – оператор применяется не к отдельным словам запроса, а к фразе целиком, и позволяет искать среди документов, содержащих указанный запрос в точном соответствии. 

5. [] (квадратные скобки) – оператор позволяет сохранить точный порядок слов в запросе, при этом словоформы могут изменяться. 

6. * (звездочка) – используется в качестве замены пропущенного слова или целой фразы в запросе, например, в цитате или тексте песни. 

7. | (прямая вертикальная черта) – является заменой союза «или». Оператор применим, когда нужно найти совпадения в документах хотя бы по одному слову из тех, что есть в запросе. 

Документальная группа поисковых операторов 

1. URL – применяйте его для поиска в рамках указанной страницы или раздела. Для указания изменяемой части можно использовать *. Таким образом, мы сужаем Яндексу зону поиска. 

2. Inurl – поиск запроса по документам, включающим в свои URL указанное после оператора значение. 

3. Site – данный оператор помогает в поиске не в рамках раздела или документа, а внутри всего указанного сайта. В зону поиска попадут также все поддомены. Например, можно грубо оценить количество проиндексированных поисковой системой страниц. 

4. Domain – поиск будет осуществлен в рамках указанной доменной зоны, например, .ru, .com и т.д. 

5. host (rhost) – помогает в поиске по хосту, результат идентичен оператору «url:», если было задано имя хоста. 

6. mime – ищет документы заданного формата (.doc, .pdf и т.д.). 

7. lang – нужен для поиска документов на указанном языке. Например, lange:en осуществит поиск документов на английском языке. 

8. date – оператор, ограничивающий поиск по заданной дате или диапазону дат. 

Формат использования: 

• точная дата – date:ГГГГММДД; 
• интервал – date:ГГГГММДД..ГГГГММДД; 
• до даты, не включая ее – date:<ГГГГММДД;
• до даты, включая ее – date:<=ГГГГММДД;
• после даты, не включая ее – date:>ГГГГММДД;
• после даты, включая ее – date:>=ГГГГММДД;
• неполная дата – date:ГГГГММ*. 

9. title – ищет страницы, содержащие в своих заголовках указанный запрос или фразу. 

10. image – незаменим в поиске страниц по названию содержащихся на них изображений. 

Таким образом, язык поисковых запросов – полезный инструмент, который при правильном использовании может значительно сэкономить время на поиски необходимой информации.

Яндекс – это одна из самых известный поисковых систем, которая пользуется популярностью у миллиона пользователей. Связано это с тем, что в Яндекс можно найти огромное количество разнообразного контента, который тем или иным образом будет связан с тем, что ищет пользователей.

Несмотря на то, что опытные маркетологи и разработчики каждый раз добавляют интересные функции в свой браузер, пользователь мог заметить, что и в утилите есть определенные правила поиска, которым необходимо следовать для более четкого и правильного поиска в сети. На самом деле, это действительно так. Искать в Яндексе необходимо по определенным правилам, более подробно о которых стоит упомянуть далее.

1. Как расширить поисковую строку в Яндексе

Прежде чем приступать к поиску, необходимо посмотреть на поисковую строку. Опытные маркетологи уменьшили её, дабы поставить больше рекламы, а именно «Яндекс. Плюс». Из-за этого ни один пользователь не может нормально набрать необходимый ему текст, посмотреть свой запрос.

Эта проблема решается очень просто. Для её решения необходимо следующее:

1. Пользователь придется скачать расширение, которое позволяет поставить определенный пользовательский стиль. Человек может выбрать свое собственное расширение, но, как правило, многие применяют обычное и самое популярное – Google Chrome Stylus;
2. После этого идем в Яндекс и скачиваем через сам браузер необходимое расширение;
3. Чтобы применить, необходимо кликнуть на кнопку Stylus;
4. Откроется окошко, в котором нужно вбить слова Яндекса и поиска.

После этих манипуляций пользователь с легкостью увеличит собственную поисковую строку. Это достаточно легкий процесс, с которым справится любой человек. После этого пользователь уберет автоматические кнопки системы, а также ту почту, которой в целом пользователь редко распоряжается.

Более подробно о том, как искать в Яндексе, стоит посмотреть в этом видео

2. Синтаксис поиска Яндекс

Все знают, что Яндекс выдает свои запросы не просто так. Как правило, все, что находит система, имеет не только прямое, но и косвенное значение, то есть программка начинает выдавать синонимы, которые мешают нормальной работе.

Таким образом построены алгоритмы поисковой системы, от которых пользователю никуда не деться. Однако, он может обмануть и обхитрить систему несколькими командами. Для более точного поискового запроса можно использовать определенные символы и правила:

• Для начала необходимо выписать основной текст запроса, то есть те ключевые слова, благодаря которым в дальнейшем пользователь планирует найти определенную информацию;
• После этого стоит через пробел выписать несколько операторов или же определенных фильтров.

Если пользователь хочет найти прям точный поисковой запрос, то ему необходимо использовать только кавычки и восклицательные знаки. Таким образом: «используемые !слова !запроса».

Только при помощи этого оператора пользователь сможет найти самое оптимальное значение.

Обратите внимание! Существуют и другие операторы, более подробно о которых можно найти в морфологии Яндекса. Они помогают найти определенные значения. К таким знакам относят и звездочки, и вертикальные черты, и кавычки, и многое другое.

3. Как искать информацию в своем регионе или городе

Может возникнуть такая ситуация, что необходимо найти информацию в определенном городе или же регионе, потому что при фразе «столовая» может выпасть столовая не только в Липецке, но и в других городах.

Чтобы обмануть систему Яндекса, тем самым найти самое точное положение, необходимо всего лишь задать код региона. Все коды городов и регионов можно найти в специальном «Яндекс. Каталог». В нем собрано более 100 регионов.

Но это еще не все! Необходимо правильно прописать команду:

• Для начала стоит вбить свой запрос;
• После этого поставить cat:;
• Далее необходимо вбить код нужно региона.

Таким образом для стран СНГ будет характерен код 166, а для Чернигова или же Москвы уже отличные друг от друга значения. Это облегчает поиск, если необходимо найти определенную информацию на местности.

4. Как изменить свое местоположение в Яндексе

Иногда пользователю действительно нужно «обмануть» систему, при этом изменить свое местоположение. Это можно сделать, если знать определенные сервисы, которые занимаются такой сменой информации.

Например, расширение для Хрома под названием Manual Geolocation позволяет это сделать. Все, что требуется от пользователя, так это обозначить определенную точку на карте в приложении, а после Яндекс будет думать о том, что пользователь находится в том месте, где он отметил себя, при этом находясь совершенно в другой стороне.

Таким образом можно, например, искать объекты, которые расположены рядом с Кировом, при этом находится в Москве. Это удобно, если пользователь собирается и планирует съездить именно в этот город, потому что Яндекс выдает информацию в зависимости от положения пользователя.

Обратите внимание! Это относится не только к Яндексу, но и ко всем сайтам, которыми пользуется человек. Очень удобно таким образом подменивать местоположение.

Более подробно об этом расширении стоит посмотреть в этом видео: https://www.youtube.com/watch?v=o-JHE_hc7tA

5. Как искать страницы на конкретном сайте

Может возникнуть необходимость в нахождении информации на определенном сайте. Это также легко сделать, если знать определенные команды, а также необходимый сайт. Для начала пользователю необходимо узнать ссылку сайта, который ему нужен. После этого ему стоит вбить определенный код, который состоит из:

• Самого ключевого слова;
• Site:;
• И названия сайта.

В итоге должно получится слово, которое можно найти только на одном сайте. Это удобная функция, которая позволит найти нужно информацию только на одной страничке, при этом эта информация не заденет другие.

6. Как искать страницы на определенном языке

Каждый сайт имеет свой язык. Например, на каких-то сайтах это русский, а на каких-то украинский. Если пользователю необходимо найти страничку на определённом языке, то он может также воспользоваться определенным правилом поиска.

Для начала необходимо посмотреть краткое обозначение того языка, который необходим. Это может сделать, если вбить в поисковой строке коды языков. Например, для русского языка – это ru. Достаточно просто, ведь практически все сайты в Яндексе на русском.

Для того, чтобы отфильтровать информацию на определенном языке и определенные ключевые фразу, необходимо вбить сначала запрос, а потом поставить «domain:ru land:uk». Если пользователь вобьет такое обозначение, то ему автоматически выйдут все статьи на определенном языке.

Обратите внимание! Необходимо смотреть краткий код страны на официальной страничке, чтобы в дальнейшем не возникло вопросов о том, почему не находится запрос и статьи на определенном языке.

7. Как искать в Яндексе ссылки на определенную страницу

И для действия со ссылками на определённую страничку есть свои операторы. Для такого поиска необходимо сделать запрос внутри ссылок. Например, если пользователю нужно найти определенную страничку, нужно сначала вбить «inlink:», а после в кавычках вбить название ссылки.

К сожалению, таким способом система может найти не все сайты. Однако, этот способ все равно отлично работает и является неплохой альтернативой другим способам.

8. Как искать страницы по дате

Если пользователю необходимо найти статью, которая сделана в определенную дату, то он также может воспользоваться специальным оператором в Яндекс браузере. Это оператор даты, с помощью которого можно найти определённый запрос, причем страничка будет создана именно в то время, которое укажет пользователь.

Для того, чтобы применить этого оператора, необходимо вбить запрос, а после написать оператора «date». Теперь стоит поставить двоеточие и вбить определенную дату без пробелов и точек, начиная с года. Если же необходим промежуток, то стоит поставить троеточие. Таким образом можно достаточно быстро и легко найти статьи в определённое время.

9. Как искать определенные файлы

Может возникнуть такая потребность, что необходимо отыскать определенный файл. Это может быть как и pdf формат, так и все другие. Таким образом можно даже найти документы Ворд или же видео.

Существует оператор под названием «mime», причем сам вопрос состоит из следующих пунктов:

• Прописываем сам запрос;
• Делаем пробел;
• Ставим оператора;
• Двоеточие;
• Ставим необходим формат.

После пользователю выпадут все сайты с нужным форматом.

10. Как искать информацию только в названии страницы

Любая статья имеет свое название. Такая же схема работает и с сайтами. При поиске браузер выдает не только запросы по заглавию, но и по самому содержанию статьи. Чтобы исключить это и искать информацию только по определенному названию, стоит применить оператора «title».

После прописи оператора ставим двоеточие и без пробела прописываем ключевое слово. После этого система выдаст все те сайты, которые содержат этого оператора. Удобно, если нужно найти статью по названию.

11. Как искать по имени изображения

Пользователь мог сохранить фотографию из интернета, но при этом не вспомнить, откуда он её скачал, то есть не помнит первоначального источника. Необходимо использовать оператора по следующему принципу:

• Ставим оператора «image»;
• Ставим двоеточие;
• Без пробела прописываем название файла.

Обратите внимание! Система считывает файлы только с компьютера.

12. Как исключить слово из поиска в Яндексе

Если пользователю необходимо найти определённый товар или же услугу, просто поисковой запрос, но ему не нужно, чтобы были точные словосочетания или же слова в ответах, то можно использовать знак тире. Его необходимо поставить перед теми словами, которые стоит исключить.

Таким образом можно искать различные обозначения. Как видно, в Яндексе есть огромное количество правил и операторов, которые при правильном использовании могут как и упростить, так и усложнить работу.

Поисковый инструментарий

В отличие от конкурента, «Яндекс» дает воспользоваться инструментарием не с главной страницы – yandex.ru, – а уже после того, как была осуществлена попытка поиска:

Нажмите на иконку настроек справа от поля запроса и сможете произвести базовую настройку поиска:

• в каком регионе вы хотите искать информацию;
• выбрать период времени размещения – сутки, 2 недели или месяц;
• задать язык, на котором вы хотите найти данные.

Также обратите внимание на иконку с микрофоном – в «Яндексе» вы можете задавать поисковые запросы голосом.

Вы также можете искать картинки (здесь инструментарий вообще очень богат), видео, товары, новости, вопросы, услуги, музыку и т. д. – все эти данные предоставляют различные сервисы того же «Яндекса».

Поиск без рекламы

Если вас раздражает переполненная рекламой и отвлекающими блоками основная страница «Яндекса», то воспользуйтесь специальным «шорткатом» ya.ru, представляющим собой страницу с одним только поисковым полем:

Один минус – после ввода поискового запроса вы попадете на стандартную главную страницу с рекламой и прочими сервисами.

Уточнение слова

«Яндекс» точнее, чем Google, ищет фразы на русском языке. Но если вы хотите найти только заданное вами слово, его лучше уточнить с помощью оператора «!»:

В таком виде поиск должен находить все документы с упоминанием отмеченного вами слова в заданной форме. При этом игнорируется склонение, падеж, но учитывается множественное или единственное число.

Качество работы оператора вам предлагается проверить самостоятельно, поскольку даже в примере выше первая найденная статья не содержит уточненного нами слова в сниппете (описании). Остается надеяться, что оно будет присутствовать при переходе на страницу.

Оператор может быть использован несколько раз для включения всех нужных вам слов в выдачу.

Поиск по точной фразе

Чтобы найти точную фразу или цитату, заключите ее в любые кавычки:

Такой способ должен найти указанное вами сочетание слов в точном виде, при этом вы можете оставить за пределами кавычек прочие слова, которые могут входить в цитату в различном виде или составе.

Способ работает частично, выше вы можете видеть, что в сниппете второй позиции выдачи указанная нами фраза отсутствует. Зато присутствует в точном указании в двух других.

Нахождение отсутствующих слов

Если вы знаете точную фразу, содержание которой необходимо найти, но забыли точное слово или часть из нее, то можете обозначить это оператором «*»:

Оператор работает только в сочетании с фразой в кавычках. А сам способ хорошо подходит в том случае, если вы задаете длинный набор слов, но под ним подразумевается много значений, разброс которых в выдаче слишком велик.

Уточняем присутствие обязательных слов

Допустим, ваш запрос должен содержать несколько слов, относящихся к определенной тематике, но найденная информация по ней может быть любой. Задайте обязательные слова с помощью оператора(ов) «+», а тематику укажите без операторов:

Тему вы можете задать и через кавычки, чтобы гарантированно получить фразы с указанными словами именно по ней.

Исключение слов из запроса

В случае, когда вам нужно найти информацию без упоминания определенных слов или тематик, то добавьте слова в поисковый запрос с оператором «-», который можно использовать сколько угодно раз прежде чем выдача полностью очистится от ненужного:

По данным «Яндекса», по общему количеству запросов в поиске всегда лидируют три темы: школа, кино и порно (последние две темы – вечером и ночью). Первым делом с утра люди спрашивают про погоду, включают радио и выясняют значение своих снов.

Около четверти всех запросов касаются развлекательного контента: люди хотят смотреть, слушать и играть.

Выбор из нескольких вариантов в поиске

Когда вам необходимо найти информацию по нескольким направлениям, но не важно, какое из них будет представлено в выдаче, разделяйте их оператором «|». Одно из слов, разделенных оператором, обязательно будет включено в выдачу, но не обязательно вместе с другим:

Для обязательного включения нескольких слов в запрос используйте операторы-кавычки или восклицательный знак.

Поиск по определенному URL

Чтобы найти текст, размещенный на выбранной вами странице, ее нужно сообщить через оператор «url:». Сначала нужно ввести нужное слово или фразу, затем указать страницу через оператор, причем лучше заключить ее в кавычки. Надо отметить, что способ не самый удобный и не очень работоспособный. Лучше воспользоваться его расширением: через оператор «*» отметить все страницы, размещенные в заданном разделе сайта, например, так:

«Звездочка» заменяет в поиске любые символы или даже фразы.

Новый поиск «Яндекса»: «серому» SEO будет совсем плохо от Y1

Поиск на заданном сайте

Чтобы не указывать конкретные страницы, добавьте к нужным вам словам URL всего сайта, заданный через оператор «site:». Так «Яндекс» будет искать информацию исключительно на указанном сайте, включая все его страницы.

Ищем информацию на определенном домене

Чаще всего домен обозначает принадлежность сайта определенной стране, поэтому вы можете найти необходимую информацию, указав нужный домен через «domain:»

Поиск файлов для скачивания

В том случае, когда вам нужен не сайт, а сразу файл с необходимой информацией, вы можете производить поиск по формату этого файла. Укажите его через оператор «mime:» и добавьте искомый текст:

Как и в Google, здесь невозможно указать сразу несколько типов файлов, чтобы искать данные сразу в нескольких типах исполнения.

Совмещайте оператор с другими, например, с «site:», чтобы искать нужные файлы на определенном сайте.

Поиск на заданном языке

Если вам необходимо найти контент на определенном языке, то выберите его обозначение по стандарту ISO 639-1 и укажите через оператор «lang:»

Например:

• английский – en;
• испанский – es;
• итальянский – it;
• португальский – pt;
• русский – ru.

Самое длинное название России (25 знаков!) и еще гора удивительных фактов в новом отчете «Яндекс.Карты»

Информация по дате изменения страницы

Чтобы найти данные с указанием даты их выкладки или последнего изменения, используйте оператор «date:» следующим образом:

• date:ГГГГММДД – для указания точной даты размещения;
• date:<ГГГГММДД (>) – информация раньше или позже указанной даты;
• date:ГГГГММДД..ГГГГММДД – в указанном интервале;
• date:ГГГГММ* – в указанном месяце года;
• date:ГГГГ* – в указанном году.

Поиск только по заголовкам

Если вам нужно найти слова или фразы исключительно в заголовке страниц сайта, то используйте оператор «title:»

Переводчик в поисковой строке

Чтобы сразу перевести текст (по умолчанию с русского на английский или с определенного системой языка на русский), наберите «перевод:слово»:

«Яндекс.Калькулятор»

Просто наберите в поисковой строке слово «калькулятор»:

Кроме того, вы можете написать выражение в поисковую строку, и «Яндекс.Калькулятор» сразу его посчитает:

«Яндекс.Конвертер»

Вы можете переводить одни единицы в другие, просто начав вводить их название:

Если вам необходимо посчитать конкретное значение одних единиц в других, то введите выражение и получите ответ прямо в браузере.

Быстрый прогноз погоды

Чтобы не ходить по сайтам с погодой, вы можете набрать слово «погода» и указать ваш город, после чего увидите краткую сводку гидрометцентра:

Если вы не укажете город, то «Яндекс» покажет погоду в месте, определенном по вашим координатам.

Дополнительные настройки поиска в «Яндексе»

Для персонализации поиска вы можете воспользоваться настройками, ссылка на которые располагается в нижней части страницы поисковой выдачи:

До этого вы можете включить семейный поиск, чтобы избавить выдачу от непристойных результатов и спорного контента.

Содержание самих настроек поиска:

1. Чтобы не забыть какие запросы вы вводили, используйте историю поиска. Ее вы можете очистить в настройках или отключить, сняв галочку.
2. Часто используемые сайты могут помочь, если вы используете некоторые ресурсы постоянно – так они всегда будут под рукой. Но и их можно отключить в настройках.
3. Время посещения сайтов позволяет вам легче вспоминать, с чем и когда вы работали. Эта возможность также отключается здесь.
4. Выделяйте меткой персонализированные результаты в выдаче либо отключите и эту возможность.
5. Кроме семейного поиска, можно использовать два типа фильтрации контента – без ограничений и с умеренным фильтром. По умолчанию включен именно он, так что имейте в виду.

Надеемся, что эти лайфхаки помогут вам быстро находить нужную информацию.

Вместе с тем, сам поиск «Яндекса» тоже все время становится умнее. Например, он может найти верный фильм по запросам вроде «мужик полетел в космос и застрял между шкафами» («Интерстеллар»), «фильм где дерево живое и енот живой» («Стражи галактики») и даже «фильм Стивена Кинга, где Николсон бухает, печатает книгу и ломает дверь» («Сияние»).

Интернет — просто охренеть какая огромная штука. И в нем есть все. Общение с друзьями? Вот, пожалуйста — Facebook. Фотоальбом — в Instagram. Купить дачу? У меня уже есть «Веселый фермер». А энциклопедией давно пользовались? Зачем, ведь есть поисковики, которые знают все. И сегодня мне бы хотелось отдать должное этим чудо-сервисам. А точнее рассказать вам о том, как работает Яндекс поиск.

Помните Гермиону из саги о Гарри Поттере? Как вы думаете: почему она была такой сверхэрудированной всезнайкой? Правильно, потому что постоянно ходила где-то читала про всякие зелья, изучала разные заклинания, допытывалась до учителей по всем непонятным моментам. В общем, делала все, чтобы расширить свою базу знаний. Точно так же работает Яндекс поисковик. Еще до того, как вы задали ему вопрос, он уже кое-что узнал про вашу тему и сохранил себе в копилочку.

Как формируется поисковая база Яндекса

Пауки всемирной паутины

Поисковик Яндекс знает несколько триллионов урлов. И каждый день он изучает по паре миллиардов из них. Делают это специальные роботы—пауки, краулеры. Они заходят на страницу, анализируют содержимое, делают копию и отправляют на сервер. А затем уходят по ссылкам на другие страницы. Так происходит знакомство поисковика с сайтом. Далее следует этап индексикации.

Если произвести нехитрые математические расчеты, то можно выявить, что пауки Яндекса обойдут все известные страницы приблизительно за 2 года. Но это будет неверно, так как количество урлов постоянно увеличивается
=> работа по созданию поисковой базы бесконечна.

Индексикация

Определение индекса сайта — это процесс добавления всей важной информации о странице в базу поисковика. То есть определяется язык, формируются данные об отдельных словах и вытаскиваются все ссылки исходящие на другие страницы. Кроме того у Yandex есть специальный инструмент, который называется логи Яндекса. Он изучает, как пользователь ведет себя в выдаче: на что кликает, а на что не кликает. Опираясь на все полученные параметры и задается поисковый индекс сайта.

Логи Яндекса широко применяются не только при индексикации, но и при ранжировании.

Составление поисковой базы

Поисковые индексы, полученные в ходе предыдущего этапа, отправляются в поисковую базу. У Яндекс поиска она функционирует на программной платформе мапредьюс YT. Здесь данные превращаются файлы и «остаются жить».

Суммарный объем данных YT приблизительно 50 петабайт = 51 200ТБ.

У поисковой базы данных есть еженедельное обновление — апдейт. Это тот момент, когда поисковый робот Яндекса, накачав определенное количество файлов и рассчитав для них все необходимые характеристики, принимает решение, что можно добавить эту информацию в поиск.

Согласно статистическим данным Игоря Ашманова — специалиста по поисковым системам в интернете, полнота поисковой базы у Яндекса (красные на графике) в несколько раз выше, чем у их ближайшего конкурента Google (черные).

Пока индекс — времязатратный и протекает комплексно сразу для большого количества данных. Поэтому у Яндекса есть специальный быстрый контур, который может добавлять и доносить до пользователя отдельные, срочные файлы. Ну, например, новости в реальном времени.

Как работает сам Яндекс поиск

Любой запрос в поисковой системе Яндекс проходит по следующей схеме.

Балансеры — это машины, которые агрегируют выдачу.
Построение выдачи формируется из результатов трех средних метапоисков. Поясню, что это значит. В выдаче вы видите результаты запроса по страницам, картинкам и видео. Происходит это потому, что ваш запрос проходит по трем разным индексам. И по ним он спускается в самую—самую глубь поисковой базы, разделенную на несколько тысяч кусков. Этот процесс обозначается, как поисковая кластеризация.

Работа поискового кластера состоит из функционирования более миллиона экземпляров различных программ. Они выполняют всяческого рода задачи, у них разные системные требования и всем им нужно где—то «жить». Поэтому поисковая кластеризация занимает еще и огроменное количество компьютерного железного хостинга.

Для хранения и передачи всех программ и данных к ним Яндекс использует внутренний торрент—трекер. Число раздач на нем больше, чем на крупнейшем в мире пиратском трекере The Pirate Bay.

Вернемся к результатам выдачи.
В поисковую выдачу попадают наиболее релевантные, соответствующие поисковому запросу документы. Дальше происходит ранжирование — упорядочивание результатов поиска. Проходит оно с помощью специальной формулы. Чтобы порядок результатов каждый раз был качественным, актуальным и максимально релевантным разработчики Яндекса придумали одну очень крутую штуку.

Матрикснет — метод машинного обучения, с помощью которого строится формула ранжирования Яндекс. Он постоянно модернизирует эту схему: выстраивает комбинации, добавляет и убирает факторы, выставляет коэффициенты. Другая важная характеристика этого метода — возможность индивидуальной настройки формулы ранжирования для узкопрофильных категорий запросов. То есть для отдельных запросов, например, про кино или компьютерные игры, можно улучшить качество поиска. При этом ранжирование по остальным классам запросов не ухудшится.

Первая формула ранжирования Яндекса составляла примерно 10 байт. На сегодняшний момент — около 100 мегабайт.

Задача поисковика не просто находить иголки в сеновалах, но и определять самые острые из них. И самое удивительное то, как работает Яндекс поиск. Результат выдается за доли секунд. Десять первых наиболее релевантных запросов — как правило, это все, что нужно пользователю. Если в этих запросах мы не находим то, что искали, то мы пробуем или другой запрос, или меняем поисковик. Но рано или поздно: «Найдется все!»

Скриншоты взяты из лекции Петра Попова.

icon by Arthur Shlain

Привет дорогие друзья! В этой статье мы продолжим рассматривать поисковую систему Яндекс, и как вы помните, в прошлых статьях был рассмотрена история создания этой великой компании, которая занимает первое место среди конкурентов в России и не только.

Все это хорошо, но новичков и бывалых сайтостроителей интересует самый главный вопрос, конечно же, связанный с тем, как выводить свои проекты на первые места ТОП выдачи.

Поэтому давайте рассмотрим, как работает поисковая система Яндекс, чтобы понять на какие грабли можно наступить, да и чего вообще стоит ждать от русской поисковой машины.

В прошлой статье мы с тобой обсуждали историю развития Яндекса. Тема оказалась достаточно интересной и полезной. Поэтому я решил её дополнить, углубить так сказать.

Итак, наверное, с вопросом «Зачем поисковик индексирует документы» я погорячился – это и ежу понятно. Осталось выяснить вопрос «как».

Алгоритмы ранжирования сайтов

Для начала давай познакомимся с некоторыми алгоритмами, которые являются основополагающими для любой поисковой системы:

— Алгоритм прямого поиска.

Что это такое – вы помните, что читали замечательную историю в одной из книг. И вы начинаете по очереди искать. Взяли одну книгу – полистали – не нашли, взяли другую… Принцип понятен, но этот способ чрезвычайно долгий. Это тоже понятно.

— Алгоритм обратного поиска.

Для этого алгоритма создается из каждой страницы твоего блога – создается текстовый файл. В этом файле перечисляются в алфавитном порядке ВСЕ слова, которые ты использовал. Даже позиция этого слова в тексте указывается (координаты в тексте).

Это достаточно быстрый способ, но уже поиск происходит с какой-то погрешностью.

Здесь главное понимать, что алгоритм этот ищет не в интернете, не поиском по блогу. А в отдельно взятом текстовом файле, который создан был когда-то давно. Когда робот заходил к тебе. И эти файлы (обратные индексы) хранятся на серверах Яндекса.

Так, это были базовые алгоритмы поиска. Т.е. как Яндекс просто находит нужные документы. С этим вроде бы проблем не должно быть.

Но ведь документов Яндекс знает не один и даже не 100, а по последним данным из моих источников – Яндекс знает порядка 11 млрд. документов ( 10 727 736 489 страниц ) .

И среди всего этого количества нужно выбрать документы, подходящие под запрос. И что еще важнее – нужно как-то ранжировать их. Т.е. выстроить по степени важности, а точнее по степени полезности для читателя.

Математические модели поиска

Для решения этого вопроса на помощь приходят математические модели. Вот о простейших моделях мы сейчас и поговорим.

Булевская мат.модель – Если слово встречается в документе – документ считается найденным. Просто на совпадение и ничего сложного.

Но тут есть проблемы. Например, если ты как пользователь введешь какое-то популярное слово, а еще лучше предлог «в», который является самым распространенным словом в русском языке и встречается в КАЖДОМ документе – то тебе выдаст такое количество результатов, что ты даже не осознаешь такую цифру, сколько тебе документов нашлось. Поэтому появилась следующая мат модель.

Векторная мат.модель – эта модель определяет «вес» документа. Уже не только совпадение встречается, но и это слово должно встречаться несколько раз. Причем чем больше слово встречается – тем выше релевантность (соответствие).

Именно векторную модель используют ВСЕ поисковики.

Вероятностная модель – более сложная. Принцип такой: поисковик нашел сам эталон страницы. Например, вы ищете информацию об истории Яндекса. У Яндекса хранится какой-то эталон, допустим это будет моя предыдущая статья о Яндексе.

И все остальные документы он будет сравнивать с этой статьёй. И логика здесь такая: чем более страница твоего блога похож на мою статью – тем ВЕРОЯТНЕЕ тот факт, что твоя страница блога тоже будет полезна читателю и тоже рассказывает об истории Яндекса.

Чтобы сократить количество документов, которые нужно показывать пользователю – было введено понятие релевантности, т.е. соответствия.

Насколько страница твоего блога действительно соответствует теме. Это важная тема, которая касается качества поиска.

Асессоры — кто это и за что отвечают

Нужна эта релевантность еще и для оценки качества работы алгоритмов.

Для этого есть штаб спецназа – их называют Асессоры. Это специальные люди, которые руками просматривают поисковую выдачу.

У них есть инструкция, как проверять сайты, как оценивать и т.п. И они руками определяют по порядку подходят твои страницы поисковым запросам или не подходит.

И вот от мнения асессоров зависит качество поисковых алгоритмов. Если все асессоры скажут, что поисковая выдача не соответствует запросам – значит неправильный алгоритм ранжирования и здесь вина только Яндекса.

Если асессоры говорят о том, что только один сайт не соответствует запросу – значит, сайт улетает куда-то далеко и понижается в выдаче. Точнее не весь сайт, а только одна статья, но это «не суть».

Конечно, асессоры не могут руками и глазами просмотреть и оценить ВСЕ статьи. Это ж понятно.

И на помощь приходят другие параметры, по которым проходит ранжирование страниц.

Их очень много, ну например:

• вес страницы (вИЦ, PageRank, пузомерки в общем);
• авторитетность домена;
• релевантность текста запросу;
• релевантность текстов внешних ссылок запросу;
• а также множество других факторов ранжирования.

Асессоры вносят замечания, а люди, которые отвечают за за настройку математической модели ранжирования уже, в свою очередь, редактируют формулу, в результате чего поисковик работает более качественно.

Основные критерии оценки работы формулы:

1. Точность выдачи поисковой системы — процент документов, соответствующих запросу (релевантных). Т.е. чем меньше страниц, не соответствующих запросу присутствует — тем лучше.

2. Полнота выдачи поисковой системы — это отношение релевантных веб-страниц по данному запросу к общему количеству релевантных документов, находящихся в коллекции (совокупности страниц, находящихся в поисковой системе).

Например, если во всей коллекции релевантных страниц больше, чем в поисковой выдаче, то это означает неполноту выдачи. Это произошло из-за того, что некоторая часть релевантных веб-страниц попала под фильтр.

3. Актуальность выдачи поисковой системы — это соответствие веб-страницы тому, что написано в сниппете. Например, документ может сильно отличаться или вовсе не существовать, но в выдаче присутствовать.

Актуальность выдачи напрямую зависит от того, как часто сканирует поисковый робот документы из своей коллекции.

Сбор коллекции (индексация страниц сайта) осуществляется специальной программой — поисковым роботом.

Поисковый робот получает список адресов для индексации, копирует их, далее содержимое скопированных веб-страниц отдаёт на обработку алгоритму, который преобразует их в обратные индексы.

Ну, вот «в двух словах», если можно так сказать, мы обсудили принципы работы поисковика.

Давай подытожим:

1. Поисковой робот приходит к тебе на блог.
2. Поисковой робот сохраняет у себя обратный индекс страницы для последующего поиска.
3. С помощью математической модели документ обрабатывается и выдается в поисковой выдаче по формулам и с учетом мнения асессора.

Это если очень-очень упрощенно. Просто, чтобы сложилось базовое понимание работы поисковой системы Яндекс.

Я сейчас написал так много текста, и, возможно столько всего не понятно. Поэтому я предлагаю тебе вернуться на эту статью чуть позже и просмотреть вот это видео.

Это отличное руководство, по которому в своё время и я учился.

Надеюсь данная информации поможет лучше понять, почему какой-то из ваших сайтов занимает соответствующие позиции в поиске и сделать все, чтобы их улучшить.

На этом я с вами прощаюсь, если есть вопросы, я всегда рад ответить на них в комментариях. А может вы хотите дополнить статью?

В любом случае высказывайте свое мнение. До скорой встречи на seoslim.ru!

Введение

Интернет имеет в своём составе миллионы сайтов и огромные объёмы информации. Для того, чтобы пользователи имели возможность узнавать о существовании данной информации и использовать её, были созданы специальные поисковые системы. Они осуществляют право пользователей на доступ к любой информации, которая им требуется на данный момент. Поисковая система является техническим средством, при помощи которого пользователи интернета могут отыскать информационные данные, уже имеющиеся в сети Интернет.

Пользователи могут искать в интернете самые разнообразные данные, начиная научными работами, и заканчивая порнографическими материалами. Проектировщики полагают, что поисковая система в любом случае обязана находить соответствующие страницы, причём она просто выполняет поиск той информации, которая уже имеется в интернете и доступна для всех.

Основные принципы работы поисковой системы Яндекс

Поисковая система Яндекс не считает себя цензором и не может отвечать за содержание различных сайтов, которые встречаются в поисковом индексе. Об этом сообщалось в одном из первых документов компании — «Лицензии на использование поисковой системы Яндекса», опубликованной еще в 1997 году, при старте www.yandex.ru.

Информация, которую удалили из интернета, должна быть удалена и из поискового индекса. Поисковые роботы периодически выполняют обход уже проиндексированных сайтов. Если они обнаруживают, что какой-либо страницы больше нет или она закрыта для индексирования, то она удаляется и из поиска. Чтобы ускорить этот процесс следует использовать форму «Удалить URL».

В ответ на запрос, введённый пользователем в поисковой строке, поисковая система должна показать ссылки на известные ей страницы, в тексте которых (а также в метатегах или в ссылках на эти сайты) содержатся слова, указанные в запросе. Практически всегда таких страниц бывает достаточно много, настолько много, что пользователю просто нереально просмотреть их все. По этой причине важно не просто найти их, но и реализовать их упорядочение так, чтобы сверху находились именно те страницы, которые наилучшим образом подходят для ответа на сформированный запрос. То есть, они являются наиболее релевантными к запросу. Релевантностью считается самое лучшее соответствие интересам пользователя, который ищет информацию.

Релевантность обнаруженных страниц по полученному запросу Яндекс может определить полностью в автоматическом режиме при помощи сложных формул, которые учитывают огромный набор свойств запроса и документа. Процесс упорядочивания полученных результатов по их релевантности именуется ранжированием. Именно ранжирование определяет качественные показатели поиска, то есть, насколько поисковая система способна показать пользователю необходимый и ожидаемый результат. Формулы ранжирования выстраиваются также в автоматическом режиме, а именно, при помощи машинного обучения, которое постоянно совершенствуется.

Качество поиска является самым важным аспектом для всех поисковых систем. Когда система плохо справляется с поиском, пользователи просто перестают ей пользоваться. По этой причине необходимо постоянно улучшать алгоритмы ранжирования и сделать их устойчивыми к внешним воздействиям. К примеру, к попыткам отдельных веб -мастеров обманывать поисковые системы. Поэтому Яндекс никогда не продаёт места в результатах поиска. То есть на результаты поиска не могут оказать влияние политические, религиозные и любые другие взгляды сотрудников компании Яндекс.

Пользователи выполняют просмотр страницы результатов поиска сверху вниз. Поэтому Яндекс отображает сверху, в числе первых результатов, тот набор документов, которые содержат самые подходящие пользователю ответы. То есть те ответы, которые являются наиболее релевантными полученному запросу. Из всего набора возможных релевантных документов Яндекс всегда выбирает самый лучший вариант.

С данным принципом сопряжено несколько правил, применяемых Яндексом к отдельным типам сайтов. Данные правила исполняются полностью в автоматическом режиме, то есть, их исполняют алгоритмы, а не специалисты. Правила следующие:

1. Есть страницы, явно ухудшающие качество поиска. Они специально реализованы для обмана поисковых систем. Для этого, к примеру, на странице помещают невидимый или бессмысленный текстовый набор. Или формируют промежуточные страницы, которые реализуют перенаправление пользователей на сторонние сайты. Некоторые сайты способны замещать страницу, с которой осуществил переход пользователь, на какую-либо другую страницу. То есть, если пользователь перешёл на такой сайт по ссылке из результатов поиска, а потом захотел снова вернуться к результатам поиска и посмотреть другие результаты, то он увидит какой-либо другой ресурс. Данные ресурсы не интересны для пользователя и способны ввести его в заблуждение, что, естественно, ухудшает качество поиска. Яндекс в автоматическом режиме удаляет их из поиска или же понижает в ранжировании.
2. Случается, что в некоторых документах имеется полезная информация, но она воспринимается очень сложно. К примеру, существуют сайты, содержащие popunder-баннеры, которые перемещаются по экрану вслед за прокруткой страницы и могут закрыть ее содержимое, а при попытке закрыть такой баннер, открывается новое окно. Есть также сайты, содержащие clickunder-рекламу, которая неожиданно для пользователя может открыть рекламную страницу при любом клике по сайту, включая ссылки. С точки зрения Яндекса, оба этих вида рекламы могут мешать навигации по сайту и нормальному восприятию информации. Поэтому сайты с данной рекламой помещаются в поисковой выдаче ниже, чем сайты, на которых пользователь может найти ответ на свой вопрос без излишних проблем.