Яндекс.Новости — один из самых популярных сервисов Яндекса. Алгоритмы Новостей каждый день автоматически обрабатывают десятки тысяч сообщений множества разных СМИ. Мы проанализировали данные сервиса и выяснили, сколько новостей пишут в рунете, как и кто их читает. Исследование основано на данных за 2014 год; учитывалась статистика только российских партнёров сервиса.
Кто пишет
Каждый день российские СМИ публикуют в интернете около 47 тысяч сообщений — в полтора раза больше, чем в первой половине 2011 года. Примерно на столько же за прошедшие три года увеличилось и количество изданий — с 3000 до 4600. Этот рост обеспечили в основном специализированные и региональные СМИ. По сравнению с 2011 годом число крупных новостных изданий почти не изменилось.
Интересно, что за три года доля перепечаток в рунете значительно упала. Тогда 25% сообщений российских интернет-СМИ были перепечатками чужих материалов, а сейчас таких сообщений всего 16%. Наиболее авторитетными источниками остаются крупные федеральные СМИ (прежде всего информагентства) — доля перепечаток их материалов составляет 41%, а ссылаются на них в 71% сообщений со ссылкой на источник.
Кто читает
Пользуясь данными Яндекс.Метрики, мы также изучили, кто и как читает российские интернет-издания. Для этого мы проанализировали обобщённые данные всех новостных сайтов, на которых установлены счётчики Метрики, а также использовали информацию о поле и возрасте посетителей, собранную с помощью технологии Крипта.
Оказалось, что каждый четвёртый пользователь интернета в России читает новости хотя бы раз в месяц. Почти половина из них пользуется только одним источником, ещё четверть читает новости на двух-трёх сайтах. Что касается активности, то 58% читателей новостей в месяц просматривают не более пяти страниц на сайтах СМИ. Доля тех, кто просматривает 30 и более страниц в месяц, то есть посещает новостные сайты более-менее регулярно, составляет 15% (это 4% всех российских пользователей интернета).
На основе данных о том, какие интернет-издания посещают одни и те же пользователи, мы разделили СМИ на группы по сходству аудитории. Всего таких групп получилось около 70 — например, спортивные издания, издания о недвижимости, популярные ежедневные газеты, деловые СМИ или издания, пишущие о религии.
У аудитории многих групп прослеживаются общие признаки. Например, спортивные и автомобильные издания читают в основном мужчины (80% аудитории), а вот среди читателей изданий о налогах и бухучёте мужчин всего 25%. Другой показательный пример — у городских СМИ вроде The Village и «Афиши» важным источником переходов являются соцсети, которые дают 17% трафика, в то время как издания о недвижимости 15% трафика получают от переходов с рекламы.
На основе данных об аудитории мы составили большую интерактивную карту российских интернет-СМИ — с её помощью вы можете получить представление о количестве публикаций разных изданий и о сходстве аудитории разных СМИ (по клику на изображение откроется полная версия карты).
Больше подробностей ищите на странице исследования.
Мы обновили «Мои новости» — персональный раздел Яндекс.Новостей. Он предназначен для тех, кто любит внимательно следить за событиями, предпочитает сам выбирать источники информации и узнавать все новости в одном месте.
«Мои новости» помогают собрать всё самое интересное, где бы оно ни публиковалось, в единую ленту. На одной странице вы можете читать статьи из интернет-изданий, RSS-потоки различных сайтов и блогов, а также материалы, которые рекомендуют ваши друзья в соцсетях. Все сообщения снабжены иллюстрациями и крупными заголовками, чтобы можно было сразу заметить главное.
Подключить соцсети, выбрать СМИ и другие источники можно в настройках «Моих новостей». Вы можете добавить в ленту материалы не только из определённых источников, но и по определённым темам или запросам — например, «футбол», «марсоход Curiosity» или «Твин Пикс». Темы можно выбрать при первой настройке «Моих новостей» или добавить вручную в любой момент.
Названия источников, темы и запросы в «Моих новостях» работают и как фильтры: хотите — оставьте в ленте только репосты из ВКонтакте, а хотите — только статьи о финансах. В режиме «Последнее» все материалы сортируются по времени появления, а в режиме «Важное» выше будет то, что опубликовали у себя хотя бы несколько друзей или избранные СМИ.
Для владельцев iPhone у нас есть отдельная хорошая новость: в новом приложении Яндекс.Новостей тоже есть раздел «Мои новости», и он полностью синхронизируется с веб-версией. Настроили на компьютере — читайте в мобильном, и наоборот.
Всего несколько десятков лет назад люди узнавали о новостях раз в какое-то время, из газет, по телевизору или по радио – и им хватало. Теперь же, благодаря интернету, мы постоянно следим за событиями и сразу узнаём обо всём. Быть в курсе происходящего помогают Яндекс.Новости — крупнейший в рунете новостной агрегатор, автоматически составляющий картину дня на основе материалов нескольких тысяч изданий.
Каждый день робот Новостей обрабатывает более ста тысяч сообщений и объединяет их в сюжеты с помощью технологии извлечения фактов. Результат этой работы вы можете видеть на главной странице Яндекса и на странице Яндекс.Новостей. А теперь — ещё и в мобильном приложении для iPhone.
На первом экране приложения показаны самые актуальные события дня — те, о которых СМИ пишут больше всего прямо сейчас. Последние новости спорта, культуры или экономики можно узнать в соответствующих рубриках, а если в мире происходит что-то особенно важное — к регулярным рубрикам добавляется ещё одна, посвящённая актуальной теме.
Когда видишь любопытную новость или статью, не всегда есть возможность остановиться и вдумчиво её прочесть. А если упустить время, материал «уползёт» вниз ленты, и его потом сложно будет найти. Чтобы этого избежать, мы предусмотрели возможность откладывать новости в «библиотеку». Сохранить и прочитать позже — например, в дороге — можно и отдельные заметки, и сразу несколько новостей.
Чтобы сохранить что-то интересное, его нужно сначала найти, а сделать это в новостном потоке не так уж просто. Решить эту задачу помогает раздел «Мои новости», в котором вы можете собрать сообщения избранных СМИ и новости на интересные вам темы. Чтобы добавить тему, достаточно набрать в поиске ключевое слово, например, «астрофизика» или «iPhone», и сохранить этот запрос в «Моих новостях».
Кроме того, в ленту «Моих новостей» можно добавить публикации ваших друзей в социальных сетях: Твиттере, Фейсбуке, ВКонтакте и Живом Журнале. Эти публикации будут отображаться вместе с сообщениями СМИ. Так что вы увидите в ленте и выбранные вами новости, и материалы, которыми поделились ваши друзья — интересные им заметки или ссылки. К ссылкам, которые они опубликуют, автоматически подтянутся соответствующие сюжеты в Яндекс.Новостях.
«Мои новости» полностью синхронизируются с веб-версией Яндекс.Новостей. Если вы уже составили ленту на сервисе, она автоматически появится и в приложении, как только вы авторизуетесь.
Скачать приложение Яндекс.Новости для iPhone можно здесь. В дальнейшем мы планируем выпустить версию и для платформы Android.
Что люди делают в интернете? По данным недавнего опроса ФОМ, большинство ищет информацию и читает новости. Если подумать, это очень похожие вещи, ведь новости — это информация о том, что происходит вокруг. В 2008 году мы запустили сервис Яндекс.Новости, чтобы вы могли узнавать обо всех новостях в одном месте. Теперь для тех, кто всегда хотел узнать чуть больше, в Яндекс.Новостях появились ссылки на статьи зарубежных СМИ. Эти статьи можно автоматически перевести на русский и любой другой из 34 языков, которые знает Яндекс.Перевод, или прочитать в оригинале на сайте источника.
Благодаря ссылкам на иностранные СМИ вы можете узнать, как событие освещают за рубежом. Это помогает представить разные точки зрения на событие и отвечает главной задаче Яндекс.Новостей — беспристрастно отражать новостную картину дня во всей её полноте.
Материалы зарубежных СМИ включаются в сюжеты автоматически при помощи алгоритма кластеризации — так же, как и материалы всех других источников Яндекс.Новостей. Конечно, ссылки на зарубежные СМИ есть не во всех сюжетах, ведь не все российские новости освещают за рубежом. Пока мы добавили ссылки только на англоязычные издания, однако не исключаем, что в будущем в Яндекс.Новостях появятся статьи и на других языках тоже.
Сегодня Яндекс.Новости автоматически обрабатывают публикации около 800 англоязычных СМИ и почти 6000 русскоязычных. Структурируя десятки тысяч сообщений, мы создаём новостную картину дня, которую видят миллионы читателей. О том, как мы это делаем, читайте в нашей предыдущей публикации.
Команда Яндекс.Новостей
Яндекс.Новости — крупнейший в рунете агрегатор новостных сообщений. Каждый день этот сервис получает материалы от нескольких тысяч СМИ и автоматически формирует из них новостную картину дня. Это очень сложная задача: нужно структурировать огромное количество информации, выделить самое важное и предоставить результат читателям в понятном виде. Нас часто спрашивают, как работают Яндекс.Новости, и в этой публикации мы постараемся ответить на ваши вопросы. А если что-то забудем — спрашивайте в комментариях.
Главная и определяющая особенность Яндекс.Новостей — отсутствие человеческого вмешательства. У нас нет редакторов и модераторов. Мы не пишем собственных материалов, у нас нет «редакционной политики» и своей точки зрения. Мы не СМИ. Все новости мы получаем от партнёров. Их материалы Новости не публикуют у себя целиком, а используют только фрагменты сообщений и заголовки. На сегодняшний день у Яндекс.Новостей около 6000 партнёров. В среднем они выпускают более 110 тысяч сообщений в будний день.
Всё, что вы видите на страницах Яндекс.Новостей, — это результат работы алгоритмов. Они должны показать читателю полную и беспристрастную картину дня, сложить её из тысяч новостных сообщений. Яндекс.Новости являются входной точкой в медиапространство. Их задача — донести до вас всё, о чём пишут СМИ, говорят по радио и по телевизору. Что читать и где — вы решаете сами.
Сообщения объединяются в сюжет с помощью алгоритма кластеризации. Сначала робот Новостей анализирует все сообщения от партнёров и выделяет в них ключевые слова и факты с помощью разработанной в Яндексе технологии извлечения фактов. Затем он сравнивает выделенное и группирует сообщения по сюжетам. После того как сообщения сюжета отобраны, их необходимо отранжировать, и это самый интересный этап работы.
Даже человеку сложно решить, какая из десятков, а иногда и сотен новостей об одном и том же событии интереснее и полнее. Что говорить о компьютере. Чтобы формализовать этот выбор, робот Яндекс.Новостей рассчитывает «вес» сообщения на основе трёх критериев:
• цитируемость (сколько ссылок на это сообщение в других сообщениях сюжета, без учёта ссылок в аффилированных СМИ и самоцитирования),
• свежесть (время публикации сообщения по сравнению с другими источниками),
• информативность (наполненность сообщения ключевыми фактами сюжета).
Почему критерии именно такие? Мы ориентируемся на ожидания читателей: информация должна быть актуальной, полной и достоверной. Актуальность и полноту робот измерить может, а с достоверностью помогает цитируемость. Этот параметр сродни индексу цитирования в научном мире. Он говорит о том, насколько сообщениям этого СМИ доверяют другие издания.
Из фрагментов трёх лучших по этим критериям сообщений формируется краткое описание сюжета (аннотация). Фрагменты сообщений в аннотации должны содержать основные факты: даты и числа, названия объектов и организаций, имена людей, часто цитируемые высказывания. Как правило, фрагменты подбираются таким образом, чтобы дополнять друг друга и дать читателю как можно более полную картину произошедшего.
По тому же принципу выбирается заголовок сюжета. Прочитав его, вы должны сразу понять, о чём речь, поэтому он должен наиболее полно отражать актуальную фактическую сторону сюжета и не содержать лишних слов.
Под аннотацией в сюжете расположены другие сообщения СМИ о событии. Из всех сообщений робот выбирает наиболее цитируемые и ранжирует их по свежести. Остальные новости в виде хронологической ленты можно увидеть по ссылке в конце списка новостей. Приблизительно каждые 20 минут в сюжет добавляются свежие новости.
Кроме параметров самого сообщения при ранжировании учитывается ещё один фактор — вес источника, то есть СМИ, опубликовавшего новость. Он зависит от двух показателей. Это цитируемость — количество ссылок на источник в сообщениях других СМИ за последние два месяца — и оперативность — показатель того, насколько быстро источник реагирует на то или иное событие. Эти показатели автоматически пересчитываются раз в неделю. К примеру, на момент публикации этого текста первая двадцатка СМИ по весу выглядела так (в алфавитном порядке): Агентство спортивных новостей «Р-Спорт», «Ведомости», «Газета.Ru», «Известия», «Интерфакс», ИТАР-ТАСС, «Коммерсант», «Комсомольская правда», НТВ, ПРАЙМ, РБК, РИА Новости, «Росбалт», «Российская газета», «Спорт-Экспресс», телеканал «Дождь», «Чемпионат.com», «Эхо Москвы», Lenta.ru, REGNUM.
Вес СМИ играет незначительную роль при ранжировании сообщений. Он помогает нам в другом — ранжировать сюжеты. Как внутри сюжетов выбираются основные сообщения, так и внутри Яндекс.Новостей выбираются основные сюжеты. Вес источника помогает роботу оценить важность события. Если о каком-то событии пишут многие СМИ с большим весом, оно с высокой вероятностью важнее того события, о котором пишут менее весомые издания. Из этих важных событий и складывается новостная картина дня.
Как отбираются новости для главной страницы Яндекса?
На главной странице Яндекса должны оказаться самые важные события — такие, которые попали на главные страницы авторитетных СМИ. Поэтому при выборе новостей для главной страницы учитывается много разных параметров: количество сообщений об этом событии, вес пишущих о нём источников, плотность потока сообщений в единицу времени, а также позиция новости на сайте источника. Таким образом, на главную страницу Яндекса с большей вероятностью попадут события, о которых много пишут и которые попали на главные страницы авторитетных СМИ.
Почему в топе слишком много негативных новостей?
Яндекс.Новости собирают и структурируют информацию автоматически, они являются зеркалом медиасреды. Другими словами, мы лишь отражаем то, о чём пишут СМИ.
Почему в Яндекс.Новостях появляются опечатки?
Мы не вмешиваемся в работу алгоритмов. Все сообщения наших партнёров попадают в Яндекс.Новости в том виде, в каком они были переданы. Мы не исправляем опечатки вручную, а информируем источник об ошибке.
P.S. Если у вас есть вопросы о работе Яндекс.Новостей, задавайте их в комментариях. Кроме того, скоро мы проведём семинар на тему «Как работают Яндекс.Новости» для всех заинтересованных представителей СМИ. Отправляйте ваши заявки на [email protected], на ближайший семинар мы пригласим первых 70 записавшихся.
Команда Яндекс.Новостей