Ключ от Яндекса

Защита личных данных — одна из самых важных проблем в интернете. Потерять доступ к своему аккаунту, будь то почта или социальная сеть, сродни катастрофе — как прийти домой и обнаружить, что ключ не подходит к замку. Неслучайно в интернете множество советов, как защитить свой аккаунт от взлома, и, пожалуй, самый популярный из них — использовать сложные пароли и регулярно их менять. Это, конечно, неплохо, но постоянно запоминать новые сложные пароли бывает довольно утомительно.



Специально для тех, кто беспокоится о безопасности своего аккаунта, Яндекс запустил бета-версию двухфакторной аутентификации. С ней ключ от вашего аккаунта будет только в ваших руках. Точнее, в вашем смартфоне.



При авторизации на Яндексе — или на любом другом сайте — вы вводите свои логин и пароль. Система проверяет, соответствует ли пароль логину и впускает вас, если всё в порядке. Но пароль — это только один фактор проверки. Существуют системы, которым одного фактора недостаточно. Помимо пароля они требуют, например, специальный код, присылаемый в смс, или USB-ключ, который надо вставить в компьютер. Эти системы используют двухфакторную или многофакторную аутентификацию.



Для своей схемы двухфакторной аутентификации мы создали Яндекс.Ключ — мобильное приложение для iOS и Android. Достаточно считать приложением QR-код на главной странице Яндекса, в Паспорте или в поле авторизации Почты — и вы окажетесь в своём аккаунте.





Чтобы воспользоваться Ключом, вам нужно включить двухфакторную аутентификацию, установить приложение и привязать его к вашей учётной записи. Потом вы задаёте в приложении четырёхзначный пин-код. Этот код станет одним из факторов, частью «секрета», на основе которого алгоритм будет создавать одноразовые пароли. Второй фактор хранится в смартфоне. Когда вы будете в дальнейшем считывать в форме авторизации QR-код, приложение отправит на сервера Яндекса ваш логин и одноразовый пароль. Сервер проверит их и даст странице команду пустить или не пустить вас внутрь.



Когда считать QR-код не получается, например не работает камера смартфона или нет доступа к интернету, вы можете ввести одноразовый пароль вручную. Ввод пароля в этом случае заменяет считывание QR-кода — разница только в том, что пароль не отправляется на сервера автоматически, вместо этого вы вводите его в форме авторизации вместе с логином. Одноразовый пароль действует всего 30 секунд. Это сделано для того, чтобы его нельзя было украсть с вашего компьютера (например, с помощью программы, запоминающей введённые в браузер пароли).



Никто кроме вас не сможет воспользоваться Ключом для входа в ваш аккаунт, ведь при генерации паролей Ключ использует пин-код, который придумали вы. Без правильного пин-кода приложение будет создавать неверные пароли, которые не подойдут к вашей учётной записи. Если у вас смартфон или планшет от Apple с Touch ID, то вместо пин-кода можно использовать отпечаток пальца.



Механизм двухфакторной аутентификации — это ещё один инструмент, который поможет сделать работу пользователей Яндекса в интернете более безопасной. Если вам нужна дополнительная защита вашего аккаунта — самое время закрыть его на Яндекс.Ключ.

@темы: безопасность, ya.ru:author:5105614, ya.ru:text

---

Лечу куда хочу: Яндекс обновил Авиабилеты

Иногда самое сложное в отпуске — это выбрать, где его провести. Мы научили Яндекс.Авиабилеты давать путешественникам советы — на главной странице сервиса появился блок рекомендаций, который показывает самые выгодные предложения по интересным направлениям.



По умолчанию на главной странице Авиабилетов показаны самые популярные направления и ссылки на тематические подборки. Просто выберите, чего вам больше хочется, — поехать на пляж, или, скажем, в путешествие по исторической Европе. Если времени до отпуска осталось мало, а в загранпаспорте нет нужной визы, можно посмотреть все безвизовые направления или поискать интересные варианты для путешествия по России.





Рекомендации Яндекс.Авиабилетов учитывают не только популярность тех или иных направлений среди путешественников, но и ваши личные предпочтения. Для этого используется технология персонализации — к примеру, если вы недавно искали в Яндексе информацию о Буэнос-Айресе, то алгоритм предложит вам варианты рейсов в столицу Аргентины.



По каждому направлению сервис предлагает самые дешёвые билеты на ближайший месяц. Кроме того, в новой версии Авиабилетов мы добавили ещё несколько удобных мелочей, которые помогут купить билеты по более низкой цене. Например, вы можете проверить несколько аэропортов поблизости — вдруг долететь до Пардубице будет дешевле, чем до Праги, а добираться до гостиницы выйдет ненамного дольше. Или можно посмотреть билеты на ближайшие даты — не исключено, что вылет на пару дней позже позволит вам значительно сэкономить.





Но самое важное — мы постоянно следим за тем, чтобы цены на Яндекс.Авиабилетах были указаны в рублях и точно соответствовали тому, сколько вы заплатите в действительности. На некоторых сайтах по продаже авиабилетов цена может быть в рублях, а списание при оплате происходит в долларах или евро. Из-за разницы курсов валют, особенно сейчас, когда они меняются стремительно и непредсказуемо, вы можете сильно переплатить. Чтобы у нас такого не было, за качеством данных на Авиабилетах следит служба контроля: асессоры и специальные алгоритмы проверяют, чтобы партнёры указывали на своих сайтах ровно те же цены, что и на Яндексе, и не подключали дополнительные услуги по умолчанию.

@темы: транспорт, Авиабилеты, ya.ru:author:5105614, ya.ru:text

---

Яндекс.Транспорт доехал до Москвы

В марте 2014 года мы запустили приложение Яндекс.Транспорт. Это справочник по наземному транспорту: он подсказывает, где находится ближайшая остановка, какой транспорт от неё отходит, куда он следует и с каким интервалом. Кроме того, в некоторых городах приложение позволяет наблюдать за транспортом «вживую» — вы можете посмотреть на карте, где сейчас едет нужный маршрут, и узнать, как скоро он будет на остановке. С сегодняшнего дня это работает и в Москве.



Теперь в Яндекс.Транспорте можно следить за московскими автобусами, троллейбусами и трамваями. Запустив приложение и нажав на значок нужной остановки, вы увидите, какой транспорт к ней подойдёт и через сколько минут. А метки на карте покажут, где он находится в данный момент. В общей сложности Яндекс.Транспорту доступна информация о 758 автобусных, 80 троллейбусных и 38 трамвайных маршрутах столицы.



Прогноз времени прибытия в Яндекс.Транспорте поможет найти ответы на множество повседневных вопросов. Пора ли выходить из дома или повременить, чтобы не стоять на морозе? Можно ли успеть забежать в магазин до приезда трамвая? Ждать ли автобуса до метро — или он надолго застрял в пробке и быстрее будет дойти пешком?





Чтобы научить Яндекс.Транспорт отображать реальное положение дел, нужны данные о текущем местоположении транспорта. Данные поступают от спутникового оборудования, установленного в транспортных средствах, а собирают их компании-перевозчики. Перевозчики, в свою очередь, передают данные в Яндекс — но только после того, как мы заключим с ними соответствующий договор.



В разных городах перевозками занимаются разные компании. Например, об автобусах и маршрутках Воронежа может рассказать ООО «ВИСТАР», а о транспорте Красноярска — МКУ «Красноярскгортранс». Договориться бывает непросто, поэтому мы подключаем новые города постепенно. Москва стала 14-м по счёту российским городом, где заработал прогноз. Данные о движении транспорта по столице нам предоставил «Мосгортранс».



Помимо автобусов, троллейбусов и трамваев, Яндекс.Транспорт позволяет следить за маршрутками компании «Автолайн», а также за подмосковными автобусами «Мострансавто».



Яндекс.Транспорт можно использовать и в поездках по стране. Приложение знает о перемещениях транспорта в Воронеже, Екатеринбурге, Казани, Калининграде, Красноярске, Липецке, Нижнем Новгороде, Новосибирске, Омске, Перми, Санкт-Петербурге, Челябинске и Череповце. Ещё в тридцати городах Яндекс.Транспорт работает в режиме справочника.



Яндекс.Транспорт можно загрузить в Яндекс.Store, App Store и Google Play. Новые города на очереди — следите за обновлениями.

@темы: транспорт, ya.ru:author:5105614, ya.ru:text

---

Как это работает? Яндекс.Пробки

В конце 2014 года московские пробки взяли новую высоту: 25 декабря десятибалльная загруженность дорог продержалась почти 12 часов. В этот день многие водители добрались домой за полночь, а пробки на карте Москвы выглядели примерно так:





Несмотря на этот рекорд — точнее, антирекорд — в целом ситуация на дорогах Москвы за год улучшилась. Как показало наше недавнее исследование о столичных пробках, время проезда по улицам Москвы в часы пик осенью прошлого года сократилось примерно на пять процентов по сравнению с 2013 годом.



В основе исследования лежат данные Яндекс.Пробок — сервиса, который показывает людям картину загруженности дорог. Пробки получают данные о движении машин, анализируют их и отображают ситуацию на Яндекс.Картах. Аналитик Яндекс.Пробок Леонид Медников рассказал, откуда сервис получает информацию, как она помогает оценить ситуацию на дорогах и почему эта задача не имеет идеального решения.





Как устроены другие технологии Яндекса, читайте в блоге по метке «как это работает?» и в разделе «Технологии» на нашем сайте.

@темы: Пробки, как это работает?, ya.ru:author:5105614, ya.ru:text

---

Народные картографы

У Яндекса с 2010 года есть Народная карта — карта, которую может рисовать любой пользователь. Людей, которые активно участвуют в её создании, мы называем народными картографами. Они наносят на Народную карту дома и дороги, отмечают границы населённых пунктов, указывают, где находится детский сад, а где почта, и следят за тем, чтобы данные были актуальными.



Сведения, которые добавили на Народную карту пользователи, используют картографы из Яндекса — для пополнения Яндекс.Карт. Например, недавно мы добавили подробные карты восемнадцати городов с населением от 15 тысяч до 176 тысяч человек. В четырнадцати из них большинство городских объектов появилась на картах благодаря народным картографам.



Народные картографы обычно работают сообща, но у некоторых населённых пунктов — как правило, это небольшие города и посёлки, — бывают один-два основных «автора». Мы поговорили о составлении карт с пятью народными картографами, которые практически в одиночку создали народные карты Волгореченска, Вышнего Волочка, Донского, Шарьи и Щучина.



Олег Пахомов

Живёт в Карелии. Участвует в создании Народной карты с марта 2012 года; за это время внёс 74 526 правок и создал 73 184 объекта. Нарисовал большую часть объектов в городе Вышний Волочёк в Тверской области.

Александр Рябов

Живёт в Костромской области, в Волгореченске. Созданием Народной карты занимается с мая 2011 года; за это время внёс 44 833 правки и создал 55 779 объектов. Основной автор карты Волгореченска.

Иван Замураев

Живёт в Ярославле, участвует в создании Народной карты с 2011 года. Внёс 176 149 правок и создал 23 773 объекта. Внёс значительный вклад в создание карт городов Шарья и Фурманов.

Михаил Воронов

Живёт в Тульской области, участвует в создании Народной карты с марта 2012 года. Внёс 362 009 правок и создал 99 345 объектов. Основной автор карты города Донской в Тульской области.

Алексей Боровик

Живёт в Беларуси, в Гродненской области. Участвует в создании Народной карты с лета 2014 года. Внёс 18 102 правки и создал 13 289 объектов. Нарисовал большую часть объектов города Щучин.

Как вы стали народным картографом?



Иван Замураев: Я люблю путешествовать, и картами увлечён с детства. Мне всегда нравилось рассматривать схемы мест, где я побывал. Ещё в школе я нарисовал на бумаге карту своего микрорайона. Поэтому Народная карта сразу же пришлась мне по душе. Сначала я отметил на ней объекты в городе, где тогда жил, — в Шарье. Потом руки дошли и до других городов в Костромской и Ярославской областях.



Михаил Воронов: В организации, где я работаю, сотрудники часто выезжают по делам в соседние города. Раньше им подолгу приходилось искать нужный дом или даже улицу. Подробных карт — ни печатных, ни электронных — не было. Я давно хотел нарисовать точную схему Новомосковска и близлежащих городов. Оказалось, это можно сделать с помощью Народной карты.



Олег Пахомов: Рисовать Народную карту я начал спонтанно. Мне захотелось отметить на карте здания родного города — Пудожа. Качественной карты с более или менее правильной геометрией улиц на тот момент не было. Я опирался на изображения со спутника, но на них можно было различить только дороги и размытые контуры пятиэтажек. Тогда я обошёл Пудож пешком, фотографируя и снимая на видео улицы и дома — а потом нанёс их на карту с учётом размеров. А через полгода появился подробный спутниковый снимок города, и я увидел, что почти всё сделал правильно. Вот с тех пор пошло-поехало — стал рисовать и другие города.



Алексей Боровик: Первую карту Щучина я составил ещё в детстве: мы с братом ходили по городу и чертили план. А свой родной Брест я изъездил на велосипеде вдоль и поперёк и знаю, кажется, каждую улицу. Я пробовал разные картографические интернет-сервисы, но больше всего мне понравились Яндекс.Карты. В Народной карте, на мой взгляд, самый понятный редактор: работать в нём очень удобно.



Сколько времени вы посвящаете Народной карте?



Александр Рябов: По-разному. Когда есть вдохновение и время, могу рисовать и три, и четыре часа. Но обычно в день уходит час-полтора.



Олег Пахомов: Для меня рисование Народной карты — и хобби, и своего рода отдых. Я занимаюсь картами, как правило, вечером: усевшись за монитором, отключаешься от рабочих проблем. Стараюсь заходить на Народную карту ежедневно, провожу там от получаса до нескольких часов — это зависит от того, сколько у меня свободного времени.



Иван Замураев: К сожалению, сейчас я уделяю Народной карте гораздо меньше времени, чем раньше. Когда я только занялся рисованием, на карте было очень много «пустот»; нужно было постоянно создавать новые объекты. Сейчас я главным образом «контролирую территорию» в зоне своей модераторской ответственности.



Михаил Воронов: Рисую и редактирую объекты в тех или иных населённых пунктах практически каждый день. В рабочие дни могу провести за этим занятием четыре-пять часов, а в выходные — и весь день. Для меня это уже больше, чем увлечение — это зависимость, в лучшем смысле этого слова.



Вы нарисовали целый город практически в одиночку. Сколько времени на это ушло?



Олег Пахомов: Вышний Волочёк я готовил около двух месяцев. Особенно сложно было рисовать район, закрытый на спутниковых фотографиях Яндекса плотной облачностью. Приходилось действовать «вслепую», так как без этого района карта была бы как бублик — с пустотой посередине. Потом спутниковые снимки обновились, облачность ушла, и ещё какое-то время я занимался редактированием, правил контуры.



Александр Рябов: Волгореченск я рисовал не то чтобы совсем один — спасибо другим пользователям Народной карты, они помогли. У меня на этот город ушло где-то полгода. А сейчас, когда вся основная работа сделана, я периодически возвращаюсь проверить, что изменилось.



Иван Замураев: Заниматься картой Шарьи я начал, пожалуй, с первого же дня знакомства с Народной картой — а это было в 2011 году. Редактировать карту продолжаю и сейчас: главным образом отмечаю изменения. Я уехал из Шарьи, но продолжаю часто там бывать. Кроме того, мне помогают другие пользователи из числа местных жителей.



Михаил Воронов: Непосредственно Донскому я посвятил порядка двух недель. Сейчас я продолжаю наносить на карту города новые объекты, а также выступаю в роли модератора.



Алексей Боровик: Щучин я рисовал не с нуля. Основу города составили другие пользователи, но многие улицы были нарисованы неточно. Я сверялся со спутниковым снимком и исправлял дороги. А вот почти все дома в частном секторе — а заодно и их номера — добавил уже я сам. Я продолжаю работать над картой и сейчас: например, недавно узнал, что часть деревни Резы близ Щучина входит в городскую черту, и внёс соответствующие правки.



Какие материалы вы используете в процессе работы?



Олег Пахомов: Чтобы адреса домов были достоверными, а данные по юридическим лицам — точными, приходится работать с разными источниками. Это Федеральная информационная адресная система, городские порталы, панорамы и поиск Яндекса — с его помощью я нахожу сайты школ, детских садов, больниц и так далее. Очень помогла бы информация от властей городов, но, к сожалению, администрация на обращения не откликается.



Александр Рябов: Иногда нужные материалы — например, сообщение об открытии нового торгового центра — можно найти в местной прессе.



Иван Замураев: Однажды мне захотелось указать адреса всех домов в Шарье, включая частные дома. На таких домах далеко не всегда есть таблички с номером и названием улицы. Я обратился в городскую администрацию: попросил подробный план города и объяснил, для каких целей мне это нужно. Мне выдали огромную чёрно-белую карту Шарьи с нумерацией всего частного сектора. Карту нужно было вернуть, поэтому я её отсканировал.



Алексей Боровик: В работе я в первую очередь я опираюсь на личные наблюдения — например, так я рисую мелкие улочки. Ещё изучаю спутниковые снимки, слежу за тем, что меняется в «моих» городах («своими» я считаю Брест, Гродно, Щучин, Дрогичин и городской посёлок Желудок).



Какие советы вы можете дать начинающим народным картографам?



Олег Пахомов: Не стоит штамповать объекты как пирожки. Надо гордиться не местом в топе пользователей, не количеством созданных или отредактированных объектов, а реальной пользой, которую вы принесли людям.



Иван Замураев: Подробно изучите информацию о сервисе и правила редактирования объектов. Большинство ошибок при рисовании возникают из-за их незнания.



Александр Рябов: Не надо бояться ошибок — они бывают у всех. Всегда найдутся более осведомлённые пользователи и исправят недочёты.



Алексей Боровик: Рисуйте аккуратно — так, чтобы потом было приятно посмотреть. Впрочем, некоторые объекты — например, стройплощадки или места, для которых пока нет хороших спутниковых снимков, — можно набросать приблизительно. Главное — потом, когда данные обновятся, не забыть вернуться и внести правки.



Рисование карты — довольно кропотливая работа. Что вас мотивирует?



Алексей Боровик: Я хочу, чтобы карты были современными, точными и соответствовали текущей действительности.



Михаил Воронов: У меня мотивация простая — мне просто нравится работать с картой. Трудно посвящать столько времени тому, к чему не лежит душа. Приятно, когда после многодневных трудов открываешь схему, а там всё подробно и красиво — особенно если рисовал какой-нибудь населённый пункт с нуля.



Олег Пахомов: Чтобы довести город «до ума», нужно перелопатить множество источников информации. Но когда видишь результаты своего труда, понимаешь, что усилия были не напрасны. Значение имеют не только результат, но и процесс. Его можно сравнить с зимней рыбалкой: чем дольше срывается поклёвка, тем больше азарт выцепить наглеца, который играет с тобой под толщей льда. Так и на карте — не всегда сразу находишь информацию, но через какое-то время удача всё-таки приходит.



Иван Замураев: Мне сначала просто было интересно рисовать на карте знакомые места. Потом, закончив работу над картой Шарьи, я увидел, что результатами моего труда пользуются не только друзья, но и незнакомые люди. Меня это очень обрадовало — и продолжает радовать до сих пор.



***

Сделать Народную карту ещё точнее и подробнее может каждый. Для этого не нужны специальные умения: достаточно просто знать город или посёлок, в котором живёшь. Важен любой вклад, будь то нарисованный на карте новый жилой дом, указанное название переулка или отмеченный продуктовый магазин. Добавление данных занимает считанные секунды, но кому-то — например, человеку, который оказался в городе впервые, — это может сэкономить минуты и даже часы.



Узнать больше о Народной карте и о том, как с ней работать, можно в соответствующем разделе «Помощи», а познакомиться с народными картографами и спросить совета у опытных пользователей — в клубе Народной карты.

@темы: ya.ru:author:5105614, ya.ru:text, Карты

---

До Нового года осталось пять дней

Новый год — время отдыха и веселья. Но попробуй тут отдохни, когда нужно нарядить ёлку, купить подарки, организовать праздничный стол и найти интересные занятия на долгие выходные. Чтобы помочь вам разобраться в предпраздничной суматохе, мы запустили новогодний колдунщик в поиске Яндекса. С его помощью вы можете узнать, что подарить, что приготовить, что послушать и куда сходить на Новый год. Просто спросите об этом у Яндекса.



Колдунщик появляется по поисковым запросам вроде [что подарить на новый год], [салаты на новый год] или [куда сходить на новый год]. На разные запросы отвечают разные сервисы Яндекса — те, которые могут помочь в решении задачи лучше всего. Например, в ответ на запрос [елки 1914 кино] Яндекс.Афиша покажет расписание сеансов и подскажет, какие ещё фильмы сейчас идут в кино. А Яндекс.Билеты помогут выбрать сеанс и купить билет прямо на странице результатов поиска.





Мы постарались собрать в колдунщике подсказки и готовые решения для всех новогодних дел. Например, вкладка «Подарки» поможет выбрать, что подарить маме, другу или коллегам на Новый год. Определились с подарками — в «Видеорецептах» можно посмотреть, как приготовить популярные новогодние блюда, а в «Одежде» — выбрать платье для праздничной ночи. Вкладка «Музыка» поможет с подборками новогодних песен, а «Развлечения» подскажут, какие места и события стоит посетить в праздничные дни января.



Удачи вам в Новом году.

@темы: Поиск, решение задач, ya.ru:author:5105614, ya.ru:text, колдунщики

---

Что спрашивают у Яндекса о будущем годе

Каждый год в декабре российские пользователи задают поиску Яндекса более миллиона вопросов о следующем годе — например, [что подарить на новый год 2012], [2014 год какой лошади], [что ждет россию в 2010 году]. Список основных вопросов год от года почти не меняется — пользователи спрашивают, как встречать Новый год, что дарить и сколько будет выходных. Однако каждый год в запросах появляются и свои особенные темы. Их популярность связана с тем, что происходит в стране или в мире.



Например, в декабре 2009 года люди больше, чем в другие годы, спрашивали о том, продлят ли в следующем году бесплатную приватизацию, будет ли война и как изменится срок службы по призыву. В 2011 году — о конце света, президентских выборах, повышении цен на сигареты и новых правилах техосмотра, а в 2013 — о зимней Олимпиаде в Сочи.



В декабре 2014 года на первый план вышли экономические вопросы. Людей интересовало, что будет в следующем году с курсом рубля, как изменятся цены и ждать ли экономического кризиса. Мы проанализировали запросы российских пользователей в поиске Яндекса в первой половине декабря 2014 года, составили список самых популярных тем предновогодних вопросов о будущем годе и проследили, как интерес к ним менялся на протяжении последних шести лет.



(Кликните на изображение, чтобы открыть его в полном размере.)



Список популярных тем предновогодних вопросов в декабре 2014 года и примеры запросов ищите на странице исследования.

@темы: исследования, ya.ru:author:5105614, ya.ru:text

---

Виртуальное метро

Дмитрий Крюков, руководитель сервиса Яндекс.Расписания

У Яндекса есть несколько сервисов, которые позволяют составить представление о том или ином городе, даже если вы в нём никогда не бывали. Карты расскажут, где что находится, Панорамы покажут, как выглядят улицы и здания, Транспорт и Расписания объяснят, как и на чём добраться из центра в пригород, а Пробки дадут понять, есть ли на дорогах заторы.

Если собрать эти сведения воедино, можно получить довольно полную картину жизни города: где люди живут, где работают и где отдыхают в выходные. Опираясь на эту картину, команда транспортных сервисов Яндекса вместе с одним из авторов схемы московского метро Богданом Кравцовым решила построить «виртуальное метро». Иными словами, представить, как могли бы выглядеть схемы метро в городах, где его пока нет. Мы выбрали четыре города: Краснодар, Ярославль, Архангельск и — чтобы подчеркнуть экспериментальный характер наших схем — совсем небольшой Великий Устюг.



Скажем сразу: строительству метро всегда предшествует долгая и сложная подготовка. В ней можно выделить два направления: изучение геологии местности и анализ пассажиропотоков и застройки. О первом — особенностях рельефа, подземных речках, плывунах — мы знаем очень мало, а вот о втором — движении транспорта, дорожной обстановке, новых районах — достаточно много.



Поэтому наши схемы не следует считать руководством к действию. Это скорее рекомендация — пример того, как сведения, накопленные интернет-сервисами, могут использовать градостроители и транспортники.



Краснодар

(Кликните на изображение, чтобы открыть полную версию схемы на Яндекс.Картах.)





Особенности Краснодара — обилие частной застройки и развитая сеть трамваев. Мы постарались проложить метро так, чтобы оно не дублировало, а дополняло трамвайные линии. Краснодарский метрополитен в нашем представлении включает две ветки. Красная ветка пересекает город с востока на запад, соединяя аэропорт с популярным местом отдыха краснодарцев — Рождественским парком на реке Кубань. Зелёная ветка связывает Прикубанский район и торговый центр «Мега-Адыгея», куда многие жители города ездят за покупками. Метро расположено на территории сразу двух регионов: Краснодарского края и Республики Адыгея.



Ярославль





Ярославль расположен на обоих берегах Волги. В проект метрополитена для города мы решили включить три ветки. Красная ветка связывает левобережную и правобережную части Ярославля, позволяя разгрузить мосты через Волгу. Оранжевая ветка тянется с северо-запада на юго-восток города вдоль реки, соединяя новостройки и индустриальные районы. Сиреневая ветка идёт вдоль центральной магистрали Ярославля — Московского проспекта. На её пути находятся ледовый комплекс «Арена 2000», автовокзал и Московский вокзал. Она же связывает все основные площади центра города.

@темы: транспорт, ya.ru:author:5105614, ya.ru:text

---

Смотри и учись

В сентябре мы рассказывали о начале обучения в школах Яндекса по самым разным направлениям: от автоматизации тестирования до разработки интерфейсов и системного администрирования. Год подходит к концу, и занятия во многих школах уже завершились. Для тех, кто хотел посетить занятия, но не смог или просто интересуется информационными технологиями, мы выложили видеозаписи лекций.



Первый плейлист — для системных администраторов. В рамках Курса информационных технологий сотрудники Яндекса прочли более 20 лекций о разных аспектах системного администрирования, информационной безопасности и управления базами данных. Из этих лекций вы можете узнать всё о сетевой безопасности, основах DNS, системах управления кластерами и, конечно, о Linux.



Второй плейлист — для тестировщиков. На лекциях и мастер-классах Школы автоматизации процессов разработки рассказывали о статистическом анализе кода, нагрузочном тестировании и фреймворках автоматизации тестирования. Подробнее о том, что интересного было в этой школе, читайте в нашем техноблоге на Хабрахабре.



И, наконец, сборник лекций на самые разные темы для старшеклассников, интересующихся технологиями. Этой осенью в Малом ШАДе рассказывали о том, как правильно выбрать язык программирования, о теории игр или, например, о «мусорных» текстах в интернете. В Малом ШАДе с лекциями выступали как сотрудники Яндекса, так и наши друзья из Высшей школы экономики, Института проблем передачи информации РАН, Российской экономической школы и МФТИ.



Мы будем и дальше публиковать видеозаписи лекций и другие образовательные материалы о разработке, тестировании, управлении проектами и на другие темы, связанные с информационными технологиями. Подписывайтесь на интересные вам каналы и следите за обновлениями. Информацию обо всех наших школах, лекториях и курсах вы можете найти на сайте образовательных программ Яндекса.

@темы: ya.ru:author:5105614, ya.ru:text, наука и образование

---

Если вас преследуют пылесосы

Сегодня посетители сайтов, входящих в Рекламную сеть Яндекса, получили возможность отключить показ рекламных объявлений, которые им в данный момент неинтересны.





Рекламная сеть Яндекса показывает контекстную рекламу — она соответствует вашим текущим интересам или тематике страницы, на которой вы находитесь. Допустим, вы хотите купить пылесос и перед этим ищете информацию в интернете: сравниваете характеристики, читаете отзывы, узнаёте цены. Когда пылесос выбран, куплен и даже опробован в действии, вы думаете, что теперь-то о пылесосах точно можно забыть — по крайней мере, на ближайшие несколько лет. Однако в интернете никто не знает, что пылесосы вас больше не интересуют. И вы видите их рекламу ещё какое-то время после покупки.



Лучший способ узнать, нужен ли вам ещё пылесос, — спросить напрямую. Теперь на любом сайте, входящем в Рекламную сеть Яндекса, вы можете закрыть ненужное объявление. Чтобы убрать рекламу, достаточно нажать на «крестик» и выбрать причину, по которой вы не хотите её видеть.





Наряду с тематикой страниц при подборе объявлений в РСЯ учитывается множество других параметров — от пола и возраста пользователя до времени суток. Все факторы имеют разный вес: какие-то более важны для принятия решения, а какие-то менее. Получается длинная и сложная формула показа объявлений. Для её настройки в Рекламной сети Яндекса с 2011 года используется метод машинного обучения Матрикснет. Он значительно упрощает процесс, а заодно позволяет быстро вводить новые факторы — то есть делает технологию подбора объявлений более совершенной. От этого выигрывают и пользователи, которые видят действительно полезные для них объявления, и рекламодатели, которые находят нужную аудиторию.



Нажатие на «крестик» сообщает алгоритму, что такую рекламу вам больше показывать не надо. Знать причину нам важно для того, чтобы лучше настроить алгоритм — и в будущем показывать вам объявления, которые действительно будут информативны и полезны. А вам больше не придётся раздражённо восклицать «Да я это уже купил!» или переживать, что родные догадаются, какой подарок для них вы искали.

@темы: Директ, ya.ru:author:5105614, ya.ru:text

---

До центра и обратно: загруженность московских улиц

На этой неделе мы выпустили новое исследование о московских пробках. Оно рассказывает о том, где и когда образуются дорожные затруднения, какие трассы едут хуже и лучше всего в часы пик и как изменилась дорожная ситуация по сравнению с прошлым годом. Впервые за последние несколько лет загруженность столичных дорог не увеличилась, и этой осенью пробок в Москве было даже немного меньше, чем в прошлом году.



Кроме того, мы выяснили, из каких районов города быстрее добираться до центра и наоборот. Для этого посчитали, сколько времени займёт поездка на автомобиле между случайной точкой в любом месте города и точкой внутри ТТК — одной из тех, которые пользователи Яндекса указали как место работы при расчёте пробок на своем маршруте. Всего мы измеряли время для более чем 20 миллионов таких маршрутов — с сентября по ноябрь. Затем разделили карту Москвы на квадраты со стороной 100 метров и закрасили их в зависимости от среднего времени проезда из точек этого квадрата в центр или обратно.



Из зелёных квадратов автомобилисты добираются быстрее, из красных — дольше. Для точек в местах, где невозможно проехать на машине — например, лесов или водоёмов — считалось время от ближайшей дороги. Как видно, самое неудачное время для поездки в центр — с 8:00 до 10:00 утра. Дольше всех в эти часы до работы едут жители востока и юго-востока столицы.

Вечером домой большинство московских автомобилистов едут дольше, чем утром на работу.







Сколько времени водители тратят на то, чтобы проехать отдельные участки дорог Москвы, вы можете посмотреть на карте времени проезда по крупнейшим трассам.

@темы: исследования, Пробки, ya.ru:author:5105614, ya.ru:text

---

Яндекс.Браузер с возможностями для слабовидящих

Совсем недавно мы выпустили альфа-версию нового Яндекс.Браузера, чтобы показать, каким представляем себе браузер ближайшего будущего. Мы верим, что это будущее не за горами, а пока продолжаем работу над тем, чтобы улучшить настоящее — и обновляем привычную версию браузера.



В этом обновлении мы добавили поддержку средств экранного доступа для слабовидящих. Теперь Яндекс.Браузер поддерживают программы NVDA и JAWS, которые помогают слабовидящим работать за компьютером. Кроме того, в браузере появилась возможность открывать безопасные копии страниц, содержащих вредоносный код, а режим Турбо научился включаться заранее.



Подробнее о новых возможностях читайте в блоге Яндекс.Браузера.

@темы: Браузер, ya.ru:author:5105614, ya.ru:text

---

Яндекс.Мастер по выгодному тарифу

В сентябре мы запустили сервис Яндекс.Мастер — агрегатор компаний, которые занимаются бытовыми услугами. Мастер помогает справиться с любыми делами по дому. Неважно, что вам понадобилось, — убраться в квартире, проложить плинтус или привезти товар из магазина, — достаточно просто оставить заявку на сервисе, дождаться, пока её примут, и выбрать исполнителя.



Но есть одна проблема. Цены за одну и ту же работу у разных фирм могут разительно отличаться. И чем вызвана эта разница, как правило, непонятно. А мы не любим, когда что-то непонятно. Поэтому начиная с сегодняшнего дня цены на услуги Яндекс.Мастера будут не выше определённой суммы.






Стоимость установки окон, уборки, ремонта стиральной машины и других услуг теперь не зависит от того, какую компанию вы выбираете для выполнения поручения. Благодаря этому вы можете не беспокоиться о цене и при выборе исполнителя ориентироваться только на описание, рейтинг компаний и отзывы других клиентов.



Цены на услуги Яндекс.Мастера складываются из тарифа, умноженного на количество часов работы, а также платы за использование специального оборудования и расходные материалы. Мы устанавливали цены вместе с партнёрами, и они не превышают средних по городу. Например, в Москве минимальная стоимость уборки будет составлять не более 1200 рублей за три часа, а услуги электрика обойдутся максимум в 800 рублей в час.



Команда Яндекс.Мастера тщательно следит за тем, чтобы качество услуг соответствовало вашим ожиданиям. Мы рассматриваем все жалобы и принимаем участие в решении спорных ситуаций с партнёрами.



Воспользоваться услугами Яндекс.Мастера можно на странице master.yandex.ru или с помощью приложения для iPhone. Пока Яндекс.Мастер работает в Москве и Санкт-Петербурге, но другие города на подходе.

@темы: решение задач, ya.ru:author:5105614, ya.ru:text

---

2014 год в поиске Яндекса

До конца года осталось меньше месяца. Мы проанализировали поисковые запросы людей и выяснили, какие темы больше всего волновали их в этом году. В список попали люди, события и явления, которые вызвали всплеск интереса пользователей. Сравните свои ощущения с нашими данными.

@темы: исследования, ya.ru:author:5105614, ya.ru:text

---

Яндекс открывает «Фабрику данных»

Сегодня мы открыли новое направление по работе с «большими данными» — Yandex Data Factory. В рамках YDF компании, которые имеют дело с огромными массивами информации, смогут решать свои задачи с помощью технологий Яндекса.



Чёткого определения у понятия «большие данные» нет. Одно из первых описаний предложили в 2001 году — оно известно как принцип «трёх V». Данные называют большими, если они обладают тремя признаками: большой объём (volume), многообразие (variety) и скорость (velocity). Последнее означает, что данные постоянно обновляются и нуждаются в своевременной обработке.



С «большими данными» имеют дело практически в любой сфере бизнеса: от банковского дела до телекоммуникаций, от коммунального хозяйства до здравоохранения. Компании собирают и хранят множество информации: планы, отчёты, сведения о действиях клиентов, показания датчиков, настройки оборудования, характеристики продукции, видео с камер наблюдения. Эта информация объёмна, разнообразна и зачастую обновляется в режиме реального времени.



Умение анализировать «большие данные» даёт много преимуществ. Выявив закономерности в данных, банк, например, сможет определить, какие продукты предложить клиентам, а поставщик коммунальных услуг — предсказать аномальные всплески потребления горячей воды и подготовиться к ним. Сложность, однако, состоит в том, что для анализа «больших данных» — в силу их объёма и разнородности — необходимы специальные инструменты. Такие инструменты есть у Яндекса.





В число технологий, которые используются для анализа данных в Yandex Data Factory, входят метод машинного обучения Матрикснет, глубокие нейронные сети, распознавание образов и речи, рекомендательные системы. Все они были разработаны Яндексом для собственных нужд — и собственных данных. Матрикснет мы изначально создавали для составления формулы ранжирования в поиске — а потом он стал использоваться и для прогнозирования пробок в Яндекс.Картах, и для таргетинга рекламы в Яндекс.Директе, и для машинного перевода текстов с одного языка на другой в Яндекс.Переводе.



Со временем мы убедились, что наши алгоритмы могут применяться и в отраслях, не связанных с интернетом — так как они не анализируют содержание данных, а выявляют в них закономерности. Первым опытом применения технологий Яндекса в сторонних проектах стало сотрудничество с Европейским центром ядерных исследований (CERN). В частности, Матрикснет лёг в основу системы поиска редких событий — данных о столкновениях частиц — в эксперименте LHCb на Большом адронном коллайдере.



В Яндексе работают очень сильные специалисты по анализу данных. А кроме того, у нас есть система их подготовки. С 2007 года обучением в этой области занимается Школа анализа данных. В 2014 году Яндекс и Высшая школа экономики открыли факультет компьютерных наук, в состав которого входит департамент больших данных и информационного поиска.



Перед публичным запуском Yandex Data Factory мы провели несколько пилотных проектов по обработке «больших данных» с компаниями-партнёрами. В частности, для компании, обслуживающей линии электропередач, в Yandex Data Factory создали систему, которая анализирует сделанные беспилотниками снимки и автоматически выявляет угрозы: например, деревья, растущие слишком близко к проводам. А для автодорожного агентства проанализировали данные о загруженности дорог, качестве покрытия, средней скорости движения транспорта и аварийности. Это позволило в режиме реального времени составлять прогноз заторов на дорогах на ближайший час и выявлять участки с высокой вероятностью ДТП.



Услугами Yandex Data Factory могут воспользоваться как российские, так и зарубежные компании из разных отраслей. Подробности о Yandex Data Factory можно узнать на сайте проекта.

@темы: ya.ru:author:5105614, ya.ru:text, технологии Яндекса

---

Новый поиск похожих картинок

Осенью прошлого года в Яндекс.Картинках появился поиск по загруженному изображению. Это была первая реализация нашей технологии компьютерного зрения «Сибирь». Специальный алгоритм разбивает загруженную картинку на визуальные слова и с их помощью сопоставляет её с миллиардами известных ему изображений, отбирая дубликаты.

Такой подход позволял искать копии картинки или её варианты: например, ту же картинку другого размера или, скажем, без подписей. Однако уже тогда поиск показывал первые способности к обобщению — и в некоторых случаях находил не просто копии загруженной картинки, а другие изображения, содержащие такой же объект.

Недавно мы дополнили «Сибирь» технологией, основанной на глубоких нейронных сетях. Благодаря этому в Яндекс.Картинках теперь можно искать не только копии данного изображения, но и похожие на него картинки. Другими словами, вы можете найти не разные варианты самой картинки, но разные варианты того, что на ней изображено. Например:


Такой поиск особенно хорош, когда точных копий загруженного изображения в интернете нет, но похожие на него картинки отлично решают вашу задачу. Например, если вы сфотографировали аллею с уходящими вдаль деревьями, то с помощью Яндекс.Картинок легко можете найти разные варианты таких аллей и выбрать из них подходящую по размеру и качеству картинку, чтобы поставить её на рабочий стол.

Даже если в интернете есть копии загруженной картинки, похожие расширят и дополнят ответ поиска. Скажем, по фотографии кроссовок, загруженной в Яндекс.Картинки, вы найдёте изображения этих кроссовок в разных ракурсах, и, возможно, другие модели, похожие на них.


В интерфейсе сервиса похожие изображения отделены от точных копий. А если копий не нашлось, то Картинки покажут только похожие результаты.

Компьютер «видит» изображения совсем иначе, чем человек, поэтому среди найденных картинок могут оказаться и не совсем, на наш взгляд, похожие. Например, среди фотографий машин, похожих на загруженную, не обязательно будут машины той же марки и модели. В будущем мы надеемся сделать поиск по картинке ещё точнее и научить его давать развёрнутый ответ на ваш запрос, а именно — распознавать и описывать то, что изображено на загруженной картинке.

@темы: Картинки, ya.ru:author:5105614, ya.ru:text, технологии Яндекса

---

Новый поиск похожих картинок

Осенью прошлого года в Яндекс.Картинках появился поиск по загруженному изображению. Это была первая реализация нашей технологии компьютерного зрения «Сибирь». Специальный алгоритм разбивает загруженную картинку на визуальные слова и с их помощью сопоставляет её с миллиардами известных ему изображений, отбирая дубликаты.

Такой подход позволял искать копии картинки или её варианты: например, ту же картинку другого размера или, скажем, без подписей. Однако уже тогда поиск показывал первые способности к обобщению — и в некоторых случаях находил не просто копии загруженной картинки, а другие изображения, содержащие такой же объект.

Недавно мы дополнили «Сибирь» технологией, основанной на глубоких нейронных сетях. Благодаря этому в Яндекс.Картинках теперь можно искать не только копии данного изображения, но и похожие на него картинки. Другими словами, вы можете найти не разные варианты самой картинки, но разные варианты того, что на ней изображено. Например:


Такой поиск особенно хорош, когда точных копий загруженного изображения в интернете нет, но похожие на него картинки отлично решают вашу задачу. Например, если вы сфотографировали аллею с уходящими вдаль деревьями, то с помощью Яндекс.Картинок легко можете найти разные варианты таких аллей и выбрать из них подходящую по размеру и качеству картинку, чтобы поставить её на рабочий стол.

Даже если в интернете есть копии загруженной картинки, похожие расширят и дополнят ответ поиска. Скажем, по фотографии кроссовок, загруженной в Яндекс.Картинки, вы найдёте изображения этих кроссовок в разных ракурсах, и, возможно, другие модели, похожие на них.


В интерфейсе сервиса похожие изображения отделены от точных копий. А если копий не нашлось, то Картинки покажут только похожие результаты.

Компьютер «видит» изображения совсем иначе, чем человек, поэтому среди найденных картинок могут оказаться и не совсем, на наш взгляд, похожие. Например, среди фотографий машин, похожих на загруженную, не обязательно будут машины той же марки и модели. В будущем мы надеемся сделать поиск по картинке ещё точнее и научить его давать развёрнутый ответ на ваш запрос, а именно — распознавать и описывать то, что изображено на загруженной картинке.

---

Всё как у людей

Каждый день люди спрашивают Яндекс обо всём на свете. Некоторые запросы объединяет какой-то признак: например, тема или форма запроса. Если выбрать запросы с общим признаком, можно узнать, как то или иное явление отражается в поиске Яндекса. Время от времени мы так и делаем, и тогда на свет появляются поисковые исследования. Сегодня мы опубликовали очередное исследование — о том, на кого хотят быть похожи пользователи поиска.

В сентябре и октябре 2014 года люди задали Яндексу более 500 тысяч запросов со словами «как у»: [часы как у Путина], [зубы как у звёзд], [глаза как у вампира], [бутсы как у Месси] и многие-многие другие. Мы проанализировали эти запросы и выяснили, какие предметы, атрибуты, люди и персонажи пользуются в поиске наибольшей популярностью.

Почти две трети запросов касаются конкретных людей или персонажей — в основном это актёры, телеведущие и спортсмены. Чаще всего люди ищут то, что легко купить или повторить: причёски, макияж, одежду, татуировки и так далее.


Среди всех персонажей и людей, на которых хотят быть похожи авторы поисковых запросов, мы выделили самых популярных. У мужчин лидируют Криштиану Роналду, Владимир Путин и герой Дмитрия Нагиева из сериала «Физрук». У женщин — телеведущие Ксения Бородина и Ольга Бузова, а также Виолетта из одноимённого сериала.

Больше подробностей ищите на странице исследования.

@темы: исследования, Поиск, ya.ru:author:5105614, ya.ru:text

---

Браузер будущего

Яндекс выпускает альфа-версию нового Яндекс.Браузера. Это не совсем обычный продукт — с его помощью мы хотим показать, каким Яндекс видит браузер ближайшего будущего, и выслушать ваши соображения на этот счёт в ответ.

Прежде чем говорить о будущем, заглянем в прошлое. Те, кто застал эпоху интернета по карточкам, помнят, что когда-то каждая минута в сети была на счету. Сейчас же само понятие «выйти в интернет» устарело: по большому счёту люди из интернета и не выходят. Интернет везде: на компьютере, в мобильном телефоне, планшете, а иногда даже в телевизоре и холодильнике.

Поэтому для многих главной программой на компьютере стал браузер. Люди запускают его, чтобы почитать новости, пообщаться с друзьями, посмотреть кино, послушать музыку или поиграть в игру. Из программы для просмотра сайтов браузер превратился в нечто большее — в место, где сосредоточены общение, работа, развлечения.

Изменились и сами сайты. В начале 1990-х годов это были простые странички с текстом, гиперссылками и картинками. Сейчас сайты — это полноценные приложения: социальные сети, офисные редакторы, музыкальные и видеоплееры, игры. Они не похожи друг на друга: у каждого свои особенности и свой собственный — иногда довольно сложный — интерфейс.

На изображении — браузер NCSA Mosaic, который вышел в 1993 году. Несмотря на то, что этому веб-обозревателю двадцать с лишним лет, у него много общего с современными браузерами: меню, кнопки, панели, адресная строка. Сайты за два десятилетия преобразились сильно, а вот браузеры — по крайней мере внешне — не очень. Поэтому сайтам в браузерах часто бывает тесно.


Здесь уместна параллель с мобильными телефонами. Когда-то клавиатура была неотъемлемым атрибутом любого мобильника. Затем телефоны превратились в смартфоны и обзавелись куда более функциональными и сложными приложениями, чем змейка и калькулятор. Тогда стало ясно, что клавиатура занимает лишнее место — и лучше бы уступить его экрану, а клавиатуру сделать виртуальной и показывать только тогда, когда она нужна.

Вернёмся к браузерам. Это новый Яндекс.Браузер, и так в нём выглядит страница поисковой выдачи Яндекса:


Одна из главных особенностей браузера — прозрачный интерфейс. Новый Яндекс.Браузер принимает цвета веб-страницы, которая в нём открыта, поэтому граница между программой и интернетом исчезает: они сливаются в единое целое.

Вкладки в новом Яндекс.Браузере находятся в нижней части экрана. Мы решили разместить их там, потому что браузер, по сути, стал для пользователей вторым рабочим столом. Вместо программ-плееров люди открывают музыкальные сайты, а вместо мессенджеров общаются в социальных сетях. Раз сайты стали самодостаточными, то почему бы не разместить вкладки там, где пользователи Windows и OS X привыкли видеть список запущенных программ?


Каждая вкладка выделена основным цветом сайта, который в ней открыт. Например, вкладка Twitter будет голубой, а вкладка Facebook — тёмно-синей. Вкладки со страницами с одного и того же ресурса новый Яндекс.Браузер объединяет в группы. Это упростит работу пользователям, которые привыкли открывать много сайтов одновременно.

У каждой веб-страницы в новом Яндекс.Браузере есть Изнанка — так называется экран с дополнительной информацией. Он откроется, если нажать на заголовок страницы. Изнанка содержит список действий со страницей (например, «распечатать» или «поделиться»), Умную строку и Табло, а также отображает сведения, связанные с содержанием сайта. Так, если вы зашли на сайт интернет-магазина, на Изнанке вы увидите ссылки на другие магазины с похожим ассортиментом товаров.


Если в интернет-магазине вы читаете описание смартфона, то с помощью Изнанки вы узнаете диапазон цен на эту модель, а если находитесь на сайте кафе или музея — увидите их местоположение на карте.

Умная строка уже известна пользователям Яндекс.Браузера. В неё можно вводить адреса сайтов и поисковые запросы, причём ответ она умеет давать прямо в поисковых подсказках — например, называет температуру воздуха в Москве или высоту Эвереста. Новый Яндекс.Браузер способен быстро отвечать и на более сложные вопросы. Например, можно узнать, что такое фотосинтез или кто такой Кип Торн, не переходя на страницу с результатами поиска.


А в будущих версиях браузера можно будет уточнить подробности о том или ином объекте, не покидая страницу, на которой он вам встретился. Здесь, например, браузер подсказывает, где находится ближайший кинотеатр:


Новый Яндекс.Браузер легко настроить под себя. На Табло можно добавить любимые сайты, а на странице новой вкладки — выбрать анимированный фон: дрожащую на ветру еловую ветку, огибающую камни горную реку или стекающие по стеклу капли дождя.


Попробовать новый Яндекс.Браузер можно начиная с сегодняшнего дня. Для загрузки доступна альфа-версия браузера для Windows и OS X. Мы подготовили её, чтобы показать вам идеи, которые легли в основу проекта. Вы можете рассказать нам о своих впечатлениях в комментариях, а если что-то не работает или работает не так — написать сюда. Привычная версия Яндекс.Браузера по-прежнему остаётся с вами — загрузить её можно здесь.

@темы: Браузер, ya.ru:author:134834766, ya.ru:text

---

Большие данные большого коллайдера

Совсем скоро, 27 ноября, в Яндексе выступит с лекцией Гай Уилкинсон — руководитель LHCb, одного из экспериментов Европейского центра ядерных исследований (ЦЕРН). Он расскажет о том, как алгоритмы анализа больших объёмов данных используются в физике элементарных частиц. Записаться на лекцию или посмотреть её видеотрансляцию можно на странице мероприятия.

Яндекс давно сотрудничает с ЦЕРНом — с 2011 года. Мы предоставляем ЦЕРНу серверные мощности, поиск по событиям эксперимента LHCb, а также технологию машинного обучения Матрикснет. Кроме того, недавно мы писали о планах по проведению нового эксперимента SHIP, для нужд которого Яндекс предоставит ЦЕРНу свои технологии обработки данных. Сегодня мы хотим чуть больше рассказать о том, как IT-компании могут помочь и уже помогают большой науке.

Эксперимент — это один из основных способов познания окружающего мира. Человек ставит опыты и проверяет гипотезы на протяжении всей своей истории. Долгое время для этих опытов было достаточно простых инструментов — весов, линейки, секундомера, — а для того, чтобы записать результаты наблюдений, хватало листка бумаги.

Современные эксперименты требуют дорогостоящего оборудования. Для того чтобы построить Большой адронный коллайдер, одну из самых известных экспериментальных установок наших дней, потребовалось проложить под землей туннели, спроектировать средства разгона пучков протонов, собрать детекторы высокой точности. Учёные надеются, что опыты на коллайдере дадут ответы на вопросы о прошлом, настоящем и будущем Вселенной и помогут найти так называемую «новую физику» — физику за пределами Стандартной модели.

Туннель Большого адронного коллайдера. Фото CERN.

Опыты на БАК проходят так: пучки протонов в кольце коллайдера разгоняют до скоростей, близких к скорости света, и сталкивают друг с другом. В результате этих столкновений происходят рождения и распады новых частиц, которые и являются предметом интереса учёных.

Всё, что происходит внутри кольца БАК — рождение частиц или распад одних частиц на другие, — физики называют «событиями». События происходят в БАК очень часто — примерно 40 миллионов раз в секунду, — а информация о каждом событии весит сотни килобайт. С точки зрения исследователя все события эксперимента делятся на важные (сигнальные) и неважные (фоновые). Сигнальными называют события, которые относятся непосредственно к проверяемой в ходе эксперимента гипотезе.

Сигнальные события могут происходить очень редко — примерно одно на сотни миллионов или даже реже, — и важно ловить их в огромном потоке необработанных (сырых) данных. Другими словами — необходимо уметь правильно обрабатывать эти данные. Таким образом, для успеха современного эксперимента необходимо не только оборудование, но и алгоритмы обработки данных.

Совокупность всей информации в интернете — это тоже «сырые данные», которые нужно обработать, чтобы, к примеру, выдать релевантный ответ на поисковый запрос. Поэтому Яндекс как поисковая компания развивает алгоритмы анализа данных. Кроме того, у Яндекса достаточно вычислительных мощностей для того, чтобы обрабатывать данные быстро. Всё это можно использовать и в ЦЕРНе для обработки данных физических экспериментов.

Наши технологии используются в ЦЕРНе для настройки классификатора — программы, которая помогает отделить сигнальные события эксперимента от фоновых. (Подробнее о том, как создаются и работают классификаторы, вы можете узнать из статьи в нашем техноблоге на «Хабрахабре».) Кроме того, Яндекс разрабатывает для ЦЕРНа инфраструктуру автоматизации вычислительных экспериментов. Такая инфраструктура позволяет большой распределённой команде учёных совместно работать над анализом данных с использованием сложных методов и нетривиальных критериев оценки качества. Автоматизация совместной работы позволяет получать более достоверные и воспроизводимые результаты за меньшее время.

Технологии интернет-компаний, связанные с обработкой больших данных, могут использоваться не только в физике. В частности, Яндекс предоставляет свои технологии для обработки сейсмических и геофизических данных, а также для других областей, не связанных с поиском в интернете. Однако самые впечатляющие проекты, связанные с обработкой «больших данных», скорее всего, впереди. Речь идёт не только о науке, но и о повседневной жизни. «Большие данные» — это и информация о покупках в интернет-магазинах, и списки действий в социальных сетях, и сведения с датчиков пульса и шагомеров, которые носят на руке миллионы людей. Вопрос только в том, какие вопросы мы задаём себе, глядя на эти данные, и как правильно распорядиться полученными ответами.

@темы: ya.ru:author:5105614, ya.ru:text, наука и образование