Каталог RSS-каналов
Статистика

RSS-каналов в каталоге: 3394

Добавлено сегодня: 0

Добавлено вчера: 0

Hi-Tech / Прочее

Познаём Нирвану – универсальную вычислительную платформу Яндекса

Хабр / Лучшие публикации за сутки 12.03.2018 в 16:14

Лучшие публикации за последние 24 часа

Познаём Нирвану – универсальную вычислительную платформу Яндекса

Машинное обучение превратилось в модный термин, но при работе с большими объёмами данных оно уже много лет является жизненной необходимостью. Яндекс обрабатывает более 200 миллионов запросов ежедневно! Когда-то в интернете было так мало сайтов, что наилучшие из них помещались в каталог, а теперь за релевантность ссылок на страницы в выдаче отвечают сложные формулы, обучающиеся на новых и новых данных. Задача ложится на так называемые конвейеры, регулярные процессы, обучающие и контролирующие эти формулы.

Сегодня хотим поделиться с сообществом Хабра нашим опытом создания вычислительной платформы Нирвана, которая, среди прочего, применяется для задач машинного обучения.

Нирвана — неспециализированная облачная платформа для управления вычислительными процессами, где приложения запускаются в порядке, указанном пользователем. В Нирване хранятся нужные процессам описания, ссылки, блоки процессов и связанные с ними данные. Процессы оформлены в виде асинхронных графов.

Нирваной для решения вычислительных задач пользуются разработчики, аналитики и менеджеры разных департаментов Яндекса — потому что далеко не всё можно посчитать на своем ноутбуке (а почему ещё — мы расскажем в конце статьи, когда перейдем к примерам применения Нирваны).

Мы расскажем, с какими проблемами столкнулись при использовании предыдущего решения, опишем ключевые компоненты Нирваны и объясним, почему для платформы было выбрано именно такое название. А потом посмотрим на скриншот и перейдем к задачам, для которых полезна платформа.

Читать дальше →

Другие записи ленты

[Из песочницы] Разработка высоконагруженного WebSocket-сервиса 12.03.2018 в 15:51

MathOps или математика в мониторинге 12.03.2018 в 12:00

[Перевод] Руководство по SEO JavaScript-сайтов. Часть 1. Интернет глазами Google 12.03.2018 в 11:48

Как в ВТБ меняли парадигму доступа к данным 12.03.2018 в 09:47

[Перевод] Как быть с «нигилистами в инфобезопасности» 12.03.2018 в 08:29

Легко ли выступать на конференции в первый раз? 12.03.2018 в 07:33

Финтех-дайджест: банки без офисов становятся все популярнее 12.03.2018 в 07:03

Вспомнить всё. Ожидание и реальность в сфере IT: 2017 vs 2018 12.03.2018 в 03:17

[Перевод] Уроки, которые можно извлечь из кодовой базы LLVM/Clang 12.03.2018 в 01:38

Тренинг FastTrack. «Сетевые основы». «Основы дата-центров». Часть 2. Эдди Мартин. Декабрь, 2012 11.03.2018 в 20:40