Будущее Го.
С 23 по 27 мая 2017 года в китайской провинции Чжэцзян прошёл саммит «Будущее Го». Организаторами мероприятия выступили китайская ассоциация вэйци, спортивное бюро провинции Чжэцзян и компания Google. В рамках мероприятия состоялся матч из пяти партий в го с участием программы AlphaGo. Две игры прошли в парном и командном форматах и три игры с Кэ Цзе, китайским профессиональным игроком в го, держащим самый высокий рейтинг в мире.
На этом саммите в мае 2017 года программа AlphaGo одержала победу в матче из трёх партий над чемпионом мира по игре го. Это произошло спустя 20 лет после того, как в мае 1997 года шахматный суперкомпьютер Deep Blue II выиграл матч из шести партий у чемпиона мира по шахматам.
Чем примечательно это событие? Игра го считалась сложной для реализации методами искусственного интеллекта из-за большого количества возможных позиций на доске и сложности алгоритмизации оценки позиции.
Эта победа продемонстрировала возможности искусственного интеллекта и привлекла внимание всего мира к Демису Хассабису и его команде, которые на тот момент работали в дочерней компании Google — DeepMind.
Открытое продолжение истории на Бусти.
С 23 по 27 мая 2017 года в китайской провинции Чжэцзян прошёл саммит «Будущее Го». Организаторами мероприятия выступили китайская ассоциация вэйци, спортивное бюро провинции Чжэцзян и компания Google. В рамках мероприятия состоялся матч из пяти партий в го с участием программы AlphaGo. Две игры прошли в парном и командном форматах и три игры с Кэ Цзе, китайским профессиональным игроком в го, держащим самый высокий рейтинг в мире.
На этом саммите в мае 2017 года программа AlphaGo одержала победу в матче из трёх партий над чемпионом мира по игре го. Это произошло спустя 20 лет после того, как в мае 1997 года шахматный суперкомпьютер Deep Blue II выиграл матч из шести партий у чемпиона мира по шахматам.
Чем примечательно это событие? Игра го считалась сложной для реализации методами искусственного интеллекта из-за большого количества возможных позиций на доске и сложности алгоритмизации оценки позиции.
Эта победа продемонстрировала возможности искусственного интеллекта и привлекла внимание всего мира к Демису Хассабису и его команде, которые на тот момент работали в дочерней компании Google — DeepMind.
Открытое продолжение истории на Бусти.
Save the date: 4 июня infra.conf 2024
infra.conf — большая конференция по инфраструктуре — всё про создание инфраструктуры и эксплуатацию высоконагруженных систем.
Коллеги подготовили 18 докладов-кейсов от разработчиков и техлидов из Яндекса и других крупных компаний, активный нетворкинг, игры, Q&A-сессии и вечеринка. И все это бесплатно, но нужна регистрация, так как место не резиновое.
Итак 4 июня в Москве на площадке Bounce & Pulsar и в онлайн. Поговорим о платформенной разработке, тестировании и эксплуатации инфраструктуры, базах данных и хранилищах, облачных технологиях, CI/CD-пайплайнах и Kubernetes, ML-инфраструктуре, безопасности, опенсорс-решениях и о многом другом.
infra.conf — большая конференция по инфраструктуре — всё про создание инфраструктуры и эксплуатацию высоконагруженных систем.
Коллеги подготовили 18 докладов-кейсов от разработчиков и техлидов из Яндекса и других крупных компаний, активный нетворкинг, игры, Q&A-сессии и вечеринка. И все это бесплатно, но нужна регистрация, так как место не резиновое.
Итак 4 июня в Москве на площадке Bounce & Pulsar и в онлайн. Поговорим о платформенной разработке, тестировании и эксплуатации инфраструктуры, базах данных и хранилищах, облачных технологиях, CI/CD-пайплайнах и Kubernetes, ML-инфраструктуре, безопасности, опенсорс-решениях и о многом другом.
Когда все переписали!
Выездные подкасты снова в вашей ленте. В этом выпуске немного внутренней кухни из закулисья ПК конференции Saint Highload 2024. Юра Бабак и я, на пару заныриваем в программу конференции и знакомим вас с рядом интересных и ожидаемых нами докладов. В фокусе выпуска:
➡️ Обсуждаем то, когда и как все переписали в одном банке, а подробности в докладе Льва Осипова;
➡️ Касаемся таксономии изоляции от легендарного дуэта Антона Жаболенко и Алексея Федулаева;
➡️ Подсвечиваем работу по расписанию на бэкенде из уст Андрея Зарубина;
➡️ Облизываемся на доклад Филиппа Бочарова на тему единого хранилища метрик экосистемы;
➡️ Задумываемся о перспективах квантового компьютера и планируем посетить доклад Михаила Ремнева;
➡️ Посмативаем на доклад Андрея Бородина про UUID v.7;
Именно об этом наш 313 подкаст The Art of Programming — «Когда все переписали и не только»
Подписаться в iTunes
Смотреть на VK
Слушать на Яндекс Музыке
#SHL2024
Выездные подкасты снова в вашей ленте. В этом выпуске немного внутренней кухни из закулисья ПК конференции Saint Highload 2024. Юра Бабак и я, на пару заныриваем в программу конференции и знакомим вас с рядом интересных и ожидаемых нами докладов. В фокусе выпуска:
Именно об этом наш 313 подкаст The Art of Programming — «Когда все переписали и не только»
Подписаться в iTunes
Смотреть на VK
Слушать на Яндекс Музыке
#SHL2024
Please open Telegram to view this post
VIEW IN TELEGRAM
Kids Fest
Лето уже практически нас настигло и традиционно есть возможность показать почти свою работу своим детям. Я говорю о том что 1 июня в офисах Яндекса пройдет Kids Fest.
Это особое мероприятие для детей сотрудников в компании. В сопровождении своего папы или мамы дети дойдут до рабочих мест и любимых уголков в офисах. Будет особое сопровождение и про Яндекс коллеги расскажут: как всё устроено, что мы создаём, и кто этим занимается.
В программе масса всего. На все вкусы для разных возрастов: будут учиться кодить, строить, создавать, играть, разрисовывать лица, собирать бусики, беситься в бассейнах с шариками и много чего ещё.
Фестиваль пройдет в 29 городах присутствия Яндекса. В городах с небольшой численностью детей (Владивосток, Красноярск, Тюмень, Тула, Сочи, Челябинск, Омск, Казань, Уфа, Пермь и Стамбул) родители получат промокоды для покупки билетов на семейные события.
Есть правда одно но... Это праздник для детей сотрудников. Но вы не теряйтесь. Всегда можно присоединиться к большой команде Яндекс.
Лето уже практически нас настигло и традиционно есть возможность показать почти свою работу своим детям. Я говорю о том что 1 июня в офисах Яндекса пройдет Kids Fest.
Это особое мероприятие для детей сотрудников в компании. В сопровождении своего папы или мамы дети дойдут до рабочих мест и любимых уголков в офисах. Будет особое сопровождение и про Яндекс коллеги расскажут: как всё устроено, что мы создаём, и кто этим занимается.
В программе масса всего. На все вкусы для разных возрастов: будут учиться кодить, строить, создавать, играть, разрисовывать лица, собирать бусики, беситься в бассейнах с шариками и много чего ещё.
Фестиваль пройдет в 29 городах присутствия Яндекса. В городах с небольшой численностью детей (Владивосток, Красноярск, Тюмень, Тула, Сочи, Челябинск, Омск, Казань, Уфа, Пермь и Стамбул) родители получат промокоды для покупки билетов на семейные события.
Есть правда одно но... Это праздник для детей сотрудников. Но вы не теряйтесь. Всегда можно присоединиться к большой команде Яндекс.
Мы уйдём из зоопарка.
Пока был в командировке, с упоением размышлял, как замечательно было бы вернуться домой и забыть о заботах — стоит только попросить умную колонку, и она всё сделает. Один раз автоматизировал — и получаешь удовольствие. Кстати, мои коллеги из Яндекса выбрали создание умного дома своим хобби. Умный дом заботится о комфорте и помогает автоматизировать рутину.
А вот в создании самих умных домов никакого комфорта нет из-за множества производителей и стандартов. Например, устройства ZigBee напрямую «дружат» только между собой. Возникает вопрос, как правильно всё купить, настроить, запустить и отладить сценарии использования.
Приручить «зоопарк» стандартов было решено в 2019 году, когда началась работа над проектом Connected Home over IP, созданным технологическими гигантами и Альянсом ZigBee. В 2021 году проект был переименован в Matter.
Matter — это универсальный стандарт с открытым исходным кодом для объединения IoT-устройств разных производителей в единую сеть. Matter поддерживает протоколы связи Wi-Fi, Thread и Ethernet и работает на основе интернет-протокола (IP). Чтобы подключить устройства к умному дому, используется единый алгоритм подключения — необходимо отсканировать QR-код на корпусе устройства. Matter-устройства взаимодействуют друг с другом через локальную сеть и продолжают выполнять сценарии и без интернета.
В октябре 2022 года вышел релиз первой версии спецификации Matter, которая включала поддержку осветительных приборов, дверных замков, жалюзи и штор, датчиков движения и т. д. Позже была добавлена поддержка других устройств, а также сертификации и тестирования. В мае этого года была реализована поддержка сцен (настроек разных устройств для активации одной командой), а также пакетирование команд для их одновременной передачи и сокращения времени выполнения.
Вообще, до Matter предпринимались попытки создать единую систему управления устройствами разных производителей, однако это уже совсем другая история.
Пока был в командировке, с упоением размышлял, как замечательно было бы вернуться домой и забыть о заботах — стоит только попросить умную колонку, и она всё сделает. Один раз автоматизировал — и получаешь удовольствие. Кстати, мои коллеги из Яндекса выбрали создание умного дома своим хобби. Умный дом заботится о комфорте и помогает автоматизировать рутину.
А вот в создании самих умных домов никакого комфорта нет из-за множества производителей и стандартов. Например, устройства ZigBee напрямую «дружат» только между собой. Возникает вопрос, как правильно всё купить, настроить, запустить и отладить сценарии использования.
Приручить «зоопарк» стандартов было решено в 2019 году, когда началась работа над проектом Connected Home over IP, созданным технологическими гигантами и Альянсом ZigBee. В 2021 году проект был переименован в Matter.
Matter — это универсальный стандарт с открытым исходным кодом для объединения IoT-устройств разных производителей в единую сеть. Matter поддерживает протоколы связи Wi-Fi, Thread и Ethernet и работает на основе интернет-протокола (IP). Чтобы подключить устройства к умному дому, используется единый алгоритм подключения — необходимо отсканировать QR-код на корпусе устройства. Matter-устройства взаимодействуют друг с другом через локальную сеть и продолжают выполнять сценарии и без интернета.
В октябре 2022 года вышел релиз первой версии спецификации Matter, которая включала поддержку осветительных приборов, дверных замков, жалюзи и штор, датчиков движения и т. д. Позже была добавлена поддержка других устройств, а также сертификации и тестирования. В мае этого года была реализована поддержка сцен (настроек разных устройств для активации одной командой), а также пакетирование команд для их одновременной передачи и сокращения времени выполнения.
Вообще, до Matter предпринимались попытки создать единую систему управления устройствами разных производителей, однако это уже совсем другая история.
Цель мониторинга.
С одной стороны, целью системы мониторинга является получение оперативной, точной и объективной информации о состоянии объекта наблюдения.
А с другой, конечной целью любого мониторинга является предвидение будущего (как правило, негативного) состояния системы и событий с целью снижения степени неопределенности, риска при принятии решений.
Как пример. Вот пороговое значение показателя, вот диапазон атаки, вот нагрузка переваливает через границу диапазона. Еще ничего не случилось, но дежурному бы подсветить, что показатель вошел в опасную зону. И в целом, все еще сложнее...
С одной стороны, целью системы мониторинга является получение оперативной, точной и объективной информации о состоянии объекта наблюдения.
А с другой, конечной целью любого мониторинга является предвидение будущего (как правило, негативного) состояния системы и событий с целью снижения степени неопределенности, риска при принятии решений.
Как пример. Вот пороговое значение показателя, вот диапазон атаки, вот нагрузка переваливает через границу диапазона. Еще ничего не случилось, но дежурному бы подсветить, что показатель вошел в опасную зону. И в целом, все еще сложнее...
А ваша система мониторинга вам помогает?
Anonymous Poll
34%
Да, помогает проактивно реагировать на угрозы.
40%
Да, только оперативно наблюдать за состоянием системы.
26%
Помогает только разбираться в аварийной ситуации.
0%
Другое, напишу в комментарии.
TACACS in da Сloud
Мой коллега Марат написал отличную техническую статью — «TACACS in da Сloud». Если опустить, что протокол TACACS — это что-то на очень древнем из середины восьмидесятых и начала девяностых, то сама статья — чистый экстаз. Возможно, одна из самых интересных за последнее время на Хабре для меня.
Практически все технологические компании с большим штатом решают задачу обслуживания инфраструктуры с использованием SSH, обычных jump-хостов и Bastion.
Марат подробно рассказывает, как TACACS используется для аутентификации и авторизации пользователей в сетевых инфраструктурах (ну, у нас конкретно). Поясняет за Bastion, ротацию секретов, мониторинг, блокировку и прочее. Короче, всем читать-плюсовать!
Мой коллега Марат написал отличную техническую статью — «TACACS in da Сloud». Если опустить, что протокол TACACS — это что-то на очень древнем из середины восьмидесятых и начала девяностых, то сама статья — чистый экстаз. Возможно, одна из самых интересных за последнее время на Хабре для меня.
Практически все технологические компании с большим штатом решают задачу обслуживания инфраструктуры с использованием SSH, обычных jump-хостов и Bastion.
Марат подробно рассказывает, как TACACS используется для аутентификации и авторизации пользователей в сетевых инфраструктурах (ну, у нас конкретно). Поясняет за Bastion, ротацию секретов, мониторинг, блокировку и прочее. Короче, всем читать-плюсовать!
До API надо еще дорасти
Выездные подкасты снова в вашей ленте. В этом выпуске немного трендов от ПК Highload, точнее того что видно со стороны ПК на больших промежутках. Вместе с Максимом Лапшиным разгоняем на тему того, что нужно таки дорасти до API-first подхода и чем это грозит вам в перспективе. А также заглядываем в программу конференции Saint Highload 2024 и знакомим вас с парой интересных докладов:
➡️ Хватит себя обманывать, или Давайте посмотрим, как работают статистические балансировщики нагрузки — Ильяс Нежибицкий;
➡️ Как мы монгу физически бэкапили — Владимир Гошев.
Именно об этом наш 314 подкаст The Art of Programming — «До API надо еще дорасти»
Подписаться в iTunes
Смотреть на VK
Слушать на Яндекс Музыке
#SHL2024
Выездные подкасты снова в вашей ленте. В этом выпуске немного трендов от ПК Highload, точнее того что видно со стороны ПК на больших промежутках. Вместе с Максимом Лапшиным разгоняем на тему того, что нужно таки дорасти до API-first подхода и чем это грозит вам в перспективе. А также заглядываем в программу конференции Saint Highload 2024 и знакомим вас с парой интересных докладов:
Именно об этом наш 314 подкаст The Art of Programming — «До API надо еще дорасти»
Подписаться в iTunes
Смотреть на VK
Слушать на Яндекс Музыке
#SHL2024
Please open Telegram to view this post
VIEW IN TELEGRAM
Рекрутинговый ад
Всегда полезно почитать как рыночек порешает или как хорошо где нас нет. Вот, например, один эмигрант-фронтендер Pavel пишет про свой опыт поиска работы в Канаде — «Рекрутинговый ад или как я в Канаде IT работу искал».
В целом очень ожидаемый сюжет, особенно для тех кто слушал мини серию подкастов про ситуацию на рынке труда. Начиная с 303 выпуска «Несчастливы на работе» и заканчивая 311-м выпуском «Не штучные люди!».
В серии нет заключительного выпуска, но с ним пока не сложилось как надо.
Всегда полезно почитать как рыночек порешает или как хорошо где нас нет. Вот, например, один эмигрант-фронтендер Pavel пишет про свой опыт поиска работы в Канаде — «Рекрутинговый ад или как я в Канаде IT работу искал».
В целом очень ожидаемый сюжет, особенно для тех кто слушал мини серию подкастов про ситуацию на рынке труда. Начиная с 303 выпуска «Несчастливы на работе» и заканчивая 311-м выпуском «Не штучные люди!».
В серии нет заключительного выпуска, но с ним пока не сложилось как надо.
13000 книг.
Именно так, 13 000 книг озвучены особым голосом. «Букмейт» запустил виртуального рассказчика. Регулярно рассказываю и в подкастах, и личных встречах, как прогрессируют автоматические «озвучки» книг, и являюсь яростным фанатом похожих технологий.
Немного подробностей о том, как Яндекс и «Букмейт» адаптировали технологию для книг, читать тут.
Сам я открыл на полке книгу Мэттью Дж. Ван Натта — «Спокойствие. Стоицизм — путь мудреца». Прямо во введении цитата уважаемого мною Марка Аврелия. Дальше удержаться не смог, включил скорость на 1,5, добавил в закладки, и, похоже, эта книжка, озвученная голосом «Букмейта», со мной будет путешествовать по питерским паркам.
Именно так, 13 000 книг озвучены особым голосом. «Букмейт» запустил виртуального рассказчика. Регулярно рассказываю и в подкастах, и личных встречах, как прогрессируют автоматические «озвучки» книг, и являюсь яростным фанатом похожих технологий.
Немного подробностей о том, как Яндекс и «Букмейт» адаптировали технологию для книг, читать тут.
Сам я открыл на полке книгу Мэттью Дж. Ван Натта — «Спокойствие. Стоицизм — путь мудреца». Прямо во введении цитата уважаемого мною Марка Аврелия. Дальше удержаться не смог, включил скорость на 1,5, добавил в закладки, и, похоже, эта книжка, озвученная голосом «Букмейта», со мной будет путешествовать по питерским паркам.
YaFSDP на свободе!
Яндекс разработал и выложил в открытый доступ библиотеку YaFSDP. YaFSDP — это инструмент для ускорения обучения LLM и сокращения расходов на GPU. Библиотека рассчитана в первую очередь на большие языковые модели.
С мест сообщают, что библиотека даёт ускорение до 25% при обучении моделей — результат зависит от архитектуры и параметров нейросети. Например, при обучении опенсорс-модели LLaMA 2 при использовании YaFSDP ускорение 21% по сравнению с решением от Facebook.
Экономика должна быть экономной, так как железо в теме обучения LLM — очень важный аспект, считаю, что библиотека YaFSDP — это реально крутой результат.
Яндекс разработал и выложил в открытый доступ библиотеку YaFSDP. YaFSDP — это инструмент для ускорения обучения LLM и сокращения расходов на GPU. Библиотека рассчитана в первую очередь на большие языковые модели.
С мест сообщают, что библиотека даёт ускорение до 25% при обучении моделей — результат зависит от архитектуры и параметров нейросети. Например, при обучении опенсорс-модели LLaMA 2 при использовании YaFSDP ускорение 21% по сравнению с решением от Facebook.
Экономика должна быть экономной, так как железо в теме обучения LLM — очень важный аспект, считаю, что библиотека YaFSDP — это реально крутой результат.
Ещё одна ошибка в данных.
Вероятностные модели стали применять для обработки статистических данных в начале формирования теории вероятностей в XVII веке. Разработанный Карлом Фридрихом Гауссом в XVIII веке и впервые применённый для борьбы с ошибками астрономических наблюдений метод наименьших квадратов – один из наиболее популярных статистических методов и сейчас. Другое математическое достижение Гаусса – закон нормального распределения описывает, как часто различные значения случайной величины встречаются в наборе данных.
На данные, которые можно собрать, существуют определённые ограничения, как и на типы эксперимента, которые можно провести. Вопросы, какие методы использовать для решения задач и какой методологический аппарат применять для проведения исследования, сбора и обработки данных, включая компьютерную обработку, относятся к области прикладной статистики. Этот термин, стал широко использоваться не так давно, после публикации сборника «Современные проблемы кибернетики. Прикладная статистика» издательством «Знание» в 1981 году.
Пожалуй, это закономерно. Во времена СССР статистические методы использовались для реального сектора экономики в прикладных исследованиях повышения качества продукции, улучшения роста семян, животноводства для решения сельскохозяйственных проблем. Исследования проводились и в рамках молодого научного направления – радиобиологии. Например, в одних исследованиях было выявлено, что при малых дозах радиации яйценоскость кур возрастает в месяц на 18%, а в других – от 7 до 15%. Это связывали со стимулирующим эффектом на формирующийся гипофиз будущих цыплят.
Возникает вопрос, как могли проводиться научные исследования, если методологического аппарата ещё не было? Как выявлять ошибки? В одной книжке по статистике, есть хорошая фраза: «Статистика не может быть более совершенной, чем люди, которые ее используют». Человеческий фактор – бесконечный источник головной боли, кейсов из жизни и анекдотов.
Одна такая байка о пользе математического аппарата на Бусти. Все совпадения случайны.
Вероятностные модели стали применять для обработки статистических данных в начале формирования теории вероятностей в XVII веке. Разработанный Карлом Фридрихом Гауссом в XVIII веке и впервые применённый для борьбы с ошибками астрономических наблюдений метод наименьших квадратов – один из наиболее популярных статистических методов и сейчас. Другое математическое достижение Гаусса – закон нормального распределения описывает, как часто различные значения случайной величины встречаются в наборе данных.
На данные, которые можно собрать, существуют определённые ограничения, как и на типы эксперимента, которые можно провести. Вопросы, какие методы использовать для решения задач и какой методологический аппарат применять для проведения исследования, сбора и обработки данных, включая компьютерную обработку, относятся к области прикладной статистики. Этот термин, стал широко использоваться не так давно, после публикации сборника «Современные проблемы кибернетики. Прикладная статистика» издательством «Знание» в 1981 году.
Пожалуй, это закономерно. Во времена СССР статистические методы использовались для реального сектора экономики в прикладных исследованиях повышения качества продукции, улучшения роста семян, животноводства для решения сельскохозяйственных проблем. Исследования проводились и в рамках молодого научного направления – радиобиологии. Например, в одних исследованиях было выявлено, что при малых дозах радиации яйценоскость кур возрастает в месяц на 18%, а в других – от 7 до 15%. Это связывали со стимулирующим эффектом на формирующийся гипофиз будущих цыплят.
Возникает вопрос, как могли проводиться научные исследования, если методологического аппарата ещё не было? Как выявлять ошибки? В одной книжке по статистике, есть хорошая фраза: «Статистика не может быть более совершенной, чем люди, которые ее используют». Человеческий фактор – бесконечный источник головной боли, кейсов из жизни и анекдотов.
Одна такая байка о пользе математического аппарата на Бусти. Все совпадения случайны.