Сопливый Чейн

Многие слышали, что цепочку поставки (Supply Chain) можно компрометировать и тем самым наделать неприятностей и что важно выстраивать процессы безопасной разработки в своих CI/CD-пайплайнах.

В #видоснавечер предлагаем посмотреть свежайшее видео с Black Hat: "Picking Lockfiles: Attacking & Defending Your Supply Chain" от Greg Johnson и Dennis Appelt. Тут и классификация проблем и как решать.

Пумц: https://www.youtube.com/watch?v=UkWJeqb8BZk

Проблемы целостности и чистоты пакетов, которые залетают в продуктив, всё чаще и чаще всплывают. Яркий тому пример, кейс с SolarWinds. Будьте предупредительны.

DeepMind выпустил AlphaCode, который прогает лучше половины твоих знакомых.

Во многом похож на Codex, но есть отличия.

Основной подход:
1. Encoder-decoder, 41B параметров
1. Декодер обучается предсказывать следующее слово, а энкодер делает MLM. Всё end2end.
1. Заскрапили датасет задачек с Codeforces и зафайнтюнили на нём модель
1. Во время тестирования семплили очень большое количество решений (до миллиона) и потом выбирали из них с помощью кластеризации, эвристик и, самое главное, проходят ли они открытые тесты которые приложены к задачке. Сабмитили на финальную проверку только топ-10.

По результатам: AlphaCode решает задачки лучше, чем 54% пользовалетей Codeforces (не очень альфа пока что, но стремится туда).

Небольшие технические отличия от Codex:
1. Максимальная длина для энкодера 1536, для декодера 768
1. Использовали Multi-query attention, модификацию attention, которая использует одни и те же K и V для разныех голов – позволило улучшить потребление памяти и скорость декодирования
1. Очень маленький словарь токенизатора, 8К.
1. Во время файтнюнинга использовали температуру 0.2, которая делает распределение более острым. При тесте температура не использовалась, назвали это tempering.
1. Файнтюнились и на правильных и на неправильных решениях, при этом моделе заранее сообщается сигнал корректное ли это решения.
1. Для файнтюнинга использовали лосс, который называется GOLD. По сути это взвешенная кросс-энтропия, несмотря на то, что выглядит как RL.

Вот тут можно посмотреть на визуализацию attention, а ещё есть популярно написанный блогпост

AIModel-Mutator: Finding Vulnerabilities in TensorFlow

В рубрике #видоснавечер, хотим познакомить вас с очередным актуальным вопросом безопасности моделей машинного обучения, и информацией о том как ошибки фреймворков (например Tensorflow) могут на это повлиять. К слову с 2019 по 2021 год, количество CVE уязвимостей в TF увеличилось в 15 раз.

Qian Feng, старший исследователь по безопасности из Baidu Security рассказывает о важной работе, которую они провели с коллегами.

Подмутировать модель довольно легко, а как мы знаем, распространяются они довольно свободно и без каких-либо дополнительных проверок, короче deep dive в видео: https://www.youtube.com/watch?v=7QqbJRZ6CxU

Ваш код как место преступления

Ранее мы писали про супер-крутой CodeScene и его основателя, Адама Торнхила, который и "ещё книжки интересные пишет".

Так вот, увидели, что сегодня онли одну из его клёвых книг "Your Code as a Crime Scene", можно закупить на скидке за $5.

Из книги вы узнаете про всё то множество методов для выявления дефектов, узких мест и плохого дизайна в вашем коде.

Читать содержание и закупаться годным здесь: https://pragprog.com/titles/atcrime/your-code-as-a-crime-scene/ (промокод FLASHSALECS).

ЗЫ. Не реклама, а полезные материалы. Это вам не Лутца за 2 килорубля за том покупать ;).

AlphaCode. Разбор статьи

AlphaCode - это новая языковая модель от DeepMind для генерации кода, схожая с OpenAI Codex.

Видео: https://www.youtube.com/watch?v=t3Yh56efKGI

Нас часто спрашивают про то, как устроена автогенерация кода. В #видоснавечер хотим предложить ознакомиться с устройством AlphaCode через подробный разбор нашумевшей публикации.

RoboCode. Программирование и игра

Пятничной ностальгии псто. По воспоминаниям, примерно в 2001 году появилась RoboCode: кодишь своего бота и запускаешь баттл на поле с ботами других участников.

Бот может управлять мощностью своего радара и выстрела, направлением и скоростью движения, поворотом пушки и т. п.

Это в чистом виде образовательная платформа, где помимо освоения базовых конструкций языка, можно разрабатывать целый килограмм всевозможных стратегий поведения на поле сражения. Можно писать и обучающихся ботов ;). Вангуем такую бойню в ODS!

Видео-пример сражения.

Игра изначально для Java (и даже апдейты вышли на прошлой неделе), пишут, что можно и .NET. Но вот на гитхабе найдена (и проверена) реализация на Python3 (нужна зависимость pyqt5). Есть также форки под JavaScript, Clojure и т. п.

Тема с образованием через игровой процесс довольно интересная, больше подобных игр можно найти на Github.

А какие увлекательные игрушки вспоминаете вы?

ODS Course Fest 21/22

Ну и про образование. В OpenDataScience стартует весенняя серия открытых курсов.

Презентация завтра (12.02.22) в 12:00.

Расписание анонсов:

12:00-12:20 Intro, сезон курсов и образование в(O)DS. Алексей Натёкин
12:20-13:00 Open ML course. Пётр Ермаков
13:00-13:05 Onsite-test ~ собесы в никуда, Алексей Смирнов
13:00-14:00 Networking. Spatial chat: комнаты знакомств для участников, собесы в никуда.
14:00-14:20 NLP course. Валентин Малых
14:20-14:40 QML. Quantum ods. Виктор Трохименко
14:40-15:00 Auto ML. Александр Рыжков
15:00-15:20 ODS Lab. Дмитрий Колодезев
15:00-16:00 Networking. Spatial Chat.
16:00-16:30 ODS Pet Projects. Станислав Капулкин и Влад Грозин.

Смотреть в прямом эфире: https://www.youtube.com/watch?v=pzj9mRQewGw

Будут ещё всякие нетворкинги и конечно же знаменитые Собеседования в никуда. Подключайтесь!

Repography

Сервис рисует всякое по истории из git-репозитория:
- активность в репозитории;
- файловая структура взвешенная по количеству коммитов;
- топ разработчиков;
- код по рабочим часам;
- и т.п.

Примерчик про Go:
https://repography.com/blog/go-first-commit

Графики настолько няшные, что авторы предлагают закупиться хайрезами на стенку :).

Внедрение машинного обучения в IDE: опыт JetBrains

В #видоснавечер предлагаем познакомиться с крайне увлекательной лекцией нашего уважаемого подписчика, Тимофея Брыксина ;)

Тимофей Брыксин, доцент, кандидат физико-математических наук, преподаватель программы «Разработка программного обеспечения» Университета ИТМО, руководитель лаборатории Machine Learning Methods in Software Engineering в JetBrains Research.

Видео: https://www.youtube.com/watch?v=N_dn-bLxKMs

Тезисы:

На лекции мы обсудили, как IDE может быть улучшена при помощи методов машинного обучения. В качестве примера поговорили про механизм работы инструмента, используемого миллионами программистов каждый день — автодополнение кода. Разобрали то, зачем вообще разработчикам нужен подобный инструмент и какими качествами должна обладать модель машинного обучения, лежащая в его основе. Рассмотрели возможные проблемы со сбором датасета для обучения в этой задаче, а также неочевидный способ векторизации кода и событий автодополнения. В завершение лекции познакомились с несколькими текущими проектами JetBrains Research по применению машинного обучения в IDE.

Если у кого-нибудь есть время, настроение и желание участвовать в хакатонах с призами, то мы вот обнаружили один такой. Даже немного тематичный (см. Кейс №2).

Организаторы в описании довольно странным образом объединяют понятия эффективности, трудоемкости по COCOMO и некой сложности. Что на вход-выход совсем непонятно, но почему бы и не поучаствовать и не узнать подробности.

В добавок, предлагается задачка по блокчейну и telegram-боту, и, судя по всему, призовой фонд в 500к пошарен между задачами, а там уже кто сколько наберет.

🗓 Даты хакатона: 18-20 марта 2022 года
📌 Дедлайн регистрации: 16 марта 23:59
👉 Регистрация: https://tfalliance.ru

Сегодня вечером поговорим о безопасной разработке в пилотном выпуске подкаста Python's Tail. Подключайтесь!

Пилотный выпуск подкаста Python's Tail — уже сегодня, 6 апреля, 19:00 (Мск, GMT+3), прямой эфир

Тема выпуска: Безопасность цепочек поставки артефактов разработки


Открытого ПО на его основе становится всё больше. Казалось бы, много качественных проектов в сообществе — это здорово. Но есть проблема: как и в любом коде, в open source годами живут ошибки и уязвимости. Исследователи утверждают, что примерно половина python-пакетов в каталоге PyPI содержат уязвимости разных уровней.

В этом эпизоде мы пообщаемся о примерах уязвимостей и уязвимых компонентов, атаках на Software Supply Chain Management и человеческом факторе. А самое главное — о методах и средствах контроля: например, SAST и DAST & SCA.

Гости выпуска — основатель решения композиционного анализа CodeScoring Алексей Смирнов и технический руководитель Positive Technologies Владимир Кочетков.

Ведущие — Андрей Дмитриев и Илья Беда.


Кликайте на колокольчик, чтобы не пропустить эфир: https://www.youtube.com/watch?v=zhbDOqUCjJM

Внимание! Изменилась ссылка на трансляцию:
https://www.youtube.com/watch?v=eWdTihr5Fss

Как наш мозг осознает код

В нашей рубрике #видоснавечер сегодня абсолютно свежее видео с Григорием Петровым, который заглянул в гости на подкаст Python's Tail.

В видео говорится о том, как работает человеческий мозг и как эти знания можно применять для создания более читаемого кода. Про мозговой кэш, как его греть и зачем всё это нужно.

Приятного просмотра: https://youtu.be/kZmfdaEUdJk?t=23

Увернуться от рефакторинга. Или как применять инженерные метрики кода во благо?

Продолжая тематику сложности кода, продолжим докладом Алексея Смирнова про цикломатическую сложность.

В докладе раскрыты особенности измерения цикломатической сложности исходного кода, сопоставление с когнитивными метриками и иными способами измерения и оценки качества программ. Рассматриваются риски, которых можно избежать, если следить за значением цикломатической сложности смолоду: от предсказания рефакторинга и вероятности появления новых багов, до оценки сложности автоматизации тестирования и сопровождения ПО.

Доклад снабжен расчетными примерами на известных open source проектах и освещает необходимые средства автоматизации: от свободных библиотек и утилит, до применения коммерческих решений управления безопасностью и качеством разработки.

Сам доклад 40 минут, дальше беседа с пайтон сообщестом в Барнауле.

Приятного просмотра: https://youtu.be/amDn9nnXGHg

Doomfana

В рамках хакатона, ребята напилили Doom в Графане, что было приурочено к 25й годовщине выхода Doom 64.

Юзабельно? Не очень. Но, как мы понимаем, цель не в этом :).

Подробности | Исходники

Поиграться можно тут, а повыше разрешение будет здесь.

Мой опыт с резиновым мужиком. Github Copilot

Вчера вышла хорошая статейка про Copilot. Автор в красочных эпитетах описывает свой опыт и делает, на наш взгляд, правильные выводы относительно текущего стейта: "Github Copilot - это джун без тормозов" (c).

Всё предсказуемо, и понятно, что такого гламура как показывают во всевозможных ютубчиках от этого инструмента пока ждать не стоит, но это и не значит, что область нереальна или мертва.

Насладиться слогом можно здесь: https://habr.com/ru/post/666538/

Data Fest Online 3.0 🎉🎉🎉

Абсолютно внезапная для многих новость-молния, в конце недели стартует Data Fest Online, аж 3.0 версии уже.

Важное, ODS переезжает из Slack в [Matrix] и сообществу предстоит приличное обновление.

Об этом всём мы узнаем 4 июня, где помимо ананосов будет представлено огромное количество тематических направлений: Reliable ML, NLP, RecSys, PyData + MLOps, DL in Finance, etc.

CodeMining (это мы :), тоже не останется в стороне и обо всех наших задумках мы расскажем в прямом эфире на Youtube-канале ODS AI RU в эту субботу (4 июня).

Сам фест продлится с 4 июня по 26 июня, поэтому следите за обновлениями. Подробности по участию и движам здесь, на ютубчике и в telegram-канале ODS.

Доклады, нетворкинг и вот это вот всё. Урра!