🖥 dbnd — инструмент для управления и отслеживания данных в рабочих процессах! Этот проект предлагает фреймворк для конструирования, мониторинга и анализа работы data engineering команд.

🔍 Основные функции:

🌟 Трекер данных — отслеживает происхождение данных, их использование и зависимости между компонентами.

🌟 Оркестрация — управление сложными рабочими процессами, включая автоматизацию их выполнения.

🌟 Интеграция — поддерживает существующие инструменты, такие как Apache Airflow, и предлагает расширенные возможности для мониторинга.

🌟 Обсервация данных — помогает выявлять и исправлять ошибки в процессах обработки данных.

🔐 Лицензия: Apache-2.0

🖥 Github

@devopsitsec

🔥 Keep — полезный инструмент для управления инженерными оповещениями!

🌟 Он позволяет командам разработчиков и DevOps эффективно фильтровать, группировать и анализировать инциденты, предоставляя мощные инструменты визуализации и интеграции. Keep собирает оповещения из различных систем мониторинга и автоматизации, включая Prometheus, Datadog, Sentry, и другие, а затем предоставляет контекст для их анализа.

🌟 Основные функции Keep включают настройку уведомлений, создание аналитических дашбордов, а также возможность интеграции с внешними API. Он ориентирован на улучшение реакции на инциденты и минимизацию шума от незначительных событий, помогая командам сосредотачиваться на решении критических проблем.

🖥 Github

@devopsitsec

✔️ Уязвимости в инструментах машинного обучения.

Уязвимости, обнаруженные компанией JFrog в популярных инструментах машинного обучения с открытым исходным кодом: MLflow, H2O, PyTorch и MLeap, позволяют злоумышленникам использовать клиентские библиотеки машинного обучения, которые работают с Safetensors.

Взлом клиента машинного обучения позволяет получить доступ к учетным данным реестра моделей и внедрить вредоносный код. Среди обнаруженных уязвимостей - недостаточная санитизация в MLflow (CVE-2024-27132), небезопасная десериализация в H2O (CVE-2024-6960), проблема с обходом пути в PyTorch и уязвимость Zip Slip в MLeap (CVE-2023-5245).
thehackernews.com

✔️OPENAI представили reinforcement finetuning для o1 (RFT).

Этот метод отличается от обычного файнтюнинга (или файнтюнинга с учителем) тем, что он позволяет обучать модель думать определённым образом в конкретной области, важной для пользователя.
Подробнее

✔️ Apple планирует изменить конструкцию памяти iPhone для повышения производительности ИИ.

Компания планирует внедрить дискретную упаковку памяти в iPhone, начиная с 2026 года, чтобы повысить производительность ИИ на устройстве. Samsung, поставщик компонентов памяти Apple, уже начал проводить исследования, чтобы удовлетворить запрос Apple. Сейчас iPhone использует упаковку типа «пакет-на-пакете» (PoP), где DRAM LPDDR размещается непосредственно на "системе-на-кристалле" (SoC).

Переход на дискретную упаковку позволит увеличить количество контактов ввода-вывода, повышая скорость передачи данных и количество параллельных каналов данных. Это улучшит пропускную способность памяти и возможности ИИ и также улучшает теплоотвод. Однако это изменение может потребовать уменьшения размера SoC или аккумулятора, а также увеличить энергопотребление и задержку.
macrumors.com

✔️ Google DeepMind представит более 100 научных работ на NeurIPS 2024.

Google DeepMind примет участие в 38-й ежегодной конференции по нейронным системам обработки информации (NeurIPS), которая пройдет с 10 по 15 декабря в Ванкувере, где представит более 100 новых научных работ по темам: агенты ИИ, генеративные медиа, инновационные подходы к обучению. В рамках конференции запланированы живые демонстрации Gemma Scope, ИИ для создания музыки, модели прогнозирования погоды, системы CAT3D и Android Control.
deepmind.google

✔️ PlayerUnknown представил 2 новые игры, основанные на машинном обучении.

Разработчик PlayerUnknown анонсировал две новые игры, основанные на технологиях Ai и ML: Preface: Undiscovered World и Prologue: Go Wayback.

Preface: Undiscovered World доступна в раннем доступе в Steam и представляет собой техническую демонстрацию процедурно генерируемых миров. Prologue: Go Wayback – это "выживалка", в которой погода и окружающая среда непосредственно влияют на исследование мира игроком. Обе игры служат «строительными блоками» для будущих проектов PlayerUnknown Productions и предназначены для сбора отзывов пользователей.
dualshockers.com

✔️ Китай представил сверхпроводящий чип с 504 кубитами.

Китай представил свой самый передовой квантовый компьютер «Tianyan-504» с 504-кубитным чипом «Xiaohong», разработанным в партнерстве с Китайской академией наук и компанией QuantumCTek. «Tianyan-504» устанавливает новый национальный рекорд, преодолевая порог в 500 кубитов, и конкурирует с IBM, по показателям производительности, времени жизни кубита и точности считывания. «Tianyan-504» будет интегрирован с квантовой облачной платформой China Telecom «Tianyan», запущенной в 2023 году, чтобы обеспечить глобальный доступ к возможностям квантовых вычислений. Платформа «Tianyan» уже привлекла более 12 миллионов посещений пользователей из более чем 50 стран.
thequantuminsider.com

@ai_machinelearning_big_data

#news #ai #ml

🖥 Большой бесплатный практический курс по Haskell MetaLamp

Этот ресурс создан, чтобы предложить вам тестовые задания для изучения Haskell на пркатике.

⚡️ Программа обучения полностью открыта и доступна бесплатно для всех.

Всего заданий пять, и они достаточно объёмные.

🕘 Даже при интенсивном темпе прохождения курса потребуется примерно 5 месяцев.

Задания нацелены на систематическое освоение основ и принципов Haskell разработки.

Одной из самых грубых ошибок при обучении является стремление сразу погрузиться в сложные практические задачи и начать осваивать множество высокоуровневых технологий (таких как веб-фреймворки), требующих значительного времени на изучение документации. Но без прочного фундамента лучше не углубляться в подобные темы 😊

Поэтому вы начнете с основ: изучение самого языка, ключевых шаблонов проектирования и архитектурных принципов. После этого перейдете к самым простым технологиям ( веб-серверам, примитивным обёрткам для работы с базами данных и т.п.).

Завершающим этапом становится масштабная переработка кода на основе множества различных источников и анализ ваших GitHub-репозиториев с созданием issue-заданий.

🌟 Кроме того, авторы поддерживают подход, согласно которому новичкам не следует сразу включаться в реальные проекты до тех пор, пока они не выполнят несколько своих собственных проектов размером хотя бы на 2–3 тысячи строк кода.

Погружаясь слишком рано в реальный проект, существует высокий риск потеряться в сложном и незнакомом коде, утратить мотивацию, а самое важное — приобрести фрагментарный и бессистемный опыт, поскольку задачи будут крайне специфическими, а процесс обучения — неравномерным.

В результате, даже если стажёр сохранит свою мотивацию, его знания окажутся менее глубокими, чем у коллеги, который начал с нуля и последовательно выполнил несколько самостоятельных проектов.

Эта стажировка должна стать отличным опытом для вас!

🖥 Курс

@haskell_tg

🔥 Крайне полезный сайт, на котором собраны и отфильтрованы бесплатные альтернативы всевозможному ПО!

🔗 Ссылка: *клик*

@devopsitsec

🤓 Курс: Создание клона Git с нуля!

🔗 Ссылка: *клик*

#курс #rust #git

freecourses

🖥 lazydocker — инструмент с интерфейсом командной строки для управления контейнерами и образами Docker!

🌟 Он позволяет разработчикам и администраторам систем удобно просматривать состояние контейнеров, управлять ими, мониторить логи и отслеживать метрики производительности прямо из единого интерфейса, без необходимости напрямую взаимодействовать с Docker CLI.

🌟 Этот инструмент ориентирован на упрощение повседневных задач, связанных с Docker, предоставляя интуитивный пользовательский интерфейс с минимальными усилиями для настройки. Lazydocker поддерживает гибкую конфигурацию и совместим с различными средами, включая Docker Compose и Kubernetes.

🔐 Лицензия: MIT

🖥 Github

@devopsitsec

🖥 nginx-proxy-manager — проект для управления Nginx с удобным графическим интерфейсом!

🌟 Это инструмент, который упрощает настройку и управление обратными прокси-серверами с использованием Nginx. Он позволяет легко настраивать прокси, SSL-сертификаты, а также управлять настройками доступа и безопасностью без необходимости вручную редактировать конфигурационные файлы Nginx.

🌟 Проект включает в себя веб-интерфейс, который предоставляет пользователям простоту в настройке различных прокси-серверов, управления сертификатами Let's Encrypt и контроля за доступом к различным сервисам. Он идеально подходит для разработчиков и системных администраторов, которые хотят упростить управление сервером и проксированием трафика, особенно в многосервисных приложениях и контейнеризированных средах.

🔐 Лицензия: MIT

🖥 Github

@devopsitsec

🖥 Pulumi — это open-source инструмент для управления инфраструктурой как кодом (Infrastructure as Code, IaC)!

🌟 Он позволяет разработчикам использовать обычные языки программирования, такие как TypeScript, Python, Go, Java и другие, для написания декларативных конфигураций инфраструктуры. С помощью Pulumi можно создавать, управлять и обновлять ресурсы в облачных провайдерах, таких как AWS, Azure, Google Cloud, а также в Kubernetes и других системах.

🌟Отличительная особенность Pulumi заключается в интеграции с языковыми SDK, что упрощает повторное использование кода, отладку и тестирование. Инструмент поддерживает мультиоблачные среды и обладает гибкими возможностями для работы с CI/CD, политиками безопасности и управлением состоянием инфраструктуры.

🔐 Лицензия: Apache-2.0

🖥 Github

@devopsitsec

🖥 Объяснение кэширования Docker Layer: советы по сокращению времени сборки!

🌟 Время, необходимое для создания образа Docker, может существенно повлиять на циклы разработки и развертывания. К счастью, Docker предлагает мощную функцию, называемую кэшированием слоев, которая может значительно сократить время сборки за счет повторного использования неизмененных слоев из предыдущих сборок.

🌟 В этой статье мы рассмотрим, как работает кэширование Docker-слоя, дадим практические советы по его эффективному использованию и рассмотрим распространенные ошибки, которых следует избегать.

🔗 Ссылка: *клик*

@devopsitsec

🖥 Checkmate — это инструмент с открытым исходным кодом для мониторинга серверов, веб-сайтов и Docker!

🌟 Он проверяет доступность и производительность, собирает данные о ресурсах сервера (CPU, RAM, диск) и предоставляет отчёты о времени отклика и простоях. Он также поддерживает уведомления, мониторинг портов и пинга, а также плановое обслуживание.

🔐 Лицензия: AGPL-3.0

🖥 Github

@devopsitsec

🖥 Как упаковать React-приложение в Docker-контейнер: детальное руководство для разработчиков!

🔗 Ссылка: *клик*

@devopsitsec

🌐 kairos — проект с открытым исходным кодом, предназначенный для создания и управления операционными системами, которые могут работать в условиях облачных и распределённых инфраструктур!

🌟 Он ориентирован на разработку операционных систем для использования в средах с минимальными вычислительными ресурсами, например, для контейнеризированных приложений, IoT-устройств и встраиваемых систем.

🌟 Kairos отличается от традиционных операционных систем тем, что использует концепцию "Immutable Infrastructure" — это означает, что система не изменяется после развертывания, а любые обновления или изменения состояния происходят через повторное развертывание или обновление контейнеров, а не через обычные патчи и апдейты. Это делает её очень устойчивой к ошибкам и уязвимостям, так как в случае необходимости можно быстро восстановить систему из базового образа.

🔐 Лицензия: Apache-2.0

🖥 Github

@devopsitsec

🖥 Vulhub — коллекция уязвимых сред, построенных с использованием Docker Compose!

🌟 Эти среды можно легко развернуть для тестирования и обучения в области безопасности. Пользователи могут быстро создать уязвимые окружения, выполняя несколько команд в Docker, чтобы имитировать различные типы уязвимостей и исследовать их. Репозиторий включает в себя множество примеров уязвимостей, таких как RCE (удалённый код), SQL инъекции и другие.

🔐 Лицензия: MIT

🖥 Github

@devopsitsec

🖥 Воскресное чтиво: Краткая история Intel

Intel, intel, intel… Это не просто текст на упаковке процессора – это целая эпоха в мире вычислительной техники. Intel, зародившийся в 1968 году, смог прийти от производителя полупроводников в бигтех компанию, основу современного IT-мира. В истории этой компании бывали взлеты и падения, плохие и хорошие времена, но одно можно сказать точно – без intel мы бы не смогли представить современный мир.

Но читая последние новости, можно с уверенностью заявить – у Intel сейчас тяжелые времена. Финансовая катастрофа на одном фронте, “горячие” новинки с другого (топовые процессоры Intel i7 и i9 могут очень сильно перегреваться, а также некоторые имеют проблемы с микрокодом). Целый комплекс проблем, акции упали до рекордно низкого показателя – около 20-24 долларов за штуку. Также компания столкнулась с убытком в размере 1.61 миллиардов долларов.

В этой статье я рассмотрю историю Intel, с небольших микропроцессоров, до целых линеек, таких как Pentium, Celeron, Dual Core, Xeon (храни его Си Цзиньпинь) и современные i-Core процессоры. А также затронем современные проблемы Intel и может ли она отдать позиции AMD. А также кратко рассмотрим как работает процессор, историю зарождения компьютеров и их архитектуру. Будет интересно.

Все мы знаем Intel. Для одних многомиллиардная корпорация зла, для других компания, производящая лучшие в мире процессоры, третьи считают что AMD лучше, четвертые называют процессором весь блок компьютера. Эта компания буквально пропитана атмосферой кремниевой долины (причем даже буквально). Но intel далеко не с самого начала паяла процессоры, все начиналось намного прозаичнее. Но об этом мы поговорим немного позже.

📌 Читать статью

🖥 Эта статья представляет собой полезную сводку самых часто используемых команд Docker!

🌟 Автор делится личным «чек-листом» команд для работы с контейнерами, образами, томами и сетями, а также для управления многоконтейнерными приложениями с использованием Docker Compose. Также рассматриваются команды для очистки, мониторинга и обеспечения безопасности, такие как сканирование на уязвимости и создание SBOM (Software Bill of Materials).

🔗 Ссылка: *клик*

@devopsitsec

❓ Как DevOps реализует безопасность в CI/CD?

🌟 Шаг 1: Интеграция безопасности на раннем этапе (подход «сдвиг влево»)

- В DevOps безопасность интегрируется на ранних этапах жизненного цикла разработки ПО путем смещения практик безопасности влево. Это гарантирует, что проверки безопасности выполняются на каждом этапе разработки, от кодирования до развертывания.

🌟 Шаг 2: Автоматизация сканирования безопасности

- Безопасность реализуется в CI/CD путем автоматизации сканирования безопасности, например статического тестирования безопасности приложений (SAST) и динамического тестирования безопасности приложений (DAST) на этапах сборки и развертывания. Это помогает обнаруживать уязвимости на ранних этапах.

🌟 Шаг 3: Безопасное управление секретными данными

- Конфиденциальные данные, такие как ключи API и пароли, надежно управляются с помощью инструментов управления секретами, таких как HashiCorp Vault или AWS Secrets Manager. DevOps гарантирует, что секреты никогда не будут жестко закодированы или раскрыты в конвейерах CI/CD.

🌟 Шаг 4: Внедрение управления доступом на основе ролей (RBAC)

- Для обеспечения безопасности команды DevOps используют управление доступом на основе ролей (RBAC) в системах CI/CD. Только авторизованные пользователи могут получать доступ или изменять определенные среды, защищая критическую инфраструктуру.

🌟 Шаг 5: Непрерывный мониторинг и ведение журнала

- Конвейеры DevOps интегрированы с инструментами мониторинга (например, Prometheus) и сервисами ведения журналов (например, ELK или AWS CloudWatch) для постоянного отслеживания и обнаружения угроз безопасности, обеспечивая видимость уязвимостей в режиме реального времени.

🌟 Шаг 6: Устранение уязвимостей

- Благодаря автоматизированным конвейерам CI/CD DevOps непрерывно развертывает исправления и обновления безопасности во всех средах. Это помогает закрывать уязвимости сразу после их обнаружения, обеспечивая безопасность приложений.

🌟 Шаг 7: Безопасность инфраструктуры как кода (IaC)

- Политики безопасности применяются к таким инструментам IaC, как Terraform или Ansible, путем сканирования конфигураций инфраструктуры для обнаружения неверных конфигураций, которые могут представлять угрозу безопасности, обеспечивая безопасную облачную или локальную среду.

🌟 Шаг 8: Соблюдение требований и аудит

- Конвейеры DevOps включают проверки соответствия на этапах CI/CD для обеспечения соблюдения политик безопасности. Инструменты аудита регистрируют действия для дальнейшего использования, обеспечивая прослеживаемость и соблюдение правил.

@devopsitsec

✔️ NVIDIA представила доступный "суперкомпьютер" для GenAI.

NVIDIA анонсировала Jetson Orin Nano Super Developer Kit, который предлагает повышенную производительность по сниженной цене. Цена устройства была снижена с 499 до 249 долларов США. Комплект предоставляет возможности в области генеративного ИИ и повышения производительности как коммерческим разработчикам ИИ, так и энтузиастам.

Jetson Orin Nano Super обещает 1,7-кратное увеличение производительности, достигая 67 INT8 TOPS, и 50-процентное увеличение пропускной способности памяти до 102 ГБ/с. Комплект разработчика состоит из системного модуля Jetson Orin Nano 8GB (SoM) и эталонной несущей платы. SoM включает в себя GPU на архитектуре NVIDIA Ampere с тензорными ядрами и 6-ядерный процессор Arm.
blogs.nvidia.com

✔️ Google DeepMind FACTS Grounding: бенчмарк для оценки фактологичности LLM.

FACTS Grounding создан для оценки способности LLM генерировать ответы, которые являются фактически точными и основаны на предоставленном исходном материале. Бенчмарк включает в себя 1719 примеров, требующих развернутых ответов, основанных на предоставленном контекстном документе.

Примеры включают различные области: финансы, технологии, розничную торговлю, медицину и право, и документы объемом до 32 000 токенов. Для оценки используются три LLM-судьи: Gemini 1.5 Pro, GPT-4o и Claude 3.5 Sonnet, которые оценивают ответы на соответствие пользовательскому запросу и фактическую точность. Датасет и лидерборд доступны на Kaggle.
deepmind.google

✔️ Grammarly приобретает Coda и назначает нового CEO для создания платформы продуктивности c ИИ.

Компания Grammarly объявила о намерении приобрести платформу Coda, специализирующуюся на инструментах для повышения продуктивности. Генеральный директор и соучредитель Coda, Шишир Мехротра, станет новым CEO Grammarly. Это приобретение направлено на трансформацию Grammarly из простого ассистента в полноценную ИИ-платформу продуктивности для приложений и агентов.

Интеграция Coda Brain позволит Grammarly сделать своего ИИ-помощника более умным, контекстуально осведомленным и способным подключаться к различным системам и приложениям. Grammarly планирует объединить своего ассистента с Coda Docs, чтобы обеспечить пользователям платформу для работы с ИИ от начала и до конца.
businesswire.com

✔️ OpenAI анонсировала API o1, но для избранных разработчиков.

OpenAI начала предоставлять модель o1, способную к "рассуждению", через API, но пока только для разработчиков, входящих в категорию использования "tier 5". Для квалификации в эту категорию, разработчики должны потратить не менее 1000 долларов с OpenAI и иметь аккаунт старше 30 дней с момента первого успешного платежа. Модель o1 заменяет предыдущую модель o1-preview и способна проверять факты.

Использование o1 стоит значительно дороже — 15 долларов за ~750 000 input-токенов и 60 долларов за ~750 000 output, что в 6 раз дороже, чем GPT-4o. O1 в API более настраиваемая благодаря новым функциям^ вызов функций, сообщения разработчика и анализ изображений. OpenAI также выпустила новые версии моделей GPT-4o и GPT-4o mini в рамках Realtime API, предназначенного для приложений с низкой задержкой голосового ответа, с улучшенной эффективностью данных и надежностью.
openai.com

✔️ Предполагается выпуск 24 ГБ версии видеокарты Intel Arc B580 для профессиональных задач.

Согласно транспортной накладной, обнаруженной пользователем X Томашем Гавронским, Intel, возможно, готовит к выпуску версию своей видеокарты Arc B580 с 24 ГБ видеопамяти. Эта карта, известная как Battlemage G21, может быть оснащена памятью GDDR6, подключенной в "раскладном" режиме (clamshell), который позволяет удвоить объем видеопамяти. Возможно, 24 ГБ версия B580 будет предназначена для партнеров Intel, занимающихся ИИ и центрами обработки данных.
pcgamer.com

@ai_machinelearning_big_data

#news #ai #ml