🔥 Prophet — это библиотека для прогнозирования временных рядов!

🌟 Она предназначена для автоматического выявления сезонности, трендов и аномалий в данных, облегчая процесс прогнозирования даже для пользователей без глубоких знаний в области статистики.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

⚡️ RushDB — это мгновенная база данных, построенная на базе Neo4j, не требующая моделирования, конфигураций, нормализаций данных и идеально подходит для разработки приложений, DS/ML Ops и быстрого прототипирования.

🌟 Принимает любые данные формате JSON, JSONB и CSV, и самостоятельно нормализует данные, создавая связи между данными, расставляет типы данных и лэйблы на основе передаваемых данных.

☁️ Доступна в облаке и селф-хостед.
🛠 API-first и удобные SDK для разработчиков: Python и TypeScript
🚀 Отлично подходит для стартапов, AI-команд и всех, кто работает с графами

🔐 Лицензия: Apache-2.0

🟢 GitHub
🟢Website
📖Docs

🖥 Outerbase Studio — это браузерный графический интерфейс для управления SQL-базами данных, разработанный для простоты и универсальности! Изначально созданный для LibSQL и SQLite, он теперь поддерживает широкий спектр баз данных, включая PostgreSQL и MySQL.

Основные возможности:

🌟 Редактор запросов: удобный интерфейс с автодополнением и подсказками функций, позволяющий выполнять несколько запросов одновременно и эффективно просматривать результаты.

🌟 Редактор данных: позволяет вносить изменения в данные с возможностью предварительного просмотра перед сохранением; оптимизирован для работы с большими объемами данных.

🌟 Редактор схемы: обеспечивает быстрое создание, изменение и удаление столбцов таблиц без необходимости писать SQL-код.

🌟 Менеджер подключений: гибко управляет подключениями, позволяя сохранять их локально в браузере или на сервере для совместного использования на разных устройствах.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

🔥 ERD Lab — это бесплатный онлайн-инструмент, предназначенный для профессионального проектирования и визуализации баз данных с использованием диаграмм "сущность-связь" (ERD)! Он позволяет импортировать существующие SQL-скрипты или создавать новые базы данных без необходимости писать код, что упрощает процесс разработки и документирования структур данных.

🔗 Ссылка: *клик*

@sqlhub

🖥 Шпаргалка по последовательности выполнения SQL запроса!

@sqlhub

❓ Как построить конвейер ETL (Extract, Transform and Load) из SQL Server в Postgres?

💡 Узнайте, как создать конвейер ETL с PySpark для извлечения данных из SQL Server, их преобразования и загрузки в базу данных Postgres. Используйте распределенную мощь Spark для бесперебойной обработки больших наборов данных!

🕞 Продолжительность: 8:32

🔗 Ссылка: *клик*

@sqlhub

🐼 Pandas умирает медленной и мучительной смертью.

Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.

Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.

Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.

Я уже давно работаю с FireDucks 🦆

Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.

Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :

import fireducks.pandas as pd

Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:

python 
$ python -mfireducks.imhook yourfile[.]py

FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.

Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.

FireDucks побеждает с отрывом.

⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks

⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo

⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb

⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:
https://fireducks-dev.github.io/docs/benchmarks/

@sqlhub

#fireducks #Pandas #dataanalysis #datascience #python #opensource

🖥 ​SuperMassive — это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти! Она предназначена для обработки больших объемов критически важных данных с низкой задержкой.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@sqlhub

🔥 MetaGPT — это фреймворк, который преобразует простое текстовое описание задачи в полный пакет проектной документации и кода!

🌟 Он моделирует работу IT-компании, назначая различные роли, такие как менеджер продукта, менеджер проекта, инженер и другие, каждому из которых соответствует агент на основе большой языковой модели. Эти агенты взаимодействуют друг с другом, следуя стандартизированным операционным процедурам (SOP), что позволяет эффективно разрабатывать сложные программные продукты.

🔐 Лицензия: MIT

🖥 Github

🖥 ​SQL Noir — это интерактивная игра с открытым исходным кодом, в которой вы выступаете в роли детектива, решающего преступления с помощью SQL-запросов!

🌟 Каждое дело представляет уникальный сценарий преступления и базу данных с уликами, где ваша задача — выявлять подозрительные закономерности, отслеживать отсутствующие записи, связывать подозреваемых и раскрывать мошеннические операции, используя SQL.

🔗 Ссылка: *клик*

@sqlhub

🔥 Smallpond — это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS!

🌟 Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах!

🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность.

🖥 Github

@sqlhub

🔥 Meta Learning: Deep Learning Guide — практическое руководство по освоению машинного и глубокого обучения!

🌟 Автор делится своим опытом, начиная с изучения программирования в 29 лет и достигая успехов в соревнованиях Kaggle. Основные темы включают эффективные стратегии обучения, улучшение навыков разработки, выбор инструментов, работу с сообществом, поиск наставников и построение карьеры без формального образования.

🔗 Ссылка: *клик*

#machinelearning #deeplearning

🖥 Полезнейший сборник из 800+ вопросов по SQL, которые часто задают на собеседованиях.

Он также включает задачи для самостоятельной работы и множество примеров.

Сборник отлично подходит для тех, кто хочет прокачать свои навыки работы с SQL, освежить знания и проверить свои знания.

▪ GitHub

@sqlhub

🖥 Эта статья посвящена инструменту pg-index-health, созданному для статического анализа индексов PostgreSQL баз данных!

🌟 Автор описывает эволюцию инструмента, который помогает находить проблемы в структуре базы данных, такие как дублирующиеся или избыточные индексы, неиспользуемые индексы, а также потенциальные ошибки проектирования.

🔗 Ссылка: *клик*

@sqlhub

🖥 Простыми словами: Как хранятся пароли в базах данных

В современном мире защиты данных крайне важно, чтобы пароли не хранились в виде обычного текста. Вместо этого используются их «закодированные отпечатки» – хеши, полученные в результате специального процесса хеширования. Это гарантирует, что даже при компрометации базы данных злоумышленник не сможет восстановить исходный пароль.

📌 Как это работает:
  • При регистрации пароль проходит хеширование с применением современных алгоритмов (например, bcrypt, scrypt или Argon2), часто с добавлением уникальной соли для каждого пользователя.
  • При авторизации введённый пароль снова хешируется, и полученный хеш сравнивается с тем, что хранится в базе. Совпадение означает, что введённый пароль верный.

📌 Почему так делают:
  • Безопасность: Даже если база будет взломана, злоумышленник увидит лишь набор случайных символов, из которых восстановить оригинальный пароль практически невозможно.
  • Секретность: Администраторы системы не имеют доступа к исходным паролям – хеши необратимы.
  • Надёжность: Использование соли и, при необходимости, перца, значительно усложняет атаки с помощью радужных таблиц и повышает общую стойкость системы.

В итоге, пароли в базах данных – это не сами пароли, а их «отпечатки», которые можно сравнивать, но никак не восстановить. Этот подход напоминает замок, который открывается лишь при наличии правильного ключа, при этом сам ключ нигде не хранится.

#базыданных #безопасность #хеширование #пароли

@sqlhub

🖥 ingestr — инструмент командной строки, предназначенный для копирования данных между различными базами данных с помощью одной команды!

🌟 Он поддерживает множество источников и пунктов назначения, включая Postgres, BigQuery, Snowflake, Redshift, Databricks, DuckDB, Microsoft SQL Server и другие. ingestr позволяет выполнять как полное обновление данных, так и инкрементальную загрузку с использованием стратегий append, merge или delete+insert. Установка инструмента осуществляется через пакетный менеджер pip, а использование не требует написания кода — достаточно указать необходимые параметры в командной строке.

🔐 Лицензия: MIT

🖥 Github

@sqlhub