Интересная ссылка (а точнее страничка на сайте поисковика duckduckgo), предоставляющая анонимный доступ к популярным ИИ-моделям, включая GPT-4o mini, Claude 3, а также Llama 3.3 и Mistral

https://duckduckgo.com/?q=duckduckgo+ai+chat&ia=chat

👆Мне не очень симпатичен ИИ, и я хотела бы, чтобы он не код писал и картинки рисовал (это мне и самой нравится), а заполнял за меня заявки на командировку и вовремя убирался в квартире.
Впрочем, если он прокачается и сможет переводить с кошачьего, то ладно, пусть живет.

Разработчик DWH, найдись)
Уровень: миддл+
Стек: MSSQL/SSIS
Основной проект: автоматизация создания витрин данных на основе дата-каталога.
Компания: Лакталис Восток.
Про вакансию:
Что предстоит делать:
• Проектировать потоки данных: от источника до датасетов для заказчика под различные эндпоинты(операционная отчетность, кубы, ad-hoc аналитика, ИИ);
• Проектировать логическую и физическую модель данных в рамках разработки датасетов;
• Описывать данные и потоки загрузки, разрабатывать скрипты на sql;
• Проводить технический R&D: прорабатывать механику и архитектуру забора данных в рамках стека;
• Проектировать API для датасетов для их дальнейшего анализа с помощью ИИ;
 
Требования:
• Высшее техническое/математическое образование (для подходящих кандидатов возможно исключение);
• Опыт работы на схожей позиции от 2 лет;
• Знание основных архитектурных паттернов и подходов к проектированию БД ;
• Понимание принципов проектирования и работы хранилищ данных;
• Уровень от middle+;
• Опыт работы с MS SQL: умение проектировать запросы, владение T-sql, работа с джобами и функциями;
• Базовые знания Python
Преимуществами с вашей стороны будет:
-Знакомство с Airflow, умение проектировать потоки данных на нем;
-Знакомство с моделью данных системы 1С как системы-источника;
• Опыт работы на проекте миграции DWH.
Наш стек: MS SQL Server, SSIS, QlikView, Git, Grafana.
 
Что можем предложить?
-работа в международной компании с  современным стеком;
-удаленная работа из любой точки мира, гибкий график;
-использование ИИ в работе и в стеке как один из компонентов;
-по желанию, работа из офиса;
-оформление на выбор: Россия или Казахстан.
Для резюме и пообщаться: @Dddv_2705

Почему я ошибусь?
Котятки😻, с недавних пор AI - мой верный товарищ, и я активно коплю информацию о методах его использования в технических задачах.
Что он делает плохо и пока не исправляется:
-ищет референсы и аналоги на отдельные компоненты, так как не умеет в декомпозицию функций. Проверяю на архитектурных задачах.
-описывает пространство рисков и ограничений, так как не умеет выходить за пределы объекта задачи,- проверяю на задачах проектирования интеграций. Не тортик.
-проводит синтез фактов и выдает гипотезы: он всегда вытаскивает наиболее популярные гипотезы из интернета, а не пытается размышлять, даже если его просишь. Проверено на задачках в стиле инцидентов технической поддержки, которые доходят до третьей линии (на которые обычно смотришь и думаешь ‘вот зачем,а?’).
Что делает хорошо:
-если в коде есть ошибка и в логе есть ее текст, а еще вы понимаете, в каком куске ошибка - он объяснит подробно, что не так. Но, к сожалению, не всегда исправит, примерно 50/50 может написать ерунду.
-запросы в стиле how to, которые ты обычно вбиваешь в stackowerflow :ищет ответ как боженька, понимая твои проблемы
-гуглозапенитель: вместо трудного подбора ключевых слов и чтения кучи сайтов, ты описываешь свою беду, и вуаля, он найдет ответ и скажет, откуда взял (что важно, так как еще со времен аспирантуры я не раз огребала за достоверность источников)

Это личный опыт, а так попробовала почти все, что описано тут:
https://habr.com/ru/amp/publications/795699/
Пока я не верю в замену системных аналитиков на AI, но смотря на то, как все развивается, я здорово ошибусь.
P.S.
А, ну да, мой пет-проект, который генерирует Моки дашбордов по описанию, спустя год не полетел. Я не смогла объяснить stable diffusion логику сторителлинга, он по-прежнему генерирует красивые диаграммы, которые не складываются в историю.

Даша, привет! Если не сложно, то опубликуй нашу новость - мы сделали бесплатный проект по dbt, а именно перевод всей доки dbt на русский язык
👉 https://docs.getdbt.tech/

Чем будет полезно?

✅ для новичков, интересующихся dbt, на портале доступны пошаговые гайды, как начать работу с выбранным хранилищем данных и создать первые этапы пайпайна за 15 минут.
✅ для тех, кто уже обрабатывает данные с dbt, сайт станет постоянным компаньоном, потому что там полностью переведены все разделы документации, включая справочник команд и статьи из блогов
✅ для тех, кто хочет перейти с dbt на следующий уровень, переведен раздел с лучшими практиками.

Котятки😻,
Формат дашбордов прекрасен и ущербен одновременно: он может ответить на вопрос ‘что случилось?’, но не всегда нам хватает возможностей ответить на вопрос ‘Почему?’.
-Оч круто, если можно это сделать графиком (например, поставив рядом с графиком текучести персонала результаты анализа уровня зп)
-Супер, если можно сделать подписи к данным
-Шикарно, если оставить место под текст и вбить комментарии руками.

Но это все подходит для всяких ad-hoc и одноразовых историй. А что делать, если отчетность регулярная, факторов влияния на результаты в ней много, и комментировать надо каждый раз?

Когда в Tableau появился Extention, который может организовать комментарии, я оч радовалась, не меньше, чем аналогичной функциональности в PBI.

https://learn.microsoft.com/en-us/power-bi/consumer/end-user-comment

Но во всех этих свистоплясках есть маленькие вопросики:
-что делать, если комментарий протух/усталел?
-что делать, если пользователь комментируют что-то под неочевидными фильтрами?

Пока я нашла описанное решение с закладками и скринами для power bi, но все еще думаю над рабочими стратегиями. Инструменты-то обычно организовать не сложно, а вот сделать удобный процесс сродни магии.

https://github.com/MicrosoftDocs/powerbi-docs/blob/main/powerbi-docs/consumer/end-user-comment.md

​​Котятки,
мне подключили модель ИИ c рассуждениями, и конечно, я начала ее тестировать и в лоб и в иные места.
Начала я с матрицы компетенций BI-аналитика как инструмента, задачи - проанализировать, сравнить, создать гибрид, нарисовать картинку.
Мой лонгрид тут, он полезен для понимания, как ставить задачи ИИ и как оценивать ответы: https://telegra.ph/Kak-II-rassuzhdaet-02-24
Что было на входе?
1) Базово для собесов джунов/мидлов я с недавних пор пользую матрицу Ромы Бунина, ее возьмем за наиболее сбалансированную матрицу
https://docs.google.com/spreadsheets/d/1tg9xyYhpj2gCtDtH_ooh_3OnnDPuTPIsIs7dVrMTiC0/htmlview#gid=2021394737
2) В анналах моей работы сохранились общие требований к BI-разработчикам уровня middle+, не привязанные к конкретному инструменту.
https://disk.yandex.ru/d/YNXvn3Muhefw-Q
Это не матрица компетенций и не инструмент оценки, но для задачи подошло.

Что было сделано:
-для второй "матрицы" попросила порассуждать и декомпозировать требований так, чтобы они имели градацию (и матрица превратилась в матрицу)
-для обеих матриц попросила сделать сравнительный анализ
-на основании сопоставления, попросила сделать некую гибридную матрицу, дать ей характеристику
-результаты работы нужно было упаковать в инфографику.
Резюме:
-декомпозиция компетенций и создание шкалы (анализ) - большой жирный минус, система пока не может сложить цепочку, из которой видно, как углубляется тот или иной скилл, что усиливается. Грубо говоря, не может выявить некоторое "зерно", основополагающую суть, почему данный набор действий объединен как компетенция в данном конкретном случае.
-сравнение (сопоставление): на троечку, если не задавать глубины анализа и не прописывать детальный промт, как именно должны быть сравнены 2 сущности.
-создание гибридной матрицы (тестировался навык синтеза): получилось что-то вроде вакансии, а не матрицы компетенций, но с самой задачей синтеза он справился.
-генерация инфографики (визуализация)): на троечку, так как ИИ не смог подобрать глубину инфографики таким образом, чтобы получился наглядный результат. У него вышло что-то вроде рекламы (ура, мы сравнили 3 матрицы, хотя мы не сравнивали третью, а генерировали ее).
-общее впечатление: пока похоже на 11-классника, который имеет строгий крен в естественно-научный профиль, а просят у него сделать упражнение по обществознанию. Форму подобрать может, а вот с содержанием так себе.
Что я с этим буду делать: промты генерировать) Зная слабые места текущих моделей, необходимо под каждую задачу генерировать подходящий промт и действовать итеративно, так как при итеративной работе модель справляется лучше, чем на комплексном задании, где описаны сразу все детали.

​​Котятки,
Сегодня я тусю на конференции по качеству данных, и меня волнует один вопрос: как не сойти с ума от слова ‘контроль’?
Итак, я бы выделяла три аспекта разглядывания и дальше в них игралась:
-data quality как процесс
-data quality как инструмент
-data quality как результат.
Так как еще со времен работы с SAS DQ у меня дергается глаз, а на работу я хожу чисто поесть , для себя я когда-то сформировала ‘Манифест анархиста’, который позволяет мне минимизировать набор действий и держать качество данных на уровне, чтобы бизнес не визжал. Это не решение ‘в пользу бедных’, скорее, в пользу самостоятельности. И кое-что да, выходит дорого.
Итак,
1 data quality как процесс просто вычеркивается из списка, нет отдельного процесса/типа тикетов/команды/порядка реакции и костов на обслуживание этого процесса. Организация работы должна быть сведена к работе с инцидентам
2 Инструмент data quality: должен работать как входной контроль из источника в DWH, лучше в формате API.
3 Результат data quality: попадание в согласованный SLA по точности, где он выставляется. Все.
Где тут возникают проблемы и развилки?
-классификация инцидентов, оф корс,
-промежуточный контроль
-профилирование
-инструменты data quality с api/нужен ли фронт для них вообще
И пр.

Ну и главный вопрос, который вызывает диалоги - fk или не fk

P.S. Сейчас смотрю концепцию, которая реализована в Data Ladder, их философия близка к моей https://dataladder.com

​​Котятки😻,
Всю конференцию по качеству данных меня терзал вопрос ‘Зачем?’ И судя по одном из вопросов сотоварища из Сибура, не меня одну.
А потом я дождалась рассказа Александра Ошуркова про то, как они с помощью ИИ наполнили дата-каталог. Наследие МКБ расползается)
Что могу сказать:
-это, вероятно, плохо сработает, если у вас в качестве источника 1С, когда логическая и физическая модели имеют неочевидные связи (но хорошо, что эти связи хоть где-то описаны). Но надеюсь, что ошибаюсь.
-это точно сработает, если у вас низкий уровень абстракции в моделях -ну то есть простая 3nf нормас, а вот для data vault 2.0 надо или сплясать, или иметь очень хорошую документацию. Проверено уже на моих прототипах.
-этот подход хорош, когда у вас единица описания -таблица, и вы не описываете преобразования и обогащения, то есть не касаетесь pipeline
-ну а если вам еще в каталог занести pipeline, будте готовы к тому, что на условном Airflow с абстрактно названными дагами вряд ли что-то получится. У меня есть сомнения и по поводу его более человечного аналога, Дагстера, хоть эта статья меня и зацепила.
https://habr.com/ru/amp/publications/867132/

Котятки😺🐱,
Я коллекционирую всякий контент типа how to, в разных формах.
И люблю посравнивать его.
Итак, есть вот такой мануальчик на круговую диаграмму, с сайта Алексея Колокова. https://alexkolokolov.com/ru/blog/krugovaya-diagramma-chto-eto-takoe
Я его показываю, когда надо понтануться, но keep simple (ну правильно, не дата йогу же, мы ж не популисты).
А вот есть уроки для младших школьников, на ту же тему: https://foxford.ru/wiki/nachalnaya-shkola/krugovye-diagrammy-stolbchatye-i-lineynie-diagrammy?srsltid=AfmBOop_RCS3NrVfAx89xKeBptjm11JO67Hqhbm9PF58s9rx76ND_86J
По мотивам этих алгоритмов я строю объяснение, как читать дашборд, и выстраиваю сторителлинг. Ну и картинка со списком контрольных вопросов к диаграмме — чисто мой, примерно по такому же каркасу я когда-то делала свой чек-лист по быстрой считываемости для операционных дашиков.
Вывода тут нет, но веселые примеры, которые я даю на всяких обучалках датавизу а-ля ‘виды диаграмм’ я тырю с сайтов типа учи.ру. Если третьеклассникам понятно, взрослым обычно тоже.

Котятки, оч рекомендую)👆 Благодаря паттернам из этой книженции мой ИИ-агент при написании кода не галлюцинирует, вносит согласованные правки, не пишет отсебятину и в целом ведет себя как приличный джун. Первые пару глав для общего развития оч норм, а если сложно с переводом (как мне) - Яндекс translate отлично справился)

Котятки,
последние недели я делаю две вещи - разговариваю с людьми и уговариваю умный песок написать мне код. Всё.
Из хардов мне пригодились только скиллы архитектора.
Из софтов —пригодилось почти всё.
Но давайте не к программированию, а к анализу.
Вот статья, в которой автор рассуждает о том, не поздно ли становиться аналитиком данных сейчас: https://galaxy.ai/youtube-summarizer/the-future-of-data-analytics-is-it-too-late-to-become-a-data-analyst-in-2025-1oHqhuzGmmg
Она очень лестная для тех, кто сейчас усиленно вкачивает харды на всяких курсах.
Вот иной взгляд, и тут акценты расставлены иначе: https://acagroup.be/en/blog/how-ai-is-changing-data-analysis-and-what-you-need-to-know-as-a-data-analyst/
Возможно, второй взгляд мне ближе, так как он поддерживает мой текущий рабочий стек, но это не точно)

Котятки😻,
Я не фанат монохрома и ни разу не фанат минимализма. Мне скучно.
Из всего того, что связано с цветами, я признаю только колористику и сочетаемость, и функциональную эстетику.
Пожалуй, нормальный гайд по ней:
https://www.tableaufit.com/stroopified-tableau-dashboards-color-and-functional-aesthetics/
Оч рекомендую еще раздел ‘how the excel’ на этом портале, это чисто гайд как пересаживать людей на дашбордики с разбивкой на user cases. Этот формат я,пожалуй, сопру. Возможно, это жемчужина моей коллекции гайдов.