Чи справді ШІ підвищує ефективність?

Iнтерес та ажіотаж навколо ШІ, особливо генеративному, в останні місяці знаходиться на своєму піку. Багато компаній починають його використовувати для "підвищення продуктивності" та "скоротити витрати", а в деяких випадках навіть звільняти молодших співробітників і замінювати їх на генеративний ШІ. Для них ШІ — це інструмент який дозволяє номінально виконувати більше завдань ніж співробітник. Навіть окремі уряди (привіт Стармеру і лейбористам, а також Албанії з їх ШІ міністром) переймають цю практику.

Але дослідження Harvard Business Review у співпраці з Stanford Social Media Lab доводить рівно протилежне: заміна співробітників на генеративний ШI і навіть їх активне використання як допоміжний інструмент знижує продуктивність та підвищує витрати підприємств. Дослідники підрахували, що інциденти на робочому місці якi викликані згенерованим ШІ контентом (погано написаний емеiл, неправдива інформація та час для її перепровірки тощо) обходяться в невидимий "workslop податок" 186 доларів в місяць.

Також це погіршує відносини між працівниками, що впливає і на співпрацю на роботі. Ті, хто не використовують ШІ, починають ставитися до тих, хто використовує, з великою недовірою і викликає більше сумнівів у професійних навичках. Наприклад, iх вважають менш креативними, здатними або надійними. Це впливає і на довіру: 34% тих, хто не використовує ШІ, звітують перед керівництвом, підриваючи довіру між співробітниками.

Автор посту (@kn0wn_err0r)

https://hbr.org/2025/09/ai-generated-workslop-is-destroying-productivity

Завтра мітингу по протасу не буде, бо депутати рішили що працювати в четвер якось ну не то

https://www.apolloacademy.com/equity-investors-are-dramatically-over-exposed-to-ai/
Один з сорсів статті, чекніть графік S&P500

Тепер я бачила все. І ви теж.
Налітайте 💅

Сьогодні День захисників і захисниць України.

Уклін і подяка живим та полеглим. Ми можемо продовжувати жити і будувати майбутнє, поки ви прикриваєте нас від росіян.

Шановні підписники, закиньте сьогодні на збори, хто ще не встиг. Ось, наприклад:

- на навчання офіцерів: https://send.monobank.ua/jar/8X47LDd7yZ

- на реабілітацію поранених https://send.monobank.ua/jar/A5jto8iJV5

- на будь-який інший збір, якому довіряєте

Володимир, розробник в beeDynamics, пропонує розглянути - наскільки LLMs придатні для написання AL-коду в реальних завданнях.

Для порівняння він обрав найпотужніші моделі: Claude 4 Sonnet, GPT-5 High, Grok 4 і Gemini 2.5 Pro. Яка впоралась найкраще, а яка найгірше - читайте у статті.

Живем в анекдоті

Вивчила нове слово з жаргону технобро / silicon valley. Ехх, відстаю від сучасних технологій (та і біс з ними, може?)

https://www.nvidia.com/en-us/glossary/data-flywheel/

Красиве

Attention Sinks: Allowing Attention Not To Pay Attention 🙅‍♂️

Нещодавно читав гарний пост про архітектуру GPT-OSS. Більшість змін порівняно з GPT2 були вже знайомі з таких відкритих архітектур як LLaMa, Qwen, або Gemma, але є одна цікава ідея, про яку раніше не чув — attention sinks.

Recap: Attention Patterns ✍️

Пригадаємо, що у механізмі уваги для кожного токену формується так званий attention pattern — ваги, з якими він “зверне увагу” на попередні токени з контексту (включно з ним самим).

Для кожної голови цей pattern буде різним: іноді увага звертається на попередній токен, іноді — на останнє згадане імʼя, іноді — на надані few-shot examples, тощо.

What’s the problem? 🤔

Через те, що attention pattern формується через softmax, сума його коефіцієнтів завжди дорівнює одиниці. Тобто кожний токен в будь-якому разі “змушений” звернути на щось увагу. Але справа в тому, що не існує текстів, для яких кожна з attention heads має зробити щось корисне — зазвичай більшість з них не є активними.

Тому часто голови уваги вивчають наступну поведінку: якщо жодна з ознак, яку вони очікують, не зустрічається у контексті, то вся увага просто йде на перші кілька токенів (саме вони й називаються attention sinks у оригінальній роботі, де це було виявлено). Тобто перші токени стають таким собі буфером, який не несе в собі корисного сенсу, і в який заглядають просто якщо в тексті не відбувається нічого надзвичайного.

Цей “хак” призводить до таких проблем як ускладнена інтерпретованість моделі, або погіршення якості при роботі з великими послідовностями, коли ці самі перші токени випадають з KV cache.

What’s the solution? ✅

Для уникнення цього є кілька способів (тик, тик), але реалізація від OpenAI здається найбільш елегантною.

Для кожної голови створюється додатковий параметр (sink), який конкатенується до рядків QK scores, і … це все 🙂 Ми отримуємо новий ”фейковий” елемент у softmax, який може перейняти увагу на себе, якщо жодного патерну не було виявлено. Так як голов зазвичай не багато, це не створює великого overhead, а зазначені раніше проблеми зникають.

Висновок: Цікавий приклад того, як інтерпретація дозволяє виявляти і вирішувати реальні проблеми в моделях, які важко було б ідентифікувати, сприймаючи їх як чорний ящик.

Шнобель дня (особисто від мене) 🏆

> In a joint study with the UK AI Security Institute and the Alan Turing Institute, we found that as few as 250 malicious documents can produce a "backdoor" vulnerability in a large language model—regardless of model size or training data volume. Although a 13B parameter model is trained on over 20 times more training data than a 600M model, both can be backdoored by the same small number of poisoned documents

> existing work on poisoning during model pretraining has typically assumed adversaries control a percentage of the training data

> in our experimental setup with simple backdoors designed to trigger low-stakes behaviors, poisoning attacks require a near-constant number of documents regardless of model and training data size

https://www.anthropic.com/research/small-samples-poison

Нагадування про те, що справка є чи нема, а стріху треба берегти, бо підтікає 🥴

Там де advanced непогані курси

https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills

Skills are conceptually extremely simple: a skill is a Markdown file telling the model how to do something, optionally accompanied by extra documents and pre-written scripts that the model can run to help it accomplish the tasks described by the skill.

quote src (copypasted from smolai)

repo with Anthropic skills:
https://github.com/anthropics/skills/tree/main/document-skills