Forwarded from Lead’s Notes
Мы обещали, что запись будет – и запись есть!
https://youtu.be/HjfqcHjHwdg
На стриме обсуждали:
– Как и почему каждый нас оказался на управленческой позиции?
– Почему мы решили или не-решили продолжать менеджерский трек?
– Что вообще такое хороший или плохой менеджмент? Какова роль менеджера, создает ли он что-то сам?
– А что такое хорошие или плохие процессы?
– Также разобрали несколько вопросов подписчиков в конце эфира про карьеру, удержание сотрудников, стартапы и бигтехи
И другие интересные штуки
––
Если формат зайдёт – будем пробовать ещё 🙂
В комментариях можно оставить фидбек / вопросы, ответы на которые не прозвучали / предложить интересные вам темы для будущих постов или подкастов!
https://youtu.be/HjfqcHjHwdg
На стриме обсуждали:
– Как и почему каждый нас оказался на управленческой позиции?
– Почему мы решили или не-решили продолжать менеджерский трек?
– Что вообще такое хороший или плохой менеджмент? Какова роль менеджера, создает ли он что-то сам?
– А что такое хорошие или плохие процессы?
– Также разобрали несколько вопросов подписчиков в конце эфира про карьеру, удержание сотрудников, стартапы и бигтехи
И другие интересные штуки
––
Если формат зайдёт – будем пробовать ещё 🙂
В комментариях можно оставить фидбек / вопросы, ответы на которые не прозвучали / предложить интересные вам темы для будущих постов или подкастов!
YouTube
Менеджеры в IT: зачем и для чего мы это делаем? Запись стрима "Lead's Notes" и "Борис опять"
Андрей – Head of Engineering & CTO в Яндексе, с опытом управления командами в стартапах и корпорациях. Канал: www.tg-me.com/leadsnotes
Борис – Staff ML Engineer в EBay c опытом на ресёрчерских и лидских позициях до этого. Канал: www.tg-me.com/boris_again
Говорим о менеджерской…
Борис – Staff ML Engineer в EBay c опытом на ресёрчерских и лидских позициях до этого. Канал: www.tg-me.com/boris_again
Говорим о менеджерской…
Forwarded from Mahov
Какие слова, откуда? У т.н. людей на входе - электрические импульсы в нервах, и на выходе - электрические импульсы в нервах, всё что они могут - преобразовывать электрические импульсы в нервах, никакой картины мира у них быть не может- нужна другая архитектура.
https://qz.com/tech-layoffs-tax-code-trump-section-174-microsoft-meta-1851783502
TLDR все лейоффы из-за налогов которые в свою очередь поменялись ради быстрых политических очков
TLDR все лейоффы из-за налогов которые в свою очередь поменялись ради быстрых политических очков
Quartz
Tech Layoffs Tax Code Trump Section 174 Microsoft Meta - Quartz
A decades-old tax rule helped build America's tech economy. A quiet change under Trump helped dismantle it
Кто разбирается в терапии, подскажите. Психолог говорит, что нужно удовлетворять потребности внутреннего ребёнка. Но моему внутреннему ребёнку нужно, чтобы они за все заплатили
Ребята из DevCrowd второй год подряд проводят исследование специалистов DS/ML/AI и приглашают вас поучаствовать в их опросе.
Это исследование нашего с вами рынка. Опрос про профессии, обязанности, ценность разных навыков, подходы к работе и конечно зарплаты. Все мы любим узнавать зарплаты соседей.
Результаты выложат в открытый доступ (последний раз появились в сентябре) и я напишу про самые интересные моменты.
Проходите опрос: ссылка
Это исследование нашего с вами рынка. Опрос про профессии, обязанности, ценность разных навыков, подходы к работе и конечно зарплаты. Все мы любим узнавать зарплаты соседей.
Результаты выложат в открытый доступ (последний раз появились в сентябре) и я напишу про самые интересные моменты.
Проходите опрос: ссылка
Спустя множество попыток и усилий админ наконец-то потерял работу 👀
Кроме шуток я ушел из eBay, чтобы сфокусироваться натроганье травы написании книги, собственных проектах и образовании.
В eBay было круто, я могу рекомендовать (но зависит от команды, он очень большой). Удалось воочию понаблюдать экономический эффект LLM, поработать над вещами с безумным масштабом и даже поконтрибьютить в инхаус LLM. За относительно небольшой срок получилось немало сделать.
Довольно странные ощущения, потому что я впервые ухожу с хорошей работы "вникуда": не для того, чтобы выйти на другую работу, а для того, чтобы (какое-то время) нигде не работать. Правда течение уже несет меня в новый проект связанный с AI safety, так что посмотрим сколько я продержусь в статусе свободного человека.
Количество шуток про безработицу в канале возрастет как минимум вдвое.
Так же я скоро загляну в Москву. Будет сходка подписчиков, подробности позже.
Кроме шуток я ушел из eBay, чтобы сфокусироваться на
В eBay было круто, я могу рекомендовать (но зависит от команды, он очень большой). Удалось воочию понаблюдать экономический эффект LLM, поработать над вещами с безумным масштабом и даже поконтрибьютить в инхаус LLM. За относительно небольшой срок получилось немало сделать.
Довольно странные ощущения, потому что я впервые ухожу с хорошей работы "вникуда": не для того, чтобы выйти на другую работу, а для того, чтобы (какое-то время) нигде не работать. Правда течение уже несет меня в новый проект связанный с AI safety, так что посмотрим сколько я продержусь в статусе свободного человека.
Количество шуток про безработицу в канале возрастет как минимум вдвое.
Так же я скоро загляну в Москву. Будет сходка подписчиков, подробности позже.
Please open Telegram to view this post
VIEW IN TELEGRAM
Прочитал новость "Платформа A/B тестирования X5 получила верификацию научного сообщества"
Меня заинтересовало, потому что речь про А/В тестирование на физических магазинах. Однажды меня звали заниматься такой задачей, и я знаю людей, которые работали над этой A/B платформой в X5. Очень необычная и сложная проблема.
Начнем с базы. Х5 – это крупнейший ритейлер, который управляет торговыми сетями «Пятёрочка», «Перекрёсток» и «Чижик». Компания представила собственную методологию проведения А/В тестов для верификации научным сообществом. Её корректность подтвердили специалисты лаборатории стохастических алгоритмов и анализа многомерных данных ФКН ВШЭ.
Методология A/B тестирования, разработанная Х5, позволяет оценить влияние различных изменений (внедрение технологий, изменение бизнес-процессов, акции, ротация поставщиков и т. д.) на эффективность работы магазинов. Сервис анализа позволяет оценивать эффекты от инициатив на ряде финансовых метрик, таких как РТО, средний чек, фронт-маржа, списания и так далее. На текущий момент через платформу проведено более 500 экспериментов.
Платформа A/B тестирования Х5 предоставляет два сервиса: дизайн эксперимента и оценка эксперимента. Первый позволяет разбить магазины на две группы – где изменения есть и где изменений нет, и спланировать эксперимент для достижения статзначммых результатов. Второй сервис позволяет анализировать результаты.
Система включает в себя наборы ограничений при планировании эксперимента, позволяющие сегментировать выборку. Стандартный набор ограничений – это география и категории товаров. Расширенный набор позволяет исключать конкретные магазины из расчётов и проводить другие нетипичные корректировки через взаимодействие с аналитиком.
В целом интересно, что специалисты провалидировали не только саму методологию, но и как реализованы эксперименты в Х5. Часть подробностей компания давала в статье в 2023: https://habr.com/ru/companies/X5Tech/articles/768008/
Меня заинтересовало, потому что речь про А/В тестирование на физических магазинах. Однажды меня звали заниматься такой задачей, и я знаю людей, которые работали над этой A/B платформой в X5. Очень необычная и сложная проблема.
Начнем с базы. Х5 – это крупнейший ритейлер, который управляет торговыми сетями «Пятёрочка», «Перекрёсток» и «Чижик». Компания представила собственную методологию проведения А/В тестов для верификации научным сообществом. Её корректность подтвердили специалисты лаборатории стохастических алгоритмов и анализа многомерных данных ФКН ВШЭ.
Методология A/B тестирования, разработанная Х5, позволяет оценить влияние различных изменений (внедрение технологий, изменение бизнес-процессов, акции, ротация поставщиков и т. д.) на эффективность работы магазинов. Сервис анализа позволяет оценивать эффекты от инициатив на ряде финансовых метрик, таких как РТО, средний чек, фронт-маржа, списания и так далее. На текущий момент через платформу проведено более 500 экспериментов.
Платформа A/B тестирования Х5 предоставляет два сервиса: дизайн эксперимента и оценка эксперимента. Первый позволяет разбить магазины на две группы – где изменения есть и где изменений нет, и спланировать эксперимент для достижения статзначммых результатов. Второй сервис позволяет анализировать результаты.
Система включает в себя наборы ограничений при планировании эксперимента, позволяющие сегментировать выборку. Стандартный набор ограничений – это география и категории товаров. Расширенный набор позволяет исключать конкретные магазины из расчётов и проводить другие нетипичные корректировки через взаимодействие с аналитиком.
В целом интересно, что специалисты провалидировали не только саму методологию, но и как реализованы эксперименты в Х5. Часть подробностей компания давала в статье в 2023: https://habr.com/ru/companies/X5Tech/articles/768008/
Хабр
От A/B-тестирования к Causal Inference в офлайн ритейле
Приветствуем всех читателей! Сегодня команда Ad-Hoc аналитики X5 Tech приоткроет дверь в увлекательный мир A/B-тестирования Causal Inference. С момента написания предыдущей статьи...
https://www.astralcodexten.com/p/the-claude-bliss-attractor
В очередной раз поражаюсь, что у блогера/психиатра тейки про AI интереснее, чем у специалистов в AI.
В очередной раз поражаюсь, что у блогера/психиатра тейки про AI интереснее, чем у специалистов в AI.
Astralcodexten
The Claude Bliss Attractor
...
Фрагмент А написал Gemini Pro 2.5, фрагмент B написал я.
В 2/3 чатах, куда я закидывал опросы, автора отгадали неправильно. Причем в моем собственном чатике не смогли определить мой фрагмент! Зато в чате админов телеграм каналов Gemini Pro 2.5 вычислили сразу, там был консенсус с 95%+ голосами.
Во всех чатах фрагмент написанный LLM понравился людям больше.
Получапется, как принято говорить, ПИСАТЕЛИ - ВСЁ???
В 2/3 чатах, куда я закидывал опросы, автора отгадали неправильно. Причем в моем собственном чатике не смогли определить мой фрагмент! Зато в чате админов телеграм каналов Gemini Pro 2.5 вычислили сразу, там был консенсус с 95%+ голосами.
Во всех чатах фрагмент написанный LLM понравился людям больше.
Получапется, как принято говорить, ПИСАТЕЛИ - ВСЁ???
Результаты эксперимента на подопытных друзьях с помощью целой главы противоположные.
Такой эксперимент довольно непросто провести потому что всегда можно сказать "ты просто недостаточно хорошо запромптил ллмку." Мне хотелось сделать сравнение честным, было очень интересно что получится. Я пришел к такому сетапу эксперимента. Проверять может ли LLM написать главу с нуля бесполезно. Однако можно ослабить запрос на такой: может ли LLM наполнить структуру?
Сначала я написал черновик главы целиком, с графиками и всем прочим. Так получилась моя версия. Далее я удалил наполнение всех секций кроме введения и попросил Gemini Pro 2.5 заполнить секции текстом. Кроме того в промпте она получила синопсис книги (краткое описание что мы пишем, для кого, в каком стиле, и так далее) и первую главу книги целиком как референс стиля. В конце я минимально поправил текст, чтобы он сочетался с графиками и убрал другие палевные вещи.
Мои друзья получили гугл форму с двумя кнопками: Тык и Тыдык. При нажатии на Тык они получали ссылку на мою главу, а при нажатии на Тыдык ссылку на LLM главу. Далее обе группы заполняли форму фидбека с такими вопросами:
1. Насколько интересно? От 1 до 5
2. Насколько понятно? От 1 до 5
3. Математика от 1 до 5. 1 означает "нужно меньше", 3 означает "норм", 5 означает "нужно больше"
Так же я спрашивал их кто, по их мнению, написал главу, которая им попалась.
Такой вот Тык/Тыдык тест.
У LLM главы было серьезное преимущество: она была на треть короче. Она реалистично могла победить только за счет этого. К тому же она, естественно, была чище. Как и фрагменты выше, её можно было легко отличить по отсутствию ошибок.
В итоге в тесте поучаствовали шесть друзей. 5/6 верно угадали автора. По всем параметрам кроме математики LLM глава проиграла кожаной главе. Выборка небольшая, но я датасаентист, я так вижу, всё статзначимо.
Такой эксперимент довольно непросто провести потому что всегда можно сказать "ты просто недостаточно хорошо запромптил ллмку." Мне хотелось сделать сравнение честным, было очень интересно что получится. Я пришел к такому сетапу эксперимента. Проверять может ли LLM написать главу с нуля бесполезно. Однако можно ослабить запрос на такой: может ли LLM наполнить структуру?
Сначала я написал черновик главы целиком, с графиками и всем прочим. Так получилась моя версия. Далее я удалил наполнение всех секций кроме введения и попросил Gemini Pro 2.5 заполнить секции текстом. Кроме того в промпте она получила синопсис книги (краткое описание что мы пишем, для кого, в каком стиле, и так далее) и первую главу книги целиком как референс стиля. В конце я минимально поправил текст, чтобы он сочетался с графиками и убрал другие палевные вещи.
Мои друзья получили гугл форму с двумя кнопками: Тык и Тыдык. При нажатии на Тык они получали ссылку на мою главу, а при нажатии на Тыдык ссылку на LLM главу. Далее обе группы заполняли форму фидбека с такими вопросами:
1. Насколько интересно? От 1 до 5
2. Насколько понятно? От 1 до 5
3. Математика от 1 до 5. 1 означает "нужно меньше", 3 означает "норм", 5 означает "нужно больше"
Так же я спрашивал их кто, по их мнению, написал главу, которая им попалась.
Такой вот Тык/Тыдык тест.
У LLM главы было серьезное преимущество: она была на треть короче. Она реалистично могла победить только за счет этого. К тому же она, естественно, была чище. Как и фрагменты выше, её можно было легко отличить по отсутствию ошибок.
В итоге в тесте поучаствовали шесть друзей. 5/6 верно угадали автора. По всем параметрам кроме математики LLM глава проиграла кожаной главе. Выборка небольшая, но я датасаентист, я так вижу, всё статзначимо.
Вы будете в шоке, но я пришел к выводу, что LLM не может заменить меня как писателя! Непредвзятое мнение.
Если серьезно, то конечно я был удивлен результатами опросов про два фрагмента. Особенно тем, что люди не смогли определить авторство. Хотя бы потому, что мой фрагмент элементарно "палиться" тем, что содержит ошибки.
Вот то, что людям больше понравился LLM фрагмент, меня вообще не удивило и не расстроило. Дело в том, что если бы я сидел на арене и получил бы эти два фрагмента, то тоже выбрал бы фрагмент Gemini. Потому что я знаю ML и знаю что такое переобучение, так что я бы выбрал самый информативный и короткий вариант.
Однако мы читаем книги не так как чатимся с LLM. Фрагмент А от LLM более информативный и "правильный", но для книги он ужасен:
1. Написано, что модель может "вызубрить" обучающие данные. И что "Переобученная модель отлично работает на данных, которые она видела во время обучения, но плохо справляется с новыми, незнакомыми данными". Мы просто помахаем руками и понадеемся, что читатель примет эти слова на веру?
2. Никакой связи с предыдущими частями. Книга это не набор несвязанных параграфов текста. Нужно повествование, которое поможет поместить новые знания в контекст. Поэтому в моем фрагменте есть отсылка к конкретной задаче, которая рассматривается в этой главе.
3. Аналогия с экзаменом начинается, но тут же заканчивается. Как будто она там для галочки. Вайб такой "автор любит аналогии, тут нужна аналогия." При этом она довольно никакая. В своей аналогии я попытался вызвать эмоции: не просто студент-зубрила, а студент к которому ты потом попадешь на операционный стол и он тебе вырежет что-нибудь не то.
Да, мой фрагмент неуклюжий. Я специально взял его в черновом виде. В отрыве от контекста он объективно хуже LLM ответа. Но я могу докрутить его до хорошей части повествования, а LLM фрагмент проще стереть и переписать.
Если серьезно, то конечно я был удивлен результатами опросов про два фрагмента. Особенно тем, что люди не смогли определить авторство. Хотя бы потому, что мой фрагмент элементарно "палиться" тем, что содержит ошибки.
Вот то, что людям больше понравился LLM фрагмент, меня вообще не удивило и не расстроило. Дело в том, что если бы я сидел на арене и получил бы эти два фрагмента, то тоже выбрал бы фрагмент Gemini. Потому что я знаю ML и знаю что такое переобучение, так что я бы выбрал самый информативный и короткий вариант.
Однако мы читаем книги не так как чатимся с LLM. Фрагмент А от LLM более информативный и "правильный", но для книги он ужасен:
1. Написано, что модель может "вызубрить" обучающие данные. И что "Переобученная модель отлично работает на данных, которые она видела во время обучения, но плохо справляется с новыми, незнакомыми данными". Мы просто помахаем руками и понадеемся, что читатель примет эти слова на веру?
2. Никакой связи с предыдущими частями. Книга это не набор несвязанных параграфов текста. Нужно повествование, которое поможет поместить новые знания в контекст. Поэтому в моем фрагменте есть отсылка к конкретной задаче, которая рассматривается в этой главе.
3. Аналогия с экзаменом начинается, но тут же заканчивается. Как будто она там для галочки. Вайб такой "автор любит аналогии, тут нужна аналогия." При этом она довольно никакая. В своей аналогии я попытался вызвать эмоции: не просто студент-зубрила, а студент к которому ты потом попадешь на операционный стол и он тебе вырежет что-нибудь не то.
Да, мой фрагмент неуклюжий. Я специально взял его в черновом виде. В отрыве от контекста он объективно хуже LLM ответа. Но я могу докрутить его до хорошей части повествования, а LLM фрагмент проще стереть и переписать.
Наконец, эксперимент с полноценной главой подтверждает мои выводы.
Читать 20 страниц AI текста это совсем не тоже самое, что прочитать столько же авторского текста. С достаточным контекстом разрыв становится очень заметен.
Однако нельзя сказать, что он огромный. LLM глава вышла "норм." Я пишу главу примерно месяц. Вероятно, используя LLM можно написать главу за неделю. Не лучше ли написать книгу в 2-4 раза быстрее? Подумаешь интересность упадет с 4.5 до 3.5.
И вот здесь я не согласен. LLM выдача всегда достаточно норм. Это подходит для автоматизации многих бизнес процессов, где "достаточно норм" это именно то, что нужно. Кост-эффективность.
Книги не про кост-эффективность. Книга соревнуется с рилсами и миллионом других книг. И вообще в 2025 их читают только психи. Ты не можешь написать "норм" книгу и надеяться, что её будут читать. Даже одного средненького фрагмента достаточно, чтобы потерять читателя. Так что на 20% менее увлекательная книга это не книга которую прочитают на 20% меньше людей, это книга которую не будет читать никто.
Обязательный скучный дисклеймер: безусловно LLM полезны для набрасывания идей, редактирования и другой помощи. Иногда я даже использую их, чтобы начать писать. Генерирую параграф с помощью LLM, меня возмущает насколько он ужасен и я начинаю его гневно переписывать. Однако целиком писать за меня оно пока что не может и не особо в этом продвинулось за 7 месяцев.
Читать 20 страниц AI текста это совсем не тоже самое, что прочитать столько же авторского текста. С достаточным контекстом разрыв становится очень заметен.
Однако нельзя сказать, что он огромный. LLM глава вышла "норм." Я пишу главу примерно месяц. Вероятно, используя LLM можно написать главу за неделю. Не лучше ли написать книгу в 2-4 раза быстрее? Подумаешь интересность упадет с 4.5 до 3.5.
И вот здесь я не согласен. LLM выдача всегда достаточно норм. Это подходит для автоматизации многих бизнес процессов, где "достаточно норм" это именно то, что нужно. Кост-эффективность.
Книги не про кост-эффективность. Книга соревнуется с рилсами и миллионом других книг. И вообще в 2025 их читают только психи. Ты не можешь написать "норм" книгу и надеяться, что её будут читать. Даже одного средненького фрагмента достаточно, чтобы потерять читателя. Так что на 20% менее увлекательная книга это не книга которую прочитают на 20% меньше людей, это книга которую не будет читать никто.
Обязательный скучный дисклеймер: безусловно LLM полезны для набрасывания идей, редактирования и другой помощи. Иногда я даже использую их, чтобы начать писать. Генерирую параграф с помощью LLM, меня возмущает насколько он ужасен и я начинаю его гневно переписывать. Однако целиком писать за меня оно пока что не может и не особо в этом продвинулось за 7 месяцев.
С непривычки родина удивляет контрастами.
Город в Рязанской области, 300км от Москвы. Двухэтажные домики, МФЦ, музей самоваров, бездомная собака у магнита, дорога в колдобинах. Полный набор. Но заходишь в случайную дверь и попадаешь в спешлти кофейню такого уровня, который не во всех европейских столицах вообще изобрели. С воронками V60 Кения или Никагаруа на выбор, рафом на альтернативном молоке, макарунами как в Париже (буквально) и авторским лимонадом на березовом соке.
Это звучит как что-то из мемов про сферу услуг в России и Европе, но такое нарочно не придумаешь. В Португалии за пределами центра Лиссабона ты можешь купить только рыбно-фасолевое хрючево с пережаренным экспрессо (с буквой к). Причём оно во всех заведениях будет одинаковое.
Город в Рязанской области, 300км от Москвы. Двухэтажные домики, МФЦ, музей самоваров, бездомная собака у магнита, дорога в колдобинах. Полный набор. Но заходишь в случайную дверь и попадаешь в спешлти кофейню такого уровня, который не во всех европейских столицах вообще изобрели. С воронками V60 Кения или Никагаруа на выбор, рафом на альтернативном молоке, макарунами как в Париже (буквально) и авторским лимонадом на березовом соке.
Это звучит как что-то из мемов про сферу услуг в России и Европе, но такое нарочно не придумаешь. В Португалии за пределами центра Лиссабона ты можешь купить только рыбно-фасолевое хрючево с пережаренным экспрессо (с буквой к). Причём оно во всех заведениях будет одинаковое.
https://livecodebenchpro.com/
Теперь вы тоже можете сказать, что ваша модель достигает качества на уровне o3 (тоже 0%)
Теперь вы тоже можете сказать, что ваша модель достигает качества на уровне o3 (тоже 0%)