#книга
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/
#ссылки
Один из каталогов "лучших статей в ML" https://github.com/dmarx/anthology-of-modern-ml
Из обновлений последних лет:
2022
- Chinchilla - Training Compute-Optimal Large Language Models
- Stable Diffusion - High-Resolution Image Synthesis with Latent Diffusion Models
- Instruct tuning - Training language models to follow instructions with human feedback
- Efficient diffusion sampling - Elucidating the Design Space of Diffusion-Based Generative Models
- Diffusion as a de-corruption process - Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise
2023
- ToolFormer - Toolformer: Language Models Can Teach Themselves to Use Tools
- Gaussian Splatting - 3D Gaussian Splatting for Real-Time Radiance Field Rendering
Один из каталогов "лучших статей в ML" https://github.com/dmarx/anthology-of-modern-ml
Из обновлений последних лет:
2022
- Chinchilla - Training Compute-Optimal Large Language Models
- Stable Diffusion - High-Resolution Image Synthesis with Latent Diffusion Models
- Instruct tuning - Training language models to follow instructions with human feedback
- Efficient diffusion sampling - Elucidating the Design Space of Diffusion-Based Generative Models
- Diffusion as a de-corruption process - Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise
2023
- ToolFormer - Toolformer: Language Models Can Teach Themselves to Use Tools
- Gaussian Splatting - 3D Gaussian Splatting for Real-Time Radiance Field Rendering
#блог
Ресурс по оптимизации, я когда-то писал о курсах автора, но у него есть ещё и блог.
https://fa.bianp.net/
Ресурс по оптимизации, я когда-то писал о курсах автора, но у него есть ещё и блог.
https://fa.bianp.net/
#забавно
У Гугла есть репозиторий проектов-экспериментов, очень интересных и залипательных.
https://experiments.withgoogle.com/
В качестве примера - проект уже почти годичной давности "океан книг": моря здесь - области знаний, острова - авторы, города на островах - книги. На рисунке остров Саттона, с одним городом, зато каким;)
https://artsexperiments.withgoogle.com/ocean-of-books
У Гугла есть репозиторий проектов-экспериментов, очень интересных и залипательных.
https://experiments.withgoogle.com/
В качестве примера - проект уже почти годичной давности "океан книг": моря здесь - области знаний, острова - авторы, города на островах - книги. На рисунке остров Саттона, с одним городом, зато каким;)
https://artsexperiments.withgoogle.com/ocean-of-books
#визуализация
Лучше решить одну задачу ста способами, чем сто задач одним. Тут то же самое, но с картинками... как 6 чисел визуализировать 100 разными способами.
https://100.datavizproject.com/
Лучше решить одну задачу ста способами, чем сто задач одним. Тут то же самое, но с картинками... как 6 чисел визуализировать 100 разными способами.
https://100.datavizproject.com/
#математика
Просто любопытный факт, который, как оказалось, мало кто знает. Можно ввести понятие beta-энтропии, частными случаями которой будут информационная энтропия и индекс Джини (ну, с точностью до константы).
beta-энтропию сложно гуглить:), но есть похожая энтропия Цалиса, которую в машинном обучении уже используют, но к нейросетям, вроде, пока не прикрутили;)
Просто любопытный факт, который, как оказалось, мало кто знает. Можно ввести понятие beta-энтропии, частными случаями которой будут информационная энтропия и индекс Джини (ну, с точностью до константы).
beta-энтропию сложно гуглить:), но есть похожая энтропия Цалиса, которую в машинном обучении уже используют, но к нейросетям, вроде, пока не прикрутили;)
#знакомства
В канале вдруг круглое число подписчиков 🍾,
поэтому предлагаю сделать тред самопредставления... мы что-то подобное уже как-то делали. Если Вы подписчик, в комментарии можно рассказать:
- о себе / своих проектах (можно приглашать к знакомству или в проект),
- о своём канале (только опишите, чем он хорош),
- о своей книге, сайте, курсе, видосиках и т.п. (тоже давайте краткую аннотацию!)
Надеюсь, всем будет полезно! Но это только подписчикам и для рекламы своего и себя;) Чужих не надо:)
В канале вдруг круглое число подписчиков 🍾,
поэтому предлагаю сделать тред самопредставления... мы что-то подобное уже как-то делали. Если Вы подписчик, в комментарии можно рассказать:
- о себе / своих проектах (можно приглашать к знакомству или в проект),
- о своём канале (только опишите, чем он хорош),
- о своей книге, сайте, курсе, видосиках и т.п. (тоже давайте краткую аннотацию!)
Надеюсь, всем будет полезно! Но это только подписчикам и для рекламы своего и себя;) Чужих не надо:)
#визуализация
Блог про физику и геометрию с потрясающими визуализациями
(чтобы увидеть все статьи, заходите в раздел «архив»)
https://ciechanow.ski/
Публикации выходят нечасто, обычно 3 раза в год, в 2023м была всего одна, зато какая - «объяснение движений велосипедиста»
https://ciechanow.ski/bicycle/
Блог про физику и геометрию с потрясающими визуализациями
(чтобы увидеть все статьи, заходите в раздел «архив»)
https://ciechanow.ski/
Публикации выходят нечасто, обычно 3 раза в год, в 2023м была всего одна, зато какая - «объяснение движений велосипедиста»
https://ciechanow.ski/bicycle/
#интересно
Исследовательский проект по машинному обучению.
https://knowingmachines.org/
В основном, много информации по правилам "работы с данными". В частности, авторами подготовлен "критический гайд по работе с датасетами"
https://knowingmachines.org/critical-field-guide
Очень специфически оформленный, правда. Но там могут попадаться полезные ссылки.
Исследовательский проект по машинному обучению.
https://knowingmachines.org/
В основном, много информации по правилам "работы с данными". В частности, авторами подготовлен "критический гайд по работе с датасетами"
https://knowingmachines.org/critical-field-guide
Очень специфически оформленный, правда. Но там могут попадаться полезные ссылки.
#забавно
Проводил тут небольшое исследование: вот если бы в науке о данных существовала своя Шнобелевская премия, то кому можно было бы её вручить. Нашёл интересные примеры. Вот в этой статье, скажем, лучший фильм определяют по кашлю и чиханию в нём:
https://journal-doi.org/10.731/pcbi.1007742/
П.С. В комментарии можно набросать аналогичные примеры;)
Проводил тут небольшое исследование: вот если бы в науке о данных существовала своя Шнобелевская премия, то кому можно было бы её вручить. Нашёл интересные примеры. Вот в этой статье, скажем, лучший фильм определяют по кашлю и чиханию в нём:
https://journal-doi.org/10.731/pcbi.1007742/
П.С. В комментарии можно набросать аналогичные примеры;)
#книга
Simovici D. A. CLUSTERING: Theoretical and Practical Aspects. – World Scientific, 2021.
Неплохая книга по кластеризации - для любителей жёсткой теории, сначала даётся большой математический обзор: ЧУМ, энтропия, выпуклые множества, гиперграфы, мультимножества (выше был пост про обобщённую энтропию - там рисунки из этой книги), потом уже разбираются алгоритмы кластеризации. Много теорем с доказательствами. Примеры кода на python и R (тут на чём удобнее, на том автор и писал). В приложении опять много математики: спектральные функции, проблема NP-полноты и т.п. Из минусов: нет как примеров практических кейсов кластеризации, так и каких-то советов для практиков.
Simovici D. A. CLUSTERING: Theoretical and Practical Aspects. – World Scientific, 2021.
Неплохая книга по кластеризации - для любителей жёсткой теории, сначала даётся большой математический обзор: ЧУМ, энтропия, выпуклые множества, гиперграфы, мультимножества (выше был пост про обобщённую энтропию - там рисунки из этой книги), потом уже разбираются алгоритмы кластеризации. Много теорем с доказательствами. Примеры кода на python и R (тут на чём удобнее, на том автор и писал). В приложении опять много математики: спектральные функции, проблема NP-полноты и т.п. Из минусов: нет как примеров практических кейсов кластеризации, так и каких-то советов для практиков.
#забавно
В известную коллекцию ложных корреляций
https://tylervigen.com/spurious-correlations
не так давно добавили объяснение этих корреляций с помощью ИИ, а также "научные" статьи, сгенерированные ИИ, которые их объясняют.
В известную коллекцию ложных корреляций
https://tylervigen.com/spurious-correlations
не так давно добавили объяснение этих корреляций с помощью ИИ, а также "научные" статьи, сгенерированные ИИ, которые их объясняют.
#блог
Хороший научно-популярный блог про математику
https://mathwithbaddrawings.com
- математика с плохими рисунками. Очень оригинальная манера подачи. У автора несколько книжек, переведённых на русский язык, наверное, наиболее занятная - это одноимённая Бен Орлин «Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность». Некоторые считают её одной из лучших для школьного возраста, чтобы полюбить математику.
Хороший научно-популярный блог про математику
https://mathwithbaddrawings.com
- математика с плохими рисунками. Очень оригинальная манера подачи. У автора несколько книжек, переведённых на русский язык, наверное, наиболее занятная - это одноимённая Бен Орлин «Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность». Некоторые считают её одной из лучших для школьного возраста, чтобы полюбить математику.
#визуализация
Сайт с интересной спортивной инфографикой. Перед некоторыми крупными спортивными событиями делают красочные релизы с историями участников и оценкой шансов на победу. Например, на рис. статистика выступлений футбольных команд на чемпионатах мира.
https://stories.mundodeportivo.com/
Сайт с интересной спортивной инфографикой. Перед некоторыми крупными спортивными событиями делают красочные релизы с историями участников и оценкой шансов на победу. Например, на рис. статистика выступлений футбольных команд на чемпионатах мира.
https://stories.mundodeportivo.com/
#книга
Сейчас в МЦНМО переиздали книгу Литвак Н., Райгородский А. Кому нужна математика?
Книга очень хорошая (примерно для 1 курса), там в каждой главе обсуждается прикладная задача, например, как вычислить число активных банковских карт по логам транзакций. А потом описываются алгоритмы решения, постепенно усложняя и доходя до лучших решений.
Кстати, если кто-то знает книги в таком стиле по ИИ - напишите в комментарии.
Это одна из первых книг в серии "Математические основы ИИ"... будет и продолжение;)
Сейчас в МЦНМО переиздали книгу Литвак Н., Райгородский А. Кому нужна математика?
Книга очень хорошая (примерно для 1 курса), там в каждой главе обсуждается прикладная задача, например, как вычислить число активных банковских карт по логам транзакций. А потом описываются алгоритмы решения, постепенно усложняя и доходя до лучших решений.
Кстати, если кто-то знает книги в таком стиле по ИИ - напишите в комментарии.
Это одна из первых книг в серии "Математические основы ИИ"... будет и продолжение;)
#новость
Несколько ближайших дней открытых дверей по программам, связанным с AI/DS/ML...
Центральный университет: бакалавриат и магистратура
18 и 19 мая онлайн и офлайн (почти весь день в офисах VK/Tinkoff)
https://www.tg-me.com/t_central_university/437
Бесплатная 2-х годичная программа AI Masters
23 мая в 16.00 (онлайн)
https://www.tg-me.com/iai_msu/71
Можно скинуть поступающим и интересующимся.
А поскольку в этом канале много тех, кто уже выучился:
если есть желание попреподавать - пишите мне;)
Несколько ближайших дней открытых дверей по программам, связанным с AI/DS/ML...
Центральный университет: бакалавриат и магистратура
18 и 19 мая онлайн и офлайн (почти весь день в офисах VK/Tinkoff)
https://www.tg-me.com/t_central_university/437
Бесплатная 2-х годичная программа AI Masters
23 мая в 16.00 (онлайн)
https://www.tg-me.com/iai_msu/71
Можно скинуть поступающим и интересующимся.
А поскольку в этом канале много тех, кто уже выучился:
если есть желание попреподавать - пишите мне;)
#визуализация
Блог с классными визуализациями. Там есть на DS-темы (работа k-means, механизм внимания, линейная регрессия и т.п.), но есть красивые работы на общие темы (например, изменение климата).
https://yizhe-ang.github.io/
Блог с классными визуализациями. Там есть на DS-темы (работа k-means, механизм внимания, линейная регрессия и т.п.), но есть красивые работы на общие темы (например, изменение климата).
https://yizhe-ang.github.io/
#визуализация
Интерактивные материалы по детектированию сигналов (An Explorable Explanation of Signal Detection Theory). На самом деле, почти всё объяснение крутится вокруг ROC-кривой, но зато интересно и наглядно сделано.
https://decidables.github.io/
Интерактивные материалы по детектированию сигналов (An Explorable Explanation of Signal Detection Theory). На самом деле, почти всё объяснение крутится вокруг ROC-кривой, но зато интересно и наглядно сделано.
https://decidables.github.io/