☕️ Утро начинается с кофе import numpy as np

Нас часто спрашивают: «Как стартовать в машинном и глубоком обучении?» Желательно сперва нарастить крепкую базу знаний по программированию! Например, на питоне. В таком случае пройти мимо Numpy едва ли удастся. Эта библиотека появилась в 2005 году усилиями датасайентиста и специалиста по биомед-визуализации Трэвиса Олифанта и завоевала огромную популярность. Озвучим несколько поинтов, почему Numpy так необходим не только машинлернерам, но и вообще любым рисечерам.

💪 Первая причина: это ты... векторизация
Numpy предоставляет возможность работать с массивами («эрреями»). В отличие от стандартных питоновских списков, массивы содержат данные одного типа, что позволяет проводить операции одновременно над всеми элементами и избавляет от лишних циклов, ускоряя код. К тому же, Numpy реализован на языке С, который сам по себе быстрее питона! А еще нампаевские массивы экономят память, что чрезвычайно актуально, когда имеешь дело с большими данными.

🚀 Теперь в «космакс» 3D
Массивы бывают одномерными — векторами, двумерными — то бишь матрицами. Можно навернуть и многомерные тензоры. Название популярного ИИ-фреймворка TensorFlow как раз в честь них. Когда данные нужно представить модели для обучения, то их превращают как раз в форму массивов: скажем, черно-белая картинка — это просто матрица, цветное фото — 3D-эррей, видео — аж пятимерный массив. Пример из биоинформатики: AnnData — объект для хранения данных сингл селл представляет собой матрицу с навешенными сверху аннотациями.

🎮 Я не читер, просто хорошо играю!
Numpy позволяет не только создавать массивы, но эффективно оперировать с ними. Так, в библиотеке имеется полезный подмодуль np.linalg. Вычислить определитель? Перемножить матрицы? Решить систему линейных уравнений? Пожалуйста! Вот какая прекрасная помощь в освоении линейной алгебры. Если вы раньше считали такое руками, то сразу почувствуете мощь Numpy. Между тем, матричные операции — это хребет современного ИИ.

🎲 Магия рандома
Numpy расшифровывается как Numeric Python и вообще заточен под математику. В библиотеке зашиты константы, логарифмы и много еще чего. Важная фишка — подмодуль np.random. С его помощью можно генерировать (псевдо)случайные числа. Они могут понадобиться, например, для инициализации весов нейронной сети.

😎 Это база
Поверх Numpy построены другие модные модули в Python: Scipy, Matplotlib, Pandas, Sklearn. Знание этих инструментов — уже мета-навыки в наши дни: названиями библиотек пестрят требования в вакансиях в датасайенс, машинном обучении, био/хемоинформатике. Так что быть на ты с Numpy точно не повредит, чтобы как минимум иметь при себе продвинутый научный калькулятор.

❗️Внимание! Если вы сомневаетесь в необходимости обучения машин или думаете, что это все очень сложно, то приходите к нам 29 сентября на открытую онлайн-встречу «Машинное обучение: когда статистики недостаточно» с Владимиром Шитовым. На вебинаре мы поможем загореться ИИ-тематикой. Записаться и оставить свой вопрос можно прямо сейчас через форму

Подробности о программе вебинара и бонусах скоро расскажем!

#бластим_технологии

Как найти общий язык с трудными подростками данными?

Расскажем на долгожданном открытом вебинаре Blastim «Машинное обучение: когда статистики недостаточно»!

Уже 29 сентября в 11:00 мск мы погрузимся в мир больших данных и поймем, где пределы терпения традиционных методов статистики и как вообще работать с трудными данными. На вебинаре вы узнаете, как использовать мощные инструменты машинленинга для обработки мультимодальных биологических датасетов, а также получите комплексное представление о самых передовых технологиях, которые на наших глазах преображают биоинформатику.

Итак, в программе:

☺️ Почему мы уважаем статистику и какие знания добыли благодаря ей

🥲 Когда статистика ломается: нелинейности, большие и странные данные

😎 Машинное обучение спешит на помощь: подходы, достижения и проблемы

Кому пригодится? Для всех, кто интересуется биоинформатикой, ML в биологии, будь то студенты, исследователи или энтузиасты, желающие поговорить о мире датасайенс

Спикер: Владимир Шитов, человек наук, специалист по разработке методов анализа single-cell данных 🤘

Записаться и оставить свой вопрос тут: ССЫЛКА

В погоне за длинным ридом

🧬 Окончательно дособирать геном человека удалось только к 2022 году. И, оказывается, этим достижением мы в какой-то мере обязаны глубокому обучению. Рассказываем, где собака зарыта 🐶

Одна из технологий секвенирования, которая помогла прочитать геном человека от теломеры до теломеры, — это продукт британской компании Oxford Nanopore. Ее относят к третьему поколению: не нужна PCR-амплификация, а прочтения очень длинные, но с ошибками. Идея применения нанопор для секвенирования ДНК зародилась еще в 1990-е, сама компания появилась в 2005 году, а первый ее коммерческий продукт только в 2014. Кстати, приложил руку к нанопорам Джордж Чёрч — тот самый гарвардский профессор, который планирует воскресить мамонта 🦣 В основе метода нанопорового секвенирования лежит белковая пора, которая вставлена в мембрану. К мембране приложена разность потенциалов, сквозь пору течет ионный ток. Когда нить нуклеиновой кислоты протягивается через пору, нуклеотиды выступают в качестве барьеров, что вызывает пикоамперные скачки тока. Они и улавливаются сенсором. Разные основания соответствуют разным уровням изменения тока, что позволяет отличать «буквы» друг от друга.

Исторически за ONT закрепилась репутация технологии, допускающей очень много ошибок. Однако в настоящее время нанопоровое секвенирование невероятно эволюционировало и даже конкурирует с Illumina. Как это произошло? Оксфордцы не сидели на месте, а много совершенствовались: пробовали самые разные варианты пор, улучшали химию, и корпели над ключевым шагом — бейсколлингом.

📞 Base calling — это перевод сырых электрических сигналов (так называемых закорючек, «squiggles») в последовательность нуклеотидов. И получение fastq файлов, с которыми уже играют биоинформатики. Вроде плевое дело, но на деле — крайне нетривиальная задача. Внутри поры одномоментно находится не один нуклеотид, а несколько (примерно 5), и регистрируемый сигнал соответствует не индивидуальному основанию, а комбинации.

🤖 Сначала для бейcколлинга приспособили скрытые марковские модели (HMM) — но процент ошибок оставался высоким. А потом в мире начался расцвет нейронных сетей. И они изменили расклад. Сейчас популярные бейсколлеры построены на рекуррентных нейросетях (RNN). Эта архитектура отлично подходит для анализа данных, упорядоченных во времени. Они обрабатывают информацию последовательно и обладают памятью. Рекуррентные нейронные сети используются для распознавания речи, перевода текстов, они же господствовали в сфере обработки естественного языка до появления трансформеров (ChatGPT). Благодаря рекуррентным нейросетям удалось достичь потрясающей точности декодирования сырых сигналов нанопорового секвенатора. Конечно, такая точность не всегда возможна, и результат зависит от обучающей выборки. Под специфические задачи независимые исследователи тренируют собственные бейсколлеры.

🐿 Сегодня длинные нанопоровые риды применяются для сборки больших геномов с повторами, прямого чтения РНК, прямой детекции модифицированных нуклеотидов в эпигеномике и эпитранскриптомике и многого другого. А еще ONT врывается в протеомику: методы секвенирование белков и определение посттрансляционных модификаций с помощью нанопор — уже реальность! Хотя эта вычислительная задача еще труднее, ведь искусственному интеллекту нужно научиться различать не 4, а 20 букв.

🚀 Конечно, пример с нанопоровым секвенированием — это только верхушка айсберга того, как машинленинг меняет современную биоинформатику. Больше — у нас на курсах!

#бластим_технологии