Нвидия выпускает TensorRT-LLM для Windows - опенсорсную библиотеку, которая ускоряет выполнение(инференс) для всех популярных LLM, таких как Llama 2 и Code Llama. В четыре(!) раза.
Более того, уже есть расширение для Автоматик1111, которое призвано ускорить генерацию картинок на Windows. В два раза(!).

На фоне новостей про то, что OpenAI будет делать свои чипы, Нвидии нужно предпринимать какие-то действия, чтобы сильнее привязывать пользователей к своим железкам, и что важно, программным решениям.

А на фронте LLM ее ждем конкуренция с llama.cpp, которая творит чудеса на маках.

Конкуренция в действии, и это прекрасно.

Тут подробности:
https://blogs.nvidia.com/blog/2023/10/17/tensorrt-llm-windows-stable-diffusion-rtx/

Тут расширение для автоматика:
https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT
Supports Stable Diffusion 1.5 and 2.1. Native SDXL support coming in a future release.
И только квадратные разрешения.

Концепция LLM OS, чтобы эффективно управлять контекстным окном и обрабатывать внешние события.

Структурой операционных систем (ОС) вдохновились исследователи из Бёркли и представили MemGPT фреймворк.
Ввели:
- main context (фактическое контекстное окно, аналог RAM в компьютере) который ещё делится на system instructions (описывает функции доступные LLM), conversational context (содержит переписку между агентом и пользователем), и working context (куда пишет агент).
- external context (откуда можно доставать новую информацию, аналог дисковой памяти), с которым LLM взаимодествует вызовом системных функций, для загрузки данных в main context.
- events (события, которые могут происходить и без вмешательства пользователя, которые обрабатывает LLM).

А сама LLM в данном случае работает как процессор.

Авторы отмечают, что этот подход работает только с GPT-4 (на текущий момент).

MemGPT: Towards LLMs as Operating Systems
https://arxiv.org/abs/2310.08560
https://memgpt.ai/
https://github.com/cpacker/MemGPT

Любители мишек ликуют? Вышел Pandas 2.0 с pyarrow обёрткой.

С pyarrow говорят быстрее, чем без.

А что предпочитаешь ты для EDA и DataProcessing?

Голосуем:

🐼 - пандас
🤖- vaex/polaris
🙈- чистый python

Пишем в комментариях)

Немного подробностей.

https://telegra.ph/Pandas-200--gejmchejndzher-v-rabote-data-sajentistov-10-19


З. Ы. У меня в целом 🤖🙊🐼 в зависимости от ситуации

https://github.com/SuperDuperDB/superduperdb

Easily implement AI without the need to copy and move your data to complex MLOps pipelines and specialized vector databases. Integrate, train, and manage your AI models and APIs directly with your chosen database, using a simple Python interface.

https://microsoft.github.io/lida/

Automatic Generation of Visualizations and Infographics with LLMs

MiniGPT-v2: Large Language Model as a Unified Interface for Vision-Language Multi-task Learning

https://github.com/Vision-CAIR/MiniGPT-4

Learning Video Representations from Large Language Models

https://facebookresearch.github.io/LaViLa/

https://openaccess.thecvf.com/content/CVPR2023/papers/Zhao_Learning_Video_Representations_From_Large_Language_Models_CVPR_2023_paper.pdf

LLM Augmented Hierarchical Agents https://openreview.net/forum?id=K5MfysX15Q

Ровно месяц назад я писал об анонсе GPT-4V, который сегодня уже доступен всем пользователям. Эта модель умеет распознавать текст, формулы, эмоции, считать объекты и ставить диагнозы по картинке, умеет в в навигацию в реальном мире.

Но, как известно, месяц в ИИ это как год в крипте и как 5 лет в любой другой индустрии. Сегодня давайте поугораем по LLaVA, новой SotA (то есть, самой клёвой) vision модели.

Из новостей:
— модель открытая и бесплатная, включая датасет для тьюнинга
— показывает более крутые результаты по сравнению с GPT-4V
— последняя версия натренирована за 1 день на кластере из 8 A100 (то есть, за $700)
— демо доступно на сайте авторов
— довольно легко тьюнить на своих данных (еще не пробовал)
— звучит как тема для нашего следующего вебинара (кстати, сегодня на mastermind сессии для участников сообщества codex.town мы будем разбирать и изучать лайфхаки для vision моделей!)

#PDF_Summary

Sam Lessin про текущий кризис VC.

Закрытие "фабрики VC” и конец эры единорогов: Традиционная модель создания единорогов через "фабричное фермерство" закончилась. Этот канал больше не работает и вряд ли возобновится, так как публичный рынок теперь ценит органический, без пестицидов и естественный рост.

Сосредоточение на начальном этапе инвестиций: Мультистадийные и даже поздние фирмы входят в сферу начального этапа инвестирования для размещения капитала в отсутствие традиционной фабричной линии. Этот сдвиг обусловлен стремлением построить репутацию и опередить конкурентов, хотя и основан на расширении инноваций, а не на деструктивных технологиях.

Постпандемические культурные изменения: Пандемия привела к фундаментальным культурным изменениям, влияющим на стартапы. Экономическая непредсказуемость, переосмысление личных приоритетов и поиск независимости и безопасности меняют направление движения талантов и их цели.

Приоритет финансовой гибкости в инвестициях: В современных условиях VC крайне важно придавать приоритет финансовой гибкости для инвестиций и как фонд. Компаниям и фондам необходимо сосредоточиться на создании устойчивых бизнесов с начальным капиталом и позиционировать себя так, чтобы использовать возможности при совмещении раундов финансирования. Ждать публичного размещения компании или её приобретения больше не является ответственным подходом, и фирмы должны активно разрабатывать варианты ликвидности.

Эффективность капитала вместо масштабируемости: Инвесторы на начальной стадии должны приоритизировать эффективность капитала вместо масштабируемости инвестиционных возможностей. Они должны сосредоточиться на тех местах, где доллары дефицитны и ценны для компаний, а не только на компаниях, способных увеличить свой спрос на доллары.

Терпение и дисциплина: Основателям, фондам и LP необходимо проявлять терпение и дисциплину в новую эру VC.