👇 Навожу студентов для чуткой внимательности!

Сегодня проведем стрим на 8 потоке, по созданию собственных ботов помощников.

Можно сделать так, чтобы при долгой работе с ГПТ, она могла удивить тебя фактами из прошлого.

К примеру ты делаешь приложение, но из-за того что он забывает быстро инфу, начинает делать ошибки и предлагать дичь. Хочется вот прям по монику уебать в этот момент, честно.

Мы же решили эту проблему и теперь бот может через месяц сказать тебе тонкости, про которые ты сам забыл, еще и поправить тебя, потому что он постоянно видит перед собой любое резюме твоей работы)

Первый вопрос конечно же - а че делать то? как начать? Начните с идеи. Кого вам не хватает?

Близкого друга? Решатора проблем с прокрастинацией? Рутинного секретаря? Наставника по созданию Синематиков? Менеджер по продажам?

А может вы не знаете где брать заказы и можно создать помощника, который будет вас сопровождать ежедневно. Подскажет где искать, составит письмо, проанализирует неудачные попытки, подстроит новую стратегию, составит план, подскажет что важно в портфеле

Все это мы сейчас прогоним на наших студентах первыми, а дальше запускаем масштабную тусовку с челенджами, конкурсами, мастер-классами и постоянными обновами по тому как эта хрень👆🏻 работает.

Рынок курсов, скоро исчезнет. Скриньте.

Покидайте музычку под работу. Оч надо 🎼

Так, ну шо, давайте разбираться по порядочку. Нарыли много инфы, но начнем с базы, чтобы ввести в курс дела.

Причина, по которой LLM (Chat GPT, Grok, Херок) Галлюцинирует - это ограничения в виде токенов. 🪙

Токены - это маленький кусочек текста, который GPT воспринимает как единицу смысла. Это не слово и не буква!

Hello = Hel + lo
Я люблю GPT = Я + лю + блю + G + PT

На английском - экономнее, на русском - тратит больше. Это похоже на морфемный разбор с приставками, суффиксами и т.д.

Когда вы пишете много запросов в чат, он может начать тупить и выдавать полную чушь. Это значит, что он упёрся в лимит контекстного окна.

Контекстное окно - это максимальное количество токенов, которое GPT может обработать за один запрос (у GPT оно = 128k токенов).

Каждый раз, когда вы пишете что-то в чат, это и есть новый запрос с лимитом в 128k токенов.

Сессия чата - это вся цепочка ваших запросов и ответов от начала до конца.

Получается, память GPT не накапливается бесконечно, а ограничена одним запросом. И если запрос превышает это окно (128k), то бот просто начинает забывать начало и генерировать дичь. Проверить сколько токенов в вашем тексте можно вот тут:
platform.openai.com/tokenizer

Не важно, насколько большой текст вы закинете на вход GPT, в ответе вы ВСЕГДА получите не больше 4k токенов (при стандартном обращении). Если используете глубокие исследования - окно ответа расширяется до 8k или 16k, в зависимости от инструмента и формата.

Токенами считается всё - текст, файлы, ссылки, даже картинки. Поэтому, если вы закинули огромный объем информации в один запрос, то не удивляйтесь, что ваш GPT начнёт тормозить и выдавать ерунду.

Поэтому если вы закинули "Войну и Мир", будьте готовы к тому, что вы выкинете PC в окно, от тупости жпт.

Все это можно обойти, расскажу дальше.

#СразбегавGPT