Всем привет! Подключил к каналу чат. Планирую больше постить сюда и, думаю, что было бы неплохо иметь комфортное место для обсуждения https://www.tg-me.com/futuroholics
После завершения работы над озвучкой "Линии прибоя" планирую сфокусироваться на двух основных темах. Первая это российско-украинская война и ее последствия для обоих стран. Ее ход и пока неясные результаты оставляют мало шансов на адекватный прогноз, но не размышлять над этим тоже не выход. Вторая "магистральная тема" - искусственный интеллект, прогнозы и практические приложения уже сейчас. Еще в 2016 я написал небольшую заметку на блог, где говорил о том, что соревнование в области разработок искинов - это новая "гонка вооружений". Ну и буду постить сюда всякие просто интересные новости и "мысли по поводу" не привязанные к основным темам. Что думаете? Может у вас есть какие-то другие предложения?
Материал прошлогодний, ну как по мне актуальности не утративший. Автора, Юрия Чудновского, знаю лично, мы вместе работали над стратегией развития Киева в Киевском стратегическом сообществе в 2016-17 годах. Грамотный специалист "старой школы", не чета многим нынешним "икспердам". Актуальность материала в том, что пока на таком уровне - переосмыления пространственной организации Украины - пока еще мало кто работает. А ведь она поменялась кардинально и без такого фундаментального анализа никак нельзя. В общем, ознакомьтесь с материалом https://hvylya.net/analytics/270084-ukraina-posle-voyny
Хвиля
Украина после войны
Тезисы выступления Юрия Чудновского на семинаре «Трансформация Украины» (Стокгольм, 21-22 марта 2023г.)
Судя по статистике просмотров озвучки романа народу - дослушивают очень немногие. Ну да ладно. Осталось два выпуска, по крайней мере гештальт будет закрыт.
Первый опыт общения с ChatGPT у меня состоялся еще осенью прошлого года. Опыт был короткий, но несмотря на это, давший понимание плюсов и минусов. Минусы касались и самого сервиса. Сервис ChatGPT принадлежит компании Open AI, что значит три вещи. Первое, это то, что ваш диалог является частью обучения нейросеток Open AI. Вы помогаете тренерам OpenAI делать их работу. Второе, что ваши диалоги могут быть стерты, если у вас нет аккаунта определенного статуса. То есть все то время, что вы потратили на общение с чат-ботом для вас пропадет. Третье и немного конспирологическое — общаясь вы даете информацию о себе. Мы и так оставляем слишком много “цифровых следов”, которые умные люди перепродают третьим лицам (не подумайте чего, это я про таргетную рекламу).
Вследствие всего вышеперечисленного я решил что надо искать техническое решение, которое позволит развернуть нейросетку на локальном компьютере. С помощью моего старого друга Виталия Чащина, была развернута модель GPT+RAG. Почему именно это? Потому что RAG (Retrieval Augmented Generation) позволяет добавлять к готовой LM более точный контекст и, как следствие, получать более точные ответы в процессе диалога. Для запуска готовых моделей использовалась утилита LM Studio, которая позволяет выбирать различные модели, а для использования RAG — самописный фреймворк на Python. Тестировалась вся эта конструкция на текстах, связанных с описанием того продукта, над которым работает моя компания. Не буду пересказывать всего, что делал, остановлюсь на основных результатах.
Главный вывод: в случае специфических, узких тем нейросетка требует тщательного обучения, поскольку ответы иногда вызывают глубокое удивление. Обучение заключается в добавлении в контекст уточняющей информации, после чего опять следует диалог, в котором проверяется насколько хорошо нейросеть “усвоила материал”. Да, тоже самое происходит и при общении с ChatGPT, когда он просит уточнения, но в случае с локальной GPT+RAG моделью вы просто можете добавить фрагмент текста в соответствующую директорию. То есть вы имеете больше возможностей для управления процессом.
Этот приводит к другим выводам, которые подчас рушат те стереотипы, которые уже сложились вокруг нейростей и AI. Например, что искины скоро массово заменят людей причем даже в творческих профессиях. Да, нейросети уже “пишут” картины и тексты, “снимают” видео, но вопрос тренировки никто не отменял. Нет пока такого коробочного решения, которое позволит нажатием пары кнопок решать любые задачи, которые раньше требовали от человека нескольких дней, а то и недель. К тому же ментор-человек должен обладать более высокой степенью компетентности — либо иметь выход на экспертов с высокой компетентностью — чтобы “воспитать” нейросеть, которой можно будет доверять. Другими словами, без человека пока никуда. Быть может новые версии того же ChatGPT решат проблему самообучения, но конечным пользователем все же является человек и проверку результатов их работы все равно придется делать.
Поэтому скорее нейросети пойдут по той же траектории, что программное обеспечение для персональных компьютеров в 90х и начале нулевых. Excel убил калькулятор, а кадовские пакеты — кульман с ватманом. Профессионалы, которые быстрее освоят эти новые инструменты, которые смогут “воспитать” нейросети под собственные нужды, увеличат свою производительность и ценность на рынке. И вот тут есть целый ряд интересных моментов, которые относится к самому процессу “воспитания”.
Вследствие всего вышеперечисленного я решил что надо искать техническое решение, которое позволит развернуть нейросетку на локальном компьютере. С помощью моего старого друга Виталия Чащина, была развернута модель GPT+RAG. Почему именно это? Потому что RAG (Retrieval Augmented Generation) позволяет добавлять к готовой LM более точный контекст и, как следствие, получать более точные ответы в процессе диалога. Для запуска готовых моделей использовалась утилита LM Studio, которая позволяет выбирать различные модели, а для использования RAG — самописный фреймворк на Python. Тестировалась вся эта конструкция на текстах, связанных с описанием того продукта, над которым работает моя компания. Не буду пересказывать всего, что делал, остановлюсь на основных результатах.
Главный вывод: в случае специфических, узких тем нейросетка требует тщательного обучения, поскольку ответы иногда вызывают глубокое удивление. Обучение заключается в добавлении в контекст уточняющей информации, после чего опять следует диалог, в котором проверяется насколько хорошо нейросеть “усвоила материал”. Да, тоже самое происходит и при общении с ChatGPT, когда он просит уточнения, но в случае с локальной GPT+RAG моделью вы просто можете добавить фрагмент текста в соответствующую директорию. То есть вы имеете больше возможностей для управления процессом.
Этот приводит к другим выводам, которые подчас рушат те стереотипы, которые уже сложились вокруг нейростей и AI. Например, что искины скоро массово заменят людей причем даже в творческих профессиях. Да, нейросети уже “пишут” картины и тексты, “снимают” видео, но вопрос тренировки никто не отменял. Нет пока такого коробочного решения, которое позволит нажатием пары кнопок решать любые задачи, которые раньше требовали от человека нескольких дней, а то и недель. К тому же ментор-человек должен обладать более высокой степенью компетентности — либо иметь выход на экспертов с высокой компетентностью — чтобы “воспитать” нейросеть, которой можно будет доверять. Другими словами, без человека пока никуда. Быть может новые версии того же ChatGPT решат проблему самообучения, но конечным пользователем все же является человек и проверку результатов их работы все равно придется делать.
Поэтому скорее нейросети пойдут по той же траектории, что программное обеспечение для персональных компьютеров в 90х и начале нулевых. Excel убил калькулятор, а кадовские пакеты — кульман с ватманом. Профессионалы, которые быстрее освоят эти новые инструменты, которые смогут “воспитать” нейросети под собственные нужды, увеличат свою производительность и ценность на рынке. И вот тут есть целый ряд интересных моментов, которые относится к самому процессу “воспитания”.
Коммуникация это ключевой механизм как передачи информации, так и ее порождения (а также трансформации). Технологии связанные с коммуникационно-информорационными процессами всегда накладывали ограничения. Скажем, веке в XIX автор, написавший книгу или статью, вступал в диалог с читателями или коллегами по цеху в формате личной переписки, критических статей и эссе. Скорость обмена была, понятное дело, низкой. Появление интернета не только ускорило этот процесс и сделало его проще для коллективной работы. HTML, гипертекст, как одна из ключевых технологий веба, позволил связывать между собой разные тексты. Это позволило превратить наследие человеческой культуры в «глобальный метатекст», последовательность прочтения которого определяется человеком, который с ним взаимодействует.
Что привнес ChatGPT и аналогичные системы? Если опираться вышеприведенную технологию GPT+RAG, то процесс «тренировки» нейросети будет требовать от человека, понимания и знания тех первоисточников, из которых формируется контекст. Тренер должен хорошо владеть вопросом и это для него тоже является формой обучения и закрепления знаний. То есть он или она как минимум должны прочитать те книги, которые будут включены в контекст. Формирования контекста, тестирование ответов и последующее использование «готового продукта» — это та самая новая форма культурной коммуникации, которая была технологически невозможна еще лет тридцать назад. Второй важный момент — это возможность коллективной работы над контекстом и его проверкой. Как над той же вики работает коллектив волонтеров, так появятся коллективы и вокруг определенных нейросетей и «искинов». И, повторюсь еще раз, в ходе такой коммуникации в реальном времени каждый раз будут поражаться уникальные тексты с разными смыслами.
Думаю, что со временем нас будут ожидать те самые «коробочные» решения, нейросети «ручной работы», проверенные и верифицированные. Не просто инструменты, которые позволяют создать нейросеть, а уже прокачанные под определенные задачи нейросети и с поддержкой обновлений новым контекстом. Любая частная компания, которая захочет быть конкурентноспособной, должна будет «упаковать» свой опыт и иметь процедуры обновления и работы с ним. Научные институты без своих искинов будут выглядеть анахронизмами. Это все равно что сейчас иметь вебсайт на технологиях web 1.0.
Правда, остается один важный вопрос. Сможет ли массовый потребитель вести продуктивный диалог с такими системами в ходе их «тренировки» и «рабочего диалога»? Предполагаю, что массовый не сможет. Одним из разрушительных последствий использования соцсетей стало сокращение объема воспринимаемой человеком информации. Пост в 5000-10000 знаков в том же фейсбуке или 280 в твиттере, комментарии в одно-два предложения, а скорее в пару слов или эмодзи. Целое поколение выросло на таких форматах и вряд ли следующее будет лучше. Скорее всего, тренировка и эффективное использование нейросетей станет уделом небольшой прослойки профессионалов, ученых и просто образованных людей, которые еще способны воспринимать длинные тексты и поддерживать содержательный диалог.
Каков сухой остаток? Ученым, профессионалам, просто образованным людям стоит начать прокачивать собственные нейросети, связанные с основной деятельностью. Продавать свою экспертность станет проще. Писателям — скорее всего, герои ваших текстов будут искинами, которых вы будете «воспитывать» и «учить». Блогерам — обзаводиться ботами, которые за вас будут делать черновую работу по обработке потоков новостей, а вам останется понять, что действительно важно публиковать. Завсегдатаям соцсетей уже сейчас задуматься над тем с кем они так увлекательно общаются и вообще стоит ли тратить время на думскроллинг. https://www.technocrats.com.ua/nejroseti-novaya-kommunikaciya.html
Что привнес ChatGPT и аналогичные системы? Если опираться вышеприведенную технологию GPT+RAG, то процесс «тренировки» нейросети будет требовать от человека, понимания и знания тех первоисточников, из которых формируется контекст. Тренер должен хорошо владеть вопросом и это для него тоже является формой обучения и закрепления знаний. То есть он или она как минимум должны прочитать те книги, которые будут включены в контекст. Формирования контекста, тестирование ответов и последующее использование «готового продукта» — это та самая новая форма культурной коммуникации, которая была технологически невозможна еще лет тридцать назад. Второй важный момент — это возможность коллективной работы над контекстом и его проверкой. Как над той же вики работает коллектив волонтеров, так появятся коллективы и вокруг определенных нейросетей и «искинов». И, повторюсь еще раз, в ходе такой коммуникации в реальном времени каждый раз будут поражаться уникальные тексты с разными смыслами.
Думаю, что со временем нас будут ожидать те самые «коробочные» решения, нейросети «ручной работы», проверенные и верифицированные. Не просто инструменты, которые позволяют создать нейросеть, а уже прокачанные под определенные задачи нейросети и с поддержкой обновлений новым контекстом. Любая частная компания, которая захочет быть конкурентноспособной, должна будет «упаковать» свой опыт и иметь процедуры обновления и работы с ним. Научные институты без своих искинов будут выглядеть анахронизмами. Это все равно что сейчас иметь вебсайт на технологиях web 1.0.
Правда, остается один важный вопрос. Сможет ли массовый потребитель вести продуктивный диалог с такими системами в ходе их «тренировки» и «рабочего диалога»? Предполагаю, что массовый не сможет. Одним из разрушительных последствий использования соцсетей стало сокращение объема воспринимаемой человеком информации. Пост в 5000-10000 знаков в том же фейсбуке или 280 в твиттере, комментарии в одно-два предложения, а скорее в пару слов или эмодзи. Целое поколение выросло на таких форматах и вряд ли следующее будет лучше. Скорее всего, тренировка и эффективное использование нейросетей станет уделом небольшой прослойки профессионалов, ученых и просто образованных людей, которые еще способны воспринимать длинные тексты и поддерживать содержательный диалог.
Каков сухой остаток? Ученым, профессионалам, просто образованным людям стоит начать прокачивать собственные нейросети, связанные с основной деятельностью. Продавать свою экспертность станет проще. Писателям — скорее всего, герои ваших текстов будут искинами, которых вы будете «воспитывать» и «учить». Блогерам — обзаводиться ботами, которые за вас будут делать черновую работу по обработке потоков новостей, а вам останется понять, что действительно важно публиковать. Завсегдатаям соцсетей уже сейчас задуматься над тем с кем они так увлекательно общаются и вообще стоит ли тратить время на думскроллинг. https://www.technocrats.com.ua/nejroseti-novaya-kommunikaciya.html
Блог технократа
Нейросети и новая коммуникация - Блог технократа
Первый опыт общения с ChatGPT у меня состоялся еще осенью прошлого года. Опыт был короткий, но несмотря на это, давший понимание плюсов и минусов. Минусы касались и самого сервиса. Сервис ChatGPT принадлежит компании Open AI, что значит три вещи. Первое,…
ChatGPT стал доступен широкой общественности в ноябре 2022 года. Хайп вокруг AI-технологий не утихает с тех пор. Громкий выход новых продуктов чередуется с обеспокоенными мнениями техногуру и лидеров общественного мнения относительно перспектив порабощения человечества. Впрочем, читая и слушая некоторых "экспертов", создается впечатление, что они не совсем понимают, о чем говорят.Этот материал изначально был сводкой основных понятий, технологий, продуктов и профессий, связанных с AI, который я делал для себя. Возможно, для кого-то текст будет полон очевидных вещей. Возможно, кому-то пригодится для того, чтобы разобраться в этой новой и очень быстро развивающейся сфере.Типы искусственного интеллектаНачнем с того, какие типы искусственного интеллекта существуют."Узкий" или "слабый" ИИ (Artificial Narrow Intelligence - ANI): Системы, разработанные для выполнения определенных задач. Хорошо работают в конкретной сфере, но не имеют общего интеллекта и способности переносить знания в другую область. Большая часть ИИ, с которыми мы имеем дело - ChatGPT, Gemini, домашний помощник Alexa и прочее - сегодня это как раз "узкие" системы."Общий" или "сильный" ИИ (Artificial General Intelligence - AGI): Системы с интеллектом и познавательными способностями, близкими к человеческим. Пока таких систем в чистом виде нет, и ведущие компании и университеты как раз работают над созданием AGI. Причем вопрос стоит уже не "сможем ли мы создать это в принципе?", а "когда мы сможем это создать?""Супер" ИИ (Artificial Super Intelligence - ASI): искусственный разум, который обходит человека по всем параметрам, включая творческие задачи. Пока еще чисто гипотетическая штука из сферы научной фантастики.Из вышесказанного можно сделать вывод, что страшилки, которые озвучивает, например, Юваль Ной Харари, относятся к AGI и ASI. Впрочем, есть и более взвешенные материалы и статьи, где прогнозируется, сколько и каких профессий будет заменено, когда общий ИИ всё-таки будет доведён до практического применения. А вот бурное обсуждение вокруг влияния DeepSeek на IT-рынки относится к конкуренции на рынке решений "слабого" ИИ.Говоря более конкретно, "слабый" ИИ позволяет человеку кардинально повысить свою продуктивность. Скажем, десять лет назад для перевода с родного языка на не родной требовался опытный переводчик. Причем и ему надо было тратить часы на это дело. С широким распространением сервисов типа Google Translate, как примера "слабого" ИИ, процесс ускорился в разы, но выходной текст все равно требовал доработки. Сейчас результат Google Translate можно загнать в Google AI Studio и получить несколько вариантов перевода. Да, его тоже надо дорабатывать, но то, на что раньше тратились часы, с помощью "слабого" ИИ теперь занимает всего несколько минут.Вывод: "слабый" ИИ это помощник, который делает человека продуктивнее и эффективнее, но не заменяет его полностью. Более того, в связке "человек-AI" человек - особенно если это эксперт в области - выступает ведущей стороной. Он способен "заточить" AI под конкретную задачу, проверить результаты работы AI."Сильный" ИИ полностью заменит целый ряд профессий. В какой срок? Пока еще неясно, но, судя по всему, речь идет о нескольких годах.Теперь подробнее о практических воплощениях "слабого" ИИ.LLM, AI агенты и сервисы на основе AIКогда вы заходите на сайт Google AI Studio, ChatGPT или DeepSeek, то имеете дело с сервисом, в основе которого лежит LLM. Вернее сказать, несколько LLM, из которых можно выбрать.LLM (Large Language Model), большая языковая модель, это нейросеть, которая обучена на больших массивах данных. Сколько таких моделей активно используется точно не известно, но уже, скорее всего, тысячами. Есть семейства LLM, разработанные крупными IT-компаниями, например ChatGPT от Open AI, Gemini от Google, LLaMA от Meta. Есть специализированные модели от других компаний и организаций.Здесь встает первый вопрос - а какую модель выбрать для решения своих задач? LLM отличаются друг от друга типом архитектуры, глубиной сети, количеством параметров, методом обучения и массой других вещей.
Здесь на помощь могут прийти специалисты по машинному обучению (ML Engineer), по обработке естественных языков (NLP Engineer), исследователи искусственного интеллекта (AI Researcher). Впрочем, этим можно заняться и самостоятельно, проверяя различные модели на предмет их ответов. Если речь идет о каких-то общих вопросах, то я сейчас предпочитаю общаться с Gemini 2.0, которая дает довольно развернутые ответы и подсказки.При этом LLM имеет ряд ограничений. Одно из главных - это то, что созданы они на основе пусть больших, но ограниченных данных. Задайте ей вопрос из области общих знаний, и вы получите ответ. Задайте вопрос из узкой области, и получите полет фантазии.Эта проблема решается несколькими способами:1. Fine-tuning. Собираем массив данных по конкретной теме, переводим их в формат, который подойдет для процесса (например, текстовые файлы, csv). Далее, с помощью таких инструментов, как, например, Hugging Face Transformers и PyTorch, "включаем" наши данные в выбранную LLM, меняя ее параметры. Получаем модифицированную модель, которая будет отвечать на ваши специфические вопросы более точно. Недостатки метода: требует серьезных вычислительных мощностей. Если вы будете проводить Fine-tuning модели среднего размера (типа LLaMA 7b), то для PC желательно иметь видеокарту уровня RTX 4070 (процесс задействует в основном GPU карты, а не CPU компьютера) или выше. Кроме того, Fine-tuning может привести к тому, что модель "забудет" какую-либо общую информацию.2. Retrieval-Augmented Generation (RAG). Для этого метода тоже понадобится набор данных, который проходит предварительное индексирование. RAG подбирает релевантную информацию из этого контекста и передает LLM эти фрагменты вместе с исходным вопросом. Для работы связки LLM+RAG можно не знать программные языки, а использовать готовые решения, например, Verba или сервиса Poe. Кстати, оба решения позволяют выбирать из целого ряда LLM.3. Prompt Engineering. Здесь не надо проводить программных манипуляций, а нужно уметь правильно выстроить коммуникацию с моделью, давая на вход подробные подсказки и запросы.Да, LLM требуют правильного обращения, и хорошие новости в том, что пока без человека, особенно без хорошего эксперта в предметной области, не обойтись. Кто-то, как минимум, должен готовить данные, тестировать верность ответов и вообще уметь общаться с "машиной".Теперь про AI-агентов. AI-агенты - это системы, в которых LLM работает как двигатель (либо как элемент, модифицирующий логику процессов, набор действий). Агенты выполняют определенные задачи, например, провести поиск информации в сети и сформировать из нее статью или просто сделать краткую выжимку и потом отправить все это в телеграмм-канал или на почту. Существует уже большое количество инструментов для создания AI-агентов. Вы можете собрать агента под необходимый вам функционал самостоятельно. Например, с помощью таких фреймворков, как n8n, Abacus.ai, Bootpress, Rasa, LangGraph. Да, это не коробочное решение, и использование таких фреймворков не бесплатно, но вы можете собрать систему под себя. Эти фреймворки предоставляют хорошую визуализацию логики сборки агентов.Собственно, сервисы и являются такими решениями, которые не требуют глубоких знаний программирования и детального выстраивания логики. Сервис предоставляет простой интерфейс, который позволяет в пару кликов создать, скажем, генератор изображений.Подводя итог. В ближайшие годы AI не заменит людей, но серьезно изменит подходы к тому, как человек решает задачи. Архитекторы и проектировщики никуда не пропали, когда появились CAD. Они просто поставили кульманы в уголок. Знание предметной области осталось востребованным, но расчеты тех же конструкций здания стали делать быстрее и точнее. Цифровая фототехника поставила крест на проявителях, закрепителях и увеличителях, но умение работать со светом и "ловить кадр" осталось востребованным.
Да, у переводчиков, возможно начинаются сложные времена, но чтобы оценить качество окончательного "машинного перевода", знание языка не отменяется.Можно приводить десятки примеров того, как профессии менялись из-за технологий за последние сорок лет. Главное в том, что пока AI остается "слабым" и "узким" ключевым фактором успеха будет тот, кто ведет с ним диалог - человек. https://www.technocrats.com.ua/llm-ai-agenty-servisy.html
Блог технократа
LLM, AI-агенты и сервисы - Блог технократа
ChatGPT стал доступен широкой общественности в ноябре 2022 года. Хайп вокруг AI-технологий не утихает с тех пор. Громкий выход новых продуктов чередуется с обеспокоенными мнениями техногуру и лидеров общественного мнения относительно перспектив порабощения…