Gemini 2.5 Pro

بازهم قویتر از قبل روی مباحث مربوط به code نویسی.

با اعلام دیپ‌مایند، مدل Gemini2.5 Pro آپدیت جدیدی رو دریافت کرده که یکی از ویژگی‌های مهم اون بهبود عملکردش روی تسک‌های مربوط به کد نویسی هست.

Deepseek R1

هم توی یک آپدیت خفن و دوس داشتنی؛ حالا برای کدهای بیشتری علاوه‌بر ارائه کد، دیاگرام و جریان اتفاقات رو رسم می‌کنه.

این هفته به مراتب عجیب و غریب هست.
(تصویر مربوط به یک پروژه Django هست ولی قبل از این روی Rust هم تست کردم و دقیق بود)

آپدیت جدید
Gemini2.5 Pro

این ابزار رو برای من غیر قابل استفاده کرده؛ فقط کافیه کمی تاریخچه چت بزرگ بشه (نه اینکه به محدودیت برسه؛ شاید نهایتاً به ۱۶ هزار توکن برسه)

اتفاقی که میوفته اینه که؛ چت‌های آخر رو بطور کامل فراموش می‌کنه و چت‌های قدیمی رو نگه می‌داره (یکی یادش رفته ایندکس منفی بذاره؟)

با چندتا از دوستان هم چک کردم برای اونها هم همین بود (تسک موردنظر برنامه‌نویسی هست.)

یکی لطفاً کامیت‌های آخر رو revert کنه!!!!


فعلاً:
بهترین راهکار اینه که یک سیستم پرامپت آماده کنید؛ و بعد هربار که تغییرات لازم داشتید یک چت جدید ایجاد کنید.
یا اینکه برید روی ابزارهای دیگه.

دقیقاً همین چندروز قبل؛ صحبتی داشتیم با چندتا از بچه‌های سنیور.

بحث AI جدی شد؛ به این نتیجه رسیدیم چندتا نیروی هندی بگیریم (مثل کارهای آمازون، تسلا و ...) بگیم هوش مصنوعی کد هست بدون خطا.


اتفاقاً یک تلاش کوچکی هم روی ساخت ویدئو کردیم؛ ولی تسک زیاد بود و veo3 پولی خلاصه بیخیال شدیم.

اما حالا از صبح خبر builderai رو دارم می‌بینم فقط و میزان سرمایه‌گذاری و درآمدش.


بازم می‌گم؛ AI فقط جایگزین coder‌ها می‌شه و باعث تغییر تعریف نیروی Junior خواهد شد (جونیور مدل فعلی حذف می‌شه)
برای دووم آوردن فقط کافیه :
Software Engineer
بشید؛ همین و بس.

How to survive the rise of AI
by Me

Meta, Deepmind, Cornel, Nvidia

توی یک همکاری؛ جواب این سوال رو دادند که:

How much do LLM memorize

تو مسیر داشتم نگاهی می‌نداختم، ولی باید دقیق بخونم. ولی 3.6bit خیلی خوب نیست

این مدل رو هم داشته باشید به منظور راحتی در طراحی سایت و ساخت کامپوننت‌های React خیلی برای ساخت کل پروژه روش حساب نکنید (برای حالت react میگم)
ولی کامپوننت‌های خوبی میسازه

UIGEN-T3

حتماً این کتاب رو بخونید؛ من Draft اولیه این کتاب از یکی از دوستان بهم رسید (خیلی وقت قبل)

وقتی خوندم همون چندتا فصل اول، لذت بردم واقعاً و شدیداً منتظرش بودم.

حالا که اومده سرفصل‌های کاملش رو دیدم و بنظرم خیلی بهتر از چیزی هست که فکر می‌کردم (البته امیدوارم همش به خوبی draft نوشته شده باشه)

شخصاً توی اولین فرصت خوندن کاملش رو شروع می‌کنم (الان روی ۳ تا کتاب دیگه هستم) و اگر یادم نره بعد از خوندنش نظر دقیق رو روی نسخه منتشر شده خواهم گفت.

Packt Pub LLM Design patterns

تست‌های مختلف روی o3-pro برای تسک‌های برنامه نویسی زمانی ببیشتر از 15 دقیقه برای thinking رو نشون میده؛ نتایج خوب هست ولی واقعا انقدر صبر کردن مناسب هست ؟

ترجیح میدم فکر کردن وظیفه من باشه و تابپ کردن وظیفه LLM یا نهایتا پیشنهاد دادن ولی زیر ۱ دقیقه جواب بگیرم.
قراره به یک دیوار بخوریم ؟ یا اینکه تکنیک‌های دیگه مشکل سرعت رو حل خواهند کرد؟

راستی groq هم Qwen3-32B رو اضافه کرده و سرعت فوق‌العاده‌ای داره

این پست
https://www.tg-me.com/pyHints/801
و پست بعدیش رو بخونید.


معمولاً پست‌های من توی کانال‌های مختلف (خودم) پراکنده هست.

برای همین ۸۰٪ سوالات تکراری رو جواب نمیدم.

لیست کانال‌ها :

@pytens
@pyhints
@pyrust
@per3onal
@pytensMusic

کانفیگ لوکال بنده :

services:
  ollama:
    volumes:
      - ~/.ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    ports:
      - 11434:11434
    restart: unless-stopped
    image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}
    deploy:
      resources:
        reservations:
          devices:
            - driver: ${OLLAMA_GPU_DRIVER-nvidia}
              count: ${OLLAMA_GPU_COUNT-2}
              capabilities:
                - gpu

  open-webui:
    build:
      context: .
      args:
        OLLAMA_BASE_URL: "/ollama"
      dockerfile: Dockerfile
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    ports:
      - ${OPEN_WEBUI_PORT-3000}:8080
    environment:
      - "OLLAMA_BASE_URL=http://ollama:11434"
      - "WEBUI_SECRET_KEY="
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

  qdrant:
    volumes:
      - qdrant_db:/qdrant/storage:z
    image: qdrant/qdrant
    container_name: qdrant
    ports:
      - 6333:6333
      - 6334:6334

volumes:
  open-webui: {}
  qdrant_db: {}

فقط این دیفالت رو از ۲ به تعداد کارت گرافیک تغییر بدید :

${OLLAMA_GPU_COUNT-2}

و از داکیومنت ollama موارد لازم برای راه‌اندازی docker-nvidia رو نصب کنید.

بعد از این مرحله مدل‌های مورد نظرتون رو دانلود کنید:

for model in devstral gemma3:27b deepseek-r1:32b qwen3:32b nomic-embed-text; do                                                                                              
    docker exec -it ollama ollama pull "$model"
done

وقتی این موارد تموم شد roocode رو روی vscode نصب کنید (پیشنهاد می‌کنم از بخش تنظیمات experimental قابلیت codebase indexing رو فعال کنید)

embedding provider: Ollama
Model: nomic-embed-text
ollama url: http://localhost:11434
Qdrant url: http://localhost:6333

علاوه بر این از طریق http://localhost:3000 می‌تونید openweb-ui رو هم داشته باشید.

تعجب کردید چطوری جنگنده‌های اسرائیلی به آسمان مشهد رسیدند ؟

من نکردم؛ چون آسمان بی‌صاحاب شد وقتی سپهبد #نادر_جهانبانی رو برای حفظ حریم هوایی به ناحق کشتید.

حتی موقعی که کشتیدش هم لباس خدمت به وطن رو از تنش در نیاورد ♥️💔

#ایران

وقتی این روزها رو پشت سر گذاشتیم جون مادرتون چندتا کار رو انجام بدید :

۱- از روسیه فاصله بگیرید؛ به جرم جاسوسی بگیرید هرکی که اسم روسیه رو آورد.
نه سوخو داریم
نه s300-s400
نه حمایت
فقط پول رو خرجش کردیم؛ کشوری که پاره شدیم گفتیم تو تاریخ همیشه نامرد بوده برای ما.

۲- مهاجرین غیرقانونی رو اخراج کنید؛ جرم انگاری سنگین بذارید برای ورود‌های غیرقانونی.
با خانواده اخراجشون کنید؛ اینکه فقط مرداشون رو اخراج کنید دوای درد نیست.

۳- تریبون رو از رائفی‌پورها بگیرید؛ بوالله که اگر این‌ها جاسوس نباشند دوست نیستند.
خریت این‌ها مملکت رو به این روز انداخت؛ نذاشتند با دنیا تعامل کنیم.
نذاشتند بخش نظامی تقویت بشه؛ انقدر که با جفنگیات خواستند جلوی بمب و موشک و ... رو بگیرند.
من هنوز هم باور ندارم که این‌ها انقدر احمق باشند؛ تنها موردی که به ذهنم میرسه جاسوس بودن هست.

نمی‌دونم چی بگم دیگه ...
به امید روزای روشن برای ایران عزیزم ♥️

#book

برای ریاضیات AI نمیشه یک کتاب معرفی کرد و بعدش ادعا کرد دیگه هیچی نیاز نیست.

اما این کتاب برای حال حاضر و دستاوردهای فعلی هوش مصنوعی کتاب کاملی هست و ریاضیاتی که لازم دارید رو آموزش میده بنظرم ارزش خوندن توی این روزها رو داره.

پ.ن :

خودم کتاب رو خوندم؛ مثل همیشه کتابی که نخونده باشم رو معرفی نمی‌کنم.

یک شرکتی هم؛ معروف
نظرسنجی گذاشته که ببینه آیا کاربرهاش دسترسی به اینترنت دارند یا خیر.

بنظرتون این نظرسنجی رو کجاها گذاشته ؟

اینستاگرام؛ تلگرام؛ توییتر

بعد می‌گه من تیم مارکتینگ و دیتای بزرگی دارم؛ کمپ آموزشی هم میذاره تازه 😂

یعنی بایاس دیتا ازین بزرگتر و تابلوتر ؟
فقط عشق است اونایی که زدند؛ نه نداریم.

به خدا الان میرن همینایی که زدن نداریم رو هم بعنوان یک دسته میگیرند برای تصمیم گیری.

بقول دوستان :
ازینجا تا خود silicon valley خنده

این مقاله خیلی خیلی توی مباحث مربوط به Quantization مهم هست (حتما بخونید)

قبلتر BitNet توی مقالات دیگه نشون داده بود که نسخه Quantize شده حتی 1bit مدلی با 400B پارامتر می‌تونه حتی بهتر از مدل 70B پارامتری FP16 باشه درحالی که هر دو میزان مشابه‌ای سخت‌افزار مصرف می‌کنند.

اما توی مقالات بعدی BitNet1.58 که قبلتر معرفی کردم؛ نشون دادند با اضافه کردن 0 به Quantization چطور کمک کردند که هم مدل نتایج بهتری رو نشون بده هم سرعت inference بالا بره (به زبان ساده جایی که صفر میشه عملکردی مثل Dropout اتفاق میوفته برای Inference)

اما یک مشکل دیگه هم بود K,V cache رو کسی سراغش نرفته بود؛ توی این مقاله اینکار رو کردند و حالا همون مدل قبلی با Activation که کوانتایز شده با مصرف مموری کمتر می‌تونه context بیشتری رو نگهداره.

خلاصه که بخونید.

BitNet a4.8: 4-bit Activations for 1-bit LLMs

آپدیت:
این رو هم همکارم فرستاد (شخصا هنوز نخوندم) ولی مثل اینکه هدف کم کردن هزینه برای آموزش هست.

BitNet b1.58 2B4T Technical Report
microsoft/bitnet-b1.58-2B-4T on 🤗

چندتا پروژه مهم که توی نبود اینترنت ممکنه از دست داده باشید خبراش رو :


Nano-vLLM: A lightweight vLLM implementation built from scratch.

nanoVLM: simplest repository for training/finetuning a small sized Vision-Language Model with a lightweight implementation in pure PyTorch.

Magenta RT: open-weights live music model that allows you to interactively create, control and perform music in the moment.