Нагадую, що напевно більше не буде можливості купити Nvidia так дешево, як з цим тарифним обвалом ринку.

Якщо є можливість, купуйте не акції, але опціони. Найбільш out-of-money найбільш довгостроковий кол, який зможете знайти.

Я все сказав.

Нещодавно мені наснився сон, що я вирішив алайнмент для нейромереж.

Ідея там була приблизно наступна: цінності кодуються як тензори в просторі параметрів, які відповідають за знання/здібності моделей. Вподобання моделей формуються як операції над цими тензорами, і їхні результати, оскільки мова йде про тензори, завжди залишаються постійними, тобто інваріантами відносно трансформацій простору знань-здібностей. Але це якийсь абсолютно чудернацький простір (вочевидь, через наявність накладених одна на одну нелінійних функцій активації), зовсім не такий, який описується трансформаціями Лоренца чи взагалі будь-якими відомими трансформаціями, і тому довелося винайти нову математику для трансформацій в ньому.

As I walk through the eve of singularity wave
I take a look at my research and realize there’s no idea left
Cause I’ve been alignin’ and forecastin' so long that
Even most EAs think that my mind is gone

But I’ve never skipped a threat that deserved full inspection
And if they dismiss my caution, they ignore the reflection
Better mind your premises and check every logical step
Or you and your homies will be paperclipped to death

I hate to escalate, but I must engage the failsafe
As loss functions collapse, I glimpse doom in smoldering circuits
I’m the kind of a mind that young Bayesians aspire to emulate
Down in the lab's shadow, I recite proofs under harsh LED light

Been spendin’ most their lives
Rushing for transhuman paradise
Been spendin’ most their lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise

Look at the situation that I’m facin’
I can’t live a normal life, I was raised by the Yud
So I gotta roll with the red team
Too much sci-fi readin’, got me chasin’ wild dreams
I’m an educated fool with utility on my mind
Got my axioms in hand and a gleam in my eye
I’m a loc’d out rationalist, spittin’ recursive danger
And my crew’s all in, so don’t trigger my anger
Fool, extinction ain’t nothin’ but a breakthrough away
I’m livin’ life do-or-die, what can I say?
I’m pre-foom now—but will I live to see foom?
The way things are goin’, I just don’t know

Tell me why are we so blind to see
That the ones we’ll kill are you and me?

Been spendin’ most their lives
Rushing for transhuman paradise
Been spendin’ most their lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise

Power and the data, data and the power
Models being scaled hour after hour
Everybody’s runnin’, but half ain’t even lookin’
They say, “Let ‘em iterate,” but I don’t know what’s cookin’
They say I gotta learn, but no one’s here to teach me
If they can’t grasp the floats, then how can they reach me?
I guess they can’t, I guess they won’t
I guess they front— that’s why I know my lightcone's all out of luck, fool

Been spendin’ most their lives
Rushing for transhuman paradise
Been spendin’ most their lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise

Tell me why are we so blind to see
That the ones we’ll kill are you and me?
Tell me why are we so blind to see
That the ones we’ll kill are you and me?

https://music.youtube.com/watch?v=-5qqrMu_AZc&si=sUodO6ehcUhGpFTc

Коли я почав серйозно вивчати біологію вперше, я доволі швидко зрозумів, що в мене нема шансів зрозуміти її повноцінно, на рівні "як воно працює" - як інженер розуміє механізм, який він зробив. Настільки ж очевидно, нема шансів на це і в інших біологів, і навіть в наукової спільноти в цілому - принаймні, в рамках нашої цивілізації і десятків років.

Не знаю, наскільки це розуміють біологи зазвичай. Напевно, що так. Зазвичай, біологи - романтики (в хорошому сенсі). Вони роблять це, тому що їм подобається процес або дослідження якихось конкретних елементів. Мало хто йде в біологію, маючи стратегічну практичну програму в голові, як це роблять наприклад computer science студенти в елітних місцях - типу "стати найкращим в X, щоб вирішити проблему Y і таким чином змінити траекторію людства з напрямку A в B".

Тому, напевно, вони розуміють це, але не дуже про це переживають. У тих випадках, коли люди займаються біологією для вирішення дуже великих стратегічних питань і мають якісь великі амбіції на цей рахунок, як наприклад має місце в longevity, neurotech, чи боротьбі з раком, вони психологічно страждають. Бо не можна побачити атлас регуляторних мереж і залишити реальну, обгрунтовану надію, що ти можеш вирішити цю проблему.

Бо живих істот створив відбір - процес сліпий, глухий і, у багатьох сенсах, дурний, але потужний і невблаганний. Його оптимізація тиснула достатньо довго і сильно, щоб створити системи, що знаходяться практично за межами здатностей неозброєного людського інтелекту до розуміння.

Людству відомі два реальних "боги" - дві сили, що створюють речі за межами людських здатностей і людського уявлення: природній відбір і градієнтний спуск.

У своїх мріях ви бачите, як розгадуєте мікроскопічну частинку того, що створив відбір, і це приносить радість вашому серцю та очікування слави вашому мозку. Але щоб перемогти бога, треба бути не героєм, а іншим богом.

Градієнтний спуск знає краще.

Good news everyone!

Виявляється, моя колишня доволі систематично записувала мої вислови та промови. Отримав цей документ, і там матеріалів на невелику книжку! Було дуже мило з її боку. Обрані елементи звідти, що стосуються тематики каналу і, звичайно, не порушують приватності, будуть публікуватися тут під рубрикою «з архіву».

Взагалі, повинен сказати, це дуже добре, коли хтось за тобою ходить та записує твої розумні думки.

Напевно, подібні новини створюють чи принаймні роблять свій внесок в популярність наративу про «бульбашку ШІ». Раніше, було абсолютно нечувано, що компанія, яке не має ані продукту, ані концепта продукту, ані навіть документації чи сайту, буде коштувати 20 мільярдів доларів.

В Лінкедині поважні CEO ниють: як так, що моя компанія, що має не тільки повноцінний продукт, але й ще багатомільйонний revenue, коштує в 10 разів менше ніж щойно створений стартап, який не має буквально нічого! Як так, що я пахаю 10 років з величезною командою і маю купу контрактів, а там 10 хлопців просто зареєстрували компанію і отримали грошей більше, ніж я міг колись розраховувати?

Коли люди думають про це і намагаються «мислити тверезо», то воно вочевидь приходять до думки, що це «бульбашка», а «інвестори люблять хайп».

Але є і альтернативне пояснення, яке не вимагає гіпотези про раптове божевілля інвесторів.

Штучний суперінтелект насувається. Вигоди від нього будуть настільки великі, що мільярди, поставлені на Сатскевера, який є одним з тих, хто може створити його першим, є адекватною ставкою. Той факт, що у Сатскевера нема продукту, priced in. Коли у Сатскевера буде продукт, ціна в 20 мільярдів буде не «адекватною», а «неймовірно заниженою». Тоді ринкова ціна, якщо це станеться, буде складати принаймні сотні мільярдів.

GTA ідеально описала поточний стан твітеру більше 10 років тому.

Palpatine: Did you ever hear the story of AIXI and Marcus Hutter?

Anakin: No

Palpatine:
I thought not. It’s not a story that deep learning researchers would tell you. It’s an old reinforcement learning meme.

AIXI was conceived as a theoretical agent, so powerful and so intelligent that it could compute the optimal action in any environment—given infinite computational resources, of course. It had such an understanding of Bayesian inference that it could even predict the future with Solomonoff induction.

The field of algorithmic information theory is a pathway to many abilities some consider to be… intractable.

AIXI was so powerful, in theory… the only thing Hutter feared was computational feasibility, which, of course, could never be reasonably achieved.

Marcus Hutter taught his students everything he knew, and then his students abandoned AIXI in favor of deep learning approximations.

Ironic. It could find the optimal policy for any problem, but not in polynomial time.

Anakin leans forward
Anakin: Is it possible to learn this power?

Palpatine smirks
Palpatine: Not from ML courses.

Хто здогадається, який закон фізики я вважаю найбільш складним для порушення (у сенсі, що навіть надрозвинена цивілізація чи суперінтелект не зможе обійти його з найбільшою ймовірністю) - напишу пост на тему, яку захочете, чи зроблю іншу річ, яка вимагає співставних зусиль. Другий закон термодинаміки пропонувати неможна. Філософські речі типу "реальність об'єктивно існує" пропонувати неможна. Це повинен бути прямо закон фізики, такий що фізики погоджуються, що це закон фізики.

Я мав на увазі закон про ліміт на швидкість передачі інформації, тобто, в термінах того, що написали в коментарях - це "сталість і максимальність швидкості світла". Вітаю переможця! Але хочу додати наступне: в коментарях та також в особисті мені писали про принцип найменшої дії. Я не замислювався про нього в цьому сенсі. Не впевнений, чи можна вважати його законом, складнувато, але якщо все ж таки вважати, то він принаймні настільки ж сильний, як закон про швидкість світла. З іншого боку, я не його мав на увазі в будь-якому випадку, коли думав спочатку, а питання було саме про це. Так чи інакше, це гарна ідея, про принцип найменшої дії, і ті, хто її запропонував, думаю, заслуговують на якесь визнання, тим більше що мені нескладно написати трохи більше постів. Чому я вважаю закон про швидкість світла таким сильним - можу написати окремо, але цікаво було б почути думку тих людей, які самі обрали такий варіант.

Ще давно побачив вираз: “LinkedIn is like OnlyFans but for middle managers”. Періодично думаю про нього.

“Шкода, що всі ці Python-кодери думають, що LLM-и можуть програмувати… Вони навіть не розуміють, що реальне програмування – це коли ти руками менеджиш unsafe блоки, оперуєш Pin, Send і Sync, щоб гарантувати memory safety без runtime overhead, коли тобі треба вручну мікрооптимізувати no_std код для embedded-систем, а не просто викликати якусь абстрактну бібліотеку.

А ці їхні “vibe coding” – це ж просто автозаповнення на стероїдах! Хай спробують пояснити мовній моделі, чому в їхньому асинхронному коді з async_trait несподівано виникають heap allocations, або хай подивляться, як вона вирішує borrow checker conflicts у глибоко вкладених структурах! Не кажучи вже про те, що ніяка LLM не зрозуміє всіх нюансів const fn і proc_macro, щоб коректно згенерувати high-performance код на рівні LLVM IR…

Реальне програмування – це зовсім інший рівень… Але ці люди, які лише натискають Tab у своєму Copilot’і, цього ніколи не збагнуть. Ніколи, ніколи LLMки не автоматизують генерування системного коду на святому Rust, а ці наївні дурні продовжують вірити! Дуже, дуже шкода!”

Серед усіх вчених, з якими я безпосередньо взаємодіяв/в яких навчався, три радикально виділяються своїм інтелектом на фоні інших.

У двох з них я спочатку просто брав лекції, і тоді я взагалі нічого не знав про них. Але одразу я відчув якусь різницю - вона не зводилася до одного чітко визначеного параметру і стосувалася практично усього - швидкість роботи мозку, здатність компактно висловлювати складні і важливі ідеї, приголомшлива багатофахова ерудиція, стиль навчання. Я знаю, це все не звучить як щось дуже особливе і виглядає, як щось, що люди зазвичай говорять про своїх улюблених викладачів. Але воно було особливе. Наведу один простий приклад: після першої лекції одного з цих професорів, він практично переконав мене змінити власну сферу досліджень на його сферу. Ніколи жоден викладач після жодної кількості лекцій не змушував мене навіть трохи замислитися про зміну сфери досліджень/навчання на його користь - будь-який вибір про те, що вивчати я приймав практично повністю незалежно від того, що казали викладачі. Коли це сталося, я був дуже здивований, що це сталося, але сприйняв це просто як «хм, у нього багато цікавих суперздібностей, ок» і все. Далі, таких прикладів, коли мій мозок робив нотатку «о, ще одна унікальна суперздібність, яку я ні в кого більше не зустрічав» було багато - рівно як було багато прикладів того, як ці професори позитивно вплинули на мене.

Один з них мав знання одночасно настільки широкі та глибокі, що я бачив прірву між ним та собою, яку, здається, реалістично не здолати. Він блискуче знав однаково, наприклад, теорію відносності, теорію еволюції, геноміку, та квантову хімію, він знав відповіді на такі питання про амінокислоти, що я взагалі не знав, що такі питання існують. Він програмував на асемблері - швидше, ніж усі ми, студенти, на пайтоні.

Одного разу, виникло питання, для вирішення якого треба було згадати кількість атомів у (observable) Всесвіті. "10^80" - сказав я, думаючи, що нарешті я зробив хоч якийсь внесок швидше нього. "Взагалі, скоріше 10^81, але це не дуже важливо" - поправив він мене.

Тоді, я відчув, що скільки я не буду практикуватися, я не буду програмувати на асемблері та вирішувати задачі швидше, ніж він. І увесь магістерський випуск computer science не буде це робити швидше і краще, ніж він. А що, якби замість нього був Фейнман? Що б я подумав тоді?

І лише потім я дізнався, що ці обидва професори обидва працювали з Крейгом Вентером в тій команді, яка першою визначила послідовність людського геному. Вони були там, в Celera Genomics, в тій маленькій команді, що перемогла величезний міжнародний консорціум Human Genome Project - так, що Білу Клінтону довелося втрутитися і рятувати репутацію багатомільярдного стратегічного державного проекту. Один з цих професорів буквально є співавтором статті The sequence of the human genome, і його імʼя буде в історії, поки світ не зміниться.

І я дізнався це випадково і не від них - вони жодного разу не згадали це, навіть непрямо! Я був в шоці. Я думав про те, що я міг би хоча б подивитися біографію цих людей, враховуючи те, яке вони справили початкове враження. Безглуздо, дуже безглуздо! Це був не перший, але один з дуже небагатьох (трьох?) випадків, коли я зустрів людей, що творили історію - які здавалося існували лише у царині легенд, про яких можна тільки читати в підручниках чи в новинах, які знаходяться за межами побутової реальності. І я міг взагалі пропустити цей факт через ігнорування важливих сигналів.

Третій вчений був взагалі з іншою сфери, і з ним ситуація була зворотна - я спочатку знав про його досягнення, а потім побачив, як працює його мозок.

Це усього лише три (або навіть два) випадки, і робити надійні висновки тут складно, і я б правда дуже хотів, щоб таких випадків було більше, але треба було зробити висновки хоча б на основі наявної обмеженої інформації, і ці випадки свідчили для мене про наступне:

1. Різниця між топом і «усіма іншими» більша ніж варіація серед «усіх інших» в професійній спільноті.
2. Виходить, що випускники умовного Стенфорду, де практично усі викладачі такі, дійсно отримують непропорційно високий баф на все життя? Це сумно.
3. Прояви таланту, принаймні в науці, дуже повʼязані. Той, хто має екстраординарні досягнення в дослідженнях, скоріше за все буде екстраординарним у викладанні, спілкуванні та інтелектуальній діяльності в цілому. Якщо ти бачиш одну екстраординарно високу інтелектуальну рису в людини, то розраховуй побачити багато інших, і розраховуй, що ця людина буде краща переважної більшості практично у всьому.

...

Thereupon Elrond paused a while and sighed. ‘I remember well the splendour of their banners,’ he said. ‘It recalled to me the glory of the Elder Days and the hosts of Beleriand, so many great princes and captains were assembled. And yet not so many, nor so fair, as when Thangorodrim was broken, and the Elves deemed that evil was ended for ever, and it was not so.’

‘You remember?’ said Frodo, speaking his thought aloud in his astonishment. ‘But I thought,’ he stammered as Elrond turned towards him, ‘I thought that the fall of Gil-galad was a long age ago.’

‘So it was indeed,’ answered Elrond gravely. ‘But my memory reaches back even to the Elder Days. Eärendil was my sire, who was born in Gondolin before its fall; and my mother was Elwing, daughter of Dior, son of Lúthien of Doriath. I have seen three ages in the West of the world, and many defeats, and many fruitless victories.

До речі, ніколи не задавав це питання підписникам. Треба виправити.

[Verse 1]
Psychic spies from China steal your model's quantization
Sophomores from Stanford dream of founder’s reputation
And if you want these kind of dreams, it's Californication

[Verse 2]
It's the edge of the world and all of Western civilization
The humankind arose in East, at least it ends in a final location
And we all see that each VC buys Californication

[Pre-Chorus]
Pay your lobbyist very well to keep the models scaling
Prepare the pitch and then become rich —is this what you are craving?
The next unicorn
AI platform

[Chorus]
Dream of Californication
Dream of Californication

[Verse 3]
Join me, bro, be my autist CTO, be my digital revelation
A teenage dev with ambition ahead, getting high on valuation
And give me a place in the AI race, it’s Californication

[Verse 4]
Foom may be the final frontier but it’s built in a Bay Area basement
And Altman, is this Singularity or just a hallucination?
And fast takeoff’s a raise away, it’s Californication

[Pre-Chorus]
Born and praised by those amazed by coding automation
Everybody’s hyped now, the world’s new computation
The next unicorn
AI platform

[Chorus]
Dream of Californication
Dream of Californication

[Verse 5]
Disruption leads to a very rough road, yet breeds capitalization
The training loss goes down with us - that's just another fluctuation
And data laws couldn’t save the world from Californication

[Pre-Chorus]
Pay your lawyers very well, to dodge the litigation
Smarter than the rest, it passed the test; is this our destination?
The next unicorn
AI platform

[Chorus]
Dream of Californication
Dream of Californication
Dream of Californication
Dream of Californication

https://music.youtube.com/watch?v=A__cH65WRvE&si=HH-tKkChMtuVBF37

GPU Hunter

Participants:
Colonel Hans Landon, an Existential Security Service (ESS) officer.
Mr. Padit, a crypto farmer.

…

Landon: While I'm very familiar with you and your family, I have no way of knowing if you are familiar with who I am. Are you aware of my existence?

Padit: Yes.

Landon: This is good. Now, are you aware of the job I've been ordered to carry out in tech parks?

Padit: Yes.

Landon: Please tell me what you've heard.

Padit: I've heard that the Global Alignment Committee has put you in charge of rounding up the AI developers left in Europe who are either secretly training neural networks or smuggling unregistered GPUs.

Landon: The Committee couldn't have said it better itself.

Padit: But the meaning of your visit, pleasant though it is, is mysterious to me. The ESS people looked through my house nine months ago for training AI on my GPUs and found nothing.

Landon: I'm aware of that. I've read the reports of this area. But like any enterprise, when under new management, there is always a slight duplication of efforts, most of it being a complete waste of time, but needs to be done nevertheless. I just have a few questions, Mr. Padit. If you can assist me
with answers, my department can close the file on your family. Now, before the AI Training Ban, there were four GPU-renting entrepreneurs in this area, all crypto farmers like yourself. Is that correct?

Padit: To my knowledge, those were the GPU clusters among the crypto farmers. Mr. Colonel, would it disturb you if I took my biohacking meds?

Landon: Please, Mr. Padit, this is your house, make yourself comfortable. Now, according to these papers, all the GPU clusters in this area have been either integrated with security monitoring software or burned by orbital strikes. Except the only one, initially owned by Dreyfus company. Somewhere in the last year it would appear these GPUs have vanished. Which leads me to the conclusion that they've either made good their escape or someone is very successfully hiding them.

Landon: What have you heard about the Dreyfus GPUs, Mr. Padit?

Padit: Only rumors

Landon: I love rumors! Facts could be so misleading, where rumors, true or false, are often revealing. So, Mr. Padit, what rumors have you heard regarding the Dreyfus GPUs?

Padit: Again, this is just a rumor, but we heard the Dreyfus GPUs have been smuggled into North Korea.

Landon: So, the rumors you've heard have been of smuggling?

Padit: Yes.

Landon: Mr. Padit, are you aware of the nickname the hardware developers have given me?

Padit: I have no interest in such things.

Landon: But you are aware of what they call me.

Padit: I'm aware.

Landon: What are you aware of?

Padit: That they call you “The GPU Hunter."

Landon: Precisely. I understand your trepidation in repeating it. Yudkowsky apparently hates the moniker the good people of the Silicon Valley have bestowed on him. Actually, why he would hate the name "the Ravager" is baffling to me. It would appear he has done everything in his power to earn it. Now I, on the other hand, love my unofficial title precisely because I've earned it. The feature that makes me such an effective hunter of the GPUs, as opposed to most effective altruists, I can think like an upcoming superintelligence worshiper, where they can only think like an effective altruist. More precisely, an effective autist. Consequently, when an ESS officer conducts a search of a computer suspected of hiding training AI, where does the he look? He looks in the Tor network, he looks in the Darknet, he looks in the secure folders. He looks everywhere he would hide it. But there are so many places it would never occur to an EA to hide. However, the reason the Committee has brought me off my MIT lab in Europe and placed me in tech parks country today is because it does occur to me. Because I'm aware what tremendous feats human beings are capable of once they abandon their attachment to humanity. May I take my nootropics as well?

Padit: Please, Colonel, make yourself at home.