Be what they saw in you.

Я задаюся питанням: чому нам так подобається життя? В сенсі живі організмі.

Тому що тиск, який оптимізував емпатію, трохи перепрацював? Або більш абстрактно - тому що вони всі еволюційні родичі? Або ще більш абстрактно - тому що будь-які наносистеми, співставні за морфологічною та функціональною складністю були б цікавими та навіть приємними для людського мозку? Або навіть ширше, бо будь-які достатньо складні і при цьому регулярні системи були б приємними?

Де, на якому рівні загальності, проходить ця межа між "вау, ця система викликає благоговійний захват та глибоке почуття задоволення" та "ну ок, прикольна складна система"?

Чи саме питання неправильне, і зазвичай люди такого не відчувають взагалі?

Чи раділи б ми довільно збудованим ансамблям наномашин, як ми радіємо життю? Достатньо складному, але не аналогічному життю набору стартових позицій в грі Конвея та їх подальшій динаміці? Тому, що відбувається всередині достатньо потужнього ШІ?

That's life!
And as funny as it may seem...

https://www.youtube.com/watch?v=UCENTf_LWYA

Динозаври програли іншим тваринам, а не, скажімо, бактеріям.

Мавпи програли іншим приматам, а не плазунам чи птахам.

Індіанці програли іншим людям, а не місцевим хижакам.

Європейські імперії програли іншим європейським імперіям, а не тубільцям.

Трансгуманісти програли іншим прогресивістам (тобто, ШІ-акселераціоністам), а не традиціоналістам чи консерваторам.

Усе ниття про консерваторів, що бояться ГМО та кібермодифікацій, з самого початку не мало сенсу. З самого початку, вони не були здатні нічого зробити. Найбільш небезпечні вороги - серед найбільш могутніх агентів, а не найбільш ідеологічно далеких агентів. Кожна наступна битва ведеться серед минулих переможців і не повторює попередній розподіл боків.

Ретроспективно, це здається очевидним, але як же це було неочевидно ще 5 років тому! Let us not forget it.

Інший урок, який можна винести з досвіду трансгуманістів та прогресорів - можна бути більш правим, ніж 99,9% людей, і все одно бути летально неправим.

У 20 років я прочитав Бострома, Курцвейла і Вінжа. Я давав лекції про сингулярність, і я мав достатньо інтелекту і нонкомформізму для того, щоб не прогинатися під соціальним тиском і чесно говорити про важливість цієї теми і той факт, що скоро це все може стати реальністю. Але великий космос, я не розумів, про що я кажу! Я був дитиною, насправді. Я майже повністю упускав ряд критичних моментів - частково від недостатньо серйозного підходу до аналізу, частково від необізнаності, частково тому що це просто було неможливо на рівні людського інтелекту.

Не забувайте старий вислів раціоналістів: reality does not grade on curve.

Проблема з трансфером життєвого досвіду до молодших поколінь в тому, що він не генералізується, бо світ змінюється занадто швидко. Я міг би надати екстремально чудові і ефективні поради собі 14-річному в 2012 році, результат від яких виглядав би як суцільне читерство і Мері-Сью-ефект, але ті ж самі поради аналогічній 14-річній людині в 2025 році, ймовірно, не приведуть до майже нічого.

Конференції EA завжди залишають дивний мікс почуттів. З одного боку, там збираються деякі з найкращих людей - надзвичайно розумні, самовіддані, ідеалістичні і морально сильні, фанатики порятунку людства і славетного майбутнього багатьох суперкластерів галактик. З іншого боку, там майже завжди знайдуться куплені фронтирними ШІ компаніями карʼєристи, саруманисти та safety-washer-и, голівудсько-карикатурні доктори зло.

Я нагадую собі постійно:

- Герої, — сказав він, а тоді повернув значок зворотною стороною, — темні чаклуни. Це схожі кар’єрні сходи, і ними крокують схожі люди.

Треба зробити AI Safety Ukraine. Спочатку я подумав, що "не на часі", та і який сенс, але потім подумав, що це дурні контраргументи. Пишіть в особисті, хто зацікавлений в організації. Подивимося, що можна зробити і як саме.

Три найбільш привабливі речі, які може сказати жінка:

1. Ти не винуватий.
2. Я ходжу вночі серед зірок та дерев і дивуюся величній красі світу.
3. Нащадки в суперкластерах раділи б, якби дізналися про нас.

Чи є якісь дослідження чи просто дані по ефективності різних способів вбивства російських солдат та знищення російської техніки на фронті на одиницю інвестицій? В ідеалі, на рівні конкретних засобів, якщо дрони - моделі дронів. Чи може, якщо ви не знаєте, то може знаєте когось, до кого можна звернутися з цим питанням?

Вочевидь, статистика по засобам знищення без даних по затратах теж підійде, бо затрати можна потім оцінити.

Якби у мене був вибір, в який геологічний період відправитися в дослідження крізь час, я б обрав самий початок.

В найбільш радісний і святковий момент в історії досяжного всесвіту. Ну, це не момент, але сприймемо це як момент. Зародження життя і primordial soup. Блискавки, амінокислоти і vents.

В атмосферу, яка існувала до того, як залізо було окислене і кисень вбив майже все архейське життя, і навіть до того, як метан заповнив повітря.

Атмосферу води, вуглецю, сірки та азоту.

Подивитися на цих істот чи прото-істот, інформація про яких, судячи зі всього, втрачена назавжди. Бо не залишилося навіть еволюційних гілок, які можна обʼєднати, щоб реконструювати перший організм.

Як він виглядав? Чому він виник настільки одразу, до того, як Земля охолонула? Чи проглянуться в ньому натяки на усю невимовну в своїй складності і красі машинерію майбутнього життя? Ким були усі родичі LUCA, які не залишили нащадків?

А земля була пуста та порожня, і темрява була над безоднею, і Дух Божий ширяв над поверхнею води.

"The matter of Earth, along with all the other solid planets, is converted into factories, solar panels, power generators, computers—and probes, sent out to other stars and galaxies.
The distant stars and planets will get repurposed, too. Someday, distant alien life forms will also die, if their star is eaten by the thing that ate Earth before they have a chance to build a civilization of their own.
And if the distant aliens were able to solve their own version of the AI alignment problem, and build superintelligences that shared their values? Then in time their probes will run into a wall of galaxies already claimed by the thing that ate Earth.
Those more competent aliens will not be killed by the thing that ate Earth. The optimal defensive and offensive technologies will not be that hard to find for a star-sized mind, and both sides will have had star-sized minds since long before they meet. The two superintelligent parties will both calculate that there is no reason to wage a costly war when they could negotiate a peace, and analyze each other’s mind to verify it.
So the thing that ate Earth will survive, and the aliens sheltering behind their own superintelligence will survive. But millions and billions of stars will be denied to the expansion of a civilization of aliens—who could perhaps have had more fun with those stars, compared to their stranger, sadder use by the uncaring thing that ate Earth. If the aliens were good, all the goodness they could have made of those galaxies will be lost.
The aliens may perhaps know, or predict, that the blight wall was created by people like us. They would know, considering the cases like Earth as a possibility, that most humans meant them no harm; that most of us didn’t mean to waste all those stars; that our poor choices killed us too, and weren’t deliberate or intentional. But nonetheless, they will wish that Earth and human beings had never been."

Це з книжки If Anyone Builds It, Everyone Dies. Нарешті прочитав сьогодні. Нижче я надам ще декілька уривків, які особливо сподобалися.