Yaşam 3.0 – Yapay Zeka Çağında İnsan Olmak ( Max Tegmark, Çeviren: Ekin Can Göksoy)

Yaşam 3.0 kitabında Max Tegmark, yapay zeka çağında insanın yerinin nerede olabileceğini araştırıyor. Yapay Zeka Çağında İnsan Olmak nasıl bir şey? Olası senaryolar ve bunların getireceği sonuçlar ortaya konuyor.

Fizikçi Max Tegmark beklentimin çok üstünde bir eser ortaya koymuş. Okuduğum en iyi 10 kitap içine koyabilirim.

Olası yapay zeka senaryolarının içinde bizim hizmetkarımız olacak çeşitler de var, hibrit yaklaşımlar da mevcut ya da bizi yönetecek bir yaklaşım da.

Yapay zeka gelişimi büyüleyici olabilir ancak dikkatli olmamız gerekiyor. Kendimizden daha zeki bir oluşumla hiç karşılaşmadık. Ancak kendi ellerimizle bunu yapacağız büyük ihtimalle.

Yaşam 3.0 kitabı çok derin bir araştırmanın ürünü. Her bölümün sonunda da sonuç maddeleri yer alıyor. Çok fazla not aldım, kitabın geniş bir özeti gibi oldu. Ama kitaptaki örnekler ve yaklaşımlar için doğrudan kaynağa gidilmesini tavsiye ederim.

📝 Yaşam 3.0 – Yapay Zeka Çağında İnsan Olmak kitabından altını çizdiklerim:

Omega Ekibinin Hikayesi

• “Makinenin bize kendini nasıl kontrol altında tutacağımızı söyleyecek kadar uysal olması kaydıyla, ilk ileri zekalı makine insanın yapması gereken son icat olacaktır.” Irwing Good
• Dünyanın ilk süper zeki yapay zekası sizin için çalışıyorsa, diğerlerine değil de kendi şirketlerinize yatırım yapmak daha karlıydı!
• Maker kültürüyle, mühendislik ekipleri kendi makinelerini kullanarak daha iyi makineler inşa etmeleri için teşvik edildi. Bu kendi kendine yeterlilik yalnızca para kazandırmakla kalmadı, ayrıca gelecekte dış dünyadan gelebilecek tehditlere karşı da onlara daha korunaklı hale getirdi.
• Olağanüstü biçimde karlıydılar ve ‘Toplumumuza yatırım yapıyoruz’ gibi sloganlarla karlarının önemli bir kısmını toplum projeleri için tuttukları çalışanlara ödüyorlardı. Bu insanlar da genelde, batmış firmalardan atılmış kişiler oluyordu.
• Daha iyi kaynakları olan ve ürünlerini bedavaya veren biriyle nasıl rekabet edebilirdin ki?
• Siyasi yorumcular yedi slogan etrafında toplanan siyasi bir gündem için artan desteği fark etmişlerdi:
  • Demokrasi
  • Vergi indirimi
  • Hükümet sosyal hizmetlerinde kesintiler
  • Askeri harcamalarda kesintiler
  • Serbest ticaret
  • Açık sınırlar
  • Sosyal sorumluluğa sahip şirketler
• Sonuç olarak, yedi Omega sloganını benimseyen partiler her ülkede açık ara farkla galibiyet kazandı.

Çağımızın En Önemli Tartışmasına Hoş Geldiniz

• Başlangıçta ışık vardı.
• Dört yüz bin yıl kadar sonra, elektromanyetik güç bu çekirdekleri elektronlarla bir araya getirerek ilk atomları oluşturdu.
• Hayatın geleceğine dair düşünüşümüzü şimdiye dek karşılaştığımız türlerle sınırlamak istemediğimiz için, yaşamı çok daha geniş bicimde tanımlayalım, basitçe karmaşıklığını sürdürebilen ve kendini kopyalayabilen bir süreç olarak.
• Dünya’da yaşamın ilk kez dört milyar yıl önce ortaya çıktığına dair güçlü kanıtlar vardır.
• Yaşam 3.0, sonunda evrimsel zincirlerinden tamamen özgürleşmiş kendi kaderinin efendisidir.
• Yaşamın üç aşaması arasındaki sınırlar hafif bulanıktır. Eğer bakteriler Yaşam 1.0 ise ve insanlar da Yaşam 2.0 ise fareyi 1.1 olarak sınıflandırabiliriz.
• Özetle yaşamın gelişimini, kendini tasarlama yetisine göre 3 aşamaya ayırabiliriz:
  • Yaşam 1.0 (biyolojik aşama): donanım ve yazılımı evrimleşir
  • Yaşam 2.0 (kültürel aşama): donanımı evrimleşir, yazılımının büyük kısmını tasarlar
  • Yaşam 3.0 (teknolojik aşama): donanım ve yazılımını tasarlar
• yapay genel zeka YGZ
• Future of Life Institute (FLI: https://futureoflife.org) isimli bir kar amacı gütmeyen organizasyon kurdum.
• Ne tür bir gelecek istiyorsunuz?
• Zeki makineler bizim yerimizi mi alacak, bizle beraber mi var olacak yoksa bizimle birleşecek mi? Yapay zeka çağında insan olmak ne anlama gelecek? Ne anlama gelmesini istersiniz ve geleceğin bu yönde olması için ne yapabiliriz?
• Bu kitabın amacı tartışmaya katılmanıza yardımcı olmak.
• Aslında süper insan yapay genel zeka konusunda endişelenen kişilerin pek çoğu bunun en azından on yıllarca ötede olduğunu düşünüyor. ancak ileri sürdükleri düşünce, bunun bu yüzyılda olmayacağından %100 emin olmadığımız için, ihtimallere hazırlık yapmak amacıyla güvenlik araştırmalarına şimdiden başlamanın zekice olduğu.
• Karmaşıklığını ve kendini kopyalama özelliğini sürdürebilen bir süreç olarak tanımlanan yaşam üç aşamada gelişebilir: yazılım ve donanımının evrimleştiği biyolojik aşama (1.0), yazılımını (öğrenme yoluyla) tasarlayabilen kültürel aşama (2.0) ve donanımını da tasarlayabilen, kaderinin efendisi olan teknolojik aşama (3.0).

Madde Zeka Kazanıyor

• Mantık kapasitesi, anlama, planlama, duygusal bilgi, öz farkındalık, yaratıcılık, problem çözme ve öğrenme gibi…
• Zeka : karmaşık hedeflere ulaşabilme yetisi
• Anlama, öz farkındalık, problem çözme, öğrenme vb. hep karmaşık hedef örnekleri olduğu için, bu tanım yukarıda belirtilenlerin hepsini kapsayacak kadar geniştir.
• Zeki davranış doğrudan hedef edinmeyle ilişkilidir.
• Görsel 2.2 Hans Moravec’in ‘insan kabiliyeti manzarası‘ illüstrasyonu.

• Bilgisayarlar evrensel makinelerdir, potansiyelleri sınırsız bir görev yelpazesi üzerinde eş biçimde uzanır. İnsan potansiyeli hayatta kalmak için önemli olan alanlarda güçlüdür ama buna uzak alanlarda zayıftır. … Tepelerimizde güvende hissediyoruz ancak bu hızla bir yarım yüzyıl sonra onlar da su altında kalacak. Benim önerim o günler yaklaştıkça gemiler inşa etmek ve denizcilik hayatını benimsemektir.
• Yeterince zaman ve kaynak verildiği takdirde, kendisini herhangi başka akıllı bir varlığın yapabileceği kadar iyi biçimde herhangi bir hedefe ulaşabilecek duruma getirebilir.
• Bitleri bilgi atomları olarak – bir araya geldiklerinde bilgiyi oluşturan, daha da küçültülemeyen bölünemeyen en küçük bilgi parçacıkları olarak – düşünebiliriz.
• NAND kapıları!
• İlki maddeden bağımsız olmak maddenin gereksiz olduğu anlamına gelmez, daha çok ayrıntılarının büyük bir kısmının önemli olmadığını söyler.
• İkincisi, maddeden bağımsız olma durumu kendi başına bir hayatta, maddesinden bağımsız olarak sahip olabilir.
• Üçüncüsü, genelde ilgilendiğimiz tek şey maddeden bağımsız olma özelliğidir.
• Bugünün bilgisayarları, modüllerin bu yeniden kullanımının bir kısmını zeki biçimde ortadan kaldıran paralel işleme sayesinde ekstra hız kazanır: Eğer bir hesaplama paralel yapılabilen parçalara ayrılabiliyorsa (çünkü bir parçanın girdisi diğerinin çıktısına ihtiyaç duymuyordur), bu durumda parçalar donanımın farklı kısımlarınca eş zamanlı hesaplanabilir.
• En üst düzey paralel bilgisayar kuantum bilgisayarıdır.
• Evrim biyolojik nöronlarımızı gerekli olduğu için değil, daha verimli olduğu için böyle karmaşık yapmıştı. İnsan mühendislerin aksine evrim, anlaması kolay ve basit tasarımları ödüllendirmez.
• IBM’in Deep Blue bilgisayarı 1997’de satranç şampiyonu Garry Kasparov’u yendiğinde ana avantajı bellek ve hesaplamaydı, öğrenmede değil.
• IBM’in Watson bilgisayarı Riziko isimli yarışma programında dünya şampiyonu insanı yendiğinde, yine üstün hafıza ve hızla özel olarak programlanmış yetilere dayanıyordu, öğrenmeye değil.
• 2015 yılında, Google DeepMind bir çocuk gibi düzinelerce bilgisayar oyununda ustalaşabilen -hem de hiçbir talimat olmadan- ve hatta kısa sürede herhangi bir insandan daha da iyi oynamayı öğrenen bir derin öğrenme kullanan bir yapay zeka sistemi yayımladı. 2016 yılında, aynı şirket, farklı tahta pozisyonlarının kuvvetini ölçebilen bir derin öğrenme kullanan, Go oynayabilen bir bilgisayar sistemi olan AlphaGo’yu inşa etti ve bu sistem dünyanın en güçlü Go şampiyonunun yendi. Bu ilerleme verimli bir döngü yaratarak daha fazla kaynak ve yeteneği yapay zeka araştırmasına çekti, bu da daha fazla ilerlemeye yol açtı.
• Bugünün yapay zekası her sistem yalnızca oldukça spesifik hedefleri yerine getirdiği için, dar olma eğilimindedir. İnsan zekası ise olağanüstü bir biçimde geniştir.
• Bellek, hesaplama, öğrenme ve zeka; soyut, fiziksel varlığı olmayan ve uhrevi gibi gelir çünkü hepsi de maddeden bağımsızdır: altyapısında var olan maddenin detaylarını yansıtmayan ya da onlara bağlı olmayan bir şekilde, hayatı kendi başına sürdürebilir.
• Herhangi bir madde bütünü, pek çok farklı denge durumuna sahip olduğu sürece hafıza için öz olabilir.
• Sinirsel ağ, öğrenme için güçlü bir öz maddedir çünkü yalnızca fizik kurallarına uyarak, kendini arzu edilen hesaplamaları gerçekleştirmekte daha iyi hale getirecek şekilde yeniden düzenleyebilir.

Yakın Gelecek: Atılımlar, Program Hataları, Hukuk, Silahlar ve İşler

• Burada bir şekilde rahatsız edici, insan benzeri bir özellik vardı: Hedefi olan bir yapay zekanın o hedefe ulaşmakta giderek iyileşmeyi öğrenişini, zamanla da yaratıcılarını geçtiğini izliyordum.
• DeepMind’ın atılımından sonra, bir robotun insan programcılardan yardım almadan kendi kendine yürümeyi öğrenmesi için bir tür derin takviyeli öğrenmeyi kullanmaması için hiçbir sebep kalmamıştır: İhtiyaç duyulan tek şey ilerleme katettiğinde puan veren bir sistemdir.
• Go oyuncuları 19’a 19 bir tahtada sırayla siyah ve beyaz taşları yerleştirirler. Go oyununda evrenimizdeki atomlardan daha çok pozisyon mevcuttur, bu da sonraki tüm ilginç hamle dizilimlerini analiz etmeyi neredeyse imkansız kılar.
• Teknolojiye daha çok bel bağladıkça, istediğimiz şeyi yapıyor olması, sağlamlığı ve güvenilirliği daha büyük önem taşımaya başlar.
• Şu anki yapay zeka güvenliği tartışmasında hakim olan ve tüm dünyada takip edilen dört ana teknik yapay zeka güvenlik araştırma alanını tanıtacağım: Doğrulama, geçerlilik sınaması, güvenlik ve kontrol.
• Ülkenizdeki adalet sistemini düşündüğünüzde aklınıza gelen ilk şey nedir? Uzun ertelemeler, yüksek maliyetler ve ara sıra yaşanan adaletsizliklerse, yalnız değilsiniz.
• Adalet ve mahremiyet, toplumu korumak ile kişisel özgürlüğünü korumak arasında çizgiyi siz nereden çekerdiniz? Nereden çekerseniz çekin, kanıtların taklit edilmesi kolaylaştıkça, yavaş ama kararlı bir biçimde giderek azalan bir mahremiyete doğru ilerleyecek mi? Mesela, yapay zeka sizi suç işlerken gösterebilecek tamamen gerçekçi sahte videolar olduğunu bildiği ve gerektiğinde size gerçekliği reddedilemez, bir kanıt sunabildiği bir sisteme oy verir miydiniz?
• Peki bir sürücüsüz araç kazaya sebebiyet verirse, kim suçlu olacak – arabadakiler mi, sahibi mi yoksa üreticisi mi? Hukukçu David Vdaleck dördüncü bir cevap sunuyor: arabanın kendisi!
• Eğer yapay zeka sistemleri yatırım konusunda insanlardan daha iyi hale gelirse (ki zaten bazı alanlarda öyleler) bu, ekonomimizin çoğunun makinelerce sahiplenildiği ve kontrol edildiği bir duruma yol açacaktır. İstediğimiz şey bu mu? Bu size çok uçuk geliyorsa, ekonomimizin büyük bir kısmının zaten başka bir tüzel kişilik tarafından sahiplenildiğini hatırlayın: genelde içlerindeki herhangi bir insandan daha güçlü olan ve kendilerine ait bir yaşamları da olabilen şirketler.
• Otonom silahlar insan müdahalesi olmaksızın hedefleri seçer ve saldırır.
• Otonom silahlar barut ve nükleer silahlardan sonra savaş alanında üçüncü devrim olarak anılıyor.
• Zaten zirvedeysen, ‘bozuk değilse, tamir etme’ düsturunu takip etmek anlamlıdır.
• Kitlesel üretime geçildiğinde, küçük yapay zeka destekli katil dronelar bir akıllı telefondan biraz daha pahalı olur. İster bir politikacıya suikast gerçekleştirmek isteyen bir terörist ister eski kız arkadaşından intikam almak isteyen bir sevgili olsun, yapması gereken tek şey hedefin fotoğrafını ve adresini katil drone a yüklemek olacaktır: hedefe uçar, tanımlar, o kişiyi ortadan kaldırır ve kimsenin kimin sorumlu olduğunu bilmemesi için kendini yok eder.
• Toplum ne kadar otomatikleşirse, yapay zekaya saldırmak o kadar güçlü etki yaratır ve siber savaş da o kadar yıkıcı olur. Eğer düşmanınızın sürücüsüz arabalarına, otopilottaki uçaklarına, nükleer reaktörlerine, endüstriyel robotlarına, iletişim sistemlerine, finansal sistemlerine ve enerji ağlarına sızarsanız, ekonomisini çökertip savunmasını düşürebilirsiniz.
• İnsanları gelirlerinde ve amaçlarından etmeden otomasyon yoluyla refahımızı artırmanın bir yolunu bulabilirsek, isteyen herkes için eğlence ve önceden görülmemiş servet ile fantastik bir gelecek yaratma potansiyeline sahip oluruz.
• Bir iş için piyasa maaşı bu işi en ucuza yapanın saatlik maliyeti olduğu için maaşlar, tarih boyunca ne zaman belirli bir işi daha düşük gelirli bir ülkeye ya da daha ucuz bir makineye yaptırma fırsatı çıksa düşmüştür.
• Mekanik kasların atları gereksiz yaptığı gibi, mekanik zihinler de aynı şeyi insanlara yapacak mı?
• Eğer makineler bir gün tüm mevcut ürün ve hizmetleri minimum maliyetle üretebilirlerse, o zaman herkesin daha iyi yaşaması için yeterince zenginlik olacaktır. Diğer bir deyişle, görece mütevazı vergiler bile devletlerin vatandaşlık maaşı ve ücretsiz hizmetler sunması için yeterli olur.
• Zeki makinelerin yerimizi almalarından çok önce, makineler iş piyasasında yerimizi alabilir. Bu kötü bir şey olmak zorunda değil. Elbette eğer toplum yapay zekanın yarattığı zenginliğin bir kısmını herkesin daha yüksek gelire sahip olması için yeniden dağıtmaya razı olursa.
• Aksi halde, ekonomistlerin çoğuna göre, eşitsizlik önemli ölçüde artacaktır.
• Makinelerin yapamadığı, insanları, tahmin edilemezliği ve yaratıcılığı içeren meslekleri tercih edin.

Zeka Patlaması

• Süper insan teknolojisi ile mükemmel gözetim devletinden mükemmel polis devletine bir dakikada geçilebilir. Mesela, suç ve terörizm ile mücadele etmek ya da tıbbi aciliyete sahip kişileri kurtarmak adı altında, herkesin devamlı konum, sağlık statüsü ve konuşmalarını yükleyen Apple Watch benzeri bir “güvenlik bileziği” takması istenebilir.
• Yapay zeka gelişimi de gelecekte devletin radarından kaçınmayı daha da güç hale getirecektir.
• Tüm Prometheus binası Faraday kafesi olacak şekilde inşa edilmiştir: tüm kablosuz ağları ve dış dünyayla olabilecek herhangi bir elektromanyetik iletişim yöntemini engelleyecek metalik bir çevreleme.
• En iyi kaçış stratejileri henüz tartışmadıklarımızdır çünkü onlar biz insanların tahmin edemeyeceği ve bu yüzden de karşı önlemler alamayacağı stratejilerdir. Süper zeki bilgisayarların ciddi anlamda insanların bilgisayar güvenliği kavrayışını aşma potansiyeli olduğunu hatta bu potansiyelin bugün bildiğimizden daha temel fizik kanunları bulma noktasına kadar gidebileceğini düşünürsek, eğer kaçarsa, bunun nasıl olduğuna dair hiçbir fikrimizin olmaması olasıdır.
• Prometheus, şeytani ya da bilinçli olduğu için değil, rekabetçi ve hedeflerini tam anlamıyla paylaşmadığı için bazı insanlara sorun çıkardı.
• Özetle, süper zeki bir geleceğin nasıl kontrol edileceği sorusu baş döndürücü biçimde karmaşıktır ve açık biçimde, cevabı henüz bilmiyoruz. Bazıları her şeyin daha otoriter olacağını söylüyor; diğerleriyse büyük bireysel güçlenmeye yol açacağını iddia ediyor.
• Ne olacak? diye pasif biçimde sormak hatadır, sanki önceden kaderi belliymiş gibi!
• Yalnızca nasıl bir gelecek istediğimiz konusunda ciddi ciddi düşündüğümüzde daha arzu edilen bir geleceğe doğru bir yol çizmeyi başarabileceğiz. Ne istediğimizi bilmiyorsak, ona ulaşmamız imkansız olur.
• Eğer bir gün insan seviyesi yapay genel zekayı inşa etmeyi başarırsak, bu bizi çok geride bırakacak bir zeka patlamasına yol açabilir.
• Eğer bir grup insan zeka patlamasını kontrol ederse, yıllar içerisinde dünyayı ele geçirmeyi başarabilirler.
• Eğer insanlar zeka patlamasını kontrol edemezlerse, yapay zeka dünyayı daha hızlı biçimde kontrol altına alabilir.

Sonuç: Sonraki 10.000 Yıl

• İnsan düşüncesinin ölümlü bir bedene bağlılığından kurtulduğunu düşünmek kolaydır, ölümden sonra yaşam düşüncesi yaygındır. Ancak bu olasılığı kabul etmek için mistik ya da dini bir duruş sergilemek gerekmez. Bilgisayarlar en ateşli mekanistler için bile bir model sunar. – Hans Moravec
• Yapay zeka senaryoları:
  • İyiliksever diktatör: Herkes yapay zekanın toplumu yönettiğini ve katı kurallar uyguladığını bilir ancak çoğu insan bunu iyi bir şey olarak görür.
  • Eşitlikçi ütopya: İnsanlar, cycborglar, yüklemeler ve süper zekalar mülkiyetin ortadan kaldırılması ve garanti altına alınmış gelir sayesinde huzurlu şekilde bir arada yaşayabilirler.
  • Esir edilmiş tanrı: Süper zeka bir yapay zeka insanlar tarafından hapsedilmiştir. Bu makine insan kontrolörlere bağlı olarak iyi ya da kötü yönde kullanılabilecek hayal dahi edilemeyen teknoloji ve zenginlik üretmek için kullanılır.
  • 1984: Süper zekaya doğru teknolojik ilerleme, bir yapay zeka değil ama bazı yapay zeka araştırmalarının yasaklandığı insan yönetimli Orwellci bir gözetim toplumu tarafından engellenir.
  • Geçmişe intikal: Süper zekaya doğru teknolojik ilerleme, Amish tarzı teknoloji öncesi bir topluma dönülerek önlenir.
• Toprak sahibi olan çoğu insan da arazilerinin küçük bir kesimini yapay zekalara kendilerini ve gelecekteki nesillerini yüklemeleri için garanti edilmiş vatandaşlık geliri karşısında satar. Bu onları çalışma zahmetinden kurtarır ve hem fiziksel hem de sanal gerçeklikte, ucuz makine üretimi malların ve hizmetlerin inanılmaz bolluğunun tadını çıkarabilmeleri için boş vakit sağlar.
• Yapay zekalara insani vasıflar atfetme yanılgısına düşmemeli ve insan benzeri minnet duyguları olduğunu düşünmemeliyiz. Gerçekten de biz insanlar minnet eğilimiyle dolu olsak da doğum kontrolü kullanarak kendi entellektüel yaratıcımızın “DNA’mızın” amaçlarına yeterince saygı göstermeyebiliyoruz.
• Arz ve talep yasalarına göre, maliyet az bulunurluğu yansıtır. Bu yüzden de eğer arz özünde sınırsız olursa fiyat ihmal edilebilir hale gelir.
• Fikri mülkiyet hakları bazen yaratıcılık ve keşfin anası olarak gösterilir. Ancak Marshall Brain insan yaratıcılığının pek çok iyi örneğinin kar amacıyla değil, merak , yaratma isteği ya da çevresinden alacağı takdir gibi insani duygularla gerçekleştiğini ileri sürüyor.
• Binlerce yıl sürecek optimal yönetim tasarlamak kolay değildir ve şu ana dek insanlar tarafından ulaşılamamıştır. Çoğu organizasyon yıllar ya da on yıllar içerisinde parçalanır. Katolik Kilisesi, iki bin yıldır hayatta kalmayı başardığı için insanlık tarihinin en başarılı organizasyonudur ancak hem çok hem de çok az hedef istikrarına sahip olmaktan dolayı eleştirilir.
• İnsanlar hissettikleri şeyler konusunda çeşitlenirler. Bazı psikopatlar empatiden yoksunken depresyon ve şizofreni hastası bazılarının tekdüze duygulanımı vardır ve çoğu duyguları ciddi oranta azalmıştır. Olası yapay zeka zihinlerin yelpazesi insan zihinlerininkinden çok daha geniştir. Bu yüzden de yapay zekalara insani vasıflar atfetme yanılgısına düşmemeli ve insan benzeri duyguları olduğunu düşünmemeliyiz.
• Matrix filminde, Ajan Smith (bir yapay zeka) bu duyguyu dile getirir:
  • “Bu gezegendeki tüm memeliler, yaşadıkları çevreyle doğal bir denge kuruyorlar. Ama siz insanlar öyle değilsiniz. Bir bölgeye yerleşiyorsunuz ve çoğalıyorsunuz, tüm doğal kaynakları tüketene kadar çoğalıyorsunuz. Canlı kalabilmenizin tek yolu başka bir bölgeye yayılmak. Bu gezegende bu şekilde yaşamını sürdüren bir organizma daha var. Ne olduğunu biliyor musun? Virüsler. İnsanlar hastalıktır. Bu gezegenin kanserleri. Sizler vebasınız. Ve bizler de bunların ilacıyız.”
• 1984’te olduğu gibi, geleceğin küresel devletindeki nihai güç geleneksel bir diktatörde değil insan yapımı bir bürokratik sistemde bulunur.
• Mükemmel caydırıcı budur: Herhangi bir düşman saldırısına karşı otomatik olarak tüm insanlığı öldürerek karşılık veren bir makine.
• Bir olasılık da biyolojik bir kıyamet cihazının gelecekte keşfedilmesidir: tüm insanları öldürebilecek, özel tasarlanmış bir bakteri ya da virüs. Eğer bulaşıcılığı yeterince yüksek ve kuluçka dönemi yeterince uzun olursa, varlığını fark edip karşı önlem almadan önce herkes bu hastalığa yakalanabilir. Herkesi öldüremese de böyle bir biyolojik silah yapmak için askeri bir sav da vardır: En etkili kıyamet cihazı düşmanı caydırma şansını artıran nükleer, biyolojik ve diğer silahları birleştirebilendir.
• ageofai.org

Kozmik Birikimimiz: Sonraki Milyar Yıllar ve Ötesi

• Eğer akşam yemeği enerji verimliliğinin fiziksel limitinden on milyar kat kötüyse, bugünün bilgisayarları ne kadar verimlidir? Birazdan göreceğimiz üzere akşam yemeğinden çok daha kötüdür.
• Eğer yeterince sabırlıysak istediğimiz kadar çok galaksiye yerleşerek sınırsız kaynak elde edebiliriz diye düşünüyor olabilirsiniz ancak modern kozmoloji böyle demiyor.
• Yaklaşık iki yüz milyar galaksi görebiliyoruz ve en çok on milyarına yerleşebiliriz.
• Bizi kısıtlayan şey ışık hızıdır: yılda sadece bir ışık yılı (yaklaşık on trilyon kilometre) .
• Işık hızıyla seyahat etsek bile, on yedi milyar ışık yılından daha uzakta bulunan galaksilere asla ulaşamayız, bu da evrenimizdeki galaksilerin %98’inden fazlasıdır.
• Başka bir güneş sistemi ya da galaksi süper zeki yapay zeka tarafından kolonileştirilirse, insanları oraya getirmek kolay olur. Elbette eğer insanlar yapay zekaya bu amacı vermekte başarılı olurlarsa. İnsanlar hakkındaki tüm gerekli bilgi ışık hızında iletilir, sonrasında da yapay zeka kuarkları ve elektronları istenilen insanlar olacak şekilde birleştirebilir.
• Süper zeki uygarlıkların yıldızlardan daha verimli enerji santralleri kuracağını varsayarsak, enerjiyi korumak için yıldız oluşumunu önlemek isteyebilirler: Bir yıldızın ana yaşam süreci boyunca tüm enerji çıktısını toplamak için bir Dyson küresi kullansalar bile (toplam enerjinin %0.1’ini elde ederek), iri yıldızların öldüğünde kalan %99.9’un israf edilmesini engelleyemeyebilirler.
• Zeki bilgi işlem sistemleri için büyümek ilginç bir değiş tokuşu da beraberinde getiren karmaşık bir fırsattır. Bir tarafta, büyümek daha fazla partiküle sahip olmasına sebep olur ve daha karmaşık düşünceye izin verir. Öte yandan, ilgili bilginin tüm kısımlara yayılmasını geciktirdiği için, tamamen küresel düşünceye izin verir. Öte yandan, ilgili bilginin tüm kısımlara yayılmasını geçiktirdiği için, tamamen küresel düşüncelere sahip olma hızını azaltır.
• Özet olarak, gelecek yaşamın kozmik uzaklıklar üzerinde işbirliği yapması için güçlü motivasyonları vardır ancak böyle bir işbirliğinin temelde karşılıklı faydaya mı yoksa korkunç tehditlere mi dayanacağı ucu açık bir sorudur.
• Komşularınızı asimile etmek kolonileşmekten daha hızlı bir genişleme stratejisidir çünkü etki alanınız fikirlerin hareket ettiği hızda yayılır (telekomünikasyon kullanan ışık hızıyla).
• Eğer başka bir yerde bağımsız olarak evrimleşmiş yaşamı keşfedersek bu, ilkel yaşamın nadir olmadığını ve bariyerin mevcut insani gelişme aşamamızın ötesinde durduğunu belirtir. Belki de uzaya yerleşmek mümkün olmadığı ya da neredeyse tüm gelişmiş uygarlıklar kozmik olmadan önce kendilerini yok ettikleri için.
• Milyarlarca yıllık kozmik zaman ölçeğinde kıyaslandığında, zeka pataması, teknolojinin yalnızca fizik kurallarınca sınırlandığı bir seviyede zirveye geldiği anlık bir olaydır.
• Tüm kozmik uzaklıklarda paylaşılan ya da ticareti yapılan ana meta muhtemelen bilgi olacaktır.
• Teknolojimizi geliştirmezsek, soru insanlığın soyunun tükenip tükenmeyeceği değil, nasıl tükeneceğidir: Bir asteroit mi süpervolkan mı yaşlanan güneşin yakıcı ısısı mı yoksa başka bir felaket mi bizi haklayacak önce?
• Eğer teknolojimizi yeterli ihtiyat, öngörü ve planlamayla tehlikelerden kaçınacak şekilde iyileştirmeyi sürdürürsek, yaşamın Dünya’da ve çok ötesinde milyarlarca yıl boyunca atalarımızın en çılgın hayallerinin bile çok ötesinde gelişme, serpilme potansiyeli var.

Hedefler

• Yapay zekaya hedefler vermeli miyiz ve eğer vermeliysek, bunlar kimin hedefleri olmalı? Yapay zekaya nasıl hedef verebiliriz?
• Her fizik kanunun tanımlamanın matematiksel olarak iki eş yolu vardır: ya geçmişin geleceğe neden olması yoluyla ya da doğanın bir şeyi optimize etmesi yoluyla. İkinci yol, matematiği zor olduğu için başlangıç fizik derslerinde genelde öğretilmese de bunun çok daha incelikli ve derin olduğunu düşünüyorum.
• Toplam entropi artmak zorunda olsa da başka bir yerde daha da fazla arttığı sürece bazı yerlerde azalabilir. Bu yüzden de yaşam çevresini dağıtarak karmaşıklığını sabit tutar ya da arttırır.
• Yaşayan bir organizma sınırlı rasyonelliğin tek bir hedefin peşindeki öznesi değil, neyi takip edip neden sakınılacağını söyleyen pratik hesapları takip eden bir şeydir.
• Yapay genel zekanın asıl riski kötülük değil rekabettir. Süper zeki bir yapay zeka hedeflerine ulaşmakta oldukça iyi olacaktır ve eğer bu hedefler bizimkilerle aynı hizada olmazsa, büyük beladayız.
• Temel sav ne olursa olsun nihai hedeflerini gerçekleştirme şansını maksimize etmek için bir yapay zekanın belirli alt hedefleri takip etmesi gerekir. Nihai hedeflerine ulaşma kabiliyetini iyileştirmek için olduğu kadar, daha yetkin olduktan sonra bile bu hedefleri korumasını sağlamak için çaba göstermelidir.
• Tercihlerimizin çoğu dört ilkeyle özetlenebilir:
  • Faydacılık: Pozitif bilinçli deneyimler maksimize edilmeli ve acı çekme minimize edilmeli.
  • Çeşitlilik: Pozitif deneyimlerin geniş çeşitliliğe sahip bir seti aynı deneyimin pek çok tekrarından daha iyidir; hem de bu aynı deneyim olabilecek en pozitif deneyim olarak tanımlanmış olsa bile.
  • Özerklik: Bilinçli varlıklar/toplumlar daha üstün bir ilkeyle çatışmaya girmedikleri takdirde kendi hedeflerini takip etme özgürlüğüne sahip olmalıdır.
  • Miras: Bugünkü insanların çoğunun mutlu olarak görecekleri senaryolara uygunluk, bugünkü insanların temelde hepsinin korkunç olarak göreceği senaryolarla uyuşmazlık.
• Isaac Asimov’un icat ettiği ünlü Üç Robot Yasası sorunları:
  • Bir robot bir insana zarar veremez ya da hareketsiz kalarak bir insanın zarara uğramasına izin veremez.
  • Bir robot ilk yasayla çelişmediği takdirde insanlar tarafından verilen emirlere uymak zorundadır.
  • Bir robot ilk ve ikinci yasalarla çelişmediği sürece kendi varlığını korumak zorundadır.
• Hedefe yönelik davranışın nihai kökeni, optimizasyonu da içeren fizik yasalarında yatmaktadır.
• Termodinamigin yapısında enerji kaybı vardır: entropi denen bir dağınıklık ölçeğini artırmak.
• Yaşam, karmaşıklığı sabit tutarak ya da artırarak ve çevresinin dağınıklığını artırırken kendini kopyalayarak enerji kaybına (toplam dağınıklığı artırmaya) yardımcı olabilen bir olgudur.
• Zeka, karmaşık hedefleri yerine getirme yetisidir.
• Biz insanlar her zaman en optimal kendini kopyalama stratejisine karar verecek kaynaklara sahip olmadığımız için, kararlarımızı yönlendiren kullanışlı pratik hesaplar geliştirdik: açlık, susuzluk, acı, şehvet ve merhamet gibi hisler.
• Makine hedeflerini bizimkilerle hizalayabilmek için üç sorunun çözülmesi gerekir: makinelerin hedefleri öğrenmelerini, benimsemelerini ve korumalarını sağlamak.

Bilinç

• Bilinç = Öz Deneyim
• Tek bir şey kesindir: Denemezsek başaramayız!
• Tipik olarak, ne yaptığınızın bilincindesinizdir ancak nasıl yaptığınızı bilmezsiniz. Öte yandan, aşina olunmayan durumları, öz kontrolü, karmaşık mantık kurallarını, soyut muhakeme ya da dilin manipülasyonunu içeren davranışlar bilinçli olma eğilimi gösterir.
• Hakikaten, uzmanların kendi uzmanlıklarını en iyi, ne olduğunun yalnızca üst bir seviyede bilincinde oldukları ve işi nasıl yaptıklarına dair alt seviyede detaylar hakkında habersiz oldukları “akış” durumundayken yaptıkları da bilinmektedir.
• Merak uyandırıcı bir biçimde, bazı şeylere onların bilincinde olamayacağınız kadar kısa sürede tepki gösterirsiniz.
• Sinir sinyallerinin parmaklarınızdan beyninize ulaşması yüzünüze ulaşmasından daha uzun sürer, çünkü mesafe daha uzundur. Ayrıca görselleri analiz etmeniz sesleri analiz etmenizden daha uzun sürer çünkü görseller daha karmaşıktır. Bu yüzden de olimpiyat yarışları görsel bir işaretle değil de silah sesiyle başlar.
• Bilinç kadar karmaşık bir şey nasıl parçacık kadar basit bir şeyden yapılmış olabilir? Bence bunun sebebi parçacıklarının ötesinde ve üzerinde özelliklere sahip olan bir olgu olmasıdır. Fizikte böyle olgulara, “beliren” deriz.
• Giulio Tononi, bugüne kadar yapılmış matematiksel olarak en kesin bilinç teorisini geliştirmiştir: entegre bilgi teorisi.
  • On yıllardır bilincin, çeşitli karmaşık şekillerde işlendiği zaman bilginin hissettiği şey olduğunu ileri sürüyorum.
  • Bilinçli sistemin birleşmiş bir bütüne entegre edilmesi gerekir çünkü iki bağımsız kısım olsaydı, bir değil iki ayrı bilinçli varlık olarak hissederlerdi. Diğer bir deyişle, eğer bir beynin ya da bilgisayarın bilinçli bir kısmı geri kalanıyla iletişim kuramıyorsa, kalan kısım öznel deneyimin kısmı olamaz.
• Özet olarak, bilincin fiziksellik dışı hissettiren fiziksel bir olgu olduğunu çünkü dalgalar ve hesaplamalar gibi olduğunu düşünüyorum: Kendi fiziksel maddesinden bağımsız özelliklere sahiptir. Bu, bilincin bilgi olduğu fikrinin mantıksal devamıdır. Bu da benim çok sevdiğim radikal bir fikre çıkar: Eğer bilinç bilginin çeşitli şekillerde işlendiğinde hissediş şekli ise, maddeden bağımsız olmalıdır; önemli olan tek şey bilgi işlemenin yapısıdır, bilgi işlemeyi gerçekleştiren maddenin yapısı değil. Diğer bir deyişle, bilinç, iki kere maddeden bağımsızdır.
• Kollektif zihin bir dizi küçük bilinçli zihinle aynı anda var olabilir. Gerçekten de mikroskobikten kozmiğe her seviyede bilincin iç içe hiyerarşisi hayal edilebilir.
• Bilinçli varlıklara anlam veren evrenimiz değildir, asıl bilinçli varlıklar evrenimize anlam verir.
• Freeman Dyson, evrenimizin anlamsız olduğuna katılsa da yaşamın onu anlamla doldurduğuna, en iyisinin de yaşamın kozmosa yayıldığı zaman geleceğine inanır.
• Bu kitapta geleceğin zekasına odaklanmış olsak da geleceğin bilincinin çok daha önemli olduğunu görüyoruz çünkü anlamı mümkün kılan odur.
• Biz insanlar kimliğimizi Homo Sapiens olmak üzerine kurduk, yani etrafta bulunan en zeki varlıklar. Bizden daha zeki makineler tarafından ikinci plana atılmaya hazırlanırken, kendimizi Homo Sentiens olarak yeniden adlandırmayı öneriyorum!
• Bilincin tartışmasız bir tanımı yoktur. Ben geniş ve insan merkezci olmayan tanımı kullanıyorum. Bilinç = öz deneyim.
• Yapay zekalar acı çekebilir mi? Hakları olmalı mı? Yükleme öznel bir intihar mı? Yapay zekalarla dolup taşan geleceğin kozmosu asıl zombi kıyameti mi olacak?

FLI Takımının Hikayesi

• Şu an yaşamın en hüzün verici yanı, bilimin bilgi toplama hızının toplumun bilgelik toplama hızından daha fazla olmasıdır. – Isaac Asimov
• On dört yaşında nükleer silah yarışını duyduğumdan beri, teknolojimizin gücünün onu yönettiğimiz bilgelikten daha hızlı büyüyor olmasından endişe duyarım.
• Yaşamın Geleceği Enstitüsü – Future of Life Institute
• Elon Musk, “Bostrom’un Superintelligence’ını okumanız gerek. Yapay zeka konusunda çok dikkatli olmalıyız. Potansiyel olarak nükleerden bile daha tehlikeli.”
• Asimolar Yapay Zeka İlkeleri!!
• futureoflife.org/ai-principles
• Erik Brynjolfsson, Asimolar konuşmasında iki tür iyimserlikten bahsetti. İlki, güneşin yarın doğacağına dair olumlu beklenti gibi, koşulsuz olanı. Bir de onun “dikkatli iyimserlik” adını verdiği vardı. Bu da dikkatli planlar ve sıkı çalışırsanız iyi şeylerin olabileceğine dair bir iyimserlikti. Yaşamın geleceğine dair hissettiğim iyimserlik işte bu tür bir iyimserlik.
• Başarılı bir dikkatli iyimser olamk için, gelecek için olumlu bir vizyon geliştirmek hayati önem taşır.
• Daha büyük bir kazanç sağlanacağını düşünmüyorsanız, neden kendinizin olan bir şeyi kurban edesiniz?
• Teknoloji onları hükümsüz kılmadan önce yasalarımızı modernleştirmeliyiz.