Mevcut temel yapay zeka gelişimi, birkaç teknoloji şirketi tarafından yönetilmekte olup kapalılık ve rekabet eksikliği özellikleri sergilemektedir.
Açık kaynak yazılım geliştirme, potansiyel bir çözüm olmasına rağmen temel AI, geleneksel açık kaynak projeleri (örneğin Linux gibi) gibi çalışamaz çünkü bir 'kaynak sorunu' ile karşı karşıyadır: açık kaynak katkıda bulunanlar sadece zaman harcamakla kalmaz, aynı zamanda kişisel yeteneklerinin ötesinde hesaplama ve veri maliyetleriyle yüzleşir.
Kripto teknoloji, kaynak sağlayıcıların temel açık kaynak AI projelerine katılarak bu kaynak sorununu çözmeyi umut ediyor.
Açık kaynaklı yapay zeka ve kripto teknolojisi birleştirilerek, daha büyük ölçekli model geliştirme desteklenebilir ve daha fazla yenilik teşvik edilerek daha gelişmiş bir yapay zeka sistemi yaratılabilir.
Giriş
Pew Araştırma Merkezi'nin 2024 yılında yaptığı bir ankete göre, Amerikalıların %64'ü sosyal medyanın ülkeye olan etkisinin zararlı olduğunu düşünüyor; %78'i sosyal medya şirketlerinin siyasette çok fazla güce ve etkiye sahip olduğunu belirtiyor; %83'ü bu platformların farklı politik görüşleri onaylamadıklarında kasıtlı olarak sansür uygulayabileceğini düşünüyor. Sosyal medyaya olan memnuniyetsizlik neredeyse Amerikan toplumu arasında nadir bir fikir birliği haline geldi.
Sosyal medyanın son 20 yıldaki evrimine bakıldığında, bu durum önceden belirlenmiş gibi görünüyor. Hikaye karmaşık değil: bir avuç büyük teknoloji şirketi, kullanıcıların dikkatini ve daha da önemlisi kullanıcı verilerini çekti. Açık veriye yönelik ilk umutlara rağmen, şirketler stratejilerini hızla değiştirdiler, kırılmaz ağ etkileri oluşturmak ve dış erişimi kapatmak için verileri kullandılar. Sonuç, bugünün durumudur: 10'dan az büyük teknoloji şirketi sosyal medya endüstrisine hakim durumda ve bu da bir "oligopol" manzarası yaratıyor. Statüko onlar için son derece elverişli olduğundan, bu şirketlerin değişmek için çok az teşviki var. Bu model kapalıdır ve rekabetten yoksundur.
Günümüzde, AI teknolojisinin gelişim izlenimi benzer bir şekilde tekrarlanıyor gibi görünüyor, ancak bu kez etkisi daha da derin olacak. Birkaç teknoloji şirketi, GPU ve veri kaynaklarını kontrol ederek temel AI modellerini oluşturdu ve bu modellere dışarıdan erişimi kapattı. Milyarlarca dolarlık fonu olmayan yeni girişimciler için rekabetçi bir model geliştirmek neredeyse imkansızdır. Çünkü sadece bir temel modelin eğitimi için milyarlarca dolarlık bir hesaplama maliyeti gerekmektedir ve önceki teknoloji dalgalanmasından fayda sağlayan sosyal medya şirketleri, özel kullanıcı verilerine olan hakimiyetlerini kullanarak ulaşılamayacak modeller geliştirmektedir. Sosyal medyanın izinden gidiyoruz ve kapalı ve rekabetsiz bir AI dünyasına doğru ilerliyoruz. Bu trend devam ederse, birkaç teknoloji şirketi bilgi ve fırsatların sınırsız kontrolüne sahip olacak.
Açık kaynak yapay zeka ve "kaynak sorunu"
Eğer kapalı bir AI dünyasını görmek istemiyorsak, seçimimiz nedir? Açık kaynaklı yazılım projeleri olarak temel modellerin geliştirilmesi açıkça doğru cevaptır. Tarihte, günlük bağımlılıklarımızı inşa eden temel yazılımları bile işletim sistemi gibi çekirdek yazılımların bile başarılı bir şekilde inşa edildiğini gösteren sayısız açık kaynaklı projelerimiz oldu. Peki, neden LLM'ler (Büyük Dil Modelleri) olamaz?
Bununla birlikte, temel yapay zeka modelleri, onları geleneksel yazılımlardan farklı kılan özel sınırlamalarla karşı karşıyadır ve bu da geleneksel açık kaynaklı projeler olarak uygulanabilirliklerini büyük ölçüde zayıflatır. Özellikle, temel yapay zeka modelleri, bir bireyin yeteneklerinin çok ötesinde muazzam bilgi işlem ve veri kaynakları gerektirir. Yalnızca insanların zamanlarını bağışlamasına dayanan geleneksel açık kaynaklı projelerin aksine, açık kaynaklı yapay zeka, insanların "kaynak sorunu" olarak bilinen bilgi işlem gücü ve veri kaynaklarını bağışlamasını da gerektirir.
Meta'nın LLaMa modelini örnek alalım, bu kaynak sorununu daha iyi anlayabiliriz. OpenAI ve Google gibi rakiplerinin aksine, Meta modeli ücretli API'nin arkasına gizlemedi, LLaMa'nın ağırlıklarını herkese (belirli bir kısıtlama ile) ücretsiz olarak sundu. Bu ağırlıklar, Meta'nın eğitim sürecinde modelin öğrendiği bilgileri içerir ve modelin çalıştırılması için gereklidir. Bu ağırlıklara sahip olan kullanıcılar, modeli ayarlayabilir veya modelin çıktısını yeni bir modelin girdisi olarak kullanabilirler.
Meta, LLaMa'nın ağırlığını haklı olarak takdir etse de, onu gerçek bir açık kaynaklı yazılım projesi olarak adlandırmak yanlış olur. Meta, modelin eğitim sürecini arkadan kontrol eder ve kendi hesaplama kaynaklarına, verilere ve kararlara güvenir ve modelin ne zaman halka açılacağına tek taraflı olarak karar verir. Meta, bağımsız araştırmacıları veya geliştiricileri topluluk işbirliğine davet etmez çünkü modelin eğitimi veya yeniden eğitimi için gereken kaynaklar normal bireylerin sınırlarının ötesindedir. Bu kaynaklar, on binlerce yüksek performanslı GPU, bu GPU'ları barındıran veri merkezleri, karmaşık soğutma tesisleri ve eğitim için kullanılan on trilyonlarca token (model eğitimi için gereken metin veri birimleri) içerir. Stanford Üniversitesi'nin 2024 yapay zeka endeksi raporunda belirtildiği gibi, “eğitim maliyetinin hızla artması, aslında geleneksel olarak AI araştırma merkezi olan üniversiteleri önde gelen temel modellerin geliştirilmesinin dışında bırakıyor.” Örnek olarak, Sam Altman, GPT-4'ün eğitim maliyetinin 100 milyon dolara kadar çıktığını belirtmiştir ve bu bile donanım altyapısı için sermaye harcamalarını içermez. Ayrıca, Meta'nın sermaye harcamaları, 2024 yılının ikinci çeyreğinde AI model eğitimi ile ilgili sunucular, veri merkezleri ve ağ altyapısı için 2.1 milyar dolar artmıştır. Bu nedenle, LLaMa'nın topluluk katkı sağlayıcıları, model mimarisini iyileştirmek için teknik yeteneğe sahip olabilir, ancak bu iyileştirmeleri gerçekleştirmek için yeterli kaynağa sahip değiller.
Özetlemek gerekirse, geleneksel açık kaynaklı yazılım projelerinden farklı olarak, açık kaynaklı yapay zeka projeleri katkıda bulunanların zaman harcamasının yanı sıra yüksek hesaplama ve veri maliyetlerini üstlenmelerini gerektirir. Yeterli kaynak sağlayıcının gönüllü ve iyi niyetli motivasyonuna dayanmaktan çok daha fazlasına ihtiyaçları vardır. Daha fazla teşvik mekanizması gerekmektedir. Örneğin, 176 milyar parametre içeren BLOOM açık kaynaklı büyük dil modeli, 70'ten fazla ülkeden, 250'den fazla kuruluştan 1000 gönüllü araştırmacının çabalarını birleştirmiştir. BLOOM'un başarısı takdir edilebilir (buna tam destek veriyorum), ancak bir eğitimi koordine etmek için bir yıl ve Fransız araştırma kurumunun sağladığı 3 milyon Euro'luk bir finansmana (eğitim için kullanılan süper bilgisayarların maliyeti dahil değil) ihtiyaç duymuştur. BLOOM'un koordine edilmesi ve geliştirilmesi için yeni bir finansman turuna bağımlı olmak, büyük teknoloji laboratuvarlarının geliştirme hızıyla karşılaştırıldığında çok karmaşık bir süreçtir. BLOOM'un yayınlanmasından bu yana iki yıldan fazla bir süre geçmiş olmasına rağmen, takımın herhangi bir takip modeli geliştirdiğine dair herhangi bir duyum alınmamıştır.
Açık kaynaklı AI'nın mümkün olması için, kaynak sağlayıcıların hesaplama gücü ve veri kaynaklarını katkıda bulunmaları için bir yol bulmamız gerekiyor, bunları açık kaynak katkıda bulunanların bu maliyetleri kendileri üstlenmelerine izin vermek yerine.
Neden kripto teknoloji, temel açık kaynaklı AI'nın "kaynak sorununu" çözebilir?
Kripto teknolojisinin temel bir aşaması, yüksek kaynak maliyetine sahip açık kaynak yazılım projelerini mümkün kılan 'sahiplik' mekanizmasıdır. Bu, potansiyel kaynak sağlayıcıları ağa katılmaya teşvik ederek açık kaynak yapay zeka projelerinin kaynak sorununu çözer ve açık kaynak katkıda bulunanların bu kaynak maliyetini önceden üstlenmesine gerek kalmaz.
Bitcoin bu konuda iyi bir örnektir. İlk kripto projesi olarak, Bitcoin tamamen açık kaynaklı bir yazılım projesidir ve kodu baştan beri herkese açıktır. Ancak, kod Bitcoin'in kendisinin anahtar noktası değildir. Sadece Bitcoin düğüm yazılımını indirip çalıştırmak ve yerelde bir blok zinciri oluşturmak gerçek anlamda bir anlam taşımaz. Yazılımın gerçek değeri, blok madenciliği yoluyla bir katkıda bulunan herhangi bir bireyin hesaplama gücünü aşan bir hesaplama miktarına ulaşıldığında ortaya çıkar: Merkezi olmayan, kontrolsüz bir defterin sürdürülmesi. Temel açık kaynaklı AI'ye benzer şekilde, Bitcoin de kişisel yeteneklerin ötesinde kaynaklara ihtiyaç duyan bir açık kaynaklı projedir. İki projenin hesaplama kaynaklarına olan ihtiyaç nedenleri farklı olsa da - Bitcoin ağı değiştirilemezliği sağlamak için hesaplama kaynaklarına ihtiyaç duyar, temel AI ise modeli optimize etmek ve iteratif hale getirmek için hesaplama kaynaklarına ihtiyaç duyar - ortak noktaları, kişisel yeteneklerin ötesinde kaynaklara dayanmalarıdır.
Bitcoin'in ve diğer kripto ağlarının "sırrı", katılımcıları açık kaynaklı yazılım projelerine kaynak sağlamaya teşvik edebilmek, belirteçler aracılığıyla ağ sahipliği sağlamaktır. Jesse'nin 2020'de Variant için yazdığı kuruluş felsefesinde belirtildiği gibi, sahiplik, kaynak sağlayıcıların ağdaki potansiyel kazançlar karşılığında kaynaklara katkıda bulunmaya istekli olmaları için güçlü bir teşvik sağlar. Bu mekanizma, yeni başlayanların "ter eşitliği" yoluyla erken aşamadaki yetersiz finansmanı nasıl ele aldıklarına benzer - erken aşamadaki çalışanlara (örneğin, kurucular) öncelikle şirket mülkiyeti şeklinde ödeme yaparak, girişimler aksi takdirde karşılayamayacakları emeği çekebilirler. Kriptografi, "ter eşitliği" kavramını, zamana katkıda bulunanlara odaklanmaktan kaynak sağlayıcılara kadar genişletir. Sonuç olarak Variant, Uniswap, Morpho ve World gibi ağ etkileri oluşturmak için sahiplik mekanizmalarından yararlanan projelere yatırım yapmaya odaklanıyor.
Eğer açık kaynak yapay zeka gerçek bir olmak istiyorsa, kaynak sorununu çözmenin anahtar çözümü, şifreleme teknolojisiyle gerçekleştirilen mülkiyet mekanizmasıdır. Bu mekanizma, araştırmacıların model tasarım fikirlerini açık kaynak projelerine özgürce katkıda bulunmalarını sağlar çünkü bu fikirleri gerçekleştirmek için gereken hesaplama ve veri kaynakları kaynak sağlayıcılar tarafından üstlenilir ve kaynak sağlayıcılar, projenin bir kısmı mülkiyetini elde ederek karşılığında alır, araştırmacılardan yüksek maliyetli başlangıç maliyetlerini talep etmez. Açık kaynak yapay zeka'da, mülkiyetin çeşitli formları olabilir, ancak en heyecan verici olanı, modelin kendisine ait mülkiyettir, bu da Pluralis tarafından önerilen bir çözümdür.
Pluralis tarafından önerilen bu yöntem Protocol Modelleri olarak adlandırılır. Bu modellemede, hesaplama kaynağı sağlayıcıları, belirli bir açık kaynak modelini eğitmek için hesaplama gücü sağlayarak, bu modelin gelecekteki akıl yürütme gelirinin bir kısmı üzerinde sahiplik elde edebilirler. Bu sahiplik belirli bir modele bağlıdır ve değeri modelin akıl yürütme gelirine dayandığı için, hesaplama kaynağı sağlayıcıları en iyi modeli eğitmek için teşvik edilir ve eğitim verilerini sahte üretmezler (çünkü gereksiz eğitim, gelecekteki akıl yürütme gelirinin beklenen değerini doğrudan düşürecektir). Bununla birlikte, temel bir soru şudur: Eğer eğitim süreci modelin ağırlıklarının hesaplama sağlayıcısına gönderilmesini gerektiriyorsa, Pluralis sahipliğin güvenliğini nasıl sağlar? Cevap, modeli paralel olarak işleme (Model Parallelism) tekniğini kullanarak model parçalarını farklı işçilere dağıtarak bulunur. Bir sinir ağı önemli bir özelliği, eğer hesaplayıcılar ağırlıkların çok küçük bir bölümünü anlasalar bile eğitime katılabileceklerdir, bu da tam ağırlık kümesinin çıkarılamayacağını sağlar. Ayrıca, Pluralis platformunda birçok farklı model aynı anda eğitildiği için eğitici çok farklı ağırlık kümeleri ile karşı karşıya kalacak ve tam modelin yeniden oluşturulması son derece zor olacaktır.
Protocol Modellerinin temel felsefesi, bu modellerin eğitilebilmesi ve kullanılabilemesi ancak protokolün tamamen çıkarılamamasıdır (sıfırdan eğitim modelinin gerektirdiği kaynakların ötesinde bir hesaplama gücü kullanılmadığı sürece). Bu mekanizma, açık kaynaklı AI eleştirmenlerinin sık sık dile getirdiği bir sorunu çözer, yani kapalı AI rakiplerinin açık kaynaklı projelerin emeğini çalabilecekleri endişesini giderir.
Neden şifreleme teknolojisi + açık kaynak = daha iyi AI
Makalenin başında, büyük teknoloji şirketlerinin AI üzerindeki kontrolünü analiz ederek, kapalı AI'nın etik ve normatif açıdan yaşadığı sorunları açıkladım. Ancak güçsüz bir internet çağında, böyle bir argümanın çoğu okuyucunun sempatisini kazanmasının zor olabileceğinden endişe duyuyorum. Bu nedenle, gerçek etkiden hareketle, şifreleme teknolojisiyle desteklenen açık kaynaklı AI'nın neden gerçekten daha iyi bir AI getirebileceğini açıklayan iki neden sunmak istiyorum.
Öncelikle, şifreleme teknolojisinin açık kaynaklı AI ile birleştirilmesi daha fazla kaynağın koordine edilmesine yardımcı olabilir ve bu da Temel Modellerin (Foundation Models) bir sonraki neslinin gelişimini hızlandırabilir. Araştırmalar, hem hesaplama gücü hem de veri kaynaklarının artmasının model performansını artırmaya yardımcı olduğunu göstermektedir, bu nedenle Temel Modellerin boyutunun sürekli genişlemesi nedeni de budur. Bitcoin, açık kaynaklı yazılımın şifreleme teknolojisiyle birleştiği hesaplama gücü potansiyelini bize göstermiştir. Dünyanın en büyük ve güçlü hesaplama ağı haline geldi ve boyutu büyük teknoloji şirketlerinin sahip olduğu bulut hesaplama kaynaklarının çok ötesine geçmiştir. Şifreleme teknolojisinin benzersizliği, izole rekabeti işbirlikçi bir rekabete dönüştürebilmesidir. Kaynak sağlayıcılarını kaynaklarını katkıda bulunmaya teşvik ederek ortak sorunları çözmek yerine birbiriyle savaşarak ve tekrarlayarak çalışmak yerine, şifreleme ağları kaynakların verimli kullanımını sağlar. Açık kaynaklı AI'nın şifreleme teknolojisinden yararlanarak, küresel hesaplama ve veri kaynaklarını kullanarak kapalı AI'nın ölçeğinden çok daha büyük modeller oluşturmak mümkün olacaktır. Örneğin, Hyperbolic şirketi bu modelin potansiyelini göstermiştir. Dağıtılmış hesaplama kaynaklarını tamamen kullanarak, herkes düşük maliyetle GPU kiralayabilir.
İkinci olarak, şifreleme teknolojisi ve açık kaynaklı yapay zeka birleşimi inovasyonun hızlanmasını sağlayacaktır. Bu, kaynak sorunu çözüldüğünde, makine öğrenimi araştırmalarının yüksek iterasyonlu ve inovasyonel açık kaynak doğasına geri dönebileceği anlamına gelir. Temel Dil Modeli (LLM) ortaya çıkmadan önce, makine öğrenimi araştırmacıları genellikle modellerini ve yeniden üretilebilir tasarım şablonlarını açıkça yayınlarlardı. Bu modeller genellikle açık kaynak veri kümeleri kullanır ve hesaplama talepleri de nispeten düşük olduğundan, araştırmacılar bunları sürekli olarak iyileştirebilir ve yenilik yapabilirler. Bu açık iteratif süreç, dizi modelleme alanında birçok çığır açan yeniliği teşvik etti, örneğin Recursive Neural Network (RNN), Long Short-Term Memory Network (LSTM) ve Attention Mechanisms, sonunda Transformer model mimarisinin mümkün olmasını sağladı. Ancak, bu açık araştırma yaklaşımı, GPT-3'ün piyasaya sürülmesinden sonra değişti. OpenAI, GPT-3 ve ChatGPT ile yaptığı başarı gösterdi ki, yeterli hesaplama kaynağı ve veri yatırımı yapıldığında, dil anlama yeteneğine sahip büyük dil modelleri eğitilebilir. Bu trend, kaynak eşiğinin hızla yükselmesine neden oldu ve akademik dünyanın dışlanmasına yol açarken, büyük teknoloji şirketleri rekabet avantajlarını korumak için artık model mimarilerini açıkça yayınlamıyorlar. Bu durum, AI'nın önde gelen teknolojilerini ilerletme yeteneğimizi sınırlandırıyor.
Şifreleme teknolojisiyle gerçekleştirilen açık kaynaklı AI, bu durumu değiştirebilir. Araştırmacıların öncü modelleri tekrar tekrar iterasyon yapmalarını sağlayarak 'bir sonraki Dönüştürücü'yü bulmalarını sağlayabilir. Bu birleşme, kaynak sorununu çözmenin yanı sıra makine öğrenme alanındaki yenilikçi potansiyeli yeniden canlandırabilir ve AI'nın geleceği için daha geniş bir yol açabilir.
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Variant Yatırım Ortakları: Açık Kaynak AI'nın Zorlukları ve İleriye Dönük Adımlar, Neden şifreleme Teknolojisi Son Eksik Parça?
Yazar: Daniel Barabander
Derleme: Deep Tide TechFlow
Kısa bir özet
Mevcut temel yapay zeka gelişimi, birkaç teknoloji şirketi tarafından yönetilmekte olup kapalılık ve rekabet eksikliği özellikleri sergilemektedir.
Açık kaynak yazılım geliştirme, potansiyel bir çözüm olmasına rağmen temel AI, geleneksel açık kaynak projeleri (örneğin Linux gibi) gibi çalışamaz çünkü bir 'kaynak sorunu' ile karşı karşıyadır: açık kaynak katkıda bulunanlar sadece zaman harcamakla kalmaz, aynı zamanda kişisel yeteneklerinin ötesinde hesaplama ve veri maliyetleriyle yüzleşir.
Kripto teknoloji, kaynak sağlayıcıların temel açık kaynak AI projelerine katılarak bu kaynak sorununu çözmeyi umut ediyor.
Açık kaynaklı yapay zeka ve kripto teknolojisi birleştirilerek, daha büyük ölçekli model geliştirme desteklenebilir ve daha fazla yenilik teşvik edilerek daha gelişmiş bir yapay zeka sistemi yaratılabilir.
Giriş
Pew Araştırma Merkezi'nin 2024 yılında yaptığı bir ankete göre, Amerikalıların %64'ü sosyal medyanın ülkeye olan etkisinin zararlı olduğunu düşünüyor; %78'i sosyal medya şirketlerinin siyasette çok fazla güce ve etkiye sahip olduğunu belirtiyor; %83'ü bu platformların farklı politik görüşleri onaylamadıklarında kasıtlı olarak sansür uygulayabileceğini düşünüyor. Sosyal medyaya olan memnuniyetsizlik neredeyse Amerikan toplumu arasında nadir bir fikir birliği haline geldi.
Sosyal medyanın son 20 yıldaki evrimine bakıldığında, bu durum önceden belirlenmiş gibi görünüyor. Hikaye karmaşık değil: bir avuç büyük teknoloji şirketi, kullanıcıların dikkatini ve daha da önemlisi kullanıcı verilerini çekti. Açık veriye yönelik ilk umutlara rağmen, şirketler stratejilerini hızla değiştirdiler, kırılmaz ağ etkileri oluşturmak ve dış erişimi kapatmak için verileri kullandılar. Sonuç, bugünün durumudur: 10'dan az büyük teknoloji şirketi sosyal medya endüstrisine hakim durumda ve bu da bir "oligopol" manzarası yaratıyor. Statüko onlar için son derece elverişli olduğundan, bu şirketlerin değişmek için çok az teşviki var. Bu model kapalıdır ve rekabetten yoksundur.
Günümüzde, AI teknolojisinin gelişim izlenimi benzer bir şekilde tekrarlanıyor gibi görünüyor, ancak bu kez etkisi daha da derin olacak. Birkaç teknoloji şirketi, GPU ve veri kaynaklarını kontrol ederek temel AI modellerini oluşturdu ve bu modellere dışarıdan erişimi kapattı. Milyarlarca dolarlık fonu olmayan yeni girişimciler için rekabetçi bir model geliştirmek neredeyse imkansızdır. Çünkü sadece bir temel modelin eğitimi için milyarlarca dolarlık bir hesaplama maliyeti gerekmektedir ve önceki teknoloji dalgalanmasından fayda sağlayan sosyal medya şirketleri, özel kullanıcı verilerine olan hakimiyetlerini kullanarak ulaşılamayacak modeller geliştirmektedir. Sosyal medyanın izinden gidiyoruz ve kapalı ve rekabetsiz bir AI dünyasına doğru ilerliyoruz. Bu trend devam ederse, birkaç teknoloji şirketi bilgi ve fırsatların sınırsız kontrolüne sahip olacak.
Açık kaynak yapay zeka ve "kaynak sorunu"
Eğer kapalı bir AI dünyasını görmek istemiyorsak, seçimimiz nedir? Açık kaynaklı yazılım projeleri olarak temel modellerin geliştirilmesi açıkça doğru cevaptır. Tarihte, günlük bağımlılıklarımızı inşa eden temel yazılımları bile işletim sistemi gibi çekirdek yazılımların bile başarılı bir şekilde inşa edildiğini gösteren sayısız açık kaynaklı projelerimiz oldu. Peki, neden LLM'ler (Büyük Dil Modelleri) olamaz?
Bununla birlikte, temel yapay zeka modelleri, onları geleneksel yazılımlardan farklı kılan özel sınırlamalarla karşı karşıyadır ve bu da geleneksel açık kaynaklı projeler olarak uygulanabilirliklerini büyük ölçüde zayıflatır. Özellikle, temel yapay zeka modelleri, bir bireyin yeteneklerinin çok ötesinde muazzam bilgi işlem ve veri kaynakları gerektirir. Yalnızca insanların zamanlarını bağışlamasına dayanan geleneksel açık kaynaklı projelerin aksine, açık kaynaklı yapay zeka, insanların "kaynak sorunu" olarak bilinen bilgi işlem gücü ve veri kaynaklarını bağışlamasını da gerektirir.
Meta'nın LLaMa modelini örnek alalım, bu kaynak sorununu daha iyi anlayabiliriz. OpenAI ve Google gibi rakiplerinin aksine, Meta modeli ücretli API'nin arkasına gizlemedi, LLaMa'nın ağırlıklarını herkese (belirli bir kısıtlama ile) ücretsiz olarak sundu. Bu ağırlıklar, Meta'nın eğitim sürecinde modelin öğrendiği bilgileri içerir ve modelin çalıştırılması için gereklidir. Bu ağırlıklara sahip olan kullanıcılar, modeli ayarlayabilir veya modelin çıktısını yeni bir modelin girdisi olarak kullanabilirler.
Meta, LLaMa'nın ağırlığını haklı olarak takdir etse de, onu gerçek bir açık kaynaklı yazılım projesi olarak adlandırmak yanlış olur. Meta, modelin eğitim sürecini arkadan kontrol eder ve kendi hesaplama kaynaklarına, verilere ve kararlara güvenir ve modelin ne zaman halka açılacağına tek taraflı olarak karar verir. Meta, bağımsız araştırmacıları veya geliştiricileri topluluk işbirliğine davet etmez çünkü modelin eğitimi veya yeniden eğitimi için gereken kaynaklar normal bireylerin sınırlarının ötesindedir. Bu kaynaklar, on binlerce yüksek performanslı GPU, bu GPU'ları barındıran veri merkezleri, karmaşık soğutma tesisleri ve eğitim için kullanılan on trilyonlarca token (model eğitimi için gereken metin veri birimleri) içerir. Stanford Üniversitesi'nin 2024 yapay zeka endeksi raporunda belirtildiği gibi, “eğitim maliyetinin hızla artması, aslında geleneksel olarak AI araştırma merkezi olan üniversiteleri önde gelen temel modellerin geliştirilmesinin dışında bırakıyor.” Örnek olarak, Sam Altman, GPT-4'ün eğitim maliyetinin 100 milyon dolara kadar çıktığını belirtmiştir ve bu bile donanım altyapısı için sermaye harcamalarını içermez. Ayrıca, Meta'nın sermaye harcamaları, 2024 yılının ikinci çeyreğinde AI model eğitimi ile ilgili sunucular, veri merkezleri ve ağ altyapısı için 2.1 milyar dolar artmıştır. Bu nedenle, LLaMa'nın topluluk katkı sağlayıcıları, model mimarisini iyileştirmek için teknik yeteneğe sahip olabilir, ancak bu iyileştirmeleri gerçekleştirmek için yeterli kaynağa sahip değiller.
Özetlemek gerekirse, geleneksel açık kaynaklı yazılım projelerinden farklı olarak, açık kaynaklı yapay zeka projeleri katkıda bulunanların zaman harcamasının yanı sıra yüksek hesaplama ve veri maliyetlerini üstlenmelerini gerektirir. Yeterli kaynak sağlayıcının gönüllü ve iyi niyetli motivasyonuna dayanmaktan çok daha fazlasına ihtiyaçları vardır. Daha fazla teşvik mekanizması gerekmektedir. Örneğin, 176 milyar parametre içeren BLOOM açık kaynaklı büyük dil modeli, 70'ten fazla ülkeden, 250'den fazla kuruluştan 1000 gönüllü araştırmacının çabalarını birleştirmiştir. BLOOM'un başarısı takdir edilebilir (buna tam destek veriyorum), ancak bir eğitimi koordine etmek için bir yıl ve Fransız araştırma kurumunun sağladığı 3 milyon Euro'luk bir finansmana (eğitim için kullanılan süper bilgisayarların maliyeti dahil değil) ihtiyaç duymuştur. BLOOM'un koordine edilmesi ve geliştirilmesi için yeni bir finansman turuna bağımlı olmak, büyük teknoloji laboratuvarlarının geliştirme hızıyla karşılaştırıldığında çok karmaşık bir süreçtir. BLOOM'un yayınlanmasından bu yana iki yıldan fazla bir süre geçmiş olmasına rağmen, takımın herhangi bir takip modeli geliştirdiğine dair herhangi bir duyum alınmamıştır.
Açık kaynaklı AI'nın mümkün olması için, kaynak sağlayıcıların hesaplama gücü ve veri kaynaklarını katkıda bulunmaları için bir yol bulmamız gerekiyor, bunları açık kaynak katkıda bulunanların bu maliyetleri kendileri üstlenmelerine izin vermek yerine.
Neden kripto teknoloji, temel açık kaynaklı AI'nın "kaynak sorununu" çözebilir?
Kripto teknolojisinin temel bir aşaması, yüksek kaynak maliyetine sahip açık kaynak yazılım projelerini mümkün kılan 'sahiplik' mekanizmasıdır. Bu, potansiyel kaynak sağlayıcıları ağa katılmaya teşvik ederek açık kaynak yapay zeka projelerinin kaynak sorununu çözer ve açık kaynak katkıda bulunanların bu kaynak maliyetini önceden üstlenmesine gerek kalmaz.
Bitcoin bu konuda iyi bir örnektir. İlk kripto projesi olarak, Bitcoin tamamen açık kaynaklı bir yazılım projesidir ve kodu baştan beri herkese açıktır. Ancak, kod Bitcoin'in kendisinin anahtar noktası değildir. Sadece Bitcoin düğüm yazılımını indirip çalıştırmak ve yerelde bir blok zinciri oluşturmak gerçek anlamda bir anlam taşımaz. Yazılımın gerçek değeri, blok madenciliği yoluyla bir katkıda bulunan herhangi bir bireyin hesaplama gücünü aşan bir hesaplama miktarına ulaşıldığında ortaya çıkar: Merkezi olmayan, kontrolsüz bir defterin sürdürülmesi. Temel açık kaynaklı AI'ye benzer şekilde, Bitcoin de kişisel yeteneklerin ötesinde kaynaklara ihtiyaç duyan bir açık kaynaklı projedir. İki projenin hesaplama kaynaklarına olan ihtiyaç nedenleri farklı olsa da - Bitcoin ağı değiştirilemezliği sağlamak için hesaplama kaynaklarına ihtiyaç duyar, temel AI ise modeli optimize etmek ve iteratif hale getirmek için hesaplama kaynaklarına ihtiyaç duyar - ortak noktaları, kişisel yeteneklerin ötesinde kaynaklara dayanmalarıdır.
Bitcoin'in ve diğer kripto ağlarının "sırrı", katılımcıları açık kaynaklı yazılım projelerine kaynak sağlamaya teşvik edebilmek, belirteçler aracılığıyla ağ sahipliği sağlamaktır. Jesse'nin 2020'de Variant için yazdığı kuruluş felsefesinde belirtildiği gibi, sahiplik, kaynak sağlayıcıların ağdaki potansiyel kazançlar karşılığında kaynaklara katkıda bulunmaya istekli olmaları için güçlü bir teşvik sağlar. Bu mekanizma, yeni başlayanların "ter eşitliği" yoluyla erken aşamadaki yetersiz finansmanı nasıl ele aldıklarına benzer - erken aşamadaki çalışanlara (örneğin, kurucular) öncelikle şirket mülkiyeti şeklinde ödeme yaparak, girişimler aksi takdirde karşılayamayacakları emeği çekebilirler. Kriptografi, "ter eşitliği" kavramını, zamana katkıda bulunanlara odaklanmaktan kaynak sağlayıcılara kadar genişletir. Sonuç olarak Variant, Uniswap, Morpho ve World gibi ağ etkileri oluşturmak için sahiplik mekanizmalarından yararlanan projelere yatırım yapmaya odaklanıyor.
Eğer açık kaynak yapay zeka gerçek bir olmak istiyorsa, kaynak sorununu çözmenin anahtar çözümü, şifreleme teknolojisiyle gerçekleştirilen mülkiyet mekanizmasıdır. Bu mekanizma, araştırmacıların model tasarım fikirlerini açık kaynak projelerine özgürce katkıda bulunmalarını sağlar çünkü bu fikirleri gerçekleştirmek için gereken hesaplama ve veri kaynakları kaynak sağlayıcılar tarafından üstlenilir ve kaynak sağlayıcılar, projenin bir kısmı mülkiyetini elde ederek karşılığında alır, araştırmacılardan yüksek maliyetli başlangıç maliyetlerini talep etmez. Açık kaynak yapay zeka'da, mülkiyetin çeşitli formları olabilir, ancak en heyecan verici olanı, modelin kendisine ait mülkiyettir, bu da Pluralis tarafından önerilen bir çözümdür.
Pluralis tarafından önerilen bu yöntem Protocol Modelleri olarak adlandırılır. Bu modellemede, hesaplama kaynağı sağlayıcıları, belirli bir açık kaynak modelini eğitmek için hesaplama gücü sağlayarak, bu modelin gelecekteki akıl yürütme gelirinin bir kısmı üzerinde sahiplik elde edebilirler. Bu sahiplik belirli bir modele bağlıdır ve değeri modelin akıl yürütme gelirine dayandığı için, hesaplama kaynağı sağlayıcıları en iyi modeli eğitmek için teşvik edilir ve eğitim verilerini sahte üretmezler (çünkü gereksiz eğitim, gelecekteki akıl yürütme gelirinin beklenen değerini doğrudan düşürecektir). Bununla birlikte, temel bir soru şudur: Eğer eğitim süreci modelin ağırlıklarının hesaplama sağlayıcısına gönderilmesini gerektiriyorsa, Pluralis sahipliğin güvenliğini nasıl sağlar? Cevap, modeli paralel olarak işleme (Model Parallelism) tekniğini kullanarak model parçalarını farklı işçilere dağıtarak bulunur. Bir sinir ağı önemli bir özelliği, eğer hesaplayıcılar ağırlıkların çok küçük bir bölümünü anlasalar bile eğitime katılabileceklerdir, bu da tam ağırlık kümesinin çıkarılamayacağını sağlar. Ayrıca, Pluralis platformunda birçok farklı model aynı anda eğitildiği için eğitici çok farklı ağırlık kümeleri ile karşı karşıya kalacak ve tam modelin yeniden oluşturulması son derece zor olacaktır.
Protocol Modellerinin temel felsefesi, bu modellerin eğitilebilmesi ve kullanılabilemesi ancak protokolün tamamen çıkarılamamasıdır (sıfırdan eğitim modelinin gerektirdiği kaynakların ötesinde bir hesaplama gücü kullanılmadığı sürece). Bu mekanizma, açık kaynaklı AI eleştirmenlerinin sık sık dile getirdiği bir sorunu çözer, yani kapalı AI rakiplerinin açık kaynaklı projelerin emeğini çalabilecekleri endişesini giderir.
Neden şifreleme teknolojisi + açık kaynak = daha iyi AI
Makalenin başında, büyük teknoloji şirketlerinin AI üzerindeki kontrolünü analiz ederek, kapalı AI'nın etik ve normatif açıdan yaşadığı sorunları açıkladım. Ancak güçsüz bir internet çağında, böyle bir argümanın çoğu okuyucunun sempatisini kazanmasının zor olabileceğinden endişe duyuyorum. Bu nedenle, gerçek etkiden hareketle, şifreleme teknolojisiyle desteklenen açık kaynaklı AI'nın neden gerçekten daha iyi bir AI getirebileceğini açıklayan iki neden sunmak istiyorum.
Öncelikle, şifreleme teknolojisinin açık kaynaklı AI ile birleştirilmesi daha fazla kaynağın koordine edilmesine yardımcı olabilir ve bu da Temel Modellerin (Foundation Models) bir sonraki neslinin gelişimini hızlandırabilir. Araştırmalar, hem hesaplama gücü hem de veri kaynaklarının artmasının model performansını artırmaya yardımcı olduğunu göstermektedir, bu nedenle Temel Modellerin boyutunun sürekli genişlemesi nedeni de budur. Bitcoin, açık kaynaklı yazılımın şifreleme teknolojisiyle birleştiği hesaplama gücü potansiyelini bize göstermiştir. Dünyanın en büyük ve güçlü hesaplama ağı haline geldi ve boyutu büyük teknoloji şirketlerinin sahip olduğu bulut hesaplama kaynaklarının çok ötesine geçmiştir. Şifreleme teknolojisinin benzersizliği, izole rekabeti işbirlikçi bir rekabete dönüştürebilmesidir. Kaynak sağlayıcılarını kaynaklarını katkıda bulunmaya teşvik ederek ortak sorunları çözmek yerine birbiriyle savaşarak ve tekrarlayarak çalışmak yerine, şifreleme ağları kaynakların verimli kullanımını sağlar. Açık kaynaklı AI'nın şifreleme teknolojisinden yararlanarak, küresel hesaplama ve veri kaynaklarını kullanarak kapalı AI'nın ölçeğinden çok daha büyük modeller oluşturmak mümkün olacaktır. Örneğin, Hyperbolic şirketi bu modelin potansiyelini göstermiştir. Dağıtılmış hesaplama kaynaklarını tamamen kullanarak, herkes düşük maliyetle GPU kiralayabilir.
İkinci olarak, şifreleme teknolojisi ve açık kaynaklı yapay zeka birleşimi inovasyonun hızlanmasını sağlayacaktır. Bu, kaynak sorunu çözüldüğünde, makine öğrenimi araştırmalarının yüksek iterasyonlu ve inovasyonel açık kaynak doğasına geri dönebileceği anlamına gelir. Temel Dil Modeli (LLM) ortaya çıkmadan önce, makine öğrenimi araştırmacıları genellikle modellerini ve yeniden üretilebilir tasarım şablonlarını açıkça yayınlarlardı. Bu modeller genellikle açık kaynak veri kümeleri kullanır ve hesaplama talepleri de nispeten düşük olduğundan, araştırmacılar bunları sürekli olarak iyileştirebilir ve yenilik yapabilirler. Bu açık iteratif süreç, dizi modelleme alanında birçok çığır açan yeniliği teşvik etti, örneğin Recursive Neural Network (RNN), Long Short-Term Memory Network (LSTM) ve Attention Mechanisms, sonunda Transformer model mimarisinin mümkün olmasını sağladı. Ancak, bu açık araştırma yaklaşımı, GPT-3'ün piyasaya sürülmesinden sonra değişti. OpenAI, GPT-3 ve ChatGPT ile yaptığı başarı gösterdi ki, yeterli hesaplama kaynağı ve veri yatırımı yapıldığında, dil anlama yeteneğine sahip büyük dil modelleri eğitilebilir. Bu trend, kaynak eşiğinin hızla yükselmesine neden oldu ve akademik dünyanın dışlanmasına yol açarken, büyük teknoloji şirketleri rekabet avantajlarını korumak için artık model mimarilerini açıkça yayınlamıyorlar. Bu durum, AI'nın önde gelen teknolojilerini ilerletme yeteneğimizi sınırlandırıyor.
Şifreleme teknolojisiyle gerçekleştirilen açık kaynaklı AI, bu durumu değiştirebilir. Araştırmacıların öncü modelleri tekrar tekrar iterasyon yapmalarını sağlayarak 'bir sonraki Dönüştürücü'yü bulmalarını sağlayabilir. Bu birleşme, kaynak sorununu çözmenin yanı sıra makine öğrenme alanındaki yenilikçi potansiyeli yeniden canlandırabilir ve AI'nın geleceği için daha geniş bir yol açabilir.