GenAI 4: Açık Kaynak vs. Kapalı Kaynak: Hangi Yapay Zek… — Transcript

Evet, üretken yapay zekanın ilk modülündeyiz, temel kavramları gördüğümüz modülündeyiz, 4. video 4. dersindeyiz aslında belki araya ihtiyaç oldukça başka videolar ekliyoruz.

Ama biraz kaynakları yani bu dünyaya ürün üreten vendor tedarikçilerin dünyasını karşılaştıracağız, aslında iki tane büyük kamptan bahsedebiliriz, birisi açık kaynak kampı, birisi de kapalı kaynak kampı diyebiliriz.

Açık kaynak olması bir işin ücretsiz olduğu anlamına gelmez, bir şeyin açık kaynak olması, open source olması ücretsiz olacağı anlamına gelmiyor.

Bunu bir kere daha böyle iki kere söylemiş olayım, yani Free Software Foundation denilen özgür yazılım akımı biliyorsunuz özgür yazılımın altında bir hatta örnek olarak şunu verirler, Free World ve Free Beer.

Yani ikisi de free kelimesi, Free Software Foundation'daki free özgür anlamına da gelen, ücretsiz anlamına da gelen free kelimesi karışmasın diye.

Çünkü birinde Free World dediğinizde özgür dünya, Free Beer dediğinizde özgür bira, şey özgür değil, ücretsiz bira anlamına geliyor, ikisi farklı kavramlar.

Kelime aynı ama anlamı farklı ve bu üstüne basa basa Free Software Foundation tarafından da söylenilir ki Open Source dünyasında da ücretli çok ürün vardır, yani Open Source olup kaynağına erişebildiğiniz ama ücret ödediğiniz, örneğin en meşhurlarından birisi piyasada bilinebilecek şeylerden birisi SAP, SAP diye okunan ve biliyorsunuz SAP'nin Open Source olduğunu ama ücretli olduğunu söyleyebiliriz.

Dolayısıyla bu iki kavramı birbirinden net olarak ayırmakta fayda var, şimdi bizim bu derste anlatacağımız konu ise LLM'lerle ilgili Large Language Modellar ve o modellerin ekosistemi, onların hizmetleri, çünkü sadece model bizim işimize yaramıyor.

Yani bir modeliniz var elinizde, tamam çok güzel eğittiniz, işte bir sürü GPU yaktınız, bir sürü yerden veri topladınız, sonra elinizde bir model var, bu model ne işe yarar, yenir mi içilir mi, onun yaşatılması lazım, bir ekosistemde hayatta tutulması lazım, biraz onlardan bahsetmeye çalışacağız.

Yani kısaca aslında biz bu şu anda piyasada olan güncel olan LLM modellerini bir karşılaştıracağız, bu videoları tabii böyle uzun vadede çekiyoruz, yani bugün bahsettiğimiz OpenAI belki yarın olmayacak.

Anthropic, Hugging Face, bunlar belki değişecek ama kısaca bu kavramları anlatmaya çalışıyoruz, çünkü Open Source kavramı yıllardır var, 10 yıllardır var ve muhtemelen daha da devam edecek ve o dünyaları karşılaştırmaya çalışacağız.

Böyle dersin başında belki biraz bahsedebileceğim konulardan birisi, tabii bu LLM dünyası, ekosistem ilk başta Amerika ekseninde çıktı ve çoğu LLM modelinin ilk yapıcıları Amerika'daki problemlerden çıkan, oradaki ekosistemden çıkan şirketler.

Yani akademide de bir şeyler yapıldı, üniversitede de bir şeyler var ama üniversiteden daha hızlı ilerleyen şirketler oldu, yaygınlığı sağlayan, bilinirliği sağlayan şirketler oldu ve daha büyük paralar, daha büyük bütçeler olduğu için daha hızlı ilerledi o taraf, belki sektörde yapılan işlerin çok daha iyisi, çok daha gelişmişi, çok daha önceden üniversitelerde vardı ama onun gelişme süreci tabii bir ekosistem yani bu günün sonunda para gelecek, onunla ilgili insan kaynağı, sunucu vesaire yapılacak ki o iş gelişsin, ne yazık ki üniversitelerde değil, özel sektörde gelişmeye başladı.

Ve böylelikle de kamplar ortaya çıkmaya başladı, çünkü elimizde bir teknoloji var ve o teknoloji maliyetli bir şey ve o maliyetin aynı zamanda kazançları da var, çünkü o parayı yakıyorlar, bir LLM elde ediyorlar ama oradan gelir de elde ediyorlar.

Dolayısıyla bu tabii kamplar oluşturdu, akademi biraz daha böyle ne denir, ne diyeyim, kendi içinde bir çekişmesi olmakla birlikte bilimi öncelediği için biraz daha nötr kalabiliyor bazı yerlerde ama özel sektör tabii burada biraz çatışmalı, çekişmeli gidiyor diyebiliriz, tabii bu derste bahsedeceğimiz konu biraz Hugging Face ekosisteminden bahsedeceğiz, bunun etrafında şekillenen Open Source dünyasından bahsedeceğiz, orada çok hızlı bir çıkış elde ettiler, ilk LLM modelleri çıktığında işte Meta gibi firmalar, yani eski ismiyle Facebook gibi firmalar bunun Open Source tarafında durdular, kapalı tarafta duran ChatGPT gibi firmalar vardı, daha sonrasında çok daha önceden çalışmaları olup daha sonrasında bunu daha açık hale getiren, daha public hale getiren Google gibi firmalar, Microsoft gibi firmalardan bahsedebiliriz ve çok sayıda şirketin satın alındığını, yani bu konuda o ilk çıkış dünyasında bir sürü şirket el değiştirdi, startup'lar yatırımlar aldılar ki OpenAI da keza bir startup gibi görülebilir, bir girişim gibi görülebilir, orada da yatırımlar aldığını söyleyebiliriz.

Ve Hugging Face dünyası veya diğer dünyalarda bu LLM'leri nasıl yaşatıyoruz, yani bir API dediğimiz kavram var, Application Programming Interface diye geçen, yani uygulama programlama arayüzü, bir elinizde uygulama var, herhangi bir uygulamayı düşünebilirsiniz, API'nin de tanımını yapalım burada kısaca giriş seviyesinde.

API, herhangi bir uygulama, beğendiniz işte mesela Word kullanıyorsunuz, Excel kullanıyorsunuz veya Google Gmail kullanıyorsunuz veya bilgisayarınızdaki herhangi bir fotoğraf gösteren yazılımı kullanıyorsunuz, herhangi bir yazılım, application, buna program yazabildiğiniz bir arayüz açıyor geliştiriciler, size diyor ki ya bak şu komutları verip şu porttan veya şu şeyden komut satırından, neyse onunki her birinin farklı bağlantı şekilleri var ama bana erişirsen, web servis neyse o erişim şekli, bana erişirsen ben sana orada vermiş olduğun şu komut setine göre işleri de sağlarım.

İşte mesela bunun ilk ilkel örnekleri belki diyebileceğimiz işte Excel'deki makrolar gibi düşünebilirsiniz, orada bir arayüz var, makro yazıyorsunuz, o Excel'deki işte sizin için otomatik işleri yapıyor, bir hücreden alıyor, diğer hücreye kopyalıyor, onu çokluyor vesaire, döngüler yazabiliyorsunuz, başka şeyler yazabiliyorsunuz.

Bu dünya şu anda çoğu uygulama için sağlanan bir arayüz, bu API kavramı LLM'lerle de birleşti, hatta böyle bütün dünya tek bir yere gidiyor diyebilirim, yani biraz bu işlerin daha öncesini de birleştirerek bunu da söyleyecek olursak, şöyle düşünebilirsiniz, eskiden yani bu LLM'ler dünyası çok aktif olmadan önce API Gateway'in hareketli olduğu, ondan önce işte ETL'lerin akışların böyle hareketli olduğu, No Code yaklaşımların hareketli olduğu ve bütün dünyanın birbirine böyle Lego parçaları gibi bağlandığı bir yapıdan bahsedebiliriz.

Yani düşünün bir şirketin bir yazılımı var, bir uygulama yazmış, o yazdığı uygulama başka bir şirketin bir uygulamasıyla konuşuyor, burada konuşmalarını sağlayan entegrasyon modülleri çok büyük oranda bu API'lar üstünden, web onların altyapısı, bağlantı altyapıları üstünden sağlanıyordu ve bu bağlantılar daha sonra o kadar çok büyük bir yapıya doğru gitti ki bunları Gateway'leri böyle kapıları kurulmaya başlandı, Gateway'leri de liman gibi düşünebilirsiniz, böyle bir sürü uygulamanın oradan bağlantı kurduğu veya bir hangar gibi düşünebilirsiniz, herkesin oraya böyle kablolarını bağladığı ve uygulama ve başka bir sürü yere daha bağladığı bir yapı gibi düşünebilirsiniz, bir altyapı gibi düşünebilirsiniz ve bu altyapılar üzerinden milyonlarca uygulama birbiriyle konuşup birbirinden fayda sağlayabiliyor idi.

Yani siz çok basit mesela diyelim ki bir uygulama yapacaksınız, işte bir şirketteki finansal tahminleme yapacaksınız, sizin şirketinizin önümüzdeki yıl ne kadar ciro yapacağı tahmin etmek istiyorsunuz, e bunun için de dolar kurunu biliyor olmanız lazım, belki de dolar etkiliyor, dolar kurunu siz gidip teker teker hesaplayacak, bununla ilgili modeller geliştirecek, tahmin edecek misiniz, bunu yapabilirsiniz veya hazır bunu yapan bir uygulamaya mı bağlanacaksınız.

İşte hazır bir uygulamaya verileri yazıyor, ona bağlanıyorsunuz, işi yapıyorsunuz, böyle bir yapıdan bahsedebiliriz, yani çok basit bir şekilde, aynı mantık LLM'ler için de geçerli, şu anda günümüzde LLM'ler bir model evet ama bu modelin üstünde çalışan ve altında çalışan bir sürü hizmet var, yani o LLM'in yaşatılması, onun güncellenmesi, onun sizin verilerinizle bağlanması gibi bir sürü hizmet var, bunları nasıl yapıldığını ki işte çok klasik API arayüzleridir bizim modellerin tokenization gibi, modelin sınıflandırma faaliyetleri gibi bir sürü arayüzleri var, modelin arayüzlerinin açılması ve bunların taşınmasından bahsedebiliriz.

Burada açık kaynak ve kapalı kaynak ayrımında tabii bir şeyden bahsetmek lazım, yani bir felsefeyi anlatmak lazım, şimdi bunu biz restoran analojisi üstünden anlatacağız, farklı benzetmeler de yapılabilir ama hani bir restorana gitmek var, bir de yemeği evde yapmak var, hangisini tercih edersiniz, ikisi de ömür boyu büyük ihtimalle devam edecek, yani evlerden hiçbir zaman mutfakları tamamen söküp atmayacağız, hala evde bir şeyler yapılıyor olacak her ne kadar günümüzde mutfaklar evlerde bayağı küçülmüş olsa da.

Veya restoranlar da hep var olacak, hiçbir zaman da herkes evde yemek yapacağım demeyecek diyebiliriz, bir bakış açısı yani bu böyle olduğunu düşünün, şimdi bu bakış açısına göre nedir, restorana gittiğinizde maliyet çok daha yüksek büyük ihtimalle ama her şey hazır, siz yemeğin içeriğini bile bilmiyorsunuz, değil mi, aynı uygulamayı da siz yazılımı da bir hazır API üstünden bağlanıp kullandığınızda içeriğini bile bilmiyorsunuz, o uygulamanın içinde hangi dil kullanılıyor, hangi algoritmalar kullanılmış, size kapalı bir kutu, belli noktalarından bağlantılar veriliyor, bağlıyorsunuz veriyi veya işinizi, fonksiyonunuzu, neyse sonucu alıyorsunuz, onu yazan bir kapalı kutu şeklinde yazmış.

Restoran örneği, kapalı kutu örneğini böyle düşünebilirsiniz, artık bu yazılımlar eskiden biz bilgisayarımıza alıyorduk, kendi sunucumuza kuruyorduk, orada yaşatıyorduk, yani kapalı bir kod da olsa veri dışarı çıkmasın diye veya başka sebeplerden güvenlik veya internet altyapısının yetersizliğinden, bağlantı hızlarının yavaşlığından, güven yani reliability anlamında güvenden bahsediyorum, sunucunun çökme ihtimalinden, internet bağlantısında problem olma ihtimalinden dolayı bunları çoğu firma kendi sunucularında yaşatmayı tercih ediyordu.

Hala daha regüle olan, çok daha böyle maliyeti karşılayabilecek olan bankalar gibi, telefon firmaları gibi kurumlarda bunu görürsünüz, kendi sunucularını alırlar o yazılımı, kapalı kod bile olsa kendi sunucularında taşırlar ve bunun bir sürü avantajı var, bir sürü de maliyeti var, nedir, daha yüksek bir maliyet ödemek, aynı restoranda olduğu gibi.

Ama bir de yemeği mutfakta yapmak mümkün, kendiniz işte malzemelerini alırsınız, nasıl yapılacağı sizin artık bilginiz, o mutfak tarifiniz, ne kadar marifetli olduğunuza göre, sizin insan kaynağınızın yazılımda ne kadar marifetli olduğu, hangi algoritmaları kullandığı, hangi veriyi kullandığına göre kendisinin yapması söz konusu, bu da buna biz daha çok in-house development, yani yazılımın kendi içinde, şirketin kendi içinde geliştirilmesine in-house development diyoruz.

Diğerine ise outsource diyoruz, dış kaynak kullanımı diyoruz ve dış kaynak kullanımı günümüzde daha çok kapalı kaynak olarak geliyor, çünkü açık kaynak bir yazılım aldığınızda onun bütün o altyapı hizmetlerini de sizin sunmanız gerekecek veya bunu sunan firmalar da var bu arada, yani evet dışarıda size bir sunucu sağlıyor, o sunucunun üstünde bazı LLM Ops dediğimiz veya daha eskisinde ML Ops veya daha genel olarak AI Ops diye geçen yapay zeka hizmetlerini size bir hizmet olarak sağlıyor, arkada bir modeli çalıştırıyor ve siz o modele gene dışarıdan bir kullanıcı gibi bağlanıp kullanabiliyorsunuz.

Ne oluyor, işte bunu da şöyle örnek olarak düşünelim, bir restoran var, restorana gidiyorsunuz ama mutfağı şeffaf, her şeyi görüyorsunuz, hatta karışıyorsunuz, şunu şöyle yap, bunu böyle yap filan diye sizin istediğiniz gibi o mutfakta işler yapılıyor ve siz o hizmeti karşılığında bir para gene ödüyorsunuz, gene maliyet açısından baktığınızda ama her şey gözünüzün önünde oluyor.

Böyle de alternatiflerden bahsedebiliriz, şu anda önde olan oyuncular işte GPT gibi, Gemini gibi, Claude gibi, Anthropic'in ki biliyorsunuz burada bir fikir ayrılığı da var, teknolojiler var, bu teknolojiler hazır bir şekilde sunucular üstünden bize sunuluyor, biz de aslında sadece armudu yemek kalıyor, yani nereden geliyor bu armut diye sormadan ne yapıyoruz, basit bir komut giriyoruz, vermiş olduğumuz komut prompt karşılığında bize sonuç geliyor, arkada o sunucu hangi sunucuya bağlandı, mesela diyelim ki Gemini'ın Google'ın milyonlarca sunucusu olabilir dünya üstünde, değil mi, biz bir komut girdiğimizde o hangi sunucuya gitti bilmiyoruz, dolayısıyla bakın arkada bir defa bununla ilgili ciddi bir yatırım var, network yatırımı var, load balancing yatırımı var, ciddi bir yatırım yapılıyor, orada nasıl işleniyor, kaç tane CPU çalıştırdı, ne kadar RAM çalıştırdı, ne kadar disk çalıştırdı, bana session'ı nerede açtı, benim log'larım nerede tuttu, güvenlikle ilgili nerede nasıl önlem aldı, bunların hiçbirini bilmeden biz sadece hizmeti kullanıyoruz.

Yani software as a service mantığıyla işte mesela Google Gmail örneğini düşünün, Gmail'e bağlanıyoruz, arkada bir sürü iş dönüyor, biz sadece işi kullanıyoruz, böyle bir servis seviyesi, service level agreement, SLA seviyesi yani hizmetler alınabilir, burada hizmetin detayları tanımlanmış durumda, biz ücretini ödeyip bu hizmeti alıyoruz.

En üst seviyede belki hizmet olarak bunu söyleyebiliriz, bunun biraz altına indikçe daha teknik olarak müdahale edebileceğimiz sistemler ortaya çıkmaya çalışıyor, bunu böyle en diğer ucundaysa bizim tamamen her şeyi yaptığımız, hiçbir hizmeti almadığımız, kendimiz modelimizi eğitiyoruz, modelimizi deploy ediyoruz, onun üstündeki bütün o güvenlik problemleri, sunucu problemleri, kaynak problemleri, güncelleme problemleri hepsiyle biz uğraşıyoruz.

Diğer tarafta da böyle bir uç olduğundan bahsedebiliriz, tabii bu her şeyi bizim karşılamamızın getirdiği maliyetle daha çok donanım maliyeti, yani modeli eğiteceksiniz düşünün, o modeli eğitecek veriyi bulacaksınız, o verinin etiketlenmesi sorunu var çoğu zaman, generative AI'dan bahsediyorsak burada bir maliyet var, bu bir dil modeli ise o mesela verilerin bulunması, o verilerin kullanımıyla ilgili izin almak da artık bir problem haline gelmeye başladı.

Eskiden veriyi bulmak yeterliydi ve o veriyi veriyordunuz, onun üstünden bir eğitilen model ortaya çıkıyordu, şimdi artık o modelin üstünde hangi veriyle eğitildiğiyle ilgili sorular da var, data sheet'lerini, yani veriyle ilgili bir özet bilgiyi de sunmanız gerekiyor, bu açıklık anlamında bir gereklilik haline gelmeye başladı, her ne kadar günümüzde çoğu kapalı kaynak olan model bunları açıklamıyor olsa da, yani verisini açıklamıyor, ben bunu nereden eğittim, bu bilgiyi sizinle açıklamam diyor, al modeli kullan diyor ama muhtemelen bir sonraki akımda, birkaç sonraki akımda olabilir, bunlar zorunluluk haline gelecek, yani veriyi nereden aldın, hangi veriyle eğittin sorusunu da cevaplamamız gerekecek, dolayısıyla şu anda biz bu ürünü kendimiz yapacak olursak, bizim bu modelin üstünde hangi veriyi kullanacağımız gibi bir derdimiz de var, bu verinin kullanım haklarını almamız da gerekecek.

Şu an çoğu sosyal medyada artık verinizi yüklerken embed edeyim mi diye soruyor, mesela biz bu videoyu YouTube'a çekiyoruz diyelim, YouTube'da embed edeyim mi bu videoyu ben kullanabilir miyim hakkını sizden alıyor veya Instagram'ın, Facebook'a yüklediğiniz bütün veriler için de benzer anlaşmalarına maddeler eklendi ve onların üstünden eğitilen verilerden bahsediyoruz, tabii burada restoranda yediğinizde işin arkasıyla siz uğraşmamış oluyorsunuz ama onun da bir maliyeti var.

Genelde giriş maliyeti olarak açık kaynak kodlar girişi daha kolay, düzeltiyorum, kapalı kaynak kodlar girişi daha kolay çözümlerdir, çünkü size bir hizmet veriliyor, harcadığınız kadar o hizmete bir bedel ödüyorsunuz ve genelde de girişi, giriş maliyeti olmayan işler, mesela düşünün bir LLM modeli geliştiriyorsunuz, işte ChatGPT servis seviyesinde, değil mi, sorgu başına bir şeyler alıyor, böyle yüzlerce, binlerce sorgu atacaksınız ki siz bir ciddi para ödemeye başlayın, yani böyle dişe dokunur bir şeyler olmaya başlasın.

Öteki tarafta Open Source bir modelle girdiğinizde ve kendiniz bunu yaşatacaksanız, kendiniz bu modeli deploy edecekseniz, önce daha ilk günden, birinci günden ciddi bir sunucu maliyeti yapmanız lazım, yaktınız bu sunucu maliyetini, sonra ne çıkacağı da belli değil bu arada, bu sistemi ayağa kaldırdınız, şimdi tabii benim tavsiyem mesela sektörde böyle bir iş yapacak çoğu firmayla görüşüyoruz farklı zamanlarda, böyle tavsiyeler isteyenler oluyor, onlara ilk söylediğim şey şu, sistemi önce bir kurun, siz diğer uygulama seviyeleri, kendi domain'inizle ilgili, alanınızla ilgili problem seviyesi, problemlerinizi çözün, kodlarınızı yazın, o sırada hazır bir hizmet almaya başlayın, kendiniz bir yatırım yapmayın önce, bakın işler iyi gidiyorsa o aynen mesela dışarıda kullandığınız o kapalı kaynak kod gibi bir yapıyı içeriye almanız çok daha kolay olacaktır.

Çünkü genelde yaşanan problem o sunucu yatırımını yapmak, o modeli içeride yaşatmak değil, onunla ilgili etrafındaki kurguyu yapmak, problemi analiz etmek, domain'le ilgili problemleri analiz edip onun üstünden bir yere ulaşmak genelde daha büyük bir problem oluyor, kendi problemlerini, kendi verilerini o sisteme taşımak daha büyük bir problem oluyor, dolayısıyla benim ilk tavsiyem genelde bu işi hiç bilmeyen, ilk yatırım yapacak firmalar için belki biraz daha servis seviyesi hizmet almak, daha sonra bu yatırımları yapmak olabilir.

Tabii açık kaynak modellerin şöyle bir artısı da var, modeli inceleyebiliyorsunuz, modelin içinde ne var, her ne kadar bu LLM modelleri bir yapay sinir ağının üstünde çalışan modeller de olsa da ve yapay sinir ağları açıklanması zor modeller de olsa, bizim modelin içine girip kendi bilgisayarımızda çalıştırma, deneme yapma, farklı senaryolarda çalıştırıp test etme imkanımız var ve aynı zamanda bunlar bir sürü kişi tarafından test ediliyor, yani modelin üstünde bir problem olduğunda, bir problem keşfedildiğinde bu bilgi de açık, mesela şöyle düşünün, ChatGPT ile ilgili bir problem yaşandı, bu problemin yaşandığı bilgisine de erişmeniz kısıtlı, çünkü yani bunu belki forumlarda birileri keşfedip yazarsa filan okuyabilirsiniz.

Ama diğer taraftan açık kaynak ekosisteminde herkesin bilgiyi paylaştığı, üstünde testleri yaptığı, güvenlikle ilgili veya bu sistemin taşınması, yaşatılmasıyla ilgili, kaynak optimizasyonuyla ilgili bir tartışma ekosisteminin de içine girmiş oluyorsunuz, Open Source dünyasının içine girdiğiniz zaman bundan da bahsedebiliriz, bir de tabii güzel yanlarından bahsedelim Open Source dünyasının, birincisi her şeye hakimsiniz, ikincisi bir teknoloji bağımlılığınız yok, yarın yani mesela diyelim kapalı kaynak kullandınız, servis alıyorsunuz, o şirket battığında ne olacak, yani veya bazen olabiliyor, değil mi, Google kalkıyor, Türkiye'ye olan bazı hizmetlerini kapatıyor, fiyatını değiştiriyor, siz işte bir hesap yaptınız, tamam 10 cent'ten ben şunu ödeyeceğim, işte 10.000 dolar aylık şunu ödeyeceğim filan, bir anda bu fiyatı 10 misline çıkarırsa ne yapacaksınız, yani bunların çoğu belirsizlikler içeren noktalar.

Belki ilk başta denerken belli bir süre için, belli bir kesinlik size sağlayabilir, belli başlangıç noktaları size sağlayabilir ama uzun vadede belirsizlikleri olan teknolojiler olduğunu bilmenizde fayda var, dolayısıyla verinin tamamen içeride kalması gereken, özellikle regüle sektörlerde, verinin dışarı çıkmasının yasak olduğu ki KVKK ile çoğu verinin dışarı çıkması şu anda yasak, ama bunlar anonymize edilip başka çözümler de tabii bulunabiliyor ve herhangi bir sansür sistemini sizin kurmanız gereken yapılarda, mesela alignment derslerinde daha ileriki konularda anlatıyoruz, kullanıcı bir chatbot yapacaksınız, müşteriler bu chatbot'la konuşacak diyelim, müşteri chatbot'la konuşurken sizin rakibinizle ilgili bir soru sorabilir mi, sizin chatbot'unuz rakibinizle ilgili iyi veya kötü bir şeyler söyleyebilir mi, bunları da engellemek ister misiniz gibi bir sürü bu LLM'in katmanında sizin elle müdahale etmek istediğiniz, içine müdahale etmek istediğiniz şeyler olabilir.

Bunlara elle müdahale edip değiştirip farklılaştırmak istiyorsanız, o zaman belki kapalı kaynak kodlardan yavaş yavaş, tamamını belki değil ama belli seviyelerinde onları kendinizin müdahale ettiğiniz, kodunu kendinizin yazdığı Open Source dünyalara geçirmekte fayda olabilir, tabii ki burada bir maliyeti var bu işin, içeride yapılmasının bir maliyeti var ve o maliyet de giderek siz ne kadar içeriye alırsanız, ne kadar Open Source'a çevirirseniz, ne kadar kendiniz özelleştirmeye başlarsanız o maliyet de o kadar artacaktır, bununla ilgili insan kaynağı bulmak günümüzde ciddi sorunlardan biri, hani iş gücü, iş insan kaynağı bulmak mesela bir yerde işsizlik var derim, bir yerde de insan yok.

O işsiz insanlar o bilgiyi edinip o işleri yerleştirilemiyor, çünkü çok hızlı gelişen bir sektör, o arkadaşların kendini geliştirip bu konuları öğrenecek seviyeye gelmesi gerekiyor, hızlı öğrenecek seviyeye gelmesi gerekiyor ki buradaki insan kaynağı açığı kapansın, şu anda mesela çoğu firmanın buna benzer projeleri var ve bilen, bu işi organize edebilecek, uçtan uca yönetebilecek insan kaynağı açığı var ve bu maliyetli bir şey, yani şu anda bunu yapabilecek insanlar böyle kapış kapış gidiyor ve o tabii insan kaynağı maliyeti çok yüksek, o insanı elde tutmanın maliyeti yüksek, o insanın öğrenme maliyeti yüksek, çünkü o da belki bazı şeyleri bilmiyor, deniyor, yanlış bir şeyler oluyor, o yanlışın düzeltilmesinin maliyeti var gibi değişik maliyetleri olduğundan bahsedebiliriz Open Source dünyasının.

Ama Open Source dünyasının tabii sizin tarafınızda in-house yapılan bir, içeride geliştirilen bir yazılımın imkanları diğeriyle karşılaştırıldığında çok çok daha fazla ve farklı olacaktır diyebiliriz, bizim tabii bir de böyle kapalı çarşıya benzetebileceğimiz bir çarşımız var, Hugging Face, Hugging Face'e girdiğinizde çok sayıda modelle ilgili bilgiyi görebilirsiniz, yani o modellerin model kart dediğimiz, modelin detaylarının yazılmış olduğu bilgi kartları var, bu bilgi kartlarının içinde modelin kimin tarafından geliştirildiği, hangi veri kümelerinin kullanıldığı, ne zaman hangi yıl geliştirildiği, arkada hangi algoritmaların kullanıldığı, detayına kadar ulaşabilirsiniz ve o detaylar üstünden de model seçimi yapabilirsiniz.

Bazı modeller mesela Türkçe veriyle hiç eğitilmemiş, dolayısıyla mesela Türkçe bir chatbot yapacaksanız o modellerden uzak durmak lazım, bazı modellerin derinliği çok daha fazla, çok detaylı bilgilerle eğitilmiş, o modeller belki daha sizin için maliyetli olabilir onu yaşatmak, orada bir tercih yapabilirsiniz, işte resim üretmek için, ses üretmek için, bunları analiz için ayrı ayrı modeller var, orada uzmanlaşan başka modeller kullanılabilir, dolayısıyla modellerin bir kapalı çarşısı olduğunu, bir marketplace'in pazar yeri olduğunu söyleyebiliriz.

Bakın huggingface.co/models huggingface.co/models diye girerseniz burada değişik modeller var, yani bunlar zaman içinde güncelleniyor, yeni modeller ekleniyor buraya, burada hangi konuda bir model, mesela text generation, image to text, text to image, istediğiniz bir ve kaç parametre olacağı, parametre kavramını malum anlatmıştık, bu modelin içindeki attention mekanizmasında ve neural network'lerin üstündeki yüklerin taşı sayısıydı kabaca, dolayısıyla bunun hangisini istediğinizi ve bir tanesini seçelim mesela Google'ın embedding Gemma 300 milyonluk bir modeliymiş, bakın bunun ne kadar download edildiği, ne kadar talep gördüğü, işte şu anki tanımı kısaca, nereden eğittiklerini, input'larını, output'larını, usage'ı, burada basit bir örnek kodla nasıl çalıştırılabileceği ve modelle ilgili bütün detayları görebiliyorsunuz, ne kadar dimension'ları verilmiş olan bakın sheet'ler, description'lar, bunların hepsi buradan erişilebilir açık bir bilgidir.

Tabii burada data sheet'lere de erişebilirsiniz, yani huggingface.co'ya girdiğinizde bakın models var, data sets var, data sets'e girdiğinizde de belki kendi projelerinizde kullanabileceğiniz, daha önceden hazırlanmış, etiketlenmiş bazıları, bazıları ayıklanmış, problemlerinden temizlenmiş data set'lere erişebilirsiniz, burada da benzer bir şekilde bakın data sets var, işte mesela diyelim dillere göre tercih yapacaksınız, gelelim Türkçeyi bulmaya çalışayım ben, işte Türkçeye tıklayayım, işte Türkçede bakın Wikipedia, Türkçe Wikipedia'dan eğitilmiş bir hazırlanmış bir data set, bunun üstünden siz eğitebilirsiniz gibi veri kümelerimiz var.

Şöyle bir hızlı kontrol karşılaştırma yapacak olursak, kapalı kaynakta genelde rekabetçi bir ortam var, firmalar birbirleriyle rekabet ediyorlar, dolayısıyla performansla ilgili state of the art, yani en son, en güncel performansı sunma yarışı var, herkes kendisinin daha iyi olması için yarışıyor, açık kaynakta ise böyle bir rekabet tabii ki var, uzaktan uzağa devam edilen ama buradaki hızı belirleyen, performansı belirleyen sizin yapacağınız çok fazla iş var, dolayısıyla hemen alır almaz, kurar kurmaz en yüksek performansı açık kaynakta elde etmek zor, bu bir zaman ve maliyet ve üstünde çalışma gerektiriyor, maliyet yapısına baktığımızda genelde kapalı kaynak modeller servis olarak sunuluyorlar, kullandıkça ödediğiniz, ilk başta giriş maliyeti çok yüksek olmayan ama buna biz total cost of ownership diyoruz, yani sahip olma, o teknolojiye sahip olma maliyeti genelde bir müddet sonra ki çok hızlı da oluyor günümüzde işte 3-5 ay daha sonra belki Open Source'a geçsek daha ucuz olacaktır demeye başlatılan uygulamalar, use case'ler olabilir, bununla birlikte açık kaynak tarafta tabii GPU yatırımınızın olması veya bunları kiralayabilirsiniz bu arada, GPU'yu da internet üzerinden hizmet olarak alabileceğiniz servisler var, oralarda çalıştırılan modeller, veri gizliliğine baktığımızda kapalı kaynak modeller günün sonunda kendi sunucularına bu veriyi alıyorlar, pek çoğu bu model şeyi, bu veriyi kendi modellerini eğitmek için de kullanıyorlar, sözleşmelerinde var, farklı sözleşme seviyelerine göre işte dediğiniz üyeliğe göre, ödediğiniz ücrete göre bu gizlilik sözleşmelerine dikkatli bakmak lazım, çünkü sizin yüklediğiniz veri kullanılabilir.

Ha bu arada kapalı kaynakta bu veriyi kullanmak isteyenler de var, onu da bir dipnot olarak söyleyeyim, sonuçta bu videoyu izleyen bizim arkadaşlarımız, yani böyle bilgileri de vermekte fayda var, şöyle düşünün, benim bir şirketim var, bu şirketle ilgili ChatGPT'de bir şey arandığında, örneğin ben diyelim ki cep telefonu kılıfı satıyorum, Türkiye'deki en ucuz cep telefonu kılıfını nereden alırım veya araba satıyorum veya kalem satıyorum, kahve satıyorum, neyse, bununla ilgili ChatGPT'den anında bizim şirket çıksın, bunu bir optimizasyon tekniği olarak da kullananlar var, onun çok fazla kendi verileriyle besleyen ve dolayısıyla işte ChatGPT'nin, Gemini'ın neyse kendi ürünlerini öğrenmesini bir arka kapı olarak günümüzde kullananlar da var, ha bunu ilerleyen yıllarda muhtemelen bir sisteme oturacak, oturtacak bu kapalı kaynak model geliştiren firmalar ve burada bir pazar yeri çoktan başladı, bir para dönüyor reklam amaçlı ama günün sonunda bu bir avantaja da dönüşebilir, bilmek açısından ama söyleyelim, kapalı kaynakta veri gizliliğinin olmadığını, verinin onların sunucusuna çıktığını, orada işlendiğini söyleyebiliriz, hibrit modeller geliştiriliyor, çoğu firmanın talebi verimiz çıkmasın şeklinde olduğu için değişik hibrit modellerin şu an geliştirildiğini sektörde olduğunu söyleyebiliriz ama çok detayına bu videolarda girmiyorum, genel bir giriş yapıyoruz, açık kaynakta ise ve kendi sunucunuzda hizmeti verdiğiniz durumdaysa tabii ki her şey sizin kontrolünüzde, istediğiniz gibi modeli kontrol edebiliyorsunuz, veriyi kontrol edebiliyorsunuz, özelleştirme kapalı kaynakta sıfır, bunu API üstünden çağırdığınızda bazı noktalarına müdahale edebiliyorsunuz, işte diyelim ki ısısını değiştirmek, temperature veya yanında veriler vermek, RAG gibi yapıları kullanmak, bunlar mümkün, ama bunlar her birisi siz müdahale ettikçe, siz müdahale ettikçe size insan kaynağı maliyeti, proje maliyeti veya sunucu tarafında kod, API kod atıyorsunuz, sonuçta bir API çağrısı atıyorsunuz, o atılmış olan API'ın maliyeti farklılaşmaya başlıyor, kullandıkça ödediğiniz modelin maliyeti artmaya başlıyor, kendi hizmetinizi sağladığınız açık kaynak modelde ise tamamen kontrol sizin elinizde, nasıl müdahale etmek isterseniz o şekilde müdahale edebilirsiniz diyebiliriz.

Kullanım kolaylığına baktığımızda API üstünden de çağıracak olsanız, bir prompt üstünden de çağıracak olsanız oldukça kolay bir şekilde kapalı kaynakta ilk günden, ilk dakikadan kullanmaya başlayabiliyorsunuz, açık kaynakta ise ciddi bir kurulumdan ve ayarlar yapıldıktan sonra ayağa kalkması söz konusu, tabii kapalı kaynakta hızla ilgili bir durum var, yani sonuçta dünyanın öteki ucundaki bir sunucuya da bağlanması söz konusu, burada bir gecikmeden bahsedebiliriz, ama şeyde ise açık kaynakta ise direkt kendi sunucunuzda çalışması, lokalde çalışması söz konusu, burada tabii hızı belirleyen güç, yük dağılımı gibi durumlar da var, yani her ne kadar açık kaynak sizin sunucunuzda çalışsa da doğru ayarlamalar yapılmadıysa daha yavaş da çalışabilir, daha geç de çıkabilir sonuçlar, dolayısıyla orada da gene bir insan kaynağına, insan kalitesine bağlı durumlar söz konusu diyebiliriz, kapalı kaynakta eğitilen veri ve eğitilen veri üstünde uygulanan alignment'lar, düzenlemeler, işte ırkçılık, cinsiyet ayrımcılığı gibi düzenlemeler şirket tarafından yapılıyor, farklı bir şirketin politikaları filan yapılıyor, bu şirketlerin çoğu Türkiye'de olmayan şirketler ve kendi bulundukları ülkelerin kanunlarına göre bunları düzenliyorlar, açık kaynakta ise tamamen kontrol sizin elinizde, biraz önceki örnekte bir geçelim, buna benzer çok fazla örnek verebilirim, mesela rakip şirketlerin verilerinin veya rakip şirketle ilgili bir soru sorulduğunda cevap verilip verilmemesi, kapalı kaynak modeli herhangi bir müdahale yapmazsanız orijinal haliyle aldığınızda servis olarak bu oynaya oynadığınız bir şey değil, bununla ilgili farklı problemler yaşanabilir ama açık kaynak modellere geçtiğinizde her şeyin müdahale sizin elinizde, tabii dediğim gibi bu kapalı kaynak modeller ve servis seviyesi alınan modeller için farklı seviyelerde müdahale etmek mümkün, yapılamıyor gibi bir algı çıkmasın ama müdahale ettikçe zaten yavaş yavaş, yani bu iki ucun arasında farklı seviyeler var, bir uçta tamamen kapalı ve servis aldığınız modeli, bir uçta ise tamamen açık ve her şey sizin yaptığınız modeli düşünün, bunun ara formlarını da kısmen orada, kısmen burada gibi formlarını da düşünebilirsiniz, iki ucu değerlendirdiğimizde böyle bir resim olduğunu söyleyebiliriz.

Destek için maliyet para yakarsınız, kapalı kaynakta bu bir maliyettir, çünkü şirket size destek veriyor, kaynak ayırıyor, dolayısıyla genelde kanallarını, şirketin kendi kanallarını kullanırsınız ve maliyetli bir işidir, bu para karşılığı yapılan bir işidir, lisanslama karşılığı yapılan bir işidir, açık kaynakta ise Open Source community'yi kullanırsınız, açık kaynak dünyasını kullanırsınız, tabii bu genç arkadaşlarımız için, sektöre girecek arkadaşlarımız için de büyük bir fırsat, çünkü orada bu işleri öğrenip destek veren community'ye, yani topluluğa destek veren, topluluk üstünden network yapan, kendi ağını, sosyal ağını geliştiren arkadaşlarımız çok kolay bir şekilde iş bulabiliyorlar, kendi projelerini yapabiliyorlar, bilinirliklerini, reputation'ını, itibarlarını, tanınırlıklarını artırabiliyorlar, dolayısıyla bu açık kaynak ekosistemi bir anlamda yeni sektöre girecek arkadaşlar için de fırsatlar sunar, örnek oyunculara baktığımızda tabii GPT OpenAI tarafı, Anthropic Claude serisi, Google Gemini serisi gibi örnekleri kapalı kaynak tarafında görebiliriz.

Açık kaynak tarafına baktığımızda Meta'nın tabii o ilk duyuran ve en çok etkili oluşturan örneklerden birisiydi, Llama serisi, Mistral AI, Google'ın Gemma'sı var veya işte DeepSeek gibi veya farklı örnekleri görebilirsiniz, genelde açık kaynak dünyanın daha çok Çin tarafından beslendiğini söyleyebilirim, kapalı kaynaksa biraz daha Amerika tarafında, daha önde olan bir yapı diyebilirim, farklı örnekleri olmakla birlikte, şimdi birkaç senaryo düşünelim, bu senaryolar için hangisi daha iyi olabilir, fikir versin diye örnek üstünden konuşmak için bu senaryoların üstünden geçeceğim.

Şimdi bir hızlı prototip geliştiren bir startup'ınız var diyelim, startup günün sonunda çok büyük parası, çok büyük insan kaynağı, çok büyük yatırımları olan bir yapı değil, küçük bir startup, belki daha dün kurmuşlar, kendi ceplerindeki parayla kurmuşlar, belki bir aylık, bir yıllık bir startup, ilk yatırımları da alsalar, seed yatırımı olsun, günün sonunda kısıtlı kaynakları var.

Böyle bir firma mesela mobil uygulama geliştiren bir örnek verilmiş burada ve ekiplere özel yapay zeka donanımı ve bu alanda derin uzmanlığı olan bir mühendisleri yok, öncelikleri alanları en iyi performansla en az eforla, en az maliyetle, en hızlı, en güzel, en başarılı sonucu elde etmek, tabii böyle bir yapıda kapalı kaynak tercih edilmesi çok daha doğru olacaktır.

Oturup bir sadece bunun için belki bütün startup'ın şimdiye kadar yaktığı maliyetin 10 misli maliyet yakmak, bütün startup'taki çalışanlardan daha fazla çalışanı sadece LLM tarafında bir iş geliştirmek için istihdam etmeleri ciddi bir maliyet, buna girmeleri belki startup seviyesinde çok düşünülmeyebilir, bir diğer örnek mesela bir sağlık kuruluşu olsun, hasta verilerini işliyor olsun ve bu hasta verilerinin üstünden bir LLM'le hizmet vermek istiyorsunuz, belki doktorlara, belki sağlık uzmanlarına soracakları sorularla ilgili bilgi verecek ve içeride çalışacak bir sistem ve tabii ki çalıştığı veri anlaşılacağı üzere ciddi güvenlik gerektiren, dışarıya çok sızması istenmeyecek bir veri ve böyle bir yapıda ve bir de hastane, sağlık kurumu olduğunu düşünürsek belli bir maliyet yatırımı da yapabilecek potansiyel olduğunu düşünürsek belki kapalı kaynak modele geçmesi daha iyi olabilir.

Evet, bir de öğrenci dünyasına bakalım, işte akademik araştırma yapan üniversitedeki bir öğrenci kardeşimiz diyelim ki neyi kullansa daha iyi olur, tabii burada şeyi de düşünebilirsiniz, kendi bir Ar-Ge projesi olduğunu düşünelim, yani öğrenciyken belki derslerinizle ilgili soracağınız sorular için işte hazır LLM'leri kullanmak çok kolay bir çözüm, hazır bir LLM'e bağlanıyorsunuz, internette bütün konuları araştırıp size cevap veriyor, bu çok da büyük bir imkan veriye erişmek anlamında ama daha çok böyle bir akademik araştırma projesi düşünün, üniversitede işte yüksek lisans tezi, doktora tezini yazan veya bir proje, farklı projeler var üniversitelerde biliyorsunuz.

Böyle bir durumda belki üniversitenin kaynakları da el veriyorsa sunucu yapısı, sunucu altyapısı el veriyorsa bu konuda teknik destek alabileceği ekip varsa bir takım çalışıyorsa bu konuda, belki de açık kaynak modele geçmesi, kendi problemine özel olarak eğitmesi, çünkü genelde akademik çalışmalar normalde açık olarak bulunabilecek hizmetlerden daha detaylı çalışmalar gerektiriyor, işte mesela burada Osmanlıca el yazmalarını analiz edip belirli kalıpları bulmaya çalışan bir proje yürüttüğünü düşünelim, şimdi bu verileri muhtemelen ChatGPT'de, Gemini'da, Copilot'ta yüklememiştir kendi üstüne.

Kaç tane Osmanlıca el yazması resmi vardır içinde çalıştırırken, e belli ki bu bir akademik çalışma, bunun üstünden belki bilime yeni bir kazanç sağlanacak, yeni bir katkı sağlanacak, ilk kez bir şeyler yapılacak, dolayısıyla bu tip çalışmalarda genelde açık kaynak tercih etmek ve onunla ilgili üniversitelerde de tabii altyapı olmasında fayda var, bir de böyle hibrit bir yapı olarak düşünün, çoğu şirketin günümüzde olduğu yapı, ne açık kaynak, ne kapalı kaynak, genelde ortada bir yerlerde bulunabileceğinden bahsetmiştim, daha dengeli olan, daha maliyeti ve tercih edilme potansiyeli yüksek olan, maliyeti uygun olan yapı hibrit yapılar oluyor, bir tarafta belki projenin belli kısımlarını açık kaynak bir yerden kullanmanız ve gizli verilerinizi, o verilerin üstünden oluşturulabilecek riskleri kendi içerinizde tutmanız, onları dışarıya vermemeniz ama bir yandan da dışarıdaki bu çok ucuza, hızlı entegre edebileceğiniz kaynakları kullanmanızda fayda olabilir.

Genelde çoğu şirketin KOBİ seviyesinde, startup seviyesindeki şirketin yapacağı yapının buna yakın olacağından bahsedebiliriz.

Evet, kısaca bu kaynaklardan yani kapalı kaynak ve açık kaynak yapılarından, close source ve open source yapılarından bahsettik, bunun servis olarak bir LLM'in servis olarak verilmesi veya içeride hizmete dönüştürülmesi, kendimizin bu sunucu problemlerini çözüp yaşatması ve karşısında da bunun hizmet olarak almak modellerinden bahsettik.

API kavramını kısaca bir tanımladık, Hugging Face'e kısaca bir baktık ve aslında bu dünyadaki kavramları tanımaya biraz daha ilerledik diyebiliriz.

Bir sonraki derste donanımdan bahsedeceğiz, bu generative AI konusunda, yani üretken yapay zekalar konusunda donanım da çok konuşuluyor.

Bu kavramları biraz tanımlamaya çalışacağız, işte CPU nedir, GPU nedir, TPU nedir gibi biraz bu kavramları, bunların önemi nedir, neden bunlara yatırım yapılıyor, nerelerde kullanılıyor, bunlardan biraz bahsetmeye çalışacağız ve genel terimleri, kavramları tanıyarak bu dünyaya biraz daha giriş yapacağız.

Bir sonraki dersimizde görüşmek üzere.