Speaker A
Merhaba, bu video Generative AI video serisinin 6. videosuyla beraberiz.
Bu video, Generative AI modellerinin öğrenme süreçlerini pretraining, fine-tuning ve RLHF aşamalarıyla Türkçe olarak anlatıyor.
Key Takeaways
- Generative AI modelleri önceden büyük veri üzerinde eğitilerek (pretraining) hazırlanır.
- Fine-tuning ile modeller belirli görevler için ince ayar yapılabilir.
- RLHF, insan geri bildirimleriyle model performansını artıran önemli bir yöntemdir.
- LLM'ler, metin içindeki kelime tahminleriyle kendi kendine etiketleme yapabilir ve böylece etiketleme ihtiyacını azaltır.
- Model eğitimi yüksek maliyet ve enerji tüketimi gerektirirken, eğitilen modeller farklı amaçlarla kullanılabilir.
Summary
- Generative AI video serisinin 6. videosu olup, modellerin nasıl eğitildiği ve çalışma sistematiği anlatılıyor.
- Pretraining (ön eğitim), fine-tuning (ince ayar) ve RLHF (Reinforcement Learning with Human Feedback) kavramları detaylandırılıyor.
- GPT ve Transformer mimarisi gibi temel terimler ve yapay zekanın çalışma prensipleri açıklanıyor.
- Supervised (gözetimli) ve unsupervised (gözetimsiz) öğrenme türleri ve etiketleme süreçleri örneklerle anlatılıyor.
- LLM'lerin (Large Language Models) kendi içinde veri etiketlemesi yapabilme başarısı vurgulanıyor.
- Model eğitimi sırasında GPU kullanımı, maliyetler ve enerji tüketimi gibi teknik detaylar paylaşılıyor.
- Pre-trained modellerin ne olduğu ve open source modellerin kullanımı hakkında bilgi veriliyor.
- Self-supervised öğrenme kavramı ve gözetimli/gözetimsiz öğrenmenin farkları açıklanıyor.
- Model eğitimi ile kullanım zamanının farklı süreçler olduğu belirtiliyor.
- Veri etiketleme maliyetlerinin azaltılması ve insan geri bildirimlerinin önemi üzerinde duruluyor.
Full Transcript — Download SRT & Markdown
Speaker A
Aslında Generative AI'ın da yani bu video serisinin de kendi içinde modüllerini yapmıştık.
Speaker A
İlk modülü bir önceki videomuzda, 5. videomuzda bitirdik.
Speaker A
Bu modülümüzde ise ikinci modüle aslında bu videoyla başlıyoruz.
Speaker A
Toplamda 4 modülden ve 20 videodan oluşan bir seri hazırladık, planladık ve 6. videomuzu çekiyoruz.
Speaker A
Bu videoda tabii artık ikinci modülle birlikte modellerin nasıl eğitildiğini, arkadaki çalışma sistematiğini anlatmaya çalışacağız.
Speaker A
Generative AI tamam güzel, biz kullanıyoruz, bir şeyler de üretiyor bu yapay zeka ama nasıl üretiyor, arkada modeller nasıl çalışıyor, oradaki terminolojiler, yaklaşımlar, felsefeler, güncel gelişmeler neler?
Speaker A
Biraz onlardan bahsetmeye çalışacağız.
Speaker A
Bu videomuzda yani 6. videomuzda modeller nasıl öğrenir sorusuyla yola çıkıyoruz.
Speaker A
Bu pre-trained, fine-tuning ve RLHF yani Reinforcement Learning Human Feedback gibi kavramları biraz anlatmaya çalışacağız.
Speaker A
Bunların da Türkçelerini verelim tabii biraz Türkçeden de oturması önemli, bir de videoları Türkçe çekiyoruz günün sonunda Türkçelerini anlatmak lazım.
Speaker A
Pre-trained ön eğitimini demek, yani önceden eğitilmiş demek.
Speaker A
Fine-tuning ince ayar diye Türkçeye çevrilebilir.
Speaker A
RLHF ise Reinforcement Learning Human Feedback ise arttırımlı veya pekiştirmeli öğrenme diye çevriliyor Reinforcement Learning, Human Feedback ise insan geri beslemesi, insan tepkisi, insan cevabı şeklinde düşünülebilir.
Speaker A
Şimdi yapıyı şöyle düşünelim, kavramları biraz kafamızda oturtabilmek için.
Speaker A
Mesela GPT diyoruz değil mi? Chat GPT diye bir şey var, markalaştı.
Speaker A
Chat GPT'nin GPT'si yani GPT diye yazılan şey Generative Pre-trained Transformer'ın kısaltılmışı.
Speaker A
Yani üretken, Generative üretken demek, üretken ön eğitimli, önceden eğitilmiş, daha önceden hazırlanmış bir Transformer.
Speaker A
Transformer yapısı da bizim derin öğrenmedeki bir derin öğrenme modeli, derin öğrenme şekli, tekniği diyelim.
Speaker A
Bunları tabii derin öğrenme videolarında falan detaylı anlatıyoruz ama burada giriş seviyesinde dolayısıyla Chat GPT dediğinizde üretken, önden eğitilmiş, daha önceden hazırlanmış bir Transformer derin öğrenme mimarisinden bahsediyoruz demektir.
Speaker A
Burada biraz bu modellerin ne olduğunu anlatmaya çalışacağız, bunların altyapısını anlatmaya çalışacağız, nasıl çalıştığını anlatmaya çalışacağız.
Speaker A
Kabaca bir LLM'in yani önden eğitilmesi ne demektir, bir LLM'i önceden eğitmek, onu hazırlamak ne demektir?
Speaker A
Bir LLM'in nasıl veriyi ürettiği, üretim sisteminin nasıl çalıştığı ve bu üretim sürecinde işte self-supervised.
Speaker A
Şimdi bizim yapay zeka ikiye ayrılıyor, bir supervised bir de unsupervised diye, yani gözetimli veya denetimli diye çeviriyorlar supervised'ı, unsupervised'ı da gözetimsiz veya denetimsiz diye çevriliyor.
Speaker A
Ne demek? Supervised learning'de, gözetimli öğrenmede yapay zeka bir uzmandan, bir işi bilenden, etiketli bir veriden öğreniyor.
Speaker A
Bu işi bilen kişi illaki insan olmak zorunda değil, yani etiketleme süreci bir insan tarafından da yapılabilir.
Speaker A
İnsan bu etiketleme sürecini yaptığı zaman ne yapmış oluyoruz?
Speaker A
Artık insanın uzmanlığını öğrenmiş oluyoruz.
Speaker A
Veya insan etiketlemez de başka bir etiketleme sistemi bulabiliriz.
Speaker A
Kaldı ki GPT'lerde mesela etiketleme nasıl yapılıyor?
Speaker A
Bir cümledeki kelimeden oraya kadar olan kelimelerden sonra hangi kelime gelebilir?
Speaker A
Bu bir etiketleme sistemi, gene insanın kurmuş olduğu cümleler ama oradan bir etiketleme sistemi yapılıyor.
Speaker A
Veya diyelim ki bir müşteri davranışını etiketlemek istiyorsunuz, bu nasıl olabilir?
Speaker A
Bir müşteriyle ilgili veriyi verip insana al bunları etiketle diyebiliriz, data labeling deniyor buna etiketleme.
Speaker A
Mesela bak buna uzman olarak bu kişi alır mı almaz mı, uzman görüşünü söyle, alır almaz orada etiketliyor, bu bir etiketleme olabilir.
Speaker A
Veya direkt şunu yapabilirsiniz, bu verileri verirsiniz günün sonunda müşteri almış mı almamış mı?
Speaker A
Yani hiçbir uzmana ihtiyaç duymadan, uzmanın etiketlemesine ihtiyaç duymadan belki de sistemin kendi içinde etiketlemeler de çıkartılabilir ki biz bunu daha çok severiz.
Speaker A
Çünkü o sistemin çalışmasıyla ilgili veriyi sistemin kendisinden topluyorsunuz.
Speaker A
Ayrıca bir etiketleme sürecinden geçirmiyorsunuz.
Speaker A
Dolayısıyla bu GPT'lerin de en büyük başarılarından birisi, şu anki LLM'lerin, Large Language Modellerin, büyük dil modellerinin en büyük başarılarından bir tanesi aslında veri etiketlemeye ihtiyaç duymadan metnin kendi içindeki bu tekrar kelimelerini tahmin eden bir etiketleme sistemi üstüne inşa edilmesi.
Speaker A
Bunu bir kere yaptıktan sonra insanlığın yazmış olduğu bütün verileri zaten biz LLM'lerin eğitimi için kullanabilecek hale geliyoruz.
Speaker A
Akselde ne olacaktı?
Speaker A
Her etiketleme için bir insan tutacaktık.
Speaker A
Hala daha görüntü işlemede buna benzer sıkıntılar var.
Speaker A
Görüntü işlemede işte burada bir pizza var mı yok muyu etiketlemeniz, burada bisiklet var mı yok mu, burada araba var mı yok mu etiketlemeniz gerekiyor.
Speaker A
Bunun için de değişik teknikler geliştirdi, işte mesela kapçaları bilirsiniz, bir web sitesine girerken işte trafik işareti gördüğün yerleri işaretle.
Speaker A
Ne bileyim itfaiye musluğu gördüğün yerleri işaretle, yangın musluğu gördüğün yerleri işaretle filan gibi işleri insanlara yaptırtarak belki oradan etiketlenmiş veriler toplanarak da sistemin kendi içinde yani kendi kendine ayakta duran, bunun için para ödenmeyen, ayrıca etiketleme maliyeti olmayan yapılar kurmaya çalıştılar ama bir yere kadar tabii insan etiketlemesi gidiyor, daha güzeli sistemin kendi kendine veriyi etiketlediği yapılar inşa edebilmek.
Speaker A
Şimdi bu yapılara baktığımızda tabii LLM'ler pre-trained modeller.
Speaker A
Ne oluyor? İşte GPT gibi, Gemini gibi, Copilot gibi sistemleri düşünün.
Speaker A
Bunlar bir makinede GPU'ları yakılarak ve verileri, etiketli verileri yüklenerek bir sonuca, eğitilmiş bir modele geliyor.
Speaker A
Şimdi yapay zekada gene daha önceki videolarımızda da geçti ama bir kere daha burada hatırlamakta fayda var.
Speaker A
Nedir? Bir eğitim zamanımız var, modeli eğitiyorsunuz, sonra onu kullandığınız bir zaman var.
Speaker A
Mesela sorgu, modelle bir şeyler soruyorsunuz, kullanım zamanı.
Speaker A
Eğitimle kullanım farklı.
Speaker A
Eğitirken GPU'ların üstüne çok ciddi maliyet bu tabii derin öğrenme olduğu için GPU daha çok tercih ediliyor.
Speaker A
Bunların üstüne ciddi bir maliyet yakılıyor, zaman olarak maliyet, onun yaktığı elektrik olarak maliyet, onun yatırım maliyeti, GPU'nun satın alma maliyeti bunları düşündüğünüzde bir maliyet yakılıyor, ortaya bir model çıkıyor.
Speaker A
Bu çıkan modeli sonra sohbet etmek için kullanıyorsunuz, bir soru sormak için kullanıyorsunuz, pazarlama için neyse artık amacınız onun için kullanıyorsunuz.
Speaker A
Bu sürecin tamamına baktığımızda bir LLM'in önce eğitilmesi, sonra bu eğitilen modelin bir sürü farklı yerde kullanılması söz konusu.
Speaker A
Mesela şu anda open source modeller var.
Speaker A
OpenAI'ın da değil mi OSS'i çıktı, Qwen var, farklı farklı open source modeller var.
Speaker A
Bu modeller birileri eğitmiş, hazırlamış bir dosya halinde internette duruyor.
Speaker A
Onu indirip kendi bilgisayarınızda veya bir sunucuda kurabiliyorsunuz.
Speaker A
İşte bu indirdiğiniz modele biz pre-trained model diyoruz, önden eğitilmiş model.
Speaker A
Onu eğitirken bir maliyet yakılmış, onunla ilgili veriler toplanmış, bu bir maliyet, etiketlemeleri yapılmış gerekiyorsa ve sonrasında donanımı yakılmış, hem veri maliyeti hem donanım maliyeti var, çalışma maliyeti var, bunlar yapıldıktan sonra da sistem ortaya çıkmış.
Speaker A
Bu yapının tamamına pre-trained model deniliyor.
Speaker A
Ve burada aslında bizim yapmak istediğimiz şey ne? Bunun kendi kendine öğrenen bir yapıya geçmesi, self-supervised.
Speaker A
Yani supervised learning, unsupervised learning var demiştik, gözetimli öğrenme, bir insan tarafından gözetimi olan, bir de gözetimsiz öğrenme var, orada da amaçta bir gözetimli sonuç yok, yani bilinmeyen bir sonuç var.
Speaker A
Dolayısıyla bu gözetimsiz öğrenme sürecinden çıkan sonuçlar mesela nedir? Segmentasyon, müşteri segmentasyonu, kaç segment var başta belli değil, kimin hangi segmentte olduğu başta belli değil, unsupervised learning süreci gidiyor.
Speaker A
Unsupervised learning kendi başına giderken sonucu çok net değilken, bir sonuç da netleşmesi istenmezken, şimdi self-supervised diye bir kavramdan bahsediyoruz.
Speaker A
Ne demek? Kendi kendine ne kadar doğru öğrendiğini ölçebilecek, kendi kendine kanaat getirebilecek, iyi mi gidiyorum kötü mü gidiyorum, buna baktığımız bir yapıya gitmek istiyoruz.
Speaker A
Ve burada tabii insan geri beslemesinden de beslenen yapılarımız var.
Speaker A
Bu DPO, PPO, GDPO değişik tekniklerden bahsettik, bunları ilerleyen derslerde göreceğiz, ileri derslerimizde var.
Speaker A
Daha çok policy optimization'la ilgili kavramlar bunlar, yani bir yapay zekanın ne zaman kendini güncelleyeceği, güncellerken kime güveneceği, nasıl güveneceği gibi kavramları anlattığımız farklı algoritmalar burada var, farklı teknikler var.
Speaker A
Bunları da söylemiş olalım bu giriş videosunda.
Speaker A
Peki, bir analoji olarak düşünecek olursak, kütüphane örneği, işte diyelim ki bir kütüphanemiz var.
Speaker A
Bu kütüphanede bir yapay zekayı eğitiyorsunuz.
Speaker A
Bir çocuk gibi düşünelim yapay zekayı, kütüphanedeki bütün kitapları okudu.
Speaker A
Yani aslında ne yaptık biz? İnsanlığın yazmış olduğu bütün yazılı kaynakları yapay zekaya verdik, al bunları oku dedik.
Speaker A
Okudu bizim çocuğumuz, yapay zekamız.
Speaker A
Sonrasında da bu çocuğa biz soru-cevapla fine-tuning yapıyoruz.
Speaker A
Diyoruz ki bak sen tam okudun bunları da ne işe yarayacak bu okuduğun bilgiler?
Speaker A
Hepsini ezbere biliyor mesela diyelim ki yani öyle bir şey olsun, ne işe yarayacak?
Speaker A
Mesela soru cevaplamaya yarayacak.
Speaker A
O zaman soru vermemiz lazım adama.
Speaker A
Ben bir soru soracağım, o da bir cevap verecek.
Speaker A
Verdiği cevap o sorunun cevabı olmayabilir, yani sorunun nasıl cevaplanacağı da ayrıca öğrenilmesi gereken bir şey.
Speaker A
Bütün bilgileri biliyor olmak çok iyi soru cevaplayabileceği anlamına gelmez.
Speaker A
Hani öğretmenler için hep böyle benzetme yapılır ya, hoca çok iyi biliyor da anlatamıyor filan.
Speaker A
Yani bilmek ayrı bir şey, anlatabilmek ayrı bir şey.
Speaker A
Bilmek ayrı bir şey, soru cevaplamak ayrı bir şey.
Speaker A
Bilmek ayrı bir şey, sınıflandırma yapmak, bir metnin olumlu mu olumsuz mu olduğuna karar vermek ayrı bir şey.
Speaker A
Siz her şeyi biliyor olabilirsiniz ama onu aksiyona dönüştürme sırasında başka yeteneklerinizin de olması gerekir.
Speaker A
İşte fine-tuning tarafında da biz bu yetenekleri geliştiriyoruz.
Speaker A
Pre-training'de evet bir dili öğrettik, dildeki kelime akışını, hangi kelime hangi kelimeden sonra gelir bunları öğrettik.
Speaker A
Fine-tuning'de de bu sefer amacımıza yönelik olarak soru cevaplamaksa amacı soru cevaplamak, makale yazmaksa makale, kitap yazmaksa kitap yazmak.
Speaker A
Bu amaca yönelik olarak artık ona özel ders veriyoruz, soru cevaplarla ben sana bir soru soruyorum, tamam cevabını aldım, ha bak bu cevabı şöyle versen daha iyi olur gibi yönlendirmeler yapıyoruz.
Speaker A
İki cevap da doğru, üç cevap da doğru, verdiği cevapların hepsi doğru belki ama o cevabın nasıl verileceğiyle ilgili yönlendirmeler yapıyoruz, böylelikle daha iyiye, o bilgiyi daha doğru kullanmayla ilgili bir eğitimden geçmiş oluyor bizim çocuğumuz diyelim ki yapay zekamız.
Speaker A
Daha sonrasında da üçüncü aşamada ise artık RLHF başlıyor, yani Reinforcement Learning Human Feedback.
Speaker A
Burada insan geri beslemelerinden kendini geliştiren, sürekli pekiştiren bir öğrenmeye geçiyor.
Speaker A
Bunun da yapısını anlatacağız ama kabaca buradayken bahsedelim, nedir? Cevapları gösteriyor iki tane cevap, diyorum ki bu daha iyi veya üç tane cevap gösteriyor, sıralıyorum, en iyisi bu, ikincisi bu, üçüncüsü bu.
Speaker A
Artık nasıl bir teknik kullanıyorsanız, buna göre kendi içinde bir iyileştirme yaparak cevapların daha doğru olmasına çalışıyor, karar vermeye çalışıyor.
Speaker A
Teker teker bu aşamalardan geçelim şimdi, üç aşama dedik, ilkinde çocuğumuza bütün kütüphaneyi yüklüyoruz dedik, yapay zekayı bir çocuk olarak düşünecek olursak.
Speaker A
Ne yapıyoruz? Öncelikle bildiğimiz bütün veri kaynaklarını yükleyebiliriz.
Speaker A
Tabii burada veriyle ilgili bir sürü problem var, yani hangi veri yapay zeka kullanabilir, hangisini kullanamaz, kullanması uygundur?
Speaker A
Veri açık mıdır, o verinin üstünde telif hakkı var mıdır, birinin emeği midir o?
Speaker A
Mesela ilk eğitilen şeylere baktığımızda yapay zekalara baktığımızda Wikipedia'dan ciddi anlamda eğitildiler.
Speaker A
Bert gibi yöntemler, hala GPT vesaire, bunların ilk versiyonlarına baktığınızda makalelerden, akademik makalelerden, açık olan makalelerden eğitildiler.
Speaker A
E tabii orada telif problemleri de başladı değil mi? Benim makalemden eğitiyorsun, dünyanın milyar dolarlık şirketini kuruyorsun, benim de bunda hakkım olmalı diyen insanlar çıktı ki keza zannediyorum hepimizin orada bir emeği vardır.
Speaker A
Ben yıllardır Wikipedia'da iyi kötü bir şeyler yazmaya çalışıyorum.
Speaker A
Benim de emeğim vardır, başka insanların da emeği vardır, artı makalelerimiz, akademik yayınlarımız var, onlardan da faydalanmış olabilir.
Speaker A
O zaman hepimiz çıkıp burada bir hak sahibi miyiz gibi bir durum ortaya çıktı, burada bir talep ortaya çıktı.
Speaker A
Bu veriyle ilgili sahiplik problemi ciddi bir problem, artı verinin doğruluğu problemi var.
Speaker A
Şimdi şöyle düşünün, veriyi yüklediniz, tamam o bir cevap verdi ama o verinin içinde kirli, gürültülü, eksik bir sürü veri var.
Speaker A
Yani çok klasik örnek işte cinsiyet ayrımcılığı yapıyor.
Speaker A
Mesela diyorsunuz ki işte doktor, bana doktor söyle ama doktor erkek olmasın, kadın olsun diyorsunuz.
Speaker A
Kimdir bu diyorsunuz?
Speaker A
Hemşire diyor.
Speaker A
Yani hemşirelik ayrı bir meslek, doktorluk ayrı bir meslek, ikisi de ayrı ayrı saygın, bunların biri iyi biri kötü anlamında söylemiyorum ama günün sonunda farklı bir mesleğe atıyor bir anda kadın olduğunda doktor.
Speaker A
Doğru değil yani cinsiyete göre farklılaştırmaya başlıyor.
Speaker A
Ve dolayısıyla bu tip problemleri mesela nereden öğreniyor?
Speaker A
Aslında verdiğimiz veriden öğreniyor.
Speaker A
Bu alignment problemi yani etik konularının ele alındığı konu, birazdan ondan da bahsedeceğim ama başlı başına bir problem.
Speaker A
Şimdi siz bütün veriyle yüklüyorsanız insanlığı, bütün yazmış olduğu bugüne kadarki veriyle yüklüyorsanız, bunun içinde farklı zamanlar var.
Speaker A
Yani Shakespeare'in de yazdığı yazılar var değil mi?
Speaker A
Onun yazdığı dönemki, o dönemi temsil eden algılar, kabuller var.
Speaker A
Bugünkü de var, bundan bin yıl önceki, iki bin yıl önceki de var, bütün bunları yüklüyorsunuz.
Speaker A
Ve o yüklemiş olduğunuz veriler üstünden bir şeyler öğreniyor.
Speaker A
Bu şuna benziyor, bugünlerde de çok moda bir tartışma konusu bu, etik konusunu nasıl yapay zekaya ekleyeceğiz?
Speaker A
Yani siz bir çocuğu eğitiyorsunuz, çocuk eğitirken sizi örnek alıyor, rol model olarak sizi kullanıyor, sizin yaptıklarınızı yapmaya çalışıyor.
Speaker A
Burada ne demek bu? LLM yani Large Language Modeller, işte Chat GPT, Gemini vesaire, bunlar eğitilirken sizin gibi cümle kurmaya çalışıyor.
Speaker A
Çünkü insanlık olarak bizim bütün yazdığımız yazılı metni veriyoruz, o da ondan öğreniyor, orada nasıl cümle kurulacağını öğreniyor.
Speaker A
E sizin kurduğunuz cümlelerde bir yanlılık, bir ayrımcılık, bir problem varsa, o zaman onu öğrenecek.
Speaker A
Siz benim gibi davranmayı öğren diyorsunuz yapay zekaya, sonra da çıkıp diyorsunuz ki benim gibi davranma, şurada şurada şurada benim gibi davranma, şöyle davran diye komut veriyorsunuz.
Speaker A
Şimdi hangisi yani bir çocuğu eğittiğinizi düşünün, çocuk sizin gibi davransa yani rol modelsiniz değil mi? Taklit etmesi öğrenmede çok önemli bir şey, sizi taklit ediyor, sizden öğreniyor ama şuralarda da bunu yapma.
Speaker A
Ne kadar etkili olabilir söylediğiniz o vermiş olduğunuz komutlar?
Speaker A
Alignment'ta bunlar düzeltilmeye çalışılıyor.
Speaker A
Ama işin çekirdeğinde hazır bu slayttayken de onu söyleyelim, işin çekirdeğinde bir eğitilen veri var, her şeyin öğrenildiği veri var ve bu veri insanlığın yazmış olduğu bütün yazılı kaynak olacak belki de.
Speaker A
Bunun içinde sosyal medyayı da düşünün.
Topics:Generative AIYapay ZekaPretrainingFine-TuningRLHFTransformerLLMDerin ÖğrenmeGözetimli ÖğrenmeGözetimsiz Öğrenme
