GenAI 2 : Transformers : Yapay Zekanın Zihninin İçinde:… — Transcript

Bu video, Büyük Dil Modellerinin (LLM) temel bileşenlerini, tokenization, embedding ve attention mekanizmasını detaylıca açıklar.

Key Takeaways

  • LLM'ler metinleri tokenlara bölerek işler ve bu tokenlar üzerinden tahmin yapar.
  • Attention mekanizması, kelimeler arasındaki ilgiyi hesaplayarak bağlam oluşturur.
  • Dil, yapısal olmayan veri olarak sayısal forma embedding ile dönüştürülür.
  • Transformer mimarisi, LLM'lerin temelini oluşturur ve bağlam penceresi önemlidir.
  • Halüsinasyon gibi problemler modelin çalışma mekanizmasıyla ilişkilidir.

Summary

  • Büyük Dil Modellerinin (LLM) anatomisi ve çalışma prensipleri anlatılıyor.
  • Tokenization kavramı ve metinlerin küçük parçalara bölünmesi süreci açıklanıyor.
  • Embedding ile metinlerin bilgisayarın anlayacağı sayısal forma dönüştürülmesi ele alınıyor.
  • Attention mekanizmasının LLM'lerdeki önemi ve 'Attention is all you need' makalesinin etkisi vurgulanıyor.
  • Transformer mimarisinde kelimeler arasındaki bağlam ve ilgi yapısı detaylandırılıyor.
  • Parametre sayısı ve halüsinasyon problemleri teknik açıdan ele alınıyor.
  • Dil ve dilin yapısal olmayan veri olarak bilgisayar tarafından işlenmesi konusu işleniyor.
  • Token boyutlarının ve sayısının teknolojik gelişmelerle nasıl değiştiği anlatılıyor.
  • Bağlam penceresi (context window) kavramı ve LLM'lerdeki rolü açıklanıyor.
  • Güncel LLM örnekleri ve günlük hayatta nasıl çalıştıkları hakkında bilgiler veriliyor.

Full Transcript — Download SRT & Markdown

00:05
Speaker A
Merhaba, Büyük Dil Modellerinin anatomisini konuştuğumuz bu ikinci videomuzda beraberiz. Aslında birinci modüldeyiz, derinlemesine temeller ve mimarileri anlatıyoruz, GenAI, Generative AI kavramını anlatıyoruz ve bu videoda bir LLM'in anatomisine gireceğiz, içine gireceğiz.
00:29
Speaker A
Bir LLM'in içinde neler oluyor, nasıl çalışıyor, hangi bileşenleri vardır, bu bileşenlere verilen bir sürü isim var işte tokenization, embedding, positional encoding, attention gibi kavramlar var, bu kavramların kısaca bir üstünden geçmeyi hedefliyoruz ve bu videonun sonunda bu terimleri öğrenmiş olmanız, bunların nasıl birbiriyle iletişim kurduğunu ve aslında arkadaki çalışma mekanizmasını, mekaniğini öğrenmiş olmanızı hedefliyoruz.
01:00
Speaker A
Bununla bağlantılı olarak tabii ki burada bahsedildiği üzere işte parametre sayısı nedir? Şimdi böyle duyuruyorlar ya milyarlar, trilyonlar havada uçuşuyor, bir LLM'in parametre sayılarından bahsediliyor veya halüsinasyon nedir?
01:40
Speaker A
İşte bir problem olarak bahsediliyor ya halüsinasyon nedir, neden çıkar?
01:42
Speaker A
Bunu birazcık daha teknik olarak işin arka planından bakarak anlatmaya çalışacağız.
01:45
Speaker A
Şimdi öncelikle şunu söylemekte fayda var, dilin ne olduğunu biz farklı şekillerde yorumluyoruz, yani bilimsel olarak da bilgisayar bilimlerinde de yapay zekada da dil yıllardır insanların öğrendiği, gramatik bir şekilde, dil bilgisi şeklinde öğrenilen, öznesi, yüklemi, işte eki, kökü vesairesinin öğretildiği bir yapı olarak kabul edildi.
02:23
Speaker A
Fakat gördük ki son düzlükte, LLM'lerin çıkışında sağlayan yapıda istatistiksel bir özelliği var dilin.
02:35
Speaker A
Yani dilin arkasında bir felsefe var, biz bununla özneyi, yüklemi, bir fiil yapan, değil mi, fiili yapılan objesi, nesnesi, fiile maruz kalan, o fiilden etkilenen gibi bir sürü felsefi tanımlar yapıyoruz aslında, bir cümle kurduğumuzda o cümleyi sonra üstünde düşünüp bir sürü yere bağlayabiliyoruz.
03:12
Speaker A
Ama LLM, yani LLM'in konusu olan metinler veya görüntüler veya sesler veya videolar bunlar yapısal olmayan veri olarak geçer literatürde ve yapısal olmayan verinin bilgisayar tarafından işlenebilmesi için bilgisayarın anlayacağı 1'ler 0'lara dönüşmesi gerekiyor.
03:44
Speaker A
İşte elimizde çok sayıda kelimeden oluşan bir aslında çorba var, bir metin dediğiniz bir sürü kelimenin arka arkaya sıralanmış hali bilgisayar gözünden bakacak olursak, onun düzenli bir hale dönüştürülmesi, 1'ler 0'lara dönüştürülmesi gerekiyor.
04:14
Speaker A
Bunu da kısaca embedding'le yapıyoruz.
04:17
Speaker A
Önce embedding'e girmeden önce tokenization'a ihtiyacımız var, yani metni küçük parçalara bölmemiz gerekiyor.
04:53
Speaker A
Bir metni blok halinde, bütün halinde alıp işleme şansımız yok, sonuçta biz hangi kelimeden sonra hangisi şeklinde anlatıyoruz, eğitim videolarında veya çoğu kaynakta bunu görebilirsiniz.
05:16
Speaker A
Kelimeden sonra hangi kelime gelecek veya kelimeler nedir gibi kelime kelimesini kullanıyorsak şayet, orada word embedding'den bahsediliyor demektir.
05:30
Speaker A
Kelime bazlı tokenization'dan, tokenization'dan bahsediliyor demektir.
05:34
Speaker A
Ama genelde gerçek dünyadaki LLM'ler, Large Language Modeller kelime bazında çalışmaz, bunlar token bazında çalışırlar, tokenization denilen bir yapı vardır, kelimelerin de altında daha küçük parçalara bölerler.
05:59
Speaker A
Mesela işte Bilgisayar Kavramlarını Seviyorum diye bir cümle verdiniz, bunu ufak Lego parçaları gibi düşünebilirsiniz.
06:10
Speaker A
Bunu kendi dünyasında bir algoritması var, bir matematiği var.
06:15
Speaker A
Anlamlı küçük parçalar, Bil diye bir parçaya bölmüş mesela.
06:20
Speaker A
Gisa diye bir parçaya bölmüş.
06:22
Speaker A
Yani burada gözettiği şey de çok geçen, çok tekrar eden token'ları elde edebilmek.
06:40
Speaker A
Şayet mesela İngilizce kelimeler için özellikle gelişmiş LLM'lerde İngilizce kelimelerin neredeyse kelime kelime artık tokenization'a geldiğini görüyoruz.
06:50
Speaker A
Çünkü teknolojiniz ilerledikçe sizin LLM'iniz daha karmaşıklaştıkça yapabileceğiniz token boyutları da uzamaya başlıyor.
07:05
Speaker A
Daha az token'la bir metni sonuçta token'lara bölüyorsunuz.
07:10
Speaker A
İşte aynı bir sayfalık metni 1000 token'a da bölebilirsiniz.
07:12
Speaker A
10.000 token'a da bölebilirsiniz.
07:13
Speaker A
Değil mi? Dolayısıyla token'ların sayısının azaldığı, token'ların boyutunun uzadığı bir yapıyı düşünebilirsiniz gelişen teknolojilerle birlikte.
07:25
Speaker A
Ve bu tokenization'ın sonunda aslında token'lardan sonra hangi token'ların geleceğini tahmin eden bir yapıya geçiyoruz LLM'lerde.
07:36
Speaker A
Bunu baştan söylemekte fayda var, ben de eğitimlerde veya konuşurken günlük hayatta hep hangi kelimeden sonra hangi gelecek gibi basit bir algoritma diye filan tanımlıyoruz.
07:44
Speaker A
LLM'leri ama orada aslında dikkat edeceğimiz nokta kelimeden sonra kelime değil.
07:50
Speaker A
Token'dan sonra token şeklinde düşünebilirsiniz, yani tokenization çalışır arkada.
07:57
Speaker A
Ve parçalara böler ve bu bölme sırasında da kendi dünyasında hesaplaması kolay olacak küçüklüklere indirgemeye çalışır.
08:03
Speaker A
Hiç bilmediği kelimeler geldiyse, mesela saçma sapan bir şeyler yazdınız, Chat GPT'yi açtınız, klavyeden saçma sapan basmaya başladınız.
08:20
Speaker A
Aradan belki tesadüfen basarken bazı bildiği token'lara denk getirebilirsiniz ama diyelim ki worst case'de, en kötü durumda, en kötü durum senaryosunda her harfi bir token olarak alır.
08:35
Speaker A
Her harf zaten tanımlıdır token olarak ve dolayısıyla her harfi bir token olarak alarak ilerler diyelim tokenization için.
08:48
Speaker A
Şimdi LLM'lerin kalbi attention mekanizması.
08:50
Speaker A
Attention is all you need, yani bu meşhur bir makale biliyorsunuz, aslında şu günümüzdeki Chat GPT'nin, Gemini'ın vesairenin bugüne gelmesini de sağlayan en büyük motivasyonu oluşturan makale.
09:09
Speaker A
2017 yılında Transformer'larla ilgili yayınlanmış makalemiz var ve Attention is all you need makalesi de büyük bir çığır açtı.
09:19
Speaker A
Bu çığırın açılmasının sebebi isminde de işte ihtiyacınız olan tek şey ilgidir, Attention is all you need, Attention'ı ilgi veya dikkat diye de çeviriyorlar, farklı çevrimler var, ben ilgi çevirisini daha doğru buluyorum çünkü hangi kelimenin hangi kelimeyle ilgili olduğunu bulan bir yapı.
10:12
Speaker A
Veya şöyle de diyebilirsiniz tabii hangi kelime hangi kelimeye dikkat ediyor diye de Türkçede kullanabilirsiniz ama ilgi denince daha iyi anlaşılıyor, bizim işte diyelim ki Ali sabah uyandı, o yüzünü nokta nokta ne gelebilir?
10:30
Speaker A
Şimdi orada bakın sabah kelimesi var, uyanmak var, yüzü var, Ali çok önemli değil orada, Ali'yle bir attention'ı yok, bu üç kelimeyi birleştirdiğinizde yüzünü yıkadı gibi bir devamı olabilir kanısına biz kapılıyoruz insan olarak.
10:56
Speaker A
İlgili kelimeler diyelim, aralarındaki ilginin çözüldüğü kelimelere biz attention diyoruz.
11:08
Speaker A
Aslında basit bir matris gibi düşünebilirsiniz, dildeki bütün kelimelerin diğer bütün kelimelerle ilgisini tutan.
11:18
Speaker A
Bu kelime bununla daha ilgilidir, bu kelime bununla daha az ilgilidir gibi bir matris gibi de düşünebilirsiniz.
11:30
Speaker A
Tabii bunun algoritmaları var, eğitimin yani profesyoneller için hazırladığımız eğitim serilerinde bunun detaylı algoritmalarını anlatıyoruz, farklı verimliliği arttırıcı, arkada kullanılan algoritma çeşitlerini anlatıyoruz ama bu giriş seviyesi GenAI eğitim videosunda en azından bundan bahsedebiliriz.
11:53
Speaker A
Yani kelimeler arasındaki ilgiyi tutan bir yapıdır diyebiliriz.
11:55
Speaker A
Şimdi Transformer yapısında bir örnek üstünden gidecek olursak mesela, Kral tacını başına taktı, çünkü çok yorgundu dediğimizde.
12:04
Speaker A
Burada çünkü çok yorgundu da bir o var, değil mi, gizli özne var.
12:12
Speaker A
O gizli özne nedir?
12:15
Speaker A
O kimdir, o nedir?
12:18
Speaker A
Yani o bir taç mıdır, kral mıdır?
12:20
Speaker A
Değil mi, bir sürü şey olabilir, dolayısıyla buradaki o kelimesinin neye ait olduğunu, yani Kral tacını başına taktı çünkü o çok yorgundu gibi bu cümleyi büyütecek olursak, oradaki o kelimesinin neye attention'ı, ilgisi olduğunu bulabilmek.
12:39
Speaker A
Aslında taç, baş, kral gibi kelimeler arasındaki attention mekanizması üstünden çıkan bir yapı diyebiliriz, bir bağlam oluşuyor ve bu oluşan bağlamda bir ilgi yapısı kuruluyor diyebiliriz kabaca Transformer mimarisinin üstünde çalışan bir yapı olarak.
13:19
Speaker A
Bir de çok duyacağınız bağlam penceresi kavramı var, context window, context window kavramı kabaca aslında bizim dilden çıkartabildiğimiz, dilden ürettiğimiz.
13:34
Speaker A
Ve o anda ilginin de üstünde olduğu, o anda konuşmanın da üstünde olduğu bağlamı gösteriyor.
13:42
Speaker A
Şöyle düşünebilirsiniz, ben işte Chat GPT'yle, Gemini Copilot'la artık hangisi bir LLM diyelim bunlara kısaca eğitim boyunca, bir LLM'le yazışıyorum.
13:53
Speaker A
Bir şey söyledim.
13:55
Speaker A
Mesela dedim ki bana istatistiksel olarak mülakat sorularını çıkart.
14:01
Speaker A
İstatistik konusunda veya yapay zekada.
14:03
Speaker A
Veri bilimi konusunda.
14:04
Speaker A
Mülakat sorularını çıkart dedim.
14:06
Speaker A
Çıkarttı.
14:07
Speaker A
Çıkarttıktan sonra ben bir ikinci bir soru sorduğumda bu ikinci sorunun ilk sorunun bağlamında sorulduğunu anlayabilir.
14:20
Speaker A
Mesela diyelim ki normal ne demek dedim.
14:22
Speaker A
Normal ne demek dediğimde bana belli ki veri bilimiyle ilgili, yapay zekayla ilgili normal kavramını, normal dağılımını.
14:30
Speaker A
Gibi normal kelimesini anlatacak o bağlamdayım.
14:35
Speaker A
Ama mesela ilk sorum psikolojiyle ilgili bir şey olsaydı, psikolojiye göre normal nedir, insanın normal olması ne demektir filan.
14:44
Speaker A
Belki onunla ilgili bir şey anlatacaktı.
14:46
Speaker A
Dolayısıyla bir konuşma bağlamımız var.
14:50
Speaker A
Bir bağlam içinde konuşuyoruz.
14:52
Speaker A
Ve o bağlam devamlılığı olan bir şey.
14:56
Speaker A
Buna işte cross attention da deniyor, yani bir önceki yazılmış olan prompt'la bir sonraki prompt arasındaki ilişkiyi tutabileceğimiz yapılar.
15:13
Speaker A
Ama bu bir pencere, onu unutmamak lazım.
15:16
Speaker A
Bu pencere ben konuştukça kayıyor.
15:20
Speaker A
Ben konuştukça başka konulara kayıyorum ve bağlam da kayıyor.
15:32
Speaker A
Ben 100 tane prompt verdiğimde 100. verdiğim prompt'un ilk verdiğim prompt'la bağlam anlamında bir ilişkisi kalmamış olabilir, artık konu konuyu açıyor diyoruz ya hani Türkçede.
15:49
Speaker A
Konu konuyu açmış ve başka bir yere gelmiş olabilir.
15:57
Speaker A
Dolayısıyla context bir pencere olarak düşünülür burada window, o pencerenin içinde olanlar var ve o pencere sürekli kayıyor.
16:10
Speaker A
O kaydıkça yeni konular içine giriyor, yeni bağlamlar giriyor.
16:17
Speaker A
Ve içindeki bazı bağlamlar da artık çıkıyor, bağlam dışı kalıyor o konular.
16:24
Speaker A
İlk konuştuğumuz konu artık o bağlamdan unutulmuş oluyor gibi düşünebilirsiniz.
16:28
Speaker A
Bu şu anki konuştuğumuz konuları tutan, bağlamı tutan yapıya ise context window diyoruz kısaca, kabaca diyelim.
16:37
Speaker A
Bu context window da LLM'leri tercih etmek için önemli çünkü LLM'lerin token sayısı açısından bu context window'la ilgili sınırları var.
16:44
Speaker A
Yani işte mesela Gemini'da 1 milyon, diyelim ki diyelim ki Chat GPT'de 128.000, Claude'da 240.000, neyse bunlar değişiyorlar.
16:52
Speaker A
Bu ne demek, o kadar token'ı anlık olarak aklında tutabilir.
16:55
Speaker A
Ve tabii bu token'ın, bu context'in nasıl tutulacağı, bu bağlamın nasıl tutulacağı da ayrı bir problem, motomot bir şekilde yazılan her şey bağlamda tutacak ve soruların her soruda onlarla ilişkisini mi kuracak yoksa mesela daha önceki konuşmalardan özet çıkartarak mı ilerleyecek ve o bir özet mi aklında tutacak gibi farklı tekniklerimiz de var arkada context window'la ilgili kullanılabilen.
17:15
Speaker A
Gene parametre sayısını çok duymuşsunuzdur, yani LLM'lerde bir parametre yarışı gidiyor malum işte milyarlar, trilyonlar havada uçuşuyor.
17:26
Speaker A
Bizim LLM şu kadar trilyon işliyor, bizimki bu kadar işliyor gibi.
17:29
Speaker A
Bu LLM'lerin parametre sayısını basitçe kaç farklı token alabileceği, attention matrisleri ve yapay sinir ağının üstünde bunlar multilayer perceptron, feed-forwarded network olarak geçerler, yani ileri beslemeli yapay sinir ağları olarak geçerler ve o yapay sinir ağının üstünde değerler vardır, bir matristir bugünün sonunda hangi nöronun hangi nöronla nasıl bir ilişkisi olduğunu tutan bir matristir, bu matris, attention matrisi ve embedding sistemlerine, embedding yapısındaki algoritmasındaki matrislere bir parametre sayısı girdisi olarak düşünebilirsiniz.
18:37
Speaker A
Bu şu demek, yani biz işte 1 trilyon parametremiz var dediğimizde.
18:42
Speaker A
Genelde yapay sinir ağımızdaki parametreleri, hatta bias'lar dahil olmak üzere bütün ağırlıkları, attention matrisimizdeki ağırlıkları, weight'leri, orada weight matrislerimiz var ve embedding'imizin içindeki token'ların ağırlıklarını tamamını bunun içinde değerlendiriyoruz gibi düşünebilirsiniz.
19:17
Speaker A
Dolayısıyla parametre sayısı artınca hangisinde daha fazla arttığının bir göstergesi yok.
19:25
Speaker A
Keşke bu parametre sayısını alt kırılımlı verseler.
19:30
Speaker A
Şurada şu kadar, şurada şu kadar parametre alıyoruz diye.
19:34
Speaker A
Bazı açık kaynak sistemlerde bunu görebiliyoruz.
19:40
Speaker A
Ama genel olarak toplam bir parametre sayısı söylüyorlar, dolayısıyla parametre sayısı arttığında şunu söyleyebiliriz, token'ları daha kompleks dil özelliklerini işleyebilen, daha fazla veriyi, farklı veriyi işleyebilen, bunlar arasındaki ilişkileri kurabilen, bunlardan sonuca gidebilen ve bunlar arasında ilgi kurabilen ve günün sonunda bize daha fazla fayda sağlayan yapılar olarak düşünebilirsiniz.
20:15
Speaker A
Kısaca parametre sayısını.
20:20
Speaker A
Evet, dolayısıyla buna işte beyin gücü, modelin beyin gücü de diyebiliriz, beynindeki nöron, insan beynindeki nöronlar, sinapsisler gibi bir model olarak da düşünürseniz aslında kaç nöronu olduğu, kaç farklı sinapsis bağlantısının olduğu, kaç farklı attention matrisi ve weight'leri tuttuğu gibi özellikler de bu parametre sayısını belirleyen yapılar olarak düşünülebilir kısaca bir yapay sinir ağının üstünde bias'lar da dahil olmak üzere bütün katmanlardaki ağırlıklar bir matris olarak gösterilebilir.
20:56
Speaker A
Attention matrisleri veya embedding, unembedding konusunda yani embed etmek ve embed edilmiş sonuçlardan tekrar geri dönebilmek, metne geri dönebilmek anlamındaki değerler anlamında hepsini hesaplayan bir yapıdır diyebiliriz kısaca.
21:36
Speaker A
Evet, bu tabloda kabaca günümüzdeki bilinen bazı LLM'lerin token sayılarını, parametrelerini düzeltiyorum, görebiliyorsunuz.
21:44
Speaker A
Parametre sayılarına baktığımızda işte GPT-OSS biliyorsunuz open source olarak yeni çıkarttılar.
21:52
Speaker A
İşte 116-117 milyar olduğu söyleniyor.
21:55
Speaker A
GPT-4 orada 1.8 trilyon olduğu söyleniyor.
21:57
Speaker A
Bunlar tabii açıklanmış, açık kaynaklardan elde edilmiş bilgiler değil.
22:03
Speaker A
Kendileri açıklamıyorlar.
22:04
Speaker A
Çoğu modelin parametre sayısı gizli, belki bu kadar da yok, bilmiyoruz.
22:12
Speaker A
Yani bazı spekülatif kaynaklardan geliyor bu bilgiler sonuçta ve orada abartılar yapılıyor, reklam değeri katılıyor olabilir.
22:19
Speaker A
Ama günün sonunda kabaca tabloya baktığınızda LLM'ler arasında bir yarış olduğunu, milyarlar, trilyonların havada uçuştuğunu söyleyebiliriz bu modellerde.
22:22
Speaker A
Peki, gene temelleri öğrendiğimiz bu video serimizde halüsinasyon kavramından da bahsetmezsek olmaz.
22:28
Speaker A
Halüsinasyon nedir?
22:30
Speaker A
Kısaca halüsinasyon bir modelin yanlış sonuç üretmesi diyebiliriz.
22:34
Speaker A
Sonuçta bir modeli bir veri tabanı gibi düşünmeyin, yani şöyle değil, hani veri tabanında işte bütün şirketteki personellerimiz kayıtlı, çektik, adamın ismini, adresini, telefonunu net bir şekilde aldık, doğru bilgi geldi, değil mi, burada bir sorun yok, veriyi kaydettiğimiz gibi geri almayı isteriz.
23:30
Speaker A
Ama LLM'ler öyle değil, LLM'ler birer istatistiksel modeller, bunların arasında, bu kelimelerin arasında istatistiksel ilişkiler var, olasılık değerleri hesaplanıyor ve bir veri tabanı değil.
23:44
Speaker A
Yani birebir bizim söylediğimiz her şeyi söylediğimiz gibi öğrenen yapılar değiller, o söylediğimiz her cümle daha önceki bir sürü cümleyle ilişkilendirilerek bu cümleler üzerinden bağlantılar kurulan ve onları cevaplayan yapılar, dolayısıyla bu olasılıksal dünyada istemediğimiz sonuçların çıkması da bir olasılıktır, bir olasılık olarak görülebilir.
23:59
Speaker A
Bunun tabii istemediğimiz sonuçlar deyince farklı çıktıları var, mesela ırkçılık yapması, cinsiyet ayrımcılığı yapması gibi durumlar var.
24:13
Speaker A
Onları bir şekilde kontrol edebiliyoruz, onları alignment dediğimiz bir dil modelini hizaya soktuğumuz, align ettiğimiz bir yapımız var, orada hizaya sokuluyor, insanlar bakıyorlar, bu cevapları verme sakın gibi uyarılar yapıyorlar, model onu öğreniyor ve onları uyuyor ama bilgiyi sorguladığımız işte Türkiye'nin başkenti neresidir gibi bir bilgiyi sorguladığınız soruna cevap da bir veri tabanından gelir netlikte, doğrulukta değil ve her sorduğumuz soruya bu doğru mudur diye cevap verebilecek bir çözümümüz de yok elimizde.
25:16
Speaker A
Dolayısıyla ne oluyor, bu LLM'in öğrenirken içine verilen bilgilerdeki bilgilerden etkilenen bir cevap, onlar doğru veya yanlış, neyle beslediyseniz onunla ilgili sonuçların çıkma ihtimali daha yüksek.
25:27
Speaker A
Mesela şöyle diyelim, Amerika'nın başkanı kimdir?
25:33
Speaker A
Amerika'nın başkanı kimdir sorusunun cevabı bir sürü bilgiden besleniyor, eski başkanların hepsi için, değil mi, mesela Obama için de Amerika'nın başkanıdır yazan bir sürü kaynak var internette.
25:57
Speaker A
Arasanız belki yanlış bilgiler de var.
26:00
Speaker A
Putin için Amerika'nın başkanıdır yazan da var.
26:02
Speaker A
Ama bütün bu bilgilerden beslediğimizde olasılıksal olarak bekliyoruz ki en son, en güncel veriyle daha fazla cevap verebilsin.
26:10
Speaker A
Burada bir güncellik kontrolünün de yapıldığını söyleyebiliriz arka tarafta.
26:14
Speaker A
Ama bir veri tabanı sorgusu netliğinde değil, çok gürültülü, çok karmaşık yapılarda yanlış cevap verme ihtimali de artıyor.
26:44
Speaker A
Ayrıca burada olasılıksal olarak döndüğü için o olasılık değerini etkileyen yanlış değerler, yani ne kadar fazla yanlış veya farklı bilgiyle beslerseniz o kadar farklı halüsinasyon ihtimallerini arttırabilirsiniz diyebiliriz halüsinasyonla ilgili.
26:57
Speaker A
Günün sonunda şöyle düşünün, bir kelimeyi üretiyor, şimdiye kadar verilen cümlede eksik olan son kelimeyi tahmin et diyoruz, onu tahmin ediyor, bir sonrakini tahmin et diyoruz, onu tahmin ediyor, her seferinde oraya kadar tahmin ettiği bilgiyle birlikte alarak tahmin ediyor.
27:12
Speaker A
E siz mesela diyelim ki fillerin beslenme sistemiyle ilgili bir makale yazdırmak istediniz.
27:22
Speaker A
Fillerle ilgili o güne kadar beslendiği bütün bilgileri aldı, bunlar üstünden makaleyi yazmaya başladı, bir noktasında fil yerine karıncayla ilgili bir şeyler anlatmaya başladıysa, mesela diyelim ki sindirim sisteminde veya hareket sisteminde veya yaşadıkları ekosistemde bir şeyler anlatırken, Afrika'dan filan bahsederken bir anda bağlamı kaybedip, context'i kaybedip istatistiksel olarak daha fazla karınca geçtiği için belki de karıncalardan bahsetmeye başlayıp karıncaların sindirim sistemiyle ilgili ve işte fille hiç alakası olmayan sonuçları üretmeye başladığı bir yapıya devam edebilir ve bunu da, bunun yaptığını da farkında olma şansı yok, çok emin bir şekilde işte fillerin beslenmesi için karınca yuvalarına girdiklerini filan anlatmaya başlayabilir ve bunu çok emin bir şekilde yapabilir, niye çünkü bunu kontrol edeceğimiz bir mekanizma yok ve diğer sonuçları nasıl üretiyorsa aynı eminlikte, aynı kesinlikte üreteceği bir sonuçtur diyebiliriz halüsinasyon için.
28:49
Speaker A
Peki, bu derste ne gördük?
28:53
Speaker A
Bu derste kabaca token kavramından bahsettik, token'a bu arada Türkçe karşılık bulacak olursak metin parçaları diyebiliriz.
29:00
Speaker A
Tokenization'a parçalamak diyebiliriz.
29:01
Speaker A
Bu kelimeler tabii Türkçede karşılayacak farklı kelimeler bulmamız lazım.
29:10
Speaker A
Çünkü parçalamak dediğimizde mesela splitting de parçalamak.
29:12
Speaker A
Dolayısıyla başka kelimeler de aynı kelimeye karşılık gelince karışıklık oluyor.
29:16
Speaker A
O yüzden Türkçeye çevrilmeden İngilizceleriyle ben şu an güncel ve sıcak oldukları için vermeye çalışıyorum ama mutlaka bir parantez açıp Türkçede de ne anlama geldiğini anlatmaya çalışıyorum, daha böyle sözlükte bakacak olursanız token'a belki jeton filan da deniyor, jetonlamak diye de Türkçeye çevrilebilir, tabii jeton ne kadar Türkçe o da ayrı bir kavram ama günün sonunda token dediğimizde aslında dildeki küçük parçaları elde edebilmek.
30:12
Speaker A
Ve embedding, attention her şey bu token'lar üstünden çalışıyor, metni siz parçalara bölüyorsunuz, o parçalar üstünden istatistiksel bağlantılar kuruluyor.
30:20
Speaker A
Attention bu token'lar arasındaki ilişkileri tuttuğumuz yer, hangi token'ın hangi token'a daha ilişkili olabileceğini ağırlık matrisleri ve yapay sinir ağlarıyla tuttuğumuz yer.
30:29
Speaker A
Context window bağlam penceremiz, o ana kadar olan konulardan çıkartılmış olan bağlam ve kaymakta olan bir yapı, sürekli değişiyor çünkü biz konuştukça.
30:38
Speaker A
Parametre sayısı dediğimizde bir LLM'in eğitiminde kullanılan yapay sinir ağ, attention matrisleri, embedding sistemindeki bütün parametrelerden bahsediyoruz.
30:46
Speaker A
Halüsinasyon dediğimizde ise bir dilin, dil modelinin, LLM'in, Large Language Model'in yanlış üretebilme ihtimalini kısaca tanımladık.
30:54
Speaker A
Bir sonraki dersimizde metinden görsele nasıl geçileceğini, öncelikle biz tabii burada diffusion modelleriyle başlayacağız, daha sonra da GAN ve VAE gibi diğer onlar da bir sonraki derste gelecek ama günün sonunda diffusion modelleriyle başlayarak resimler nasıl üretiliyor, generative AI konusunu sonuçta anlatıyoruz, bir görsel nasıl üretiliyor, bir video nasıl üretiliyor, bunları da anlatmaya çalışacağız, üretken yapay zeka, generative AI derslerinin bir sonraki videosunda görüşmek üzere.
Topics:Büyük Dil ModelleriLLMTokenizationEmbeddingAttentionTransformerBağlam PenceresiYapay ZekaGenerative AIHalüsinasyon

Frequently Asked Questions

Tokenization nedir ve neden önemlidir?

Tokenization, metni küçük parçalara bölme işlemidir ve LLM'lerin metni işlemeye başlaması için gereklidir. Bu sayede model, metni daha yönetilebilir ve anlamlı parçalara ayırarak analiz edebilir.

Attention mekanizması LLM'lerde nasıl çalışır?

Attention mekanizması, kelimeler arasındaki ilgiyi hesaplar ve hangi kelimenin hangi kelimeyle daha ilişkili olduğunu belirler. Bu sayede model bağlamı daha iyi anlayarak doğru tahminler yapar.

Halüsinasyon nedir ve neden ortaya çıkar?

Halüsinasyon, LLM'lerin yanlış veya uydurma bilgi üretmesi durumudur. Bu problem, modelin eğitildiği veri ve parametrelerin çalışma şekliyle bağlantılıdır ve teknik olarak arka planda incelenebilir.

Get More with the Söz AI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries, speaker detection, and unlimited transcriptions.

Or transcribe another YouTube video here →