RAG (Retrieval Augmented Generation) mimarisiyle ChatGPT gibi modellerin şirket dokümanlarıyla nasıl konuşturulacağını; chunking, embedding, hibrit arama, erişim kontrolü ve üretim ortamı zorluklarını
Key Takeaways
- RAG, genel yetenekli modelleri şirkete özgü ve güncel bilgiyle güvenilir hale getirir.
- Başarı yalnızca embedding ve vektör veritabanına değil; chunking, hibrit arama, erişim kontrolü ve ölçümlemeye bağlıdır.
- Veri hazırlığı ve kaynakların sahiplik/güncellik yönetimi, teknik kurulumdan daha kritiktir.
- Her soru için RAG gerekmez; yapılandırılmış veride SQL/API tercih edilebilir.
What the video covers
- RAG, modelin cevap üretmeden önce ilgili kurumsal dokümanları bulup bu bağlam üzerinden yanıt vermesini sağlayan mimaridir.
- Genel bilgi ile kurumsal güncel gerçeklik farklıdır; RAG bu boşluğu kapatır.
- Süreç: doküman alımı (ingestion), chunking, embedding, vektör veritabanında saklama, sorgu sırasında benzerlik araması ve modele bağlam olarak verme.
- Dense (anlam) ve sparse (kelime eşleşmesi) aramayı birleştiren hibrit retrieval, kod ve terim aramalarında önemlidir.
- RAG üç problemi birlikte çözer: retrieval, context assembly ve generation; biri zayıfsa sistem zayıf görünür.
- Kaynak gösterme, hata ayıklama ve güven açısından cevabın hangi dokümandan geldiğinin belirtilmesi kritiktir.
- Erişim kontrolü (ACL) retrieval katmanında uygulanmazsa ciddi güvenlik sorunları doğar.
- Bilgi sık değiştiğinde RAG, modeli yeniden eğitmeden yalnızca indeksi güncelleyerek esneklik sağlar.
- Yapılandırılmış veri için SQL veya API çağrıları RAG'dan daha uygun olabilir; her durumda RAG gerekmez.
- Üretim ortamında RAG'ın demodan çok daha zor olduğu; veri sahipliği, güncellik, yetkilendirme ve ölçüm gerektirdiği vurgulanır.
Chapters
- 00:00Kurumsal yapay zekanın temel sorunu
- 00:46RAG nedir ve nasıl çalışır?
- 03:01Teknik süreç: ingestion, chunking ve embedding
- 04:20RAG bir arama problemi mi?
- 05:21Kurumsal değer, güncellik ve kaynak gösterme
- 07:30Erişim kontrolü ve güvenlik
- 09:00Chunking, hibrit arama ve RAG'ın sınırları
- 12:00Üretim ortamında RAG'ın zorlukları ve sonuç
Full Transcript — Download SRT & Markdown
Speaker A
Yapay zeka projelerinde son dönemde danışmanlık verdiğim yöneticilerden, büyük kurumsal firmalardan ve eğitim verdiğim her kademeden uzmandan duyduğum ortak bir dert var. ChatGPT harika, ama bizim şirketin iç dokümanlarını, PDF'lerini, geçmiş verilerini bilmiyor.
Speaker A
İşte tam bu noktada yapay zekayı kendi şirket verilerinizle güvenle konuşturan o kritik mimari devreye giriyor. RAG.
Speaker A
Merhaba, ben Şükrü Yusuf Kaya. Bu videoda sizlerle RAG nedir, şirketler neden buna ihtiyaç duyuyor konusunu konuşacağız. Retrieval Augmented Generation.
Speaker A
Türkçeye birebir çevirdiğimizde çok da al durmuyor. Ama mantığı aslında çok basit. Yapay zekanın cevabı üretmeden önce doğru bilgiyi bulup o bilgi üzerinden konuşmasını sağlıyoruz.
Speaker A
Çünkü bugün bir şirkette yapay zekayı gerçekten işe yarar hale getirmek istiyorsanız sadece çok güçlü bir model kullanmanız yetmiyor. Modelin sizin şirketinizin bilmesi gerekiyor.
Speaker A
Prosedürlerinizi bilmesi gerekiyor. Ürünlerinizi, teknik dokümanlarınızı, sözleşmelerinizi, geçmiş vakalarınızı, belki bakım kayıtlarınızı, belki regülasyonlarınızı bilmesi gerekiyor. Ve burada çok temel bir problem ortaya çıkıyor. GPT, Cloud ya da başka bir model ne kadar güçlü olursa olsun sizin şirketinizin dün güncellenmiş satın alma
Speaker A
prosedürünü kendiliğinden bilemez. İşte RAG tam olarak bu boşluğu kapatmaya çalışıyor. Şöyle düşünün, çok zeki bir çalışanınız var. Analiz yeteneği çok güçlü. Dili çok iyi kullanıyor, karmaşık soruları anlayabiliyor, ama şirkete bugün başlamış. Siz bu çalışana 50.000 liranın üzerinde satın almalarda kaç
Speaker A
onay gerekiyor diye soruyorsunuz. Eğer önünde şirket prosedürü yoksa iki şey olabilir. Ya bilmiyorum der, ya da daha tehlikelisi genel bilgisinden hareketle mantıklı görünen bir cevap üretir. Şimdi aynı çalışanın önüne doğru prosedürü koyduğunuzu düşünün. Bak, bu bizim satın alma politikamız ve burada. Bu soruyu
Speaker A
buna göre cevapla. Bir anda cevap çok daha güvenilir hale geliyor. RAG'ın yaptığı şey aslında bunun sistematik ve otomatik hali. Kullanıcı bir soru soruyor. Sistem önce ilgili dokümanları arıyor. En alakalı parçaları buluyor. O parçaları modele veriyor. Modelde cevabı mümkün olduğunca bu bağlama dayanarak
Speaker A
oluşturuyor. Şimdi burada çok sık duyduğum bir soru var. Zaten ChatGPT çok şey biliyor. Neden bir RAG'a ihtiyacımız olsun? Çünkü genel dünyayı bilmek ile sizin kurumunuzdaki güncel gerçeği bilmek aynı şey değil. Bir model muhasebe nedir bilir. Ama sizin şirketinizin masraf politikasını
Speaker A
bilmeyebilir. Bir model ISO 27001 hakkında genel bilgi verebilir. Ama sizin şirketinizde bir bilgi güvenliği ihlalinde ilk kimin aranması gerektiğini bilemez.
Speaker A
Bir model bakım süreçleri hakkında çok iyi konuşabilir. Ama sizin fabrikanızdaki belirli bir pompanın son üç arızasını, hangi parçanın değiştiğini ve teknisyenin ne not düştüğünü bilmiyorsa kurumsal anlamda hala eksik konuşuyor demektir. RAG'ın değerini ben tam burada görüyorum. Çünkü genel zeka
Speaker A
ile kurumsal hafıza arasında bir köprü kuruyor. Şimdi biraz daha teknik tarafa girelim. Ama mümkün olduğunca sade tutalım. Elimizde şirket dokümanları var. PDF'ler, Word dosyaları, Wiki dosyaları prosedürler teknik dokümanlar, destek kayıtları, belki veri tabanı kayıtları. İlk aşamada bunları sisteme alıyoruz. Buna injection
Speaker A
diyebiliriz. Sonra dokümanları genellikle daha küçük parçalara ayırıyoruz. Çünkü 100 sayfalık bir dokümanı her soruda modele komple göndermek hem pahalı hem de gereksiz. Bu işleme ise chunking diyoruz. Sonra da bu parçaları sayısal temsillere dönüştürüyoruz. Embedding dediğimiz şey tam olarak burada devreye giriyor.
Speaker A
Metnin kelimelerini değil, anlamını temsil eden bir vektör elde ediyoruz. Bu vektörleri bir vektör store'da saklıyoruz. Kullanıcı gelip bir soru sorduğunda onun sorusu da embedding'e dönüşüyor. Ve sistem anlam olarak en yakın parçaları bulmaya çalışıyor. Ama iyi bir RAG sistemi burada bitmiyor.
Speaker A
Çünkü en yakın vektörü bulmak her zaman en doğru bilgiyi bulmak demek değil. Şimdi burada hibrit search kullanabilirsiniz. Yani dense retrieval ile klasik keyword aramasını birleştirebilirsiniz. Reranking kullanabilirsiniz. Erişim yetkilerini kontrol edebilirsiniz. Metadata filtreleri kullanabilirsiniz. Sonra en anlamlı context'i bir araya getirirsiniz
Speaker A
ve modele dersiniz ki bu soruyu sana verdiğim bu kaynaklara dayanarak cevapla. Evet, bir sonraki noktaya gelelim. RAG aslında bir arama problemi mi? Aslında bir yönüyle evet ama sadece arama değil. Ben RAG'ı üç ayrı problemi birlikte çözen bir mimari gibi
Speaker A
görüyorum. Birincisi retrieval. Doğru bilgiyi bulabiliyor musunuz? İkincisi context assembly. Bulduğunuz bilgiyi modele doğru biçimde verebiliyor musunuz?
Speaker A
Üçüncüsü generation. Model verdiğiniz kaynaklara sadık kalarak doğru ve anlaşılır bir cevap üretebiliyor mu? Bu üçünden biri kötü çalışırsa bütün sistem kötü görünür. Mesela model mükemmel olabilir ama retrieval yanlış dokümanı getiriyorsa cevap yanlış olur. Retrieval mükemmel olabilir ama modele gereksiz 20
Speaker A
farklı parça gönderirseniz bağlam kirlenebilir. Her şey doğru olabilir ama cevap üretilirken model kaynakların dışına çıkıyorsa yine problem yaşarsınız. O yüzden RAG'ı PDF'i vektör database'e yükledik tamamdır diye düşünmek bence en büyük hatalardan biri.
Speaker A
Şimdi asıl soruya gelelim. Bir şirket neden RAG'a yatırım yapsın? Bence birinci sebep çok net. Kurumsal bilgi dağınık. Bilgi SharePoint'te, bir kısmı Teams'te, bir kısmı PDF'lerde, bir kısmı eski Word dosyalarında, bir kısmı insanların mail kutularında, bir kısmı da yıllardır şirkette çalışan üç kişinin
Speaker A
kafasında. Ve çalışanların ciddi bir kısmı gün içinde aslında bilgi arıyor. Bu Bu nerede? Bu durumda kimi onaylatıyoruz? Bu ürünün teknik dokümanı hangisi? Bu müşteriyle daha önce benzer bir vaka yaşandı mı? RAG bütün bu bilgiyi tek bir modele öğretmekten
Speaker A
ziyade ihtiyaç anında doğru kaynağa ulaşılabilir hale getiriyor. Evet, kurumsal hayatta bilgi sürekli değişiyor. Bugün geçerli olan prosedür 3 ay sonra değişebilir. Fiyat listesi değişebilir, regülasyon değişebilir, ürün dokümanı güncellenebilir. Her değişiklikte modeli fine tune etmek istemezsiniz. RAG burada çok daha esnek
Speaker A
davranıyor. Kaynak dokümanı güncellersiniz, indeksi güncellersiniz, sistem bundan sonra yeni bilgiyi getirmeye başlar. Bu özellikle sık değişen bilgiyle çalışan kurumlar için oldukça önemli. Evet, bir sonraki noktaya gelecek olursak bence kurumsal yapay zekada en kritik konulardan biri şu: Sistem bir cevap verdiğinde bunu
Speaker A
nereden çıkardın diye sorabilmeliyim. Bir çalışan yurt dışı seyahatinde günlük yemek limitine diye sordu diyelim.
Speaker A
Sistem sadece 120 euro demesin. Desin ki "Bu bilgi seyahat ve masraf prosedürünün şu bölümünden geliyor." Bu inanılmaz önemli çünkü güven yaratıyor. Aynı zamanda hata ayıklamayı da kolaylaştırıyor. Yanlış bir cevap varsa problem modelde mi, retrieval'da mı, dokümanda mı hemen bulabiliyorsunuz.
Speaker A
Burada RAG'ın kurumsal tarafında çok önemli bir detay var. Herkes her şeyi görmemeli. Bir İK çalışanının erişebildiği dokümanla satış ekibinin erişebildiği doküman aynı değil. Finansal sözleşmeler, maaş bilgileri, müşteri bilgileri, hukuk dokümanları. Bunların hepsi farklı erişim seviyelerine sahip olabilir. Dolayısıyla production RAG
Speaker A
sisteminde soru sadece en alakalı doküman hangisi değil. Bir de şu soru var: Bu kullanıcı bu dokümanı görmeye yetkili mi?
Speaker A
Ben burada çok netim. Eğer retrieval katmanınız ACL yani erişim kontrolünü dikkate almıyorsa çok büyük bir güvenlik problemi üretebilirsiniz. Mesela basit bir kurumsal prosedür asistanını düşünelim. Çalışan soruyor. 50.000 liranın üzerinde satın almalarda kaç onay gerekiyor? Sistem gidip şirketin satın alma prosedüründeki ilgili bölümü
Speaker A
buluyor. Güncel versiyonu çekiyor. Kullanıcının erişim yetkisini kontrol ediyor. İlgili parçayı modele veriyor. Modelde cevabı kaynak göstererek üretiyor. Bir adım daha ileri gidelim.
Speaker A
Çalışan ardından diyor ki, tamam satın alma talebinde oluştur. İşte burada RAG ile Agent birleşiyor. RAG bilgiyi getiriyor, Agent aksiyon alıyor. Bence kurumsal yapay zekanın önümüzdeki dönemde en güçlü mimarilerinden biri de tam olarak bu olacak. RAG ile Agent arasındaki ilişki. Bazen RAG ile AI
Speaker A
Agent birbirinin alternatifiymiş gibi konuşuluyor. Ama aslında değil. RAG Agent'ın bilgi katmanı olabilir. Agent diyelim ki satın alma talebi değerlendirecek. Önce RAG üzerinden ilgili politikayı bulur. Sonra kullanıcının talebini o politikaya göre değerlendirir. Gerekirse ERP'ye bağlanır, onay zincirini başlatır ve
Speaker A
sonucu kullanıcıya bildirir. RAG ne biliyoruz sorusuna yardım ediyor. Agent ise şimdi ne yapmalıyız sorusuna geçiyor. RAG'ın en sık yapılan hatası veri hazır değilken projeye başlatmak.
Speaker A
Şimdi biraz da sahadaki problemlere gelelim. Bir şirket diyor ki, biz RAG yapacağız. Harika. Dökümanlar nerede?
Speaker A
Bir kısmı burada, bir kısmı eski sunucuda, bir kısmını bulmamız lazım. Hangisi güncel? Tam bilmiyoruz. Dökümanın sahipleri kim?
Speaker A
O da net değil. İşte burada AI problemi sandığımız şey aslında bilgi yönetimi problemine dönüşüyor. RAG kötü veriyi iyi bilgiye dönüştürmez. Yanlış dökümanı çok hızlı bulup modele verebilir. O yüzden birçok RAG projesinde asıl çalışma embedding modelinden önce bir envanter ile başlıyor. Kurumsal tarafta
Speaker A
buna oldukça dikkat etmemiz gerekiyor. Evet, bir başka kritik konu chunking. Diyelim ki elinizde 100 sayfalık bir prosedür var. Bunu rastgele her 500 karakterde bir bölerseniz bir kuralın ilk yarısı bir chunk'ta, istisnası başka bir chunk'ta kalabilir.
Speaker A
Sonra sistem sadece ilk parçayı getirir, cevabı eksik üretir. O yüzden chunking aslında metni doğramak değil, bilginin doğal sınırlarını korumaya çalışmak.
Speaker A
Başlık bazlı olabilir, bölüm bazlı olabilir. Semantik olabilir. Bazı dokümanlarda tabloyu ayrı ele almak gerekiyor. Bazılarında parent-child retrieval çok daha iyi sonuç verebilir.
Speaker A
Yani RAG'da detaylar gerçekten sonucu belirliyor. Bir başka konudan bahsedelim. Vektör search tek başına yeterli Çoğu zaman hayır. Özellikle kurumsal dokümanlarda belirli kodlar, ürün isimleri, prosedür numaraları, hata kodları gibi şeyler varsa klasik keyword search hala çok değerli. Mesela kullanıcı "PR 104 satın alma prosedür"
Speaker A
diye arıyorsa burada semantik benzerlikten ziyade o kodu birebir bulmak isteyebilirsiniz. İşte bu yüzden hibrit retrieval çok güçlü. Dense retrieval anlamı yakalar, sparse retrieval kelime eşleşmesini yakalar.
Speaker A
Sonra bunları birleştirirsiniz. Gerekirse reranker ile sonuçları tekrar sıralarsınız. İyi RAG çoğu zaman tek bir retrieval tekniği değil. Birkaç tekniğin birlikte kullanılmasıdır. Peki, RAG sistemini nasıl ölçüyoruz biz? Bence burası en çok atlanan konulardan biri.
Speaker A
Demo yapıyoruz, beş soru soruyoruz, güzel cevap verdi, "Tamam çalışıyor." diyoruz. Production'da böyle değerlendirilmez. Şunu ölçmeniz gerekiyor. Doğru context'i getiriyor mu? İlgisiz context getiriyor mu? Cevap gerçekten getirilen kaynaklara dayanıyor mu? Kullanıcının sorusunu cevaplıyor mu? Kaynak doğru mu? Yetki sınırlarını ihlal ediyor mu? Latency ne?
Speaker A
Maliyet ne? Yani evaluation RAG sisteminin yanında sonradan eklenen bir şey değil. Mimarisinin bir parçası olmalı. Şimdi RAG her probleme çözüm mü?
Speaker A
Hayır, kesinlikle değil. Bazen RAG gereksiz bile olabilir. Eğer elinizde yapılandırılmış ve net bir veri tabanı varsa modele bütün veriyi RAG üzerinden aratmak yerine SQL sorgusu üretmek ya da kontrollü bir API çağrısı yapmak çok daha mantıklı olabilir.
Speaker A
Bazen tool kullanımı gerekir, bazen fine tuning gerekir, bazen sadece iyi bir prompt yeterlidir. Bazen de klasik yazılım en doğru çözümdür. Bence olgun AI mimarisi her probleme rag uygulamak değil, hangi problemde hangi yaklaşımın doğru olduğunu bilmektir. Şimdi en çok
Speaker A
karşılaştırılan konulardan biri de fine tuning ve rag. Fine tuning mi, rag mı sorusu. Klasik bir soru. Ben bunu şöyle ayırıyorum. Modelin davranışını değiştirmek istiyorsanız belli bir stil, görev biçimi ya da uzman davranış kazandırmak istiyorsanız fine tuning olmalı. Ama modele sürekli değişen dış
Speaker A
bilgi vermek istiyorsanız rag çoğu zaman daha mantıklı. Çünkü şirket prosedürünüz değişti diye modeli yeniden eğitmek istemezsiniz. Dokümanı değiştirirsiniz, retrieval katmanı yeni bilgiyi getirir.
Speaker A
Tabii pratikte bunlar birbirini dışlamıyor. Fine tuned bir modelin arkasında rag da olabilir. Şimdi production rag neden demodan çok daha zor? Buraya biracık bakalım.
Speaker A
Çünkü demoda genellikle tek kullanıcımız var, temiz birkaç PDF'imiz var ve source itini biz biliyoruz. Gerçek hayatta ise binlerce doküman var. Bazısı taranmış, bazısı tablo, bazısı güncel değil. Aynı politikanın beş farklı versiyonu var.
Speaker A
Kullanıcılar beklemediğimiz şekilde sorular soruyor. Yetkililer farklı, sistemlerin bazısı yavaş, dokümanlar sürekli değişiyor ve bütün bunların üzerinde gözlem, loglama, değerlendirme ve güvenlik istiyorsunuz. O yüzden iyi bir production rag sistemi aslında sadece vektör database ve LLM'den oluşmuyor. Burada bir injection pipeline
Speaker A
var, metadata var, ACL var, retrieval var, reranking var, context assembly var, LLM gateway var, observability var, evaluation var, feedback loop var. Yani baktığınızda bu gerçek bir yazılım sistemi. Peki şirketler nereden başlamalı? Bence en doğru başlangıç noktası teknoloji değil. Bir kullanım
Speaker A
alanı seçin. Mesela çalışanlar İK prosedürlerinde çok zaman kaybediyor. Güzel, problemimiz net. Sonra kaynakları belirleyin. Hangi dokümanlar doğru? Kim sahibi? Hangi sıklıkla güncelleniyor?
Speaker A
Kim erişebilir? Sonra küçük ama gerçek bir soru seti oluşturun. Çalışanlar gerçekte ne soruyor? O sorular üzerinde retrieval'ı ölçün. Sonra generation'ı ölçün. Sonra pilot kullanıcılarla gerçek davranışı ölçün. Yani önce vektör database'i seçelim değil, önce hangi bilgi problemimizi çözüyoruz? Bence
Speaker A
doğru soru bu. Evet. Baştaki soruya geri dönersek, RAG nedir? Bence en sade haliyle yapay zekanın cevap vermeden önce doğru kurumsal bilgiyi bulmasını ve cevabını o bilgi üzerinden kurmasını sağlayan mimari yaklaşım. Ama şirketler için asıl değeri bundan biraz daha
Speaker A
büyük. RAG genel amaçlı bir modeli şirketinizin gerçek bilgi dünyasına bağlayan bir katman. Kurumsal hafızayı erişilebilir bir hale getiriyor. Bilgiyi güncel tutmayı kolaylaştırıyor. Kaynak gösterebiliyor, yetkiyle birlikte çalışabiliyor. Ve agent sistemlerine güvenilir bir bilgi zemini hazırlıyor.
Speaker A
Ama iyi bir RAG sistemi yapmak için sadece embedding ve vektör database bilmek yetmiyor. Veriyi anlamanız gerekiyor. Bilginin sahipliğini anlamanız gerekiyor. Yetkilendirmeyi anlamanız gerekiyor. Retrieval'ı ölçmeniz gerekiyor. Modelin ne zaman kaynakların [boğazını temizler] dışına çıktığını görmeniz gerekiyor. Çünkü sonunda mesele yine aynı yere geliyor.
Speaker A
En güçlü modeli kullanmak değil, doğru sistemi kurmak. Ben Şükrü Yusuf Kaya. Bir sonraki bölümde yapay zekanın bir başka katmanını yine hype'tan biraz uzaklaşıp gerçek dünyada nasıl çalıştığı üzerinden konuşacağız. Görüşmek üzere.
Topics:RAGyapay zekavektör veritabanıembeddingchunkingkurumsal yapay zekahibrit aramaLLMerişim kontrolüAI Agent











