RNN using PyTorch | Question Answering System using PyT… — Transcript

PyTorch से RNN बनाना और क्वेश्चन-आंसरिंग सिस्टम का निर्माण सीखें। सरल हिंदी में टेक्स्चुअल डेटा प्रोसेसिंग पर फोकस।

Key Takeaways

PyTorch में RNN बनाना और ट्रेन करना संभव है जो टेक्स्चुअल डेटा को समझ सके।
RNN में लूप्स होते हैं जो मेमोरी बनाते हैं और सीक्वेंशियल डेटा के लिए उपयुक्त हैं।
छोटे डेटा सेट पर भी बेसिक क्वेश्चन-आंसरिंग सिस्टम बनाया जा सकता है।
वर्ड्स को न्यूमेरिकल फॉर्म में कन्वर्ट करना आवश्यक होता है, आमतौर पर एम्बेडिंग्स का उपयोग किया जाता है।
RNN का सही उपयोग करने के लिए बेसिक थ्योरी और प्रैक्टिकल कोडिंग दोनों समझना जरूरी है।

Summary

वीडियो में PyTorch का उपयोग करके RNN (Recurrent Neural Network) बनाना सिखाया गया है।
RNN के बेसिक कॉन्सेप्ट्स, आर्किटेक्चर और ट्रेनिंग प्रोसेस का हिंदी में विस्तार से वर्णन किया गया है।
क्वेश्चन-आंसरिंग सिस्टम बनाने के लिए एक छोटा जनरल नॉलेज बेस्ड डेटा सेट इस्तेमाल किया गया है।
डेटा सेट में लगभग 90-100 क्वेश्चन-आंसर पेयर्स हैं जिन पर मॉडल ट्रेन होता है।
मॉडल से पूछे गए प्रश्नों के उत्तर दिए जाते हैं, और अनजान प्रश्नों पर 'I don't know' का जवाब मिलता है।
RNN टेक्स्चुअल डेटा को वर्ड-बाय-वर्ड प्रोसेस करता है और मेमोरी फीचर के कारण कॉन्टेक्स्ट को समझ पाता है।
वर्ड्स को नंबर में कन्वर्ट करने के लिए वन-हॉट इनकोडिंग या एम्बेडिंग्स का उपयोग किया जाता है।
वीडियो में डेटा प्रीप्रोसेसिंग, वोकैबुलरी बिल्डिंग, और PyTorch में मॉडल कोडिंग के स्टेप्स दिखाए गए हैं।
प्रोजेक्ट को समझने के लिए पहले RNN के बेसिक्स जानना आवश्यक है, इसके लिए चैनल की '100 Days of Deep Learning' प्लेलिस्ट सुझाई गई है।
वीडियो में कोड डेमो भी दिखाया गया है जिससे व्यावहारिक समझ बढ़ती है।

Chapters

Full Transcript — Download SRT & Markdown

Speaker A

हाय गाइज़, मेरा नाम नितेश है और आपका स्वागत है मेरी YouTube वीडियो में। आज से हम एक नया टॉपिक शुरू करने वाले हैं। आज के वीडियो में हम सीखेंगे कि कैसे आप PyTorch की मदद से एक RNN बना सकते हो।

Speaker A

और उससे भी ज्यादा, हम उस RNN को यूज करके एक बहुत ही इंटरेस्टिंग एप्लीकेशन बनाएंगे। लेकिन यह सब करने से पहले, मैं आपको एक छोटा रीकैप देना चाहता हूं कि अभी तक हमने 12 वीडियो में क्या किया है।

Speaker A

हमारी PyTorch की जर्नी को आप तीन पार्ट्स में बांट सकते हो। पहले पार्ट में हमने PyTorch के फंडामेंटल्स सीखे। दूसरे पार्ट में हमने PyTorch का यूज करके आर्टिफिशियल न्यूरल नेटवर्क्स बनाना सीखा।

Speaker A

तीसरे पार्ट में हमने PyTorch का यूज करके कन्वोल्यूशनल न्यूरल नेटवर्क्स बनाना सीखा। ठीक है, तो ये हमने अभी तक कवर किया है। अब हम PyTorch की मदद से सीक्वेंशियल डेटा पर काम करना शुरू करेंगे,

Speaker A

मुख्य रूप से टेक्स्चुअल डेटा पर। हम RNN के बारे में पढ़ेंगे, LSTM के बारे में जानेंगे, और इसके आगे हम एनकोडर-डिकोडर आर्किटेक्चर भी एक्सप्लोर करेंगे कि कैसे आप ये सब कुछ PyTorch में बना सकते हो।

Speaker A

लेकिन आज का वीडियो खासतौर पर RNN के ऊपर है। हम RNN को PyTorch में यूज करना सीखेंगे और RNN की मदद से एक बहुत ही इंटरेस्टिंग एप्लीकेशन बनाएंगे।

Speaker A

तो क्या एप्लीकेशन बनाएंगे, वह मैं आपको दिखाता हूं। मेरा प्लान है कि इसी वीडियो में मैं न केवल आपको PyTorch में RNN बिल्ड करना सिखाऊं,

Speaker A

बल्कि साथ ही कुछ इंटरेस्टिंग प्रोजेक्ट भी बनाकर दिखाऊं। मैंने डिसाइड किया है कि हम इस वीडियो में एक सिंपल, लेकिन बहुत इंपोर्टेंट क्वेश्चन-आंसरिंग सिस्टम बनाएंगे।

Speaker A

इस सिस्टम की खासियत यह है कि हम इसे एक डेटा सेट पर ट्रेन करेंगे। उस डेटा सेट में लगभग 100 क्वेश्चन-आंसर पेयर्स होंगे। हमारा RNN इस डेटा पर ट्रेन होगा।

Speaker A

और जब एक बार ट्रेन हो जाएगा, तो आप इस RNN से क्वेश्चन पूछ सकते हो और बेस्ड ऑन डेटा सेट, RNN आपको आंसर देगा।

Speaker A

अगर आप कोई ऐसा क्वेश्चन पूछोगे जो हमारे डेटा सेट में मौजूद नहीं है, तो हमारा RNN आंसर देगा कि "I don't know"।

Speaker A

तो मैं एक काम करता हूं, पढ़ाने से पहले मैं आपको एक डेमो दिखाता हूं। मैंने कोड पहले ही लिख रखा है और यह ठीक से काम कर रहा है, ताकि आपको इंस्पिरेशन मिले।

Speaker A

यह कोड मैंने थोड़ी देर पहले रन किया है और यह हमारा डेटा सेट है। यहां आप देख सकते हो कि हमारे पास कुछ जनरल नॉलेज बेस्ड क्वेश्चन हैं। मेरे पास लगभग 90 क्वेश्चन हैं।

Speaker A

एक कॉलम में क्वेश्चन है और दूसरे कॉलम में उसका आंसर है। हमने हमारे RNN को इस डेटा सेट पर ट्रेन किया है। मुझे पता है कि यह बहुत छोटा डेटा सेट है,

Speaker A

लेकिन फिर भी देखो हमारा आउटपुट। मान लो हम यहां से एक क्वेश्चन उठाते हैं, "What is the capital of France?" और हम इस मॉडल से यह क्वेश्चन पूछते हैं, तो यह क्वेश्चन का आंसर दे पाएगा।

Speaker A

अगर आप कोई और क्वेश्चन पूछते हो, जैसे "Who developed the theory of relativity?" और इसे रन करते हो, तो यह कहेगा "Albert Einstein"।

Speaker A

अब अच्छी बात यह है कि सिस्टम थोड़ा फ्लेक्सिबल भी है। अगर आप क्वेश्चन में थोड़े वेरिएशंस लाते हो, तो भी यह काम करता है।

Speaker A

जैसे अगर मैं यहां लिखूं, "What is the capital city of the European country France?" तो भी यह आपको सही आंसर देगा।

Speaker A

तो यह थोड़ा फ्लेक्सिबल है उस सेंस में। और अगर आप कोई ऐसा क्वेश्चन पूछोगे जो इसने डेटा सेट में देखा ही नहीं है, जैसे मैंने पूछा "What is campus x?" तो जाहिर है इसे इसका आंसर नहीं पता होगा,

Speaker A

तो यह आपको बताएगा "I don't know"।

Speaker A

तो यह है वह एप्लीकेशन जो हम बनाने जा रहे हैं। मुझे पता है कि यह बहुत सिंपल और बेसिक एप्लीकेशन है, लेकिन अगर आप इसे बड़े डेटा सेट पर ट्रेन करो, तो आप एक अच्छी एप्लीकेशन बना सकते हो।

Speaker A

तो जो भी है, यह एप्लीकेशन बनाने का मुख्य कारण यही है कि इसकी मदद से मैं आपको यह सिखाना चाहता हूं कि आप PyTorch में RNN कैसे बिल्ड कर सकते हो।

Speaker A

बस पूरी चीज थोड़ी इंटरेस्टिंग रहे इसलिए हमने यह एप्लीकेशन चुना है।

Speaker A

तो मुझे उम्मीद है कि आपको पूरे वीडियो का एजेंडा समझ में आ गया होगा।

Speaker A

वीडियो शुरू करने से पहले मैं आपको एक बात बताना चाहता हूं कि आप यह वीडियो तभी अच्छे से समझ पाओगे, जब आपने पहले से RNN के बारे में पढ़ रखा होगा।

Speaker A

RNN होते क्या हैं, उनकी जरूरत क्यों होती है, क्यों RNN को प्रेफर किया जाता है, उनका आर्किटेक्चर कैसा होता है, और उसमें ट्रेनिंग कैसे होती है। ये सारी डिटेल्स अगर आपको पता हैं, तो आप यह वीडियो और अच्छे से समझ पाओगे।

Speaker A

अगर आपने यह नहीं पढ़ा है, तो मैं आपको एक रिसोर्स सजेस्ट करता हूं। मेरे चैनल पर "100 Days of Deep Learning" प्लेलिस्ट में जाओ। वहां मैंने बहुत डिटेल में RNN कवर किए हैं।

Speaker A

लगभग 5-6 वीडियोस हैं। आप वो सारे वीडियो देखो, उसके बाद आकर यह वीडियो देखो। ट्रस्ट मी, आपको सब कुछ क्रिस्टल क्लियर समझ में आएगा।

Speaker A

ठीक है, तो यह बात हो गई प्री-रिक्वायरमेंट की। अब इस वीडियो को शुरू करते हैं।

Speaker A

एप्लीकेशन बनाने से पहले एक बार क्विकली डिस्कस कर लेते हैं कि RNN होते क्या हैं। मैं आपको एक छोटा रीकैप देता हूं।

Speaker A

यहां पर मैंने एक डेफिनिशन लिखा है, एक बार इसे देखते हैं। लिखा है कि "A recurrent neural network is a type of neural network designed for processing sequential data, unlike traditional feed-forward networks which process inputs independently."

Speaker A

RNN मेन्टेन करता है मेमोरी ऑफ प्रीवियस इनपुट्स बाय यूजिंग लूप्स इन देयर आर्किटेक्चर। यह उन्हें वेल सूटेड बनाता है टास्क्स के लिए जहां कॉन्टेक्स्ट और ऑर्डर मायने रखते हैं, जैसे टाइम सीरीज फोरकास्टिंग, स्पीच रिकॉग्निशन, और टेक्स्ट जनरेशन।

Speaker A

तो बेसिक फंडा यह है कि RNN होते हैं न्यूरल नेटवर्क्स, लेकिन वे ट्रेडिशनल न्यूरल नेटवर्क्स से थोड़े अलग होते हैं।

Speaker A

ट्रेडिशनल न्यूरल नेटवर्क्स जैसे कि ANN में आप लेयर बाय लेयर अपना आर्किटेक्चर बनाते हो। आपके पास एक इनपुट लेयर होता है, मल्टीपल हिडन लेयर्स होते हैं, और फिर एक आउटपुट लेयर होता है।

Speaker A

इंफॉर्मेशन का फ्लो एक डायरेक्शन में आगे बढ़ता है।

Speaker A

RNN में क्या अलग होता है? RNN में आप एक डायरेक्शन में आगे नहीं बढ़ते, बल्कि लूप्स यूज करते हो इंफॉर्मेशन को फ्लो कराने के लिए।

Speaker A

अगर आप RNN बनाना चाहते हो, तो आप क्या करोगे? हिडन लेयर के आउटपुट को वापस हिडन लेयर को दे दोगे।

Speaker A

इस तरह आपने एक लूप क्रिएट कर दिया, एक फीडबैक मैकेनिज्म, जिसकी मदद से सिस्टम में मेमोरी आ जाती है।

Speaker A

आपका आर्किटेक्चर याद रख पाता है कि उसने पहले क्या इनपुट प्रोसेस किए थे।

Speaker A

इस मेमोरी की वजह से आप कॉन्टेक्स्ट समझ पाते हो, ऑर्डर समझ पाते हो।

Speaker A

इसीलिए RNN वर्क करता है बहुत अच्छे से सीक्वेंशियल डेटा के साथ, जहां ऑर्डर में कुछ इंफॉर्मेशन छुपा होता है, जैसे टेक्स्चुअल डेटा।

Speaker A

तो यह मेजर डिफरेंस है कि यहां सिर्फ एक डायरेक्शन में इंफॉर्मेशन का फ्लो नहीं है, बल्कि आप बीच में भी इंफॉर्मेशन वापस भेजते हो, जिससे मेमोरी फीचर बनता है।

Speaker A

मुझे उम्मीद है कि आपको थोड़ा बहुत समझ में आ गया होगा।

Speaker A

अब मैं आपको एक उदाहरण से समझाता हूं कि RNN टेक्स्चुअल डेटा को कैसे प्रोसेस करता है।

Speaker A

मान लो हमारे पास एक सेंटेंस है, "I am Nitesh" और मैं चाहता हूं कि हमारा RNN इस सेंटेंस को प्रोसेस करे।

Speaker A

RNN सेंटेंस को वर्ड बाय वर्ड प्रोसेस करता है। मतलब सबसे पहले टाइम स्टेप t=1 पर वह पहला वर्ड "I" को प्रोसेस करेगा और कुछ आउटपुट देगा।

Speaker A

फिर टाइम स्टेप t=2 पर वह दूसरा वर्ड "am" को प्रोसेस करेगा।

Speaker A

लेकिन इस दूसरे टाइम स्टेप पर आप क्या करोगे? प्रीवियस टाइम स्टेप का आउटपुट भी अपने आर्किटेक्चर में इनपुट के रूप में भेजोगे।

Speaker A

फिर टाइम स्टेप t=3 पर RNN तीसरा वर्ड "Nitesh" को प्रोसेस करेगा।

Speaker A

लेकिन इस तीसरे टाइम स्टेप में भी आप प्रीवियस टाइम स्टेप t=2 का आउटपुट सिस्टम में भेजोगे।

Speaker A

फिर फाइनल आउटपुट आपको यूजर को दे दिया जाएगा।

Speaker A

तो यह पूरा प्रोसेस सीक्वेंशियल होता है।

Speaker A

अब एक बड़ा चैलेंज यह है कि यह सेंटेंस इंग्लिश में है और हमारा RNN इंग्लिश नहीं समझता।

Speaker A

तो हमें सबसे पहले वर्ड्स को नंबर्स में कन्वर्ट करना पड़ेगा।

Speaker A

इसे करने के कई तरीके हैं। एक बहुत पॉपुलर तरीका है वन-हॉट इनकोडिंग, या दूसरा तरीका है कि आप एम्बेडिंग्स यूज करो।

Speaker A

एम्बेडिंग्स में आप किसी भी वर्ड को एक वेक्टर में कन्वर्ट कर देते हो।

Speaker A

हम भी यही करते हैं। उदाहरण के लिए, मान लो हमने "I am Nitesh" इन तीनों वर्ड्स को एम्बेडिंग्स में कन्वर्ट कर दिया।

Speaker A

मतलब हर वर्ड को एक वेक्टर में कन्वर्ट कर दिया।

Speaker A

तो थोड़ी देर के लिए मान लेते हैं कि यह जो वेक्टर हम बना रहे हैं, उसका डायमेंशन t है।

Speaker A

हाइपोथेटिकली हम कह सकते हैं कि "I" को t, "am" को 3, 4, और "Nitesh" को 56 रिप्रेजेंट कर सकता है।

Speaker A

ये हाइपोथेटिकल नंबर हैं, इनका कोई मीनिंग नहीं है, लेकिन हमने क्या कर लिया, हमने अप...

Speaker A

हर वर्ड को आप एक इंडेक्स असाइन कर दोगे जैसे आपकी वोकैबुलरी में व्हाट का इंडेक्स है वन इज का इंडेक्स है टू द का इंडेक्स है थ्री इस तरीके से जितने भी यूनिक वर्ड्स हैं सबको आप एक इंडेक्स प्रोवाइड

Speaker A

कर दोगे अब आप क्या करोगे एक बार जैसे ही आपकी ये वोकैबुलरी बन जाती है अब आप क्या करोगे इस वोकैबुलरी में देख देख देख के अपने वर्ड्स को एक न्यूमेरिकल इंडेक्स प्रोवाइड करोगे जैसे व्ट का वन है इज का

Speaker A

टू है द का थ्री है कैपिटल का मान लो फाइव है ऑफ का मान लो सिक्स है और फ्रांस का मान लो 10 है तो अब आपका सेंटेंस यह बन गया अब आप क्या करोगे इसको भेजोगे अपने एंबेडिंग मॉडल के पास और आपका एंबेडिंग

Speaker A

मॉडल क्या करेगा फॉर एवरी नंबर एक वेक्टर प्रोड्यूस करेगा ठीक है अब वो वेक्टर कितने भी डायमेंशन का हो सकता है हमारे केस में हम एक 50 डायमेंशन वेक्टर के साथ काम करेंगे ठीक है तो यह हो गया स्टेप

Speaker A

नंबर टू जहां पर हम एंबेडिंग जनरेट कर रहे हैं स्टेप नंबर थ्री में हम लोग अपना आर एनए का आर् टेक्चर बिल्ड करेंगे स्टेप नंबर फोर में हम अपने मॉडल को डाटा सेट पे ट्रेन करेंगे और स्टेप नंबर फाइव में हम प्रेडिक्शन

Speaker A

करेंगे ठीक है तो ये पांच स्टेप्स में हमें ये पूरा का पूरा प्रोजेक्ट बिल्ड करना है सो गाइस चलो लेट्स स्टार्ट कोडिंग आवर प्रोजेक्ट हमने यहां पर डेटा सेट अपलोड कर दिया है ये डेटा सेट का लिंक आपको वीडियो के डिस्क्रिप्शन में मिल

Speaker A

जाएगा सबसे पहले हमें क्या करना है इस डेटा सेट को लोड करना है सो हम पंडा को इंपोर्ट करेंगे सिंपली रीड सीएसवी को कॉल करके हम इस डेटा सेट को लोड कर लेंगे यह रहा हमारा डेटा सेट ठीक

Speaker A

है अब हमारा जो मेन गोल है गोइंग फॉरवर्ड वह है इस डेटा सेट को नंबर्स में कन्वर्ट करना जो भी इंग्लिश में लिखा हुआ है इसको नंबर्स में कन्वर्ट करना इसके लिए हम दो तीन स्टेप्स में काम करेंगे सबसे पहले हम

Speaker A

अपने डेटा सेट को टोकना इज करेंगे ठीक है टोकेनाइज करने का मतलब है सिंपल शब्दों में बोला जाए तो हर वर्ड को अलग कर देंगे ताकि उसके ऊपर हम सेपरेट प्रोसेसिंग चला पाए एक बार जब टोकना कर देंगे उसके बाद हम

Speaker A

वोकैबुलरी फॉर्म करेंगे बेसिकली हम यह पता करने की कोशिश करेंगे कि हमारे इस पूरे डेटा सेट में कितने यूनिक वर्ड्स है और हर यूनिक वर्ड को हम एक इंडेक्स प्रोवाइड करेंगे एक बार जब वोकैबुलरी बन जाएगी उसके बाद हम वर्ड्स को कन्वर्ट करेंगे

Speaker A

टू न्यूमेरिकल इंडेक्सेस बेसिकली वट के बदले वट का इंडेक्स आ जाएगा इस के बदले इसका इंडेक्स आ जाएगा ठीक है सो ये तीन स्टेप्स अभी मेन है तो टोकना इज करने के लिए हम क्या करेंगे हम बहुत ही सिंपल टेक्निक यूज

Speaker A

करेंगे हम सिंपली स्प्लिट फंक्शन यूज कर लेंगे पाइथन का जो सारे के सारे वर्ड्स को अलग-अलग कर देता है स्पेस के बेसिस पे सो लेट्स क्रिएट अ फंक्शन टोकना इज इसको एक टेक्स्ट मिलेगा और यह टेक्स्ट सिंपली रिटर्न यह

Speaker A

फंक्शन सिंपली रिटर्न करेगा टेक्स्ट डॉट स्प्लिट ठीक है मतलब अगर मैं इस फंक्शन को कॉल करूं और यहां पर मैं व्हाट इज द कैपिटल ऑफ फ्रांस भेज दू तो कुछ ऐसा आउटपुट आपको मिलेगा ठीक है सारे के सारे वर्ड्स अलग हो

Speaker A

गए एक प्रॉब्लम यहां पर दिखाई दे रही है कि कुछ आपके पंक्चुएशन मार्क्स हैं जैसे कि क्वेश्चन मार्क है अब क्वेश्चन मार्क के आ जाने से क्या हो रहा है कि फ्रांस और फ्रांस के आगे अगर क्वेश्चन मार्क है तो

Speaker A

ये दोनों वर्ड्स अलग-अलग हो जाएंगे तो यह मैं नहीं चाहता हूं तो इसलिए थोड़ा सा प्री प्रोसेसिंग हम लोग कर लेते हैं अ अगर आप अपने डेटा सेट को थोड़ा सा स्कैन करो तो आपको दिखाई देगा कि बहुत ज्यादा

Speaker A

प्रॉब्लम्स नहीं इस डेटा सेट में एक प्रॉब्लम यह है कि यहां पर कैपिटल लेटर्स भी है स्मॉल लेटर्स भी है तो स चीजों को स्मल लेटर करना इज अ गुड आईडिया तो हम टेक्स्ट डॉट लोअर कर लेते हैं और वापस उसको टेक्स्ट में ही स्टोर कर

Speaker A

लेते हैं यह फर्स्ट प्री प्रोसेसिंग हो गई सेकंड आई डोंट वांट य क्वेश्चन मार्क्स रहे साथ ही साथ यहां पर अगर आप ध्यान दो तो कुछ क्वेश्चंस में इनवर्टेड कॉमा भी है वह भी मुझे नहीं चाहिए तो मैं एक काम करता

Speaker A

हूं मैं दोनों ही चीजों को हटा देता हूं टेक्स्ट डॉट रिप्लेस एंड आई वांट टू रिप्लेस क्वेश्चन मार्क्स विथ नथिंग एंड आई वांट टू रिप्लेस इनवर्टेड कॉमा विथ नथिंग यह मेरा टोकना फंक्शन बन गया अब अगर मैं इसको कॉल करूं तो दिस इज द आउटपुट सब

Speaker A

कुछ स्मॉल लेटर में आ रहा है क्वेश्चन मार्क हट जा रहा है इनवर्टेड कॉमा हट जा रहे हैं ठीक है तो टोकना इज करने का तो काम हमने कर लिया अब हमें क्या करना है हम एक वोक लरी बनानी है वोकैबुलरी का मतलब

Speaker A

हमें यह पता करना है कि हमारे इस पूरे के पूरे डेटा सेट में कितने यूनिक वर्ड्स हैं सबसे पहले तो एक डिक्शनरी बनानी पड़ेगी जहां पर हम सारे के सारे वर्ड्स यूनिक वर्ड्स और उनके इंडेक्सेस को स्टोर करेंगे

Speaker A

तो लेट्स क्रिएट अ डिक्शनरी बाय द नेम ऑफ वोकैब और यह एक डिक्शनरी है ओबवियसली और शुरू में तो यह ब्लैंक रहेगी पर धीरे-धीरे हम इसके अंदर वर्ड्स ऐड करते जाएंगे इनफैक्ट व्हाट वी कैन डू इज शुरू में हम

Speaker A

यहां पर ऑलरेडी एक वर्ड ऐड कर सकते हैं यन के बोल के यूएन के का मतलब अननोन सो फ्यूचर में अगर कभी ऐसा हुआ कि कोई ऐसा क्वेश्चन पूछा गया जहां पर कुछ ऐसे वर्ड्स हैं जो हमारे ट्रेनिंग डटा सेट में नहीं थे तो उन

Speaker A

वर्ड्स को हम इस पर्टिकुलर टोकन से रिप्रेजेंट करेंगे और इसका इंडेक्स हम दे देते हैं जीरो सो मेरा स्ट्रेटेजी यह है कि हम एक एक करके सारे के सारे क्वेश्चंस और आंसर्स को उठाएंगे इसको उठाएंगे इसको उठाएंगे और चेक करते जाएंगे कि क्या इसमें कोई नया

Speaker A

यूनिक वर्ड है कि नहीं अगर नया यूनिक वर्ड है तो उसको हम डिक्शनरी में ऐड करता जाएंगे और एक नया इंडेक्स वैल्यू देते जाएंगे लेट्स क्रिएट अ फंक्शन बाय द नेम ऑफ बिल्ड वोकैब इसको पूरा का पूरा रो

Speaker A

मिलेगा एज इनपुट और हम प्रिंट कर रहे हैं रो का क्वेश्चन ठीक है और साथ ही साथ हम प्रिंट कर रहे हैं रो का आंसर ठीक है जस्ट एक बार देख रहे हैं सारी चीज सही से काम कर रही है कि

Speaker A

नहीं अब हम क्या करेंगे हम पंडास का अप्लाई फंक्शन कॉल करेंगे वहां पर हम भेज देंगे बिल्ड वो कैब को और एक्सस इक्वल टूव रखेंगे ताकि पूरा का पूरा रो प्रोसेस हो एंड यू कैन सी हर बार हम हर रो के पास जा रहे हैं

Speaker A

उसका क्वेश्चन भी प्रिंट कर रहे हैं और उसका आंसर भी प्रिंट कर रहे ठीक है तो यह स्केलेटन कोड काम कर रहा है अब हमें क्या करना है हमें हर क्वेश्चन को उठाना है और उसको टोकना इज करना है सो व्ट वी

Speaker A

विल डू इज कि हम टोकना इज फंक्शन को कॉल करेंगे और उसमें भेज देंगे क्वेश्चन को और सिमिलरली हम टोकना को कॉल करेंगे और उसमें भेज देंगे हमारे आंसर को और पलट के जो आएगा उसको हम दो वेरिएबल

Speaker A

में स्टोर कर लेंगे टोकना इज्ड क्वेश्चन टोकना इज्ड आंसर और हम प्रिंट कर देंगे दोनों को ठीक है अब अगर मैं फिर से इस कोड को रन करूं तो कोड फट गया बिकॉज यहां पर टोकना इज नहीं है अब रन

Speaker A

करते हैं एंड यू कैन सी दिस इज द आउटपुट हमारा क्वेश्चन भी टोकेनाइज हो रहा है हमारा आंसर भी टोकेनाइज हो रहा है ठीक है अब हम क्या करेंगे इन दोनों लिस्ट को मर्ज कर देंगे मर्जड टोकेंस इज इक्वल टू टोकना

Speaker A

इज्ड क्वेश्चन प्लस टोकना इज्ड आंसर और हम मर्ज टोकन को प्रिंट करेंगे इससे क्या होगा एक सिंगल लिस्ट में सब कुछ प्रिंट हो जाएगा यहां पर फ्रांस और पेरिस एक ही लिस्ट में आ जाएगा यह देखो यह एक सिंगल

Speaker A

लिस्ट बन गई अब मैं क्या करूंगा इस लिस्ट के ऊपर लूप चलाऊंगा फॉर टोकन इन मर्ज टोकन अब मैं क्या करूंगा मैं हर टोकन को पकड़ रहा हूं जैसे फर्स्ट टाइम इस वट को पकड़ रहा हूं और मैं चेक

Speaker A

करूंगा इफ टोकन नॉट इन वोकैब ऊपर हमने जो डिक्शनरी डिफाइन की अगर इसके अंदर नहीं है तो हम उसको ऐड कर देंगे डिक्शनरी में सो वी विल राइट वोकैब का टोकन और वट ऐड होगा और हमें उसको एक

Speaker A

इंडेक्स देना है इंडेक्स हो जाएगा करंट लेंथ ऑफ वोकैब जैसे मान लो वट हमें ऐड करना है तो वट का इंडेक्स क्या होना चाहिए जो करंट लेंथ है करंट लेंथ है वन तो वो कैप वट का आ जाएगा इंडेक्स वैल्यू वन ठीक

Speaker A

है और यहां पे अब दो आइटम्स आ जाएंगे फिर इज आएगा तो इज का इंडेक्स वैल्यू कैसे डिसाइड होगा करंट लेंथ ऑफ वोकैब व्हिच इज टू ऐसे करके हम सारा डिफाइन करते जाएंगे ट्स इट गाइस दिस इज द कोड इसको अगर हम रन

Speaker A

न करें एंड या नाउ इफ आई शो यू यह रहा वोकैब देखो व्ट आ गया वन पे इज आ गया टू पे द कैपिटल ऑफ फ्रांस यह सब यूनिक वर्ड्स आ गए अगर आपको पता करना है टोटल यूनिक कितने वर्ड्स है

Speaker A

आपके पूरे डेटा सेट में आपको सिंपली लेंथ निकाल लेना है 324 यूनिक वर्ड से मिलके बना है आपका पूरा डेटा सेट तो हमने वोकैबुलरी बिल्ड कर ली अब हम इस वोकैबुलरी के बेसिस पर अपने पूरे के पूरे डेटा सेट

Speaker A

को इंडेक्सेस में कन्वर्ट करेंगे अब टेक्स्ट को इंडेक्सेस में कन्वर्ट करने के लिए भी हम लोग एक फंक्शन बनाएंगे लेट्स कॉल दिस फंक्शन टेक्स्ट टू इंडेक्सेस इसको हम लोग दो इनपुट्स देंगे एक हम एक सेंटेंस देंगे जिसको हमें इंसेस

Speaker A

में कन्वर्ट करना है और सेकंड हम अपना वोकैबुलरी देंगे जिसके बेसिस पर कन्वर्जन होगा सबसे पहले हम क्या करेंगे एक नया वेरिएबल बना लेंगे इंडेक्स टेक्स्ट बोल के जिसके अंदर हम फाइनली अपना इंडेक्स वर्जन ऑफ द टेक्स्ट स्टोर करेंगे फिर हम क्या

Speaker A

करेंगे हम सबसे पहले एक लूप चलाएंगे फॉर टोकन इन टेक्स्ट टोकना इज को कॉल करेंगे टोकना इज नाइज टोकेनाइज को कॉल करेंगे हमारा फंक्शन जो है उसको टेक्स्ट दे देंगे वह पलट के एक लिस्ट देगा उस लिस्ट के ऊपर हम लूप चला

Speaker A

रहे हैं सो बेसिकली एकएक करके हम उस सेंटेंस के हर वर्ड को उठा रहे हैं और हम ये क्वेश्चन पूछ रहे हैं कि इफ दिस पर्टिकुलर वर्ड इज प्रेजेंट इन द वोकैबुलरी देन व्ट आई वांट इज मुझे उस पर्टिकुलर

Speaker A

वर्ड का इंडेक्स चाहिए जो कि मैं ऐसे रिट्रीव करूंगा और उस इंडेक्स को मैं अपने इंडेक्स टेक्स्ट वाली लिस्ट में अपेंड करता जाऊंगा सो अगर मेरे सेंटेंस में जो वर्ड है वोकैबुलरी में प्रेजेंट है तो मैं वोकैबुलरी डिक्शनरी से उसका इंडेक्स लाके

Speaker A

ऐड कर रहा हूं अगर मान लो वो पर्टिकुलर वर्ड हमारी वोकैबुलरी में प्रेजेंट नहीं है तो हमें क्या करना है उसको रिप्लेस कर देना है अननोन टोकन के इंडेक्स से तो हम लिखेंगे यह कोड टोकन के बदले आ जाएगा अननोन और यह

Speaker A

फंक्शन फाइनली हमें रिटर्न कर देगा इंडेक्स टेक्स्ट दिस इज द फंक्शन अब देखो अगर मैं इसको कॉल करूं टेक्स्ट टू इंडेक्सेस को और यहां पर मैं एक टेक्स्ट भेजूं व्हाट इज कैंपस x और अपना वोकैब भेजो तो दिस इज द आउटपुट

Speaker A

देखो व्ट के बदले आ रहा है वन इज के बदले आ रहा है टू और कैंपस x के बदले आ रहा है रो अगर आप अपनी वोकैबुलरी वाली डिक्शनरी को प्रिंट करो तो आपको समझ में आ जाएगा कि हो क्या रहा

Speaker A

है व्ट का इंडेक्स है वन इस का इंडेक्स हैट और कैंपस एकस हमारी वोकैबुलरी में नहीं था तो उसको हमने रिप्लेस कर दिया अननोन से इसलिए आ रहा है जीरो तो यह जो फंक्शन है यह प्रॉपर्ली काम कर रहा है अब

Speaker A

हमें क्या करना है हमें अपने डेटा सेट के हर रो में जाना है हर क्वेश्चन को उठाना है हर आंसर को उठाना है और उसको इस तरीके से न्यूमेरिकल इंसेस में कन्वर्ट करना है और यह करने के लिए हम हेल्प लेंगे डेटा

Speaker A

सेट एंड डेटा लोडर क्लासेस की तो सबसे पहले हम लोग इंपोर्ट कर लेते हैं टॉर्च को और टॉर्च के अंदर से लेट्स इंपोर्ट डेटा सेट एंड डेटा लोडर क्लासेस अब यहां पे हम लोग एक नई क्लास बनाएंगे हमारे क्लास को हम बुला रहे हैं

Speaker A

कए डाटा सेट और ये इन्हेरिटेंस क्लास से यहां पर हमें तीन मेथड्स बनाने हैं यह आप आप कई बार कर चुके हो तो काफी आईडिया लग चुका है आपको सेकंड लेंथ वाली क्लास बनानी है और थर्ड आपको गेट आइटम

Speaker A

वाली क्लास बनानी है सो कंस्ट्रक्टर में हमें दो चीजें मिलेंगी हमें हमारा पूरा डेटा सेट मिलेगा और हमें हमारी वोकैबुलरी मिलेगी और हम इन दोनों को स्टोर कर लेंगे लाइक दिस ठीक है अ यहां पे हमें बहुत सिंपली बस यह बताना है कि हमारे डाटा सेट

Speaker A

का लेंथ कितना है तो यहां पे हम रिटर्न करेंगे सेफ . df025 काम यहां पर है गेट आइटम में यहां पर हमें एक इंडेक्स बताया जाएगा कि हमें कौन सा पर्टिकुलर क्वेश्चन चाहिए हम उस क्वेश्चन को पहले डेटा सेट से निकालेंगे

Speaker A

सो उसके लिए हमें लिखना पड़ेगा डलक एक्चुअली सेल्फ डॉट डीए डॉट लोकेशन इनफैक्ट लॉक के बदले आई लॉक कर सकते हैं हम लोग और यहां पर हम वो इंडेक्स पोजीशन दे देंगे इससे हमें हमारा क्वेश्चन मिल जाएगा और इसी से हमें हमारा आंसर भी

Speaker A

मिल जाएगा जैसे मान लो इंडेक्स का वैल्यू है फाइ तो इस कोड से हमें हमारा पांचवां क्वेश्चन और इस कोड से हमें हमारा पांचवा आंसर मिल जाएगा बट यह इंग्लिश में लिखा हुआ है हमें इसको न्यूमेरिकल इंडेक्सेस में कन्वर्ट करना है तो हम क्या करेंगे

Speaker A

हमने जो फंक्शन बनाया है टेक्स्ट टू इंसेस हम उसको कॉल करेंगे और इसको दो चीजें चाहिए होंगी आपका टेक्स्ट व्हिच इज योर क्वेश्चन और आंसर और आपकी वोकैबुलरी तो आप यहां पे दो चीजें पास करोगे ये आपने अपना

Speaker A

टेक्स्ट पास कर दिया और आप यहां पे सेल्फ डॉट वो कैप पास करोगे और यह सेम कोड आप यहां पर रिपीट करोगे अपने आंसर के लिए और यहां पे आप सेल्फ डॉट वो कैप भेजोगे यहां पर आप लिखोगे अ

Speaker A

इंडेक्स या न्यूमेरिकल क्वेश्चन और यहां पर आप लिखोगे न्यूमेरिकल आंसर ठीक है तो यह आपको लिस्ट में तो मिल गया अब बस एक प्रॉब्लम है कि इस लिस्ट को हमें टेंसर में कन्वर्ट करना है सो हम रिटर्न करेंगे

Speaker A

टर्च डॉट टेंसर और हम इस लिस्ट को कन्वर्ट कर रहे हैं इनटू टेंसर और हम इसको भी कन्वर्ट कर रहे हैं इनटू टेंसर ठीक है क्लास का एक ऑब्जेक्ट बनाएंगे लेट्स कॉल इट डेटा सेट डेटा सेट इज एन ऑब्जेक्ट ऑफ q

Speaker A

ए डेटा सेट क्लास और इस क्लास को बनाने के लिए हमें अपना डेटा फ्रेम भेजना है और अपना वोकैबुलरी भेजना है अगर आप डेटा सेट का मान लो जीरो आइटम निकालना चाहो यह रहा आपका जीरो आइटम यह आपका पहला क्वेश्चन यह

Speaker A

रहा आपका पहला आंसर सब न्यूमेरिकल इंसेस में यह है हमारा दूसरा क्वेश्चन यह है हमारा दवा क्वेश्चन ठीक है तो जो हम अचीव करना चाहते थे वह हमने कर लिया अब बस हमें क्या करना है एक डेटा लोडर ऑब्जेक्ट बनाना

Speaker A

है सो डेटा लोडर बोलके हम एक ऑब्जेक्ट बना रहे हैं डेटा लोडर क्लास का ये ऑब्जेक्ट है यहां पे हम सबसे पहले अपना डेटा सेट भेज रहे हैं बैच साइज सिंस डेटा सेट बहुत छोटा है मैं वन रख रहा हूं बेसिकली हर बैच

Speaker A

में एक क्वेश्चन आंसर होगा ठीक है और इससे एक और फायदा यह है कि हमें पैडिट करने की जरूरत नहीं है बिकॉज पैडिट आपको तब करनी पड़ती है जब आप एक बैच में एक से ज्यादा टेक्चुअल डेटा को प्रोसेस कर रहे हो और हर

Speaker A

टेक्चुअल डेटा का शेप आई मीन नंबर ऑफ वर्ड्स अलग होते हैं यहां पे सिंस हर बैच में सिर्फ एक ही क्वेश्चन है तो फिर इट डज नॉट मैटर पैडिट करो या ना करो ठीक है और साथ ही साथ हम शफल भी ट्रू कर देंगे और यह

Speaker A

बन गया हमारा डेटा लोडर ऑब्जेक्ट नाउ व्हाट वी कैन डू इज आई कैन एक्चुअली लूप फॉर क्वेश्चन आंसर इन डेटा लोडर प्रिंट क्वेश्चन आंसर यह हमारा पूरा का पूरा डाटा यह देखो लूप थ्रू कर रहे हैं हम ठीक है सो

Speaker A

हमारा डेटा लोडर बन गया अब हमें अपना आरएनएन का आर्किटेक्चर डिजाइन करना है अब गाइस आरएनएन का आर्किटेक्चर कोड करने के पहले मैं आपको एक बार दिखाना चाहूंगा कि हमारा जो आरएनएन है उसका आर्किटेक्चर होगा कैसा सो हमारा जो आरएनएन है उसका

Speaker A

स्ट्रक्चर यह होगा कि उसमें फर्स्ट ऑफ ल एक इनपुट लेयर होगा एक हिडन लेयर होगा और एक आउटपुट लेयर होगा और ओबवियसली यह हिडन लेयर खुद को फीडबैक दे रहा होगा ठीक है अब ध्यान देने की बात क्या है कि जो इनपुट

Speaker A

लेयर है उसमें 50 न्यूरॉन्स होंगे 50 न्यूरॉन्स क्यों होंगे बिकॉज हम हमारे हर वर्ड को एंबेडिंग्स में कन्वर्ट कर रहे हैं और जो एंबेडिंग है एस इन जो एंबेडिंग वेक्टर है उसका डायमेंशन हम 50 रखने वाले हैं तो हम एक बार में यहां पर एक वर्ड

Speaker A

भेजेंगे चच विल बी अ वेक्टर ऑफ 50 डायमेंशन तो उन 50 डायमेंशन को रिसीव करने के लिए हमारा जो इनपुट लेयर है उसमें 50 न्यूरॉन्स होंगे ठीक है उसके बाद हमारा जो हिडन लेयर उसमें हम 64 न्यूरॉन्स रखेंगे ठीक है अब

Speaker A

यह डिजाइन चॉइस है आप यहां पर 128 256 कितना भी रख सकते हो दिस इज अ हाइपर पैरामीटर तो दैट इज वई यह आपके कंट्रोल में हम फिलहाल 64 रखेंगे एंड लास्टली हमारा जो आउटपुट न्यूरॉन है यहां पर हम

Speaker A

324 न्यूरॉन्स रखेंगे 324 न्यूरॉन्स हम इसलिए रखेंगे बिकॉज जितने हमारे वोकैबुलरी में वर्ड्स है हर वर्ड के करेस्पॉन्डिंग्ली न्यूरॉन रखना चाहते हैं सो जैसे ही हमारा फर्स्ट क्वेश्चन यहां पर फीड होगा तो जो आंसर निकल के आएगा वह आंसर भी हमारी

Speaker A

वोकैबुलरी का पार्ट है राइट तो होगा क्या कि 324 न्यूरॉन्स होंगे हर न्यूरॉन के अगेंस्ट एक प्रोबेबिलिटी आ जाएगी और जिसके अगेंस्ट हाईएस्ट प्रोबेबिलिटी होगी वो पर्टिकुलर वर्ड हमारा आंसर होगा दैट इज व्हाई ठीक है आई होप आपको समझ में आ गया

Speaker A

दिस बिकम लाक काइंड ऑफ दिस बिकम अ मल्टी क्लास क्लासिफिकेशन प्रॉब्लम ठीक है तो दिस इज गोइंग टू बी द आर्किटेक्चर आल्सो यह जो एंबेडिंग्स हम जनरेट करेंगे यह एंबेडिंग्स भी हम अपने न्यूरल नेटवर्क की हेल्प से ही जनरेट करेंगे मतलब हम अपने

Speaker A

आरएनएन के जस्ट पहले एक एंबेडिंग लेयर लगा देंगे और एंबेडिंग्स हमारे ट्रेनिंग प्रोसेस का पार्ट हो जाएंगे ठीक है इन सब चीजों के बारे में मैंने पहले आपको बता रखा है श्यर आपने हमारा डीप लर्निंग वाला प्लेलिस्ट देखा है वहां पर हमने ये

Speaker A

एंबेडिंग लेयर के बारे में बहुत डीप डिक डिस्कस किया था सो नाउ दैट यू अंडरस्टैंड द आर्किटेक्चर लेट्स कोड दिस सबसे पहले हमें एनए मॉड्यूल को इंपोर्ट करना है टॉर्च के अंदर से सो हमने इंपोर्ट कर लिया अब हम एक क्लास बनाएंगे क्लास का नाम रख

Speaker A

लेते हैं सिंपल आर एनए और यह इन्हेरिटेंस यहां पे हमें दो मेथड्स लिखने हैं एक हमारा कंस्ट्रक्टर होगा और एक हमारा फॉरवर्ड पास होगा सबसे पहले कंस्ट्रक्टर पे फोकस करते हैं सो कंस्ट्रक्टर को अपना काम करने के लिए सिर्फ एक चीज चाहिए

Speaker A

वोकैबुलरी का साइज बेसिकली हमारी वोकैबुलरी में कितने वर्ड्स हैं यहां पर सबसे पहले हम पेरेंट के कंस्ट्रक्टर को कॉल करेंगे उसके बाद हम यहां पे अपना आर्किटेक्चर बिल्ड करेंगे तो सबसे पहले हमें अपना एंबेडिंग लेयर बनाना है तो उसके

Speaker A

लिए आप एन ए डॉट एंबेडिंग को कॉल करोगे यहां पे आपको दो चीजें बतानी है फर्स्ट आपका वोकैबुलरी साइज क्या है वो आपको मिल गया है और सेकंड आपको यह बताना है आपका जो एंबेडिंग वेक्टर है उसका डायमेंशन क्या

Speaker A

होगा एंबेडिंग डायमेंशन हो जाएगा 50 यह हमने चूज किया है आप ज्यादा कम कर सकते हो और इसको हम एक वेरिएबल में डाल देंगे सेल्फ डॉट एंबेडिंग बोलके उसके बाद हमें हमारा आर एनए लेयर ऐड करना है तो उसके लिए

Speaker A

हम n एड आर ए को कॉल करेंगे यहां पर आपको बताना है कि इनपुट में आपको कितने कनेक्शंस मिलेंगे तो सिंस बेडिंग लेयर से आपको इनपुट मिल रहा है तो 50 कनेक्शंस आपको बनाने हैं और हमारे हिडन लेयर में 64 न्यूरॉन्स होने वाले हैं और

Speaker A

इसको हम लोग एक वेरिएबल में स्टोर कर देंगे सेल्फ डॉट आर ए ए बोल के एंड लास्टली हमें एक आउटपुट लेयर बनाना है सो इट वुड बी अ लीनियर लेयर इसको इनपुट में 64 कनेक्शंस मिलेंगे और इस लेयर में होंगे

Speaker A

वो कैब साइज जितने न्यूरॉन्स व्हिच इज 324 और इसको हम लोग एक वेरिएबल में स्टोर कर लेते हैं सेल्फ डॉट फुली कनेक्टेड लेयर और अब ये पास हम लोग हटा देते हैं एंड दिस इज गोइंग टू बी द आर्किटेक्चर दैट वी आर

Speaker A

गोइंग टू यूज अब एक चीज आपने यहां पे नोटिस की होगी कि मैंने यहां पे मल्टीपल लेयर्स तो ऐड किए हमारे न्यूरल नेटवर्क में बट मैंने इन सारे लेयर्स को क्लब करके एक सीक्वेंशियल कंटेनर में नहीं डाला जैसा

Speaker A

मैं अभी तक करते आ रहा था इस पूरे प्लेलिस्ट में उसके पीछे एक बहुत सॉलिड रीजन है और वो रीजन मैं आपको दिखाना चाहता हूं सो व्हाट आई विल डू इज कि अभी मैं मैनुअली एक सिंगल डेटा पॉइंट इस

Speaker A

आर्किटेक्चर में भेजूंगा और मैं आपको दिखाऊंगा कि उस डेटा पॉइंट के साथ हो क्या रहा है सो अगर आपको याद होगा ऊपर हमने डेटा सेट ऑब्जेक्ट बना रखा है और डेटा सेट ऑब्जेक्ट में आप कोई भी इंडेक्स पोजीशन

Speaker A

देके वो डेटा पॉइंट एक्सट्रैक्ट कर सकते हो जैसे अगर मुझे फर्स्ट क्वेश्चन चाहिए तो आई कैन एक्सट्रैक्ट दिस राइट अब देखो मैं क्या करता हूं मैं यह लेयर्स मैनुअली बाहर क्रिएट कर रहा हूं सो व्हाट आई विल डू इज एक्स बोल करके आई एम क्रिएटिंग दिस

Speaker A

लेयर और यहां पे वोकैब साइज में मैं मैनुअली 324 भेज रहा हूं अब मैं क्या करूंगा इस लेयर के अंदर मैं इस पर्टिकुलर डेटा सेट का यह क्वेश्चन भेजूंगा आप देखना आउटपुट क्या होता है सो हमें सिर्फ क्वेश्चन चाहिए आंसर नहीं चाहिए तो आई कैन

Speaker A

सिंपली राइट डेटा सेट रो का ज़ीरो इससे हमें सिर्फ हमारा क्वेश्चन वाला टेंसर मिल रहा है सो आई विल कॉपी दिस एंड आई विल सेंड इट हियर और आउटपुट में देखो क्या मिलेगा आपको आउटपुट में आपको एक टेंसर मिल

Speaker A

रहा है अब अगर आप इस टेंसर का शेप निकालो तो फिर आपको चीजें समझ में आने लगेंगी इस टेंसर का शेप है 6 50 इसका मतलब इसके अंदर छह वेक्टर्स हैं हर वेक्टर का साइज 50 डायमेंशन का है अब अपना सेंटेंस देखो आप

Speaker A

आपके फर्स्ट क्वेश्चन में छह वर्ड्स हैं आपने क्या किया हर वर्ड को उठाया और उसको एक 50 डायमेंशन वेक्टर में कन्वर्ट कर दिया तो आई रियली होप आपको समझ में आ रहा है कि यह एंबेडिंग लेयर क्या कर रहा है यह

Speaker A

आपके हर वर्ड को एक 50 डायमेंशन लेयर में कन्वर्ट कर रहा है एक और एग्जांपल देखते हैं मान लो हम 10थ क्वेश्चन उठाते हैं सो 10थ क्वेश्चन में भी सिक्स वर्ड्स ही है यह है 15 क्वेश्चन और इसमें कितने वर्ड्स है ती 6 8

Speaker A

अब अगर मैं यहां पे 15 लिखूं तो आई होप आप बता पाओगे शेप क्या है शेप है 8 50 बेसिकली एट वेक्टर्स ईच वेक्टर इज ऑफ द शेप 50 डायमेंशन सो यह हमने फर्स्ट लेयर से पास करके देख लिया अपना डाटा अब हम

Speaker A

सेकंड लेयर बनाते आते हैं सेकंड लेयर होगा ये लिए है दिस इज a सेट ऑफ सिक्स वेक्टर्स ईच वेक्टर 50 डायमेंशन का ठीक है ये मेरा r एन है और अब मैं y के अंदर a को भेज रहा

Speaker A

हूं ये देखो हमारे पास आउटपुट क्या आया है अब अगर आप ध्यान दोगे तो ये एक टपल है और उस टपल के अंदर आपको फर्स्ट ऑफ ऑल एक सिक्स एक 2d टेंसर दिखाई देगा इसमें दो आइटम्स हैं बाय द वे एक ये बड़ा सा 2d

Speaker A

टेंसर है और फिर एक टेंसर और है सो अगर मैं इस पूरे के पूरे टपल का जीरो थ आइटम को निकालूं तो यह है वो जीरो थ आइटम और इसका अगर मैं शेप निकालूं तो यह शेप है 6 64 और अगर मैं सेकंड आइटम को निकालूं तो

Speaker A

वो है 1 64 अब यहां पे आपको चीजें ट्रिकी लग सकती हैं बट ट्रस्ट मी अगर आपको आरएनएन का थ्योरी पता है तो आप बहुत आसानी से समझ लोगे कि यहां पे क्या हो रहा है सो हो क्या रहा है कि हमारे पास एक आरएनएन है और

Speaker A

हम इसमें एक सेंटेंस भेज रहे हैं जिसमें छह वर्ड्स है तो सबसे पहले वन जा रहा है फिर टू जा रहा है फिर थ्री फिर फोर फिर फाइ एंड फाइनली सिक्स और यहां से हमारा फाइनल आउटपुट आ रहा है ठीक है तो इसको आप

Speaker A

o1 बुला सकते हो इसको आप o2 बुला सकते हो इसको आप o3 बुला सकते हो इसको आप o4 इसको o5 और इसको o6 बुला सकते हो तो हो क्या रहा है यह जो आपको फर्स्ट बड़ी सी चीज दिखाई दे रही है जहां पर आपको 664 का

Speaker A

आउटपुट मिल रहा है यह जो आपको बड़ी सी चीज दिखाई दे रही है ये एक्चुअली कॉमिनेशन है o1 o2 o3 o4 o5 और o6 का बेसिकली जितने भी इंटरमीडिएट स्टेजेस में आपके आउटपुट्स है आपको वो सब भी मिल रहे हैं इनको आप हिडन

Speaker A

स्टेट्स बुला सकते हो और जो आपको यह लास्ट में मिल रहा है एक सिंगल वह आपका फाइनल आउटपुट है दैट इज वई आप नोटिस करोगे कि यह पूरी चीज और यह पूरी चीज सेम है बिकॉज यह जो अलग से है यह वाला दिस इज नथिंग बट o6

Speaker A

और ये जो पूरी चीज है ये o1 से लेके o6 तक है तो इसको हम बुला सकते हैं हमारे आरएनए का हिडन स्टेट्स और इसको हम बुला सकते हैं हमारे आरएनए का फाइनल आउटपुट तो आपने यह सीखा कि जो आरएनए होता है या जो आरएनएन

Speaker A

लेयर होता है जब आप उसमें अपना इनपुट भेजते हो तो आरएनए दो आउटपुट्स देता है आपको एक आपको सारे के सारे हिडन स्टेट्स देता है o1 से लेक o6 तक और एक आपको अलग से o6 नि निकाल के देता है जो आपका फाइनल

Speaker A

आउटपुट है इसीलिए हम सीक्वेंशियल लेयर यहां पे यूज़ नहीं कर पा रहे सीक्वेंशियल कंटेनर यहां पे यूज़ नहीं कर पा रहे बिकॉज़ सीक्वेंशियल कंटेनर पूरे टाइम यह एक्सपेक्ट करता है कि एक लेयर से एक आउटपुट निकल के अगले लेयर में जाएगा अगले

Speaker A

लेयर से एक आउटपुट निकल के उसके अगले लेयर में जाएगा बट यहां पे क्या हो रहा है सेल्फ डॉट एंबेडिंग से तो एक आउटपुट निकल रहा है व्हिच इज फाइन जो हम nnn.nn से दो आउटपुट्स निकल रहे हैं जो अब

Speaker A

हमें अगले लेयर के पास भेजने पढ़ रहे हैं n एडॉट सीक्वेंशियल हमें ये अलाउ नहीं करता एडॉट सीक्वेंशियल में हमेशा हर लेयर से एक ही आउटपुट निकलना चाहिए जिसकी वजह से हम यहां पे n एड सीक्वेंशियल यूज नहीं

Speaker A

करेंगे इनफैक्ट हमें मैनुअल कोड लिखना पड़ेगा पूरे के पूरे फॉरवर्ड पास का अब एक काम करते हैं मैं आपको आरएनए का आउटपुट फुली कनेक्टेड लेयर में भेज के भी दिखाता हूं सो यह है हमारा फाइनल आउटपुट इसको भी

Speaker A

एक वेरिएबल में स्टोर कर लेते हैं b इ टू व्हाट एवर और अब एक नया लेयर बनाते जड बोल के और वह लेयर होगा हमारा यह लीनियर लेयर यहां पर भी वो कैप साइज के बदले आई विल प्रोवाइड

Speaker A

324 और अब मैं क्या करूंगा जड में भेज दूंगा बी को एंड यू कैन सी इससे आपको फाइनल आपका आउटपुट टेंसर मिलेगा और आई गेस आप इसका शेप गेस कर पा रहे हो इसका शेप है 1 क 324 बेसिकली फॉर ईच वर्ड इन योर

Speaker A

वोकैबुलरी य आर गेटिंग अ प्रोबेबिलिटी और आप उस वर्ड को सेलेक्ट करोगे जिसका प्रोबेबिलिटी मैक्सिमम है वही आपका आंसर होने वाला है ठीक है तो आई होप आपको समझ में आ गया फर्स्ट ऑफ ऑल हमने यहां पर सीक्वेंशियल कंटेनर क्यों नहीं यूज किया

Speaker A

और अब अगर हम सीक्वेंशियल कंटेनर यूज नहीं कर रहे हैं तो व्हाट इज द अदर ऑप्शन द अदर ऑप्शन इज कि आप मैनुअल फॉरवर्ड पास लिखोगे सो हमें करना क्या है फॉरवर्ड पास में हमें क्वेश्चन दिया जाएगा जैसे हमने यहां

Speaker A

पर दिया यह डटा सेट 00 तो एक क्वेश्चन हमारे पास आएगा या सेट ऑफ क्वेश्चंस भी आ सकते हैं अगर आप मल्टीपल क्वेश्चंस भेज रहे हो बैच में फिलहाल हम बैच कंसीडर करके नहीं चल रहे हैं हम क्या करेंगे उस क्वेश्चन को

Speaker A

भेजेंगे सेल्फ डॉट एंबेडिंग लेयर में और उससे हमें हमारे हर वर्ड की एंबेडिंग मिल जाएगी तो लेट्स कॉल दिस एंबेडेड क्वेश्चन अब हम इस एंबेडेड क्वेश्चन को भेजेंगे हमारे आरएनएन लेयर में अब यहां से हमें दो आउटपुट मिलेंगे एक सारे के सारे हिडन

Speaker A

स्टेट्स और एक हमारा फाइनल हिडन स्टेट या फाइनल आउटपुट ठीक है हमें इस फाइनल वाले को यूज करना है तो फाइनल स्टेप में हम क्या करेंगे हम सेल्फ डॉट फुली कनेक्टेड लेयर में फाइनल को भेज देंगे और इससे हमें

Speaker A

जो आउटपुट मिलेगा वो हमारा फाइनल आउटपुट है और उसको हम रिटर्न कर देंगे दिस इज आवर क्लास तो आई होप आपको आर्किटेक्चर भी समझ में आ गया और पूरा का पूरा डाटा का जो फ्लो रहने वाला है वो भी समझ में आ गया सो

Speaker A

मॉडल का आर्किटेक्चर तो हमने बना लिया अब हमें अपना ट्रेनिंग लूप लिखना है बट उसके पहले हमें अपने कुछ अ इंपॉर्टेंट वेरिएबल सेट कर लेने चाहिए जैसे कि लर्निंग रेट कितना होगा मेरे एक्सपेरिमेंट में इस प्रॉब्लम में 0.01 001 इज अ गुड लर्निंग रेट फिलहाल हम

Speaker A

इसको 20 ई पॉक्स पे ट्राई करेंगे उसके बाद मॉडल का एक ऑब्जेक्ट बनाएंगे हमारे सिंपल आरएनएन क्लास का हम लिखेंगे मॉडल इज इक्वल टू सिंपल आर एन यहां पे हमें वोकैबुलरी का साइज बताना है तो हम यहां पर लिख देंगे

Speaker A

लेंथ ऑफ वोकैब ऊपर हमने जो वोकैब डिक्शनरी बनाई है यह बन गया हमारा मॉडल मैं अभी इसको जीपीयू प नहीं लेके जा रहा बिकॉज आप थोड़ी देर में नोटिस करोगे बहुत ही छोटा डेटा सेट है और बहुत जल्दी ट्रेन हो जाता

Speaker A

है सीपीयू के ऊपर भी तो जीपीयू पर ले जाने की जरूरत नहीं है और अब हमें अपना लॉस एंड ऑप्टिमाइजर सेट करना है तो पहले एक बार लॉस सेट कर लेते हैं सो हम यूज करेंगे क्रॉस एंट्रोपय बल कॉल्ड क्राइटेरिया ऑप्टिमाइजर

Speaker A

में हम लोग एडम यूज करेंगे सो टच ऑप्टम एडम यहां पे हम मॉडल डॉट पैरामीटर्स पास कर देंगे और यहीं पर हम अपना लर्निंग रेट सेट कर देंगे जो कि होगा लर्निंग रेट के बराबर और इसको एक वेरिएबल में स्टोर कर

Speaker A

लेंगे लेट्स कॉल इट ऑप्टिमाइजर एंड वी आर डन नाउ वी आर रेडी टू राइट आवर ट्रेनिंग लूप सो सबसे पहले हम लोग एक लूप चलाएंगे फॉर ई पॉक इन रेंज ऑफ ईपॉक्स बेसिकली 20 बार य लूप चलेगा और इस लूप के अंदर हम एक दूसरा लूप

Speaker A

चलाएंगे उसके पहले हम लोगों को लॉस मेजर करना है तो एक टोटल लॉस बोलक हम लोग वेरिएबल बना लेंगे और हर आउटर लूप के अंदर हम उसको एक बार जीरो से इनिला इज कर देंगे अब अंदर वाले लूप हम डाटा लोडर के ऊपर चलाएंगे सो फॉर

Speaker A

क्वे कमा आंसर इन डेटा लोडर ऊपर जोने डेटा लोडर बनाया था बेसिकली एक बार में एक बैच निकाल के ला रहे और हर बैच में एक क्वेश्चन है अब यहां पर आपको पता है क्या करना है सबसे पहले आपको ग्रेडिएंट क्लियर करने हैं

Speaker A

ऑप्टिमाइजर डॉट जीरो ग्राड को कॉल करोगे उसके बाद आप फॉरवर्ड पास चलाओगे सो मॉडल के अंदर आप अपने क्वेश्चन को भेज दोगे इससे आपको आपका आउटपुट मिलेगा या प्रेडिक्शन बोल सकते हो आप अब आप इस प्रेडिक्शन की हेल्प से लॉस

Speaker A

कैलकुलेट करोगे तो आप लिखोगे क्राइटेरियम यहां पर आप भेज दोगे अपना आउटपुट और जो आपका करेक्ट आंसर है ठीक है इन दोनों की हेल्प से लॉस कैलकुलेट हो रहा है और इसको आप एक वेरिएबल में स्टोर कर दोगे

Speaker A

लॉस उसके बाद आप ग्रेडिएंट्स कैलकुलेट करोगे सो यू विल राइट लॉस डॉट बैकवर्ड उसके बाद आप ग्रेडिएंट्स को अपडेट करोगे विद द हेल्प ऑफ योर ऑप्टिमाइजर ऑप्टिमाइजर डॉट स्टेप एंड फाइनली आप लॉस को अपडेट करोगे सो टोटल लॉस विल बी

Speaker A

इक्वल टू जो भी अभी तक टोटल लॉस के है प्लस जो करंट लॉस वैल्यू है लॉस डॉट आइटम एंड ट्स इट अब हम हर बाहर वाले लूप में बस एक बार प्रिंट करते जाएंगे कि टोटल लॉस हुआ कितना

Speaker A

सो वी कैन यूज एफ स्ट्रिंग्स सो वी वड राइट इपोक कौन सा चल रहा है इपोक विल बी करंट ई पॉक जो भी है प्लस व और उस ॉक में लॉस कितना है टोटल लॉस अप टू फोर डाटा पॉइंट्स

Speaker A

एंड या दिस इज आवर ट्रेनिंग लूप ठीक है एक बार क्रॉस चेक कर लेते हैं हर बार हम ग्रेडिएंट को क्लियर कर रहे हैं फॉरवर्ड पास लॉस ग्रेडिएंट कैलकुलेशन ग्रेडिएंट अपडेट लॉस अपडेट एंड प्रिंट ठीक है यह कोड

Speaker A

सही लग रहा है एक बार चलाते हैं एंड ओ ओके वी हैव गट सम एरर सो इट सेज एक्सपेक्टेड टारगेट साइज थव कमाव ओके सो प्रॉब्लम यह है कि हमारा जो डेटा लोडर है उसमें जो आंसर है वह एक डी

Speaker A

टेंसर है इट शुड बी अ नडी टेंसर सो अगर मैं इसका जीरो निकालू हां नाउ इट बिकम वडी तो एक काम करते हैं यहां पर सिंपली आंसर का जीरो कर देते हैं और अब रन करते हैं ओके स्टिल यहां पर तो वन आ गया

Speaker A

एक्सपेक्टेड टारगेट साइज 1 324 गट वन एक बार इस कोड को डी बक करना पड़ेगा सो गाइस इस कोड को डीब करने में थोड़ी मेहनत लगी मुझे मैं आपको समझाता हूं यहां पर इशू क्या हो रहा है सो हमें क्या करना है हमें

Speaker A

इस स्टेप में लॉस कैलकुलेट करना है ठीक है लॉस कैलकुलेट करने का मतलब क्या है कि हमारे मॉडल ने जो आंसर दिया और ट्रूली जो आंसर है हमें इन दोनों के बीच में कंपैरिजन करना है बट यह कंपैरिजन तभी

Speaker A

पॉसिबल है जब आपके आउटपुट का शेप यह हो 1 324 बेसिकली वन क्वेश्चन और उसका आंसर इज गिवन इन 324 नंबर्स बेसिकली आपके वोकैबुलरी के हर वर्ड के अगेंस्ट एक प्रोबेबिलिटी ठीक है तो यह फॉर्मेट में होना चाहिए एंड आपका जो

Speaker A

आंसर है व इस फॉर्मेट में होना चाहिए एक क्वेश्चन का एक सिंगल आंसर बेसिकली अ स्केलर ठीक है अब हमारा क्या प्रॉब्लम हो रहा है कि यह शेप हमारा सही से नहीं आ रहा है सो आई कैन शो इट टू यू

Speaker A

यह जो आउटपुट है हमारा जो हमारे मॉडल ने आंसर दिया अगर आप इसका शेप निकालो इस पॉइंट पे और इसको अगर आप रन करो ये रहा शेप सो अपेरेंटली अभी इस पर्टिकुलर अ कोड को ट्रेन करते टाइम जो क्वेश्चन

Speaker A

हमने पिक किया उसमें नाइन वर्ड्स थे और हमारा जो आंसर आ रहा है वो 1 9 324 आ रहा है एंड ऑब् वियस ये सही नहीं है ठीक है आना क्या चाहिए था कोई भी क्वेश्चन हो कितने भी वर्ड्स का हो आपका आंसर हमेशा 1

Speaker A

324 होना चाहिए सो ये अननेसेसरीली एक्स्ट्रा डायमेंशन हमारे पास आ रहा है जिसकी वजह से ये सारा गड़बड़ हो रहा है ठीक है अब ये क्यों आ रहा है मैं आपको समझाता हूं ऊपर मैंने थोड़ा सा कोड लिखा

Speaker A

है इसको डी बक करने के लिए सो यहां पे मैंने अपने तीनों लेयर्स बना दिए एक्स वाई जड ए में मैंने अपना आउटपुट ले लिया ठीक है मेरा जो आउटपुट है वो है फर्स्ट क्वेश्चन हमारे डेटा सेट डेटा सेट से और

Speaker A

उसको मैंने डॉट रीशेप 1 स कर दिया बेसिकली बैच का फॉर्म दे दिया एक क्वेश्चन विथ सिक्स वर्ड्स ठीक है अब मैंने इसको भेजा x में जिससे मुझे बी मिला फिर मैंने बी को भेजा y में आर एन ए है तो उससे हमें दो

Speaker A

आउटपुट मिले सी और डी सी हमारा सारे हिडन स्टेट्स है और डी हमारा फाइनल हिडन स्टेट है और फाइनली मैंने डी को उठाया फाइनल हिडन स्टेट को और उसको z में भेजा जिससे मुझे e मिला और मैंने ये सारे शेप्स यहां

Speaker A

पे प्रिंट किए हैं ठीक है नोटिस करो क्या हो रहा है हम 1 स का इनपुट भेज रहे हैं एक क्वेश्चन भेज रहे हैं विथ सिक्स वर्ड्स वो जैसे ही एंबेडिंग लेयर में घुस रहा है वो बन जा रहा है वन क्वेश्चन विथ सिक्स

Speaker A

वर्ड्स एंड ईच वर्ड कन्वर्टेड इनटू अ वेक्टर ऑफ 50 डायमेंशन ठीक है उसके बाद हम उसको भेज रहे हैं आरएनए के अंदर जिससे हमें दो आउटपुट मिल रहे हैं अब यहां पे देखो गड़बड़ हो रहा है यहां पे हमें 1 6

Speaker A

64 मिल रहा है डी का आउटपुट बट अगर आपको याद हो हमारा आउटपुट क्या होना चाहिए 1 1 64 राइट बिकॉज फाइनल हिडन स्टेट एक सिंगल होता है तो यहां पे 166 64 के बदले 11 164 होना चाहिए ठीक है यहां पे क्या हो रहा है

Speaker A

अ यहां पे आरएनए वाले लेयर में इंटरनली आपका जो सीक्वेंस लेंथ है बेसिकली जो नंबर ऑफ वर्ड्स होते हैं आपके क्वेश्चन में और जो आपका बैच लेंथ है वो इंटरनली स्वप हो जा रहा है जिसकी वजह से ये गड़बड़ हो रहा

Speaker A

है तो इस प्रॉब्लम को सॉल्व करने के लिए आप क्या कर सकते हो यहां पे आप एक्सप्लीसिटली स्टेट कर सकते हो कि बैच फर्स्ट होगा मतलब हम जो टेंसर भेज रहे हैं उसका जो फर्स्ट शेप का जो फर्स्ट नंबर

Speaker A

होगा वह बैच होगा ठीक है बेसिकली ये वन बैच होगा ठीक है अब देखना जैसे ही मैं इस कोड को रन करूंगा यह चेंज करने के बाद आपको सिर्फ डी वाले पर फोकस करना है जो अभी 16 64 है यह बन

Speaker A

जाएगा 114 बेसिकली एक क्वेश्चन से फाइनली एक हिडन स्टेट मिला जो कि 64 डायमेंशन का है और इसकी वजह से अब हमें जो फाइनल आउटपुट मिल रहा है व वनमा 1 324 मिल रहा है जो पहले क्या था 1 6 324 था जैसे नीचे हमें 9

Speaker A

324 दिख रहा था ठीक है तो आई होप आपको समझ में आ गया पहला चेंज हमें यह करना है कि यहां पे बैच फर्स्ट इक्वल्स ट्रू करना है और ये आपको हर बार आरएनएन में करना पड़ेगा ठीक है तो यहां पे आ गया अभ भी हमारा काम

Speaker A

कंप्लीट नहीं हुआ हमें फाइनली 1 324 चाहिए यहां पे क्या हो रहा है बैच की प्रोसेसिंग करने की वजह से एक एक्स्ट्रा नंबर यहां पे आ जा रहा है तो हम क्या करेंगे यह जो d हम भेजेंगे बेसिकली यह वाला टेंसर इससे हम यह

Speaker A

फर्स्ट वाला जो आपका डायमेंशन है वह हटा देंगे यूजिंग स्क्विज स्क्विज में जीरो वाला डायमेंशन हटा देंगे एंड यू कैन सी फाइनली अब हमें 1 324 मिल रहा है जो हमें चाहिए ठीक है तो अब क्या करना है आपको आपको कुछ नहीं करना

Speaker A

है आपको दो चेंजेज करने अपने आर्किटेक्चर में फर्स्ट यहां पर बैच फर्स्ट इक्वल्स ट्रू कर देना है और सेकंड जब आप यहां पर फॉरवर्ड लेयर में फॉरवर्ड पास में यह आउटपुट कैलकुलेट कर रहे हो तो यह फाइनल वाले टेंसर को आपको स्क्विज कर देना है

Speaker A

जीरो डायमेंशन का एंड ट्स इट और आपको आगे भी यह करना पड़ेगा जब आप किसी दूसरे प्रॉब्लम में आर एनन को लगाओगे ठीक है अब यह वाला कोड मैं रहने दे रहा हूं आपके काम आ सकता है बाकी अब हमें कुछ नहीं करना

Speaker A

पूरे कोड को दोबारा से रन करना है एक बार इसको रन करते हैं एंड यू कैन सी हर बार हमारा टॉर्च डॉट साइज कितना आ रहा है 1 324 य हमने अननेसेसरीली प्रिंट कर दिया बट जो भी ट्रेनिंग हमारी हो गई ॉक 20 तक अगर

Speaker A

मैं वापस जाऊं और यह प्रिंट हटा दूं और फिर से एक बार मॉडल को ट्रेन करूं सो दैट आपको ज्यादा क्लियर दिखाई दे तो यह देखो हमारे ईपॉक्स ट्रेन हो रहे हैं लॉस घटते जा रहा है यह टोटल लॉस है बाय द वे ये

Speaker A

एवरेज लॉस नहीं है इसलिए थोड़ा ज्यादा है एंड यू कैन सी दिस इज आवर फाइनल लॉस ठीक है सो या हमारा जो ट्रेनिंग था वो कंप्लीट हो गया सो गाइ मॉडल हमने ट्रेन कर लिया है अब हम प्रेडिक्शन करेंगे ठीक है और

Speaker A

प्रेडिक्शन हमारा कैसा होगा मैं आपको बता देता हूं अगर हमारे मॉडल को यह लगेगा कि उसने क्वेश्चन पहले देख रखा है और उसको आंसर पता है तो वह आपको आंसर दे देगा जैसे व्हाट इज द कैपिटल ऑफ फ्रांस तो उसने एक

Speaker A

क्वेश्चन देख रखा है तो वो आपको आंसर बता देगा पेरिस बट अगर उसको लगेगा कि उसने कोई ऐसा क्वेश्चन उससे पूछा गया है जो उसने ट्रेनिंग में नहीं देखा है तो वो आपको रिटर्न करेगा आई डोंट नो जैसे अगर मैंने

Speaker A

पूछ लिया व्हाट इज कैंपस x तो उसका आउटपुट होगा आई डोंट नो ठीक है तो यह पूरी चीज काम कैसे करेगी मैं आपको समझाता हूं सो हमारे पास एक ट्रेड मॉडल है यह हमारा मॉडल है और इसमें हम एक क्वेश्चन भेजेंगे

Speaker A

क्वेश्चन का शेप होगा बैच साइज कॉमा नंबर ऑफ वर्ड्स सो मान लो हमारा क्वेश्चन है व्हाट इज कैंपस x इसका शेप हो जाएगा वमा 3 वन बिकॉज हम हमारे बैच में एक क्वेश्चन भेज रहे हैं और थ्री बिकॉज उस क्वेश्चन

Speaker A

में थ्री वर्ड्स है जैसे ही हमारे मॉडल को ये क्वेश्चन मिलेगा हमारा मॉडल इसके ऊपर आउटपुट देगा और वह आउटपुट होगा 1 324 बेसिकली आपका एक क्वेश्चन के लिए हम 324 नंबर्स का आउटपुट दे रहे हैं यर 324

Speaker A

नंबर्स क्या हैं वन नंबर कॉरस्पॉडिंग टू ईच वर्ड इन आवर वोकैबुलरी अब मैंने आपको कुछ देर पहले सिंपलीफाई करने के लिए बोल दिया था कि वो जो नंबर्स हैं वो प्रोबेबिलिटीज रिप्रेजेंट कर रहे हैं फॉर ईच वर्ड बट एक्चुअली यह प्रोबेबिलिटीज

Speaker A

नहीं है इनको आप लॉजिक बुलाते हो इन लॉट्स के ऊपर आप सॉफ्ट मैक्स लगा के प्रोबेबिलिटीज निकाल सकते हो तो हम वही करेंगे हमें मॉडल से आउटपुट मिलेगा उसको हम सॉफ्ट मैक्स प लगा कर के प्रोबेबिलिटीज कैलकुलेट करेंगे तो हमारे पास 1 324 फिर

Speaker A

से शेप आ जाएगा बट इस बार यह सारी प्रोबेबिलिटीज है अब इसमें से हम उस प्रोबेबिलिटी को निकालेंगे जो मैक्सिमम होगी मान लो 7थ नंबर पर जो प्रोबेबिलिटी वो मैक्सिमम है और वो प्रोबेबिलिटी है 66 तो हम इसको निकाल लेंगे फिर हम क्या

Speaker A

करेंगे हम इस प्रोबेबिलिटी को एक थ्रश होल्ड के अगेंस्ट चेक करेंगे मान लो हमारा थ्रश होल्ड है 5 अगर यह प्रोबेबिलिटी 5 से ज्यादा है जो कि इस केस में है तो हम क्या करेंगे हम अपने वोकैबुलरी में से 70

Speaker A

पोजीशन पर जो भी वर्ड है वो निकाल करके दे देंगे और वो हमारा आंसर हो बट इफ इन केस हमारी सारी प्रोबेबिलिटीज में जो मैक्स प्रोबेबिलिटी है वह मान लो 30 निकली जो कि फ से कम है तो हम राद देन आंसर देने के हम

Speaker A

बोलेंगे आई डोंट नो दिस इज द लॉजिक क्वेश्चन आएगा हमारे पास लॉजस आएंगे लॉजिस को सॉफ्ट मैक्स में भेज के प्रोबेबिलिटीज आएंगी प्रोबेबिलिटीज में से मैक्स प्रोबेबिलिटी निकालेंगे चेक करेंगे कि वो मैक्स प्रोबेबिलिटी पॉ 5 से ज्यादा है या

Speaker A

कम है अगर ज्यादा है तो हम उस पर्टिकुलर इंडेक्स पोजीशन को निकाल करके एज आंसर यूजर को दिखा देंगे अगर 5 से कम होगा तो हम बोलेंगे आई डोंट नो तो यह कोड हमें लिखना है सो एक काम करते हैं एक फंक्शन

Speaker A

बनाते हैं प्रिडिक्ट बोलके इसको इनपुट में चाहिए होंगी तीन चीजें फर्स्ट इसको चाहिए होगा हमारा मॉडल सेकंड इसको चाहिए होगा जो क्वेश्चन यूजर इससे पूछ रहा है और थर्ड एक थ्रश होल्ड जो आप अपने हिसाब से डिसाइड कर

Speaker A

सकते हो अ फिलहाल हम यह थ्रश होल्ड 5 रख ले रहे हैं बट अगेन आगे इस पूरे सिस्टम को इवेलुएट करने के प्रोसेस में आपको ज्यादा अच्छे से समझ में आएगा कि फ होना चाहिए थ्रश होल्ड या कुछ और होना चाहिए तो द

Speaker A

फर्स्ट थिंग दैट यू विल डू इज यू विल कन्वर्ट क्वेश्चन टू नंबर्स और इसके लिए हमने ऊपर एक फंक्शन भी बनाया था अगर आपको याद हो और उस फंक्शन का नाम था टेक्स्ट टू इंसेस हम इसको यूज करेंगे सो वी विल गो

Speaker A

डाउन एंड वी विल कॉल दिस और यहां पे हमें अपने क्वेश्चन को पास करना है और अपने वोकैब को पास करना है और इससे हमें एक नया वेरिएबल मिल रहा है न्यूमेरिकल क्वेश्चन बोल के और फिलहाल जस्ट टू शो यू मैं इसी

Speaker A

को प्रिंट कर रहा हूं प्रिंट न्यूमेरिकल क्वेश्चन और यहां पर मैं प्रिडिक्ट में मॉडल भेज रहा हूं और क्वेश्चन पूछ रहा हूं व्हाट इज कैंपस x एंड यू कैन सी दिस इज द आउटपुट टू और जीरो ठीक है तो किसी भी क्वेश्चन को हम उस के

Speaker A

इंसेस में कन्वर्ट कर पा रहे हैं नेक्स्ट हमें क्या करना है अ इस पूरी चीज को टेंसर में कन्वर्ट करना है ठीक है तो हम लिखेंगे टर्च डॉट टेंसर और उसमें भेज देंगे न्यूमेरिकल क्वेश्चन को इसको हम बुला

Speaker A

लेंगे क्वेश्चन टेंसर और मैं प्रिंट करके आपको दिखाता हूं क्वेश्चन टेंसर कुछ नहीं हुआ बेसिकली वो चीज टेंसर में कन्वर्ट हो गई अब एक बार हम इसका शेप देखते हैं तो अभी इस पॉइंट पे इसका शेप है सिर्फ थ्री

Speaker A

का बिकॉज़ इसमें तीन वर्ड्स हैं बट मैंने आपको बताया था कि आपको बैच साइज कॉमा नंबर ऑफ वर्ड्स का अ इनपुट भेजना है तो आपको क्या करना पड़ेगा एक डायमेंशन ऐड करना पड़ेगा और वो आप करोगे विद द हेल्प ऑफ अन

Speaker A

स्क्विज अन स्क्विज में आप आगे एक वन लगा दोगे और इससे अब आपका डायमेंशन आ गया 13 तो अब ये क्वेश्चन एकदम परफेक्ट शेप में है इसको हम मॉडल में भेज सकते हैं यहां पे लिखेंगे सेंड टू मॉडल सो हम मॉडल के अंदर

Speaker A

भेज देंगे इस क्वेश्चन टेंसर को ठीक है और इससे हमें हमारा आउटपुट मिल जाएगा अब मैं आपको आउटपुट दिखाता हूं यह देखो यह रहा हमारा आउटपुट ये लॉट्स है ठीक है अगर मैं इसका शेप निकालूं तो इसका शेप है 1 324 जो

Speaker A

हमने अभी डिसाइड किया था हम यहां पर हैं अब हमें क्या करना है इन लॉजिस को प्रोबेबिलिटीज में कन्वर्ट करना है कन्वर्ट लॉजिस टू प्रोबेबिलिटीज और इसके लिए हमारे पास एक फंक्शन होता है पाई टर्च में जिसको हम अ

Speaker A

सॉफ्ट मैक्स फंक्शन बोलते हैं तो आपको बेसिकली टर्च डॉट n ए मॉड्यूल के अंदर से फंक्शनल के अंदर से सॉफ्ट मैक्स को यूज करना है और यहां पर आप भेज दोगे अपना आउटपुट और आप बता दोगे कि डायमेंशन वन

Speaker A

रखना है यहां से आपको मिल जाएंगी आपकी प्रोबेबिलिटीज और अब मैं आपको दिखाता हूं प्रोबेबिलिटीज दिखती कैसी है यह देखो दीज आर प्रोबेबिलिटीज इसका शेप वही होगा जो लॉजस का शेप है अब हमें क्या करना है मैक्स प्रोबेबिलिटी को एक्सट्रैक्ट करना है

Speaker A

फाइंड मैक्स प्रोबेबिलिटी या फिर ऐसे बोल सकते हैं फाइंड इंडेक्स ऑफ मैक्स प्रोबेबिलिटी तो इसके लिए हमच ड मैक्स फंक्शन को यूज़ करेंगे हम ऑलरेडी यूज़ करते भी आ रहे हैंच माक्स में आप प्रोबेबिलिटीज को भेज दोगे और आप सर्च

Speaker A

कराओ ग अक्रॉस डायमेंशन वन इससे आपको दो चीजें मिलेंगी फर्स्ट आपको वह वैल्यू भी मिल जाएगी जो मैक्सिमम प्रोबेबिलिटी है और उसका इंडेक्स भी मिल जाएगा मैं आपको दोनों दिखाता हूं यह है वैल्यू और यह है इंडेक्स यह देखो मैक्सिमम प्रोबेबिलिटी है 03 और

Speaker A

उसका इंडेक्स है 16 हमारे पूरी वोकैबुलरी में जो 16th वर्ड है उसके अगेंस्ट मुझे हाईएस्ट प्रोबेबिलिटी मिली है तो अब मैं क्या करूंगा यहां पे एक सिंपल लॉजिक लगाऊंगा इफ वैल्यू इज लेस दन थ्रश होल्ड आई विल रिटर्न और रदर आई विल प्रिंट आई

Speaker A

डोंट नो बट अगर यह वैल्यू थ्रश होल्ड से ज्यादा है तो हमें क्या करना है हमें अपने वोकैब्स वाली डिक्शनरी में जाना है उसके कीज को एक्सट्रैक्ट करना है और उसके कीज को एक्सट्रैक्ट करके उसको एक लिस्ट में

Speaker A

कन्वर्ट कर देना है और उस लिस्ट के इंडेक्स पोजीशन वाली वैल्यू हमें चाहिए वो कैब है जस्ट ठीक है सो हमने क्या किया हमारी डिक्शनरी में हम गए ये वोकैब है बाय द वे ये वोकैब है हमने इसमें से सारे के

Speaker A

सारे कीज को एक्सट्रैक्ट कर लिया बेसिकली सारे के सारे यूनिक वर्ड्स को एक्सट्रैक्ट कर लिया ये रहे सारे और अभी ये लिस्ट नहीं है तो मैं इसको लिस्ट में कन्वर्ट कर रहा हूं ये लिस्ट बन गया और अब इस लिस्ट में

Speaker A

से मैं इंडेक्स वाले पोजीशन को निकाल रहा हूं और हमारा इंडेक्स निकल के आया है 16 तो जो 16th वर्ड है वो निकल के आ जाएगा और वो है हार्पर ली तो तो जब व्हाट इज कैंपस x पूछा गया तो इंटरनली मेरे मॉडल ने कुछ

Speaker A

तो आंसर देना ही था उसने हार्पर ली आंसर निकाल के दिया आउट ऑफ आवर वोकैबुलरी बट कॉन्फिडेंस उसका कम था इसलिए हम उसको सेलेक्ट नहीं कर रहे ठीक है बट अगर मैं यहां पे लिख दूं व्हाट इज द कैपिटल ऑफ

Speaker A

फ्रांस तो अब वो सेवंथ वाला वर्ड निकाल के दे रहा है और ये सेवंथ वाला वर्ड है पेरिस और कॉन्फिडेंस भी फ से ज्यादा है इसलिए हम इसको प्रिंट करेंगे तो हम बेसिकली ये प्रिंट कर रहे हैं लेट्स रन दिस पेरिस अ

Speaker A

और कोई क्वेश्चन देख लेते हैं ये देख लेते हैं व्हाट इज द लार्जेस्ट प्लेनेट इन आवर सोलर सिस्टम एंड इट सेज जुपिटर ठीक है और वो इसलिए प्रिंट हो रहा है बिकॉज इंटरनली जो आपका कॉन्फिडेंस वैल्यू है वो 5 से

Speaker A

ज्यादा होगी हमारा प्रेडिक्शन इज वर्किंग फाइन हमने एकदम ग्राउंड अप इसको बिल्ड किया एंड या गाइस दिस वाज द वीडियो अ मुझे आपको यह सिखाना था कि आप पाई टॉर्च में एक सिंपल आरएनएन कैसे बिल्ड करते हो एंड आई

Speaker A

रियली होप आपको इस इंटरेस्टिंग प्रोजेक्ट को करके वोह अच्छे से समझ में आ गया बाकी अगर आपको वीडियो पसंद आया तो प्लीज लाइक करना अगर आपने इस चैनल को सब्सक्राइब नहीं किया है प्लीज डू सब्सक्राइब मिलते हैं नेक्स्ट वीडियो में बाय

Topics:PyTorchRNNक्वेश्चन आंसरिंग सिस्टमडीप लर्निंगटेक्स्चुअल डेटाLSTMएनकोडर-डिकोडरहिंदी में मशीन लर्निंगन्यूरल नेटवर्कडेटा प्रीप्रोसेसिंग

Frequently Asked Questions

क्या इस वीडियो में RNN की बेसिक थ्योरी भी समझाई गई है?

हाँ, वीडियो में RNN के आर्किटेक्चर, मेमोरी फीचर और टेक्स्चुअल डेटा प्रोसेसिंग की बेसिक थ्योरी हिंदी में विस्तार से समझाई गई है।

क्या इस वीडियो में पूरा कोडिंग प्रोजेक्ट दिखाया गया है?

वीडियो में एक सिंपल क्वेश्चन-आंसरिंग सिस्टम का कोड डेमो दिखाया गया है और PyTorch में RNN बनाने के स्टेप्स समझाए गए हैं।

क्या RNN के बारे में बिना पूर्व ज्ञान के यह वीडियो समझना मुश्किल होगा?

हाँ, वीडियो में बताया गया है कि RNN के बेसिक्स पहले से समझना जरूरी है, और इसके लिए चैनल की '100 Days of Deep Learning' प्लेलिस्ट देखना सुझावित है।

Get More with the Söz AI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries, speaker detection, and unlimited transcriptions.

App Store Google Play

Or transcribe another YouTube video here →

Free tools: TXT to SRT · SRT Validator · Merge SRT · Subtitle to Text · All tools