Speaker A
अ lot of people stop it understanding what AI agents are। But when you are actually building AI agents intact is one of the most important concepts that you need [संगीत] to understand is the system design behind it। See because an agentic
एजेंटिक AI सिस्टम डिजाइन की पूरी समझ, मॉडल राउटिंग, टूल्स, मेमोरी, और प्रोडक्शन लेवल कंट्रोल्स पर गहन चर्चा।
Ask about this video. Answers come from its transcript only — with the timestamp, so you can check them.
Generated from the transcript and can be wrong — check the timestamp.
Key Takeaways
- एजेंटिक AI सिस्टम डिजाइन में मॉडल राउटिंग और टूल्स के स्पष्ट कॉन्ट्रैक्ट्स जरूरी हैं।
- मेमोरी और स्टेट को अलग-अलग मैनेज करना सिस्टम की विश्वसनीयता बढ़ाता है।
- मल्टी एजेंट सिस्टम जटिल कार्यों के लिए उपयुक्त हैं लेकिन उनमें समन्वय की चुनौतियां होती हैं।
- सिस्टम को लागत, गति, सुरक्षा, और विश्वसनीयता के हिसाब से डिजाइन करना चाहिए।
- प्रोडक्शन में लॉगिंग, ऑब्जर्वेबिलिटी, और अप्रूवल गेट्स आवश्यक हैं।
What the video covers
- एजेंटिक AI सिस्टम केवल LLM नहीं, बल्कि एक प्रोडक्शन सॉफ्टवेयर सिस्टम है जो लक्ष्य के अनुसार निर्णय लेता है।
- सिंगल एजेंट और मल्टी एजेंट सिस्टम में अंतर और उनके उपयोग के परिप्रेक्ष्य को समझाया गया है।
- मॉडल राउटिंग का महत्व, जहां कम जटिलता वाले कार्यों के लिए हल्के मॉडल और जटिल कार्यों के लिए शक्तिशाली मॉडल का उपयोग किया जाता है।
- टूल्स को API की तरह डिजाइन करना चाहिए, जिनमें स्पष्ट नाम, इनपुट-आउटपुट स्कीमा, अनुमतियां और त्रुटि प्रबंधन शामिल हो।
- मेमोरी और स्टेट मैनेजमेंट का महत्व, जिसमें स्टेट वर्तमान कार्यप्रवाह का संदर्भ रखता है और मेमोरी व्यापक जानकारी संग्रहीत करती है।
- सिस्टम डिजाइन में विश्वसनीयता, लागत, गति, सुरक्षा, और ऑब्जर्वेबिलिटी जैसे पहलुओं पर ध्यान देना आवश्यक है।
- मॉडल कोंटेक्स्ट प्रोटोकॉल (MCP) जैसे मानकीकृत पैटर्न का परिचय और उनका महत्व।
- एजेंटिक AI सिस्टम के लिए स्पष्ट मॉडल राउटिंग, टूल कॉन्ट्रैक्ट्स, मेमोरी और स्टेट मैनेजमेंट, ऑर्केस्ट्रेशन, ट्रेसिंग, और अप्रूवल गेट्स की आवश्यकता।
- प्रोडक्शन ग्रेड सिस्टम के लिए लॉगिंग, त्रुटि ट्रैकिंग, और उपयोगकर्ता अनुभव को बेहतर बनाने के उपाय।
- एआई एजेंट्स के लिए सुरक्षा और अनुमतियों का कड़ाई से पालन करना आवश्यक है ताकि सिस्टम विश्वसनीय और सुरक्षित रहे।
Chapters
- 00:00एजेंटिक AI सिस्टम का परिचय और महत्व
- 01:36एजेंटिक AI सिस्टम की परिभाषा और प्रकार
- 03:30सिंगल एजेंट बनाम मल्टी एजेंट सिस्टम
- 05:21मॉडल लेयर और मॉडल राउटिंग
- 07:03टूल्स का डिजाइन और सुरक्षा
- 09:00मेमोरी और स्टेट मैनेजमेंट
- 10:46सिस्टम की विश्वसनीयता और उत्पादन स्तर के नियंत्रण
- 18:52प्रोडक्शन ग्रेड एजेंटिक AI सिस्टम के मुख्य सिद्धांत
Full Transcript — Download SRT & Markdown
Speaker A
AI system [संगीत] is not just an LLM wrapped inside a chat interface। It is a production software system where a model can reason over a goal। It can use tools, it can retrieve context, it will maintain state and it will make decisions across
Speaker A
multiple steps and trigger real actions through API। And in this video, I want to break down agentic AI system design from a builder's perspective। We will quickly recap what agentic AI systems are। How single agent and multi-agent systems differ। And then we will move
Speaker A
directly into the core building blocks about model routing, tools, memory, orchestration, state management, evaluations [संगीत] observability, security and production controls। If you are absolutely new to AI agents, I have already covered two separate videos on my YouTube। One is AI
Speaker A
agents explained and the second one is single agents versus multi agents। I link both of them below। So you can go watch them। I would say watch them first if you need the beginner foundation and then come back to this
Speaker A
video। This one is going to be more focused on the system design level। By the end of this video you will have a practical mental model for how production grade agentic AI systems are designed and what do you need
Speaker A
to think about before you move from a demo to something that real users can rely on। If you are new to my channel welcome here। I am Aishwarya Srinivasan। I spent over 10 years in machine learning and ER। And I am
Speaker A
currently building the Gen Academy where we train people to become top tier AI professionals by learning the real AI systems that teams are building in production। Okay, now let's quickly define what do we mean by agentic AI
Speaker A
systems। A basic LLM application usually takes an input sends it to a model and returns an output। An agentic AI system actually goes further। It can decompose a goal decide which step to take next call external tools inspect the
Speaker A
tool result। Update its state and continue the workflow until it reaches a stopping condition। At a high level there are two common patterns। One is single agent systems and the other one is multi agent systems। In a single agent system one
Speaker A
primary agent owns the workflow। It may still call multiple tools retrieve documents, update the memory and perform multiple reasoning steps, but the control loop is centralized। For example, a customer support agent may classify a request। It may retrieve an account
Speaker A
context। Call a billing API। Ask for confirmation and then generate a final response। But on the other hand in a multi agent system the workflow is split across multiple specialized agents। One agent may handle planning। Another may retrieve
Speaker A
knowledge, another may write code, another may review the output and another may handle the execution। The key idea is separation of responsibilities। So instead of one agent doing everything you design multiple agents with defined roles input contracts, output contracts and
Speaker A
routing logic between these agents। Multi agent systems are useful when the task has clear specialization, parallel work, review loops, or long running workflows। But they also add complexity। You now may have more coordination overhead, more failure modes, more states to track,
Speaker A
more logs to inspect and more places where cost and latency can increase। Now, that is why agentic AI system design matters। The hard part is not just getting a model to answer। The hard part is designing a system that is reliable, cost
Speaker A
aware, fast enough for the user experience, context aware, observable, and safe enough to connect to real tools। So, now that you understand the context, let's jump into the building blocks। The first building block is the model layer। This
Speaker A
includes the actual LLM or multi-modal models if you are using them। But also the strategy for when each model gets used। Introduction, you usually don't want a single powerful model handling every step। That gets expensive and slow very
Speaker A
quickly। A better design is actually model routing। So use cheaper and faster models for low complexity steps like intent classification, routing, extraction, schema filling, and simple summarization। And use stronger reasoning models only for steps where deeper reasoning changes the outcome। For example, in
Speaker A
an appointment booking agent, you probably don't need a frontier reasoning model to detect whether the user wants to book, reschedule, cancel or ask a question। A smaller model can also classify that। You also may not need an LLM to
Speaker A
extract date, time, doctor name, and appointment type into a JSON schema। But you may want a stronger model when the user gives ambiguous constraints। Like I am gonna be traveling next week। I want to avoid mornings। Or make sure that
Speaker A
this is happening after my lab results come in। You should also think about structured outputs at the model layer। Any step that feeds another system should return predictable structure not free form prose। So use JSON schema, pydantic models, function, or tool calling, or which
Speaker A
ever structured output mechanism your model provider supports। The model layer should answer three specific questions। What model is going to be used for this step, what output contract does it return?
Speaker A
And what happens if the model fails or returns invalid output। Now that leads me to the second building block which is tools। Tools are basically interface between the model and the external world। A tool can be a database lookup, a CRM API, a
Speaker A
calendar API, a payment API, a code interpreter, an internal search service, a ticketing system, a Slack action, a Google action, or any backend function that the agent is allowed to call। In production, tools should be designed like APIs with
Speaker A
strict constraints। Every tool should have a clear name, a description, input schema, output schema, permission boundaries, timeout behavior, retry behavior and error format। This is important because model should not be allowed to send arbitrary instructions into your backend। For
Speaker A
example, a tool called update user should not accept one vague natural language string। Like update this user based on the request। That is too open ended। A safer tool contract would be user ID field to update new value reason source
Speaker A
request ID and confirmation required। You also want your tool outputs to be machine readable। So if a tool fails it returns a structured error। If a tool succeeds it also returns a structured result। The agent should not have
Speaker A
to pass a messy prose from your backend। Now a good design pattern is to separate the read tools from your write tools। Start with your read only capabilities, then add low risk write tools, then add high risk write
Speaker A
tools, only with validation and human approval। Fetching available appointment slots is very different from canceling an appointment। So, you need to understand the risk factor here। This is also where MCP becomes very relevant। MCP or model context protocol is one
Speaker A
emerging pattern for exposing tools, resources and context to agents in a standardized manner। But, even if you are not using MCP, the system design principle is the same। Tools need contracts, they need permissions, they need boundaries and they need logs। Now the third
Speaker A
building block is memory and state। This is where many agentic systems become messy। See memory is not one thing। In agentic systems you need separate memory from state। State is the current execution context for the workflow। So, things
Speaker A
like what step are we on। What information has already been collected? Which tools have we called? What did these tools return? Has the user confirmed the action and did the workflow pass or fail? But memory is actually broader। It can
Speaker A
include conversation history, user preferences, past actions, any retrieved knowledge, document context, summaries and long form information that may be useful later। A common mistake is pulling all of this into a vector database। That is not a good default। You should choose storage based on
Speaker A
access pattern। So conversation and workflow state may belong to Redis, Dynamo DB, Postgres, Mongo DB, and another low latency store। Application state belongs in your application।
Speaker A
सर्च और अ मैनेज नॉलेज बेस। एंड लॉन्ग टर्म आर्काइव मे लिव इन अ चीपर ऑब्जेक्ट स्टोरेज लाइक S3 बकेट। इन अ सिंपल एग्जांपल, इफ एन एजेंट इज़ हेल्पिंग अ यूजर रिस्केेड्यूल अ डॉक्टर्स अपॉइंटमेंट। द करंट अपॉइंटमेंट आईडी प्रपोज्ड न्यू टाइम
Speaker A
कन्फर्मेशन स्टेटस एंड वर्क फ्लो स्टेप शुड बी स्टोर्ड एज़ अ स्ट्रक्चरर्ड वर्क फ्लो स्टेप। द यूज़र्स मेडिकल हिस्ट्री शुड नॉट बी कैजुअली पास्ड थ्रू दी एलएलएम इफ द मॉडल ओनली नीड्स अपॉइंटमेंट आईडी एंड द लिस्ट ऑफ अवेलेबल स्लॉट्स। यू शुड आल्सो
Speaker A
डिस्टिंग्विश शॉर्ट टर्म कॉन्टेक्स्ट एंड लॉन्ग टर्म मेमोरी। शॉर्ट टर्म कॉन्टेक्स्ट इज व्हाट यू पास इनटू द प्र्प्ट फॉर योर करंट टर्न। एंड लॉन्ग टर्म मेमोरी इज़ समथिंग दैट यू रिट्रीव सिलेक्टिवली। द गोल इज़ नॉट टू स्टफ़ एव्रीथिंग इंटू द कॉन्टेक्स्ट विंडो ऑफ़ द
Speaker A
मॉडल। इट विल क्रिएट अ कॉन्टेक्स्ट ब्लोट। द गोल इज़ रादर टू रिट्रीव द स्मॉलेस्ट यूज़फुल कॉन्टेक्स्ट फॉर द करंट स्टेप फॉर द मॉडल टू टेक अ डिसिशन ऑन। दिस इज़ एक्जेक्टली व्हाई मेमोरी डिज़ाइन इज़ रियली डाटा आर्किटेक्चर। यू आर डिसाइडिंग व्हाट
Speaker A
टू स्टोर, वेयर टू स्टोर, हाउ लॉन्ग टू कीप इट, हाउ टू रिट्रीव इट, एंड व्हाट इज़ सेफ टू सेंड टू द मॉडल ऑर नॉट। नाउ, वंस यू हाव द मॉडल, टूल्स, एंड मेमोरी, यू नीड समथिंग टू कोऑर्डिनेट देम। एंड दैट इज़
Speaker A
ऑर्केस्ट्रेशन। ऑर्केस्ट्रेशन इज़ द कंट्रोल लेयर ऑफ़ एन एजेंटिक सिस्टम। इट डिफाइनस हाउ द सिस्टम मूव्स फ्रॉम यूजर रिक्वेस्ट टू इंटरमीडिएट स्टेप्स टू टूल कॉल्स टू फाइनल आउटपुट। दिस कैन बी इंप्लीमेंटेड विथ प्लेन एप्लीकेशन कोड अ ग्राफ बेस्ड फ्रेमवर्क लाइक लैंग ग्राफ,
Speaker A
वर्क फ्लो इंजंस लाइक टेंपोरल, लामा इंडेक्स वर्क फ्लोस, लैंग चेन एंड कस्टम स्टेट मशींस, क्यूज़ आर अ कॉम्बिनेशन ऑफ ऑल ऑफ़ दिस। दी ऑर्केस्ट्रेशन लेयर शुड डिफाइन द कंट्रोल फ्लो एक्सप्लसिटली। फॉर एग्जांपल, यू रिसीव अ यूजर मैसेज, यू
Speaker A
क्लासिफाई द इंटेंट, यू रिट्रीव द रिक्वायर्ड कॉनंटेक्स्ट, यू डिसाइड वेदर द रिक्वेस्ट इज़ इन स्कोप ऑर नॉट। देन यू सिलेक्ट द टूल्स, देन यू वैलिडेट द टूल इनपुट्स, देन यू एक्सक्यूट द टूल्स, देन यू इंस्पेक्ट द रिजल्ट्स, देन यू आस्क फॉर
Speaker A
कन्फर्मेशन इफ इट्स नीडेड एंड देन यू फाइनली जनरेट द रिस्पॉन्स। एंड देन यू लॉक द ट्रेस एंड सेंड इवैल्यूएशन डेटा एसिंक्रोनिसली। फॉर सिंपल यूज़ केसेस, अ डिटरमिनिस्टिक पाइपलाइन इज़ ऑफ़न बेटर दैन अ फुल्ली ऑटोनमस एजेंट लूप। नॉट एव्री वर्क
Speaker A
फ्लो नीड्स प्लानिंग एंड रिफ्लेक्शन। सो, इफ अ सीक्वेंस ऑफ स्टेप इज मोस्टली नोन, डिजाइन इट एज़ अ पाइपलाइन ऑर अ स्टेट मशीन। यूज़ एजेंटिक रीजनिंग ओनली व्हेन द वर्क फ्लो जेनुइनली नीड़ डायनेमिक डिसिशन मेकिंग। सी, फॉर मोस्ट कॉम्प्लेक्स
Speaker A
सिस्टम्स, ग्राफ बेस्ड ऑर्केस्ट्रेशन बिकम्स यूज़फुल बिकॉज़ यू कैन एक्चुअली रिप्रेजेंट ब्रांचिंग, रीट्राइस, लूप्स, अप्रूवल गेट्स एंड फॉलबैक पार्ट्स। फॉर एग्जांपल, इफ एक्सट्रेक्शन फील्स, यू कैन रिटाय विथ द डिफरेंट प्र्प ओर अ डिफरेंट मॉडल। इफ द टूल रिटर्न्स अ नो अवेलेबल
Speaker A
अपॉइंटमेंट, यू कैन ब्रांच इंटू सजेस्ट अल्टरनेट पाथ। इफ द यूजर आस्क फॉर अ कैंसिलेशन, यू कैन ब्रांच इंटू अ कन्फर्मेशन पाथ। फॉर मल्टी एजेंट एआर सिस्टम्स, ऑर्केस्ट्रेशन आल्सो इंक्लुड्स एजेंट टू एजेंट राउटिंग। यू नीड टु डिफाइन व्हिच एजेंट ओन्स द नेक्स्ट स्टेप, वॉट
Speaker A
इन्फॉर्मेशन गेट्स पास्ड, वॉट आउटपुट फ़ॉर्मेट इज़ एक्सपेक्टेड, एंड हाउ कॉन्फ्लिक्ट्स आर रेसल्व। नाउ, विथाउट दिस, मल्टी एजेंट एआर सिस्टम्स बिकम एक्सट्रीमली डिफिकल्ट टु रिबक। द की पॉइंट इज़ दिस। डू नॉट कन्फ्यूज़ ऑटोनोमी विथ लैक ऑफ़ स्ट्रक्चर। प्रोडक्शन एजेंट्स नीड अ
Speaker A
वेरी क्लियर कंट्रोल फ्लो। नाउ लेट्स टॉक अबाउट वन ऑफ द मोस्ट इंपोर्टेंट येट इग्नोर्ड पार्ट ऑफ एजेंटिक एआई सिस्टम डिजाइन व्हिच इज इवैल्यूएशन। आई हैव आल्सो क्रिएटेड अ डीप डाइव वीडियो ऑन एआई इवल सो यू शुड गो चेक द्याट आउट एज़ वेल आफ्टर
Speaker A
दिस। सी इन ट्रेडिशनल सॉफ्टवेर इफ द फंक्शन रन्स एंड नो एक्सेप्शन इज़ थ्रोन वी ऑफेन असुम दैट द सिस्टम वर्क। बट इन एजेंटिक एआई सिस्टम्स दैट अजम्पशन वेरी क्विकली ब्रेक्स। द मॉडल कैन रिटर्न अ वैलिड जैसन दैट इज सिमेंटिकली रोंग। इट
Speaker A
कैन कॉल द करेक्ट टूल विथ द रॉन्ग आर्गुमेंट्स। इट कैन रिट्रीव इररेलेवेंट कॉन्टेक्स्ट। इट कैन आंसर यूजिंग अ स्टेल इनफॉरमेशन। ओर इट कैन फेल टू आस्क फॉर कन्फर्मेशन, एंड इट कैन इवन रिफ्यूज अ वैलिड रिक्वेस्ट, ओर कंपल् विथ अनसेफ
Speaker A
रिक्वेस्ट। सो, इवाइल्स ओर इवैल्यूएशन नीड़ टू बी डिजाइन इंटू द सिस्टम फ्रॉम द वेरी बिगनिंग। फॉर एजेंटिक सिस्टम्स, यू नीड़ मोर देन अ फाइनल आंसर इवैल्यूएशन। यू नीड़ ट्रेस लेवल इवैल्यूएशन। दैट मींस, यू आर इवैल्यूएटिंग ईच एंड एव्री इंपॉर्टेंट
Speaker A
स्टेप इन द ट्रिजेक्टरी। राइट फ्रॉम इंटेंट क्लासिफिकेशन, रिट्रीवल क्वालिटी, टूल सिलेक्शन, टूल आर्गुमेंट्स, पॉलिसी कंप्लायंस, कन्फर्मेशन बिहेवियर, फाइनल आंसर क्वालिटी, एंड टास्क सक्सेस। फॉर एग्जांपल, अ सपोर्ट एजेंट कुड प्रोड्यूस अ वेरी पॉलिश्ड फाइनल आंसर। बट इट मे हैव
Speaker A
सिलेक्टेड द रॉन्ग रिफंड पॉलिसी। इफ यू ओनली इवैलुएट द फाइनल टेक्स्ट, यू मिस द एक्चुअल फेलियर। इफ यू इवैलुएट द ट्रेस, यू कैन सी दैट द रिट्रीव्ड स्टेप पुल्ड द रॉन्ग पॉलिसी डॉक्युमेंट ओर द मॉडल मिस कक्लासिफाइड द यूजर्स प्लान टाइप। यू शुड
Speaker A
ऑलवेज मैंटेन अ टेस्ट सेट ऑफ रियलिस्टिक सिनेरियोस। थिंग्स लाइक हैप्पी पार्ट्स, एम्बिगुस रिक्वेस्ट, आउट ऑफ स्कोप रिक्वेस्ट, टूल फेलियर्स, मिलिशियस इनपुट्स, पार्शियल इनफार्मेशन, पॉलिसी एज केस एंड एस्केलेशन केसेस। दिस बिकम रिग्रेशन टेस्ट व्हेनएवर यू चेंज द मॉडल, प्र्प, रिट्रीवल लॉजिक, ओर योर टूल
Speaker A
स्कीमा। यू कैन आल्सो रन सैंपल्ड एसिंक्रोनस इवैल्यूएशंस इन प्रोडक्शन। अ जज मॉडल ओर अ एलएलएम एज़ अ जज कैन स्कोर अ परसेंटेज ऑफ़ कन्वर्ज़न्स ऑफ़लाइन। एंड हाई सिग्नल यूज़र फीडबैक कैन गो डायरेक्टली इनटू योर इवालक्यू। बट बी केयरफुल। एलएलएम
Speaker A
एज़ अ जज इज़ यूज़फुल बट इट इज़ नॉट परफेक्ट। फॉर इंपॉर्टेंट वर्क फ्लोस कंबाइन मॉडल बेस्ड ग्रेडिंग विथ डिटरमिनिस्टिक चेक एंड ह्यूमन रिव्यु। योर इवाल सिस्टम शुड इवेंचुयूली प्रोड्यूस मैट्रिक्स नॉट जस्ट एग्जांपल्स। सो, थिंग्स लाइक इंटेंट, एक्यूरेसी, टूल कॉल सक्सेस रेट, इनवैलिड
Speaker A
स्कीमा रेट, रिट्रीवल हिट रेट, रिफ्यूजल एक्यूरेसी, एस्केलेशन रेट, टास्क कंप्लीशन रेट, यूजर फ्लैग रेट, एंड कॉस्ट पर सक्सेसफुल टास्क। दीज आर जस्ट सम ऑफ द मैट्रिक्स दैट यू नीड टू ट्रैक। यस, इवैल्यूएशन इज एक्चुअली अ वेरी वेरी कॉम्प्लेक्स फील्ड। एंड दिस इज वेयर
Speaker A
एजेंटिक सिस्टम स्टार्ट टू लुक लाइक रियल प्रोडक्शन सिस्टम्स। नाउ द नेक्स्ट बिल्डिंग ब्लॉक इज़ अप्रूवल एंड पॉलिसी कंट्रोल। नॉट एव्री एक्शन नीड्स ह्यूमन अप्रूवल। बट हाई इंपैक्ट एक्शंस शुड हैव गेट्स। सेंडिंग एन ईमेल, डिलीटिंग अ डाटा, इशूइंग अ रिफंड, कैंसिलिंग एन अपॉइंटमेंट,
Speaker A
चेंजिंग योर बिलिंग, अपडेटिंग अ सीआरएम रिकॉर्ड और रनिंग कोड और प्लेसिंग एन ऑर्डर, और मेकिंग अ फाइनेंसियल ट्रांजैक्शन शुड नॉट हैपन जस्ट बिकॉज़ द मॉडल इनफर्ड द इंटेंट। इट शुड ऑलवेज हैव अ ह्यूमन इन द लूप। अ सेफर डिजाइन पैटर्न इज़
Speaker A
दिस। द मॉडल सजेस्ट समथिंग अ कोड वैलिडेटस इट। अ यूजर अप्रूव्स इट एंड देन द टूल एक्सक्यूट्स इट। द वैलिडेशन स्टेप शुड बी डिटरमिनिस्टिक व्हेरएवर पॉसिबल। सो, ऑलवेज, चेक ओनरशिप, चेक परमिशंस, चेक वेदर द रिक्वेस्ट एक्शन इज़ अलाउड, चेक वेदर
Speaker A
रिक्वायर्ड फील्स आर प्रेजेंट, चेक वेदर द यूजर हैज़ कन्फर्म द एक्जेक्ट एक्शन। एंड देन एक्जीक्यूट। सी, फॉर एग्जांपल, इफ द यूजर सेज़ कैंसिल माय अपॉइंटमेंट, द मॉडल कैन क्लासिफाई दैट इंटेंट एज़ कैंसिलेशन एंड प्रपोज़ द टारगेट अपॉइंटमेंट। बट द
Speaker A
सिस्टम शुड वेरीफ़ाई दैट द लॉक्ड इन यूजर ओन्स दैट अपॉइंटमेंट। दैट इट इज़ कैंसिलेबल, एंड दैट कैंसिलेशन इज़ अलाउड अंडर पॉलिसी एंड एक्चुअली दैट द यूजर एक्सप्लसिटली कन्फर्म्स बिफोर द कैंसिलेशन एपीआई इज़ कॉल्ड। दिस इज़ आल्सो इम्पोर्टेन्ट फॉर मल्टी एजेंट एआई
Speaker A
सिस्टम्स। इफ वन एजेंट जनरेट्स अ प्लान एंड अनदर एजेंट एग्जीक्यूटस इट, द एग्जीक्यूशन लेयर शुड नॉट ब्लाइंडली ट्रस्ट द प्लानिंग लेयर। टूल एक्सक्यूशन स्टिल नीड़स वैलिडेशन एंड ऑथोराइज़ेशन। दी एजेंट शुड नॉट बी द सोर्स ऑफ़ ट्रुथ फॉर योर बिज़नेस रूल्स। योर एप्लीकेशन कोड शुड
Speaker A
बी। नाउ दैट यू हैव द मेन बिल्डिंग ब्लॉक्स। लेट्स टॉक अबाउट द प्रोडक्शन प्रिंसिपल्स दैट होल्ड द एंटायर सिस्टम टुगेदर। द फर्स्ट वन इज़ रिलायबिलिटी। रिलायबिलिटी मींस दैट द सिस्टम बिहेव्स प्रेडिक्टेबली इवन व्हेन द मॉडल डज़ नॉट। यू गेट रिलायबिलिटी थ्रू डीकंपोज़िशन,
Speaker A
कॉन्ट्रैक्ट्स रिट्राइ वैलिडेशन फॉलबैक्स एज़ वेल एज़ मॉनिटरिंग। व्हाट यू डू इज़ यू डिकंपोज़ लार्ज प्रोम्प्स इनटू स्मॉलर स्टेप्स। अ सिंगल जॉइंट प्रोम्पट दैट क्लासिफाइज़ इंटेंट, रिट्रीव्स कॉन्टेक्स्ट, डिसाइड्स पॉलिसीज़, कॉल्स टूल्स, एंड राइट्स द फाइनल रेस्पोंस इज़ गोइंग टू बी वेरी वेरी हार्ड टू टेस्ट।
Speaker A
स्मॉलर स्टेप्स आर रादर ईज़ियर टू इवैलुएट एंड डिबग। देन यू नीड टू मेक श्योर दैट यू आर यूज़िंग स्ट्रक्चरर्ड आउटपुट्स। इफ द नेक्स्ट स्टेप डिपेंडस ऑन द मॉडल्स आउटपुट डू नॉट रिलाई ऑन फ्री फॉर्म टेक्स्ट। यू नीड टू वैलिडेट द स्कीमा। इफ द आउटपुट इज़
Speaker A
इनवैलिड, यू जस्ट रिटाय। इफ इट स्टिल फैल्स यूज़ अ फॉलबैक पाथ। नाउ द नेक्स्ट थिंग दैट यू नीड टू डू इज़ रैप एव्री मॉडल कॉल लाइक एन अनरिलायबल अपस्ट्रीम डिपेंडेंसी। सो, थिंग्स लाइक टाइम आउट्स, मैलफॉर्म्ड आउटपुट्स, रेट लिमिट्स,
Speaker A
प्रोवाइडर एरोर्स एंड डिग्रेडेड क्वालिटी शुड ऑल हैव हैंडलिंग पाथ्स। आल्सो, यू नीड टू सेपरेट डिटरमिनिस्टिक वैलिडेशन फ्रॉम मॉडल रीजनिंग। इफ द मॉडल एक्सट्रैक्ट्स अ डेट, कोड शुड बी एबल टु वैलिडेट द डेट। इफ द मॉडल सेलेक्ट्स अ यूजर आईडी, कोड शुड बी
Speaker A
एबल टु वेरीफ़ाई द परमिशंस। इफ द मॉडल प्रपोजेस अ टूल कॉल, अ कोड शुड बी एबल टू वैलिडेट द आर्गुमेंट्स। रिलायबिलिटी इज नॉट अबाउट मेकिंग द मॉडल परफेक्ट। इट इज अबाउट डिजाइनिंग द सिस्टम। सो मॉडल इनपरफेक्शंस डु नॉट इमीडिएटली बिकम
Speaker A
प्रोडक्ट फेलियर्स। नाउ द नेक्स्ट थिंग दैट यू नीड टू टेक केयर ऑफ इज़ कॉस्ट एंड लेटेंसी। बोथ कॉस्ट एंड लेटेंसी नीड टू बी डिजाइन टुगेदर बिकॉज़ एजेंटिक सिस्टम्स ऑफेन इनवॉल्व मल्टीपल मॉडल कॉल्स पर यूजर रिक्वेस्ट। अ सिंगल इंटरेक्शन माइट
Speaker A
इंक्लूड इंटेंट क्लासिफिकेशन, क्वेरी रीराइटिंग रिट्रीवल प्लानिंग टूल सिलेक्शन, टूल आर्गुमेंट जनरेशन, टूल रिजल्ट इंटरप्रेटेशन, फाइनल रिस्पॉन्स जनरेशन, एंड इवैल्यूएशन। इफ एव्री स्टेप यूजस अ लार्ज रीजनिंग मॉडल, योर सिस्टम इज़ गोइंग टू बी सुपर स्लो एंड सुपर एक्सपेंसिव। सो, दिस इस एक्जेक्टली व्हेयर
Speaker A
यू यूज़ मॉडल राउटिंग। यूज़ स्मॉल मॉडल्स फॉर सिंपल क्लासिफिकेशन एंड एक्सट्रेक्शन। यूज़ लार्जर मॉडल्स ओनली व्हेन देर एम्बिग्विटी, रीजनिंग एंड सिंथेसिस दैट्स रिक्वायर्ड। देन, यू शुड लिमिट टोकंस अग्रेसिवली। आउटपुट टोकंस आर बोथ अ कॉस्ट लेवल, एज़ वेल एज़ अ लेटेंसी लेवल। इफ द
Speaker A
यूजर ओनली नीड्स अ टू सेंटेंस आंसर, डु नॉट जनरेट अ लॉन्ग एक्सप्लेनेशन। इफ़ द डाउनस्ट्रीम सिस्टम ओनली नीड्स अ जेसन डू नॉट आस्क फॉर प्रोज़। नाउ, दिस वन इज़ आल्सो इम्पोर्टेन्ट। यूज़ कैशिंग व्हेयर इट मेक्स सेंस। यू शुड बी कैचिंग थिंग्स लाइक
Speaker A
रिट्रीवल रिजल्ट्स, रिपीटेड पॉलिसी लुकअप्स, टूल मेटा डेटा एज वेल एस स्टेबल कॉन्टेक्स्ट। एंड देन यू कैन आल्सो डु बैचिंग एंड एसिसिंक्रोनस एक्सजीक्यूशन फॉर नॉन ब्लॉकिंग वर्क लाइक इवैल्यूएशन एंड समरीज़। वन थिंग टू कीप इन माइंड इज़ ऑलवेज यूज़ स्ट्रीमिंग रिस्पॉन्सेस फॉर यूजर
Speaker A
फेसिंग टास्क व्हेन द रिस्पॉन्स मे टेक टाइम। इफ द वर्क फ्लो रिक्वायर्स लॉन्ग रनिंग टूल कॉल्स शो द प्रोग्रेस स्टेट्स इंस्टेड ऑफ लीविंग द यूजर विद द ब्लैंक स्क्रीन। आल्सो वेरीेंटली इनफोर्स स्कोप अर्ली। आउट ऑफ स्कोप रिक्वेस्ट कैन बर्न
Speaker A
टोकंस एंड टोल कॉल्स। सो यू कैन यूज़ चीप फ़िल्टर्स, रूल्स एंड इंटेंट गेट्स बिफोर दी एक्सपेंसिव रीज़निंग स्टेप इवन हैपेंस। अ प्रोडक्शन एजेंट शुड हैव कॉस्ट ऑब्ज़वेबिलिटी। थिंग्स लाइक टोकंस इन, टोकंस आउट, कॉस्ट पर स्टेप, कॉस्ट पर कन्वर्सेशन एंड कॉस्ट पर सक्सेसफुल टास्क।
Speaker A
नाउ द थर्ड प्रोडक्शन प्रिंसिपल इज़ कॉन्टेक्स्ट एंड रैक डिज़ाइन। कॉन्टेक्स्ट डिजाइन इज़ वन ऑफ़ द बिगेस्ट डिफरेंसेस बिटवीन अ टॉय एजेंट एंड अ यूज़फुल प्रोडक्शन एजेंट। द गोल हियर इज़ नॉट टू पास एवरीथिंग इनटू द प्रम्प्ट। द गोल इज़
Speaker A
टू पास द राइट कॉन्टेक्स्ट फॉर द करंट स्टेप। इन प्रैक्टिस कॉन्टेक्स्ट कैन कम फ्रॉम द यूजर मैसेज ऑर द कन्वर्सेशन स्टेट ऑर द एप्लीकेशन डेटाबेस ऑर द रिट्रीव्ड डॉक्युमेंट्स द टूल रिजल्ट्स यूजर प्रोफाइल ऑर इवन द लॉन्ग टर्म मेमोरी ईच
Speaker A
सोर्स हैज़ डिफरेंट फ्रेशनेस ट्रस्ट प्राइवेसी एंड लेटेंसी कैरक्टरिस्टिक्स। नाउ फॉर रैग रिट्रीवल क्वालिटी मैटर्स मोर देन सिंपली हैविंग अ वेक्टर डेटाबेस। यू नीड टू डू डॉक्युमेंट चंकिंग। यू हैव टू डु मेटा डेटा फ़िल्टर्स। यू हैव टू डू हाइब्रिड सर्च व्हेन यूज़फुल। देन यू हैव
Speaker A
रीररैंकिंग, देन यू हैव फ्रेशनेस कंट्रोल्स, एंड सोर्स एट्रिब्यूशन, व्हेन द यूजर नीड्स ट्रस्ट। यू आल्सो नीड टू सेप्रेट ट्रस्टेड इंस्ट्रक्शंस फ्रॉम अनट्रस्टेड कंटेंट। रिट्रीव्ड डॉक्युमेंट्स शुड नॉट बी अलाउड टू ओवराइड द सिस्टम इंस्ट्रक्शंस। टूल आउटपुट्स शुड बी ट्रीटेड एज़ डेटा एंड नॉट इंस्ट्रक्शंस।
Speaker A
एंड यूजर प्रोवाइडेड कंटेंट शुड बी आइसोलेटेड फ्रॉम डेवलपर ओर सिस्टम इंस्ट्रक्शंस। फॉर रियली लॉन्ग कन्वर्सेशन्स, यूज़ समराइज़ेशन एंड चेक पॉइंट्स इंसड ऑफ़ पासिंग द फुल हिस्ट्री फॉरएवर। स्टोर द समरी सेप्रेटली फ्रॉम द रॉ कन्वर्सेशन लॉग्स एंड कीप ट्रैक ऑफ़
Speaker A
व्हाट द समरी इज़ अलाउड टु इन्फ्लुएंस। अ कॉनंटेक्स्ट अवेयर सिस्टम इज़ द वन दैट नोस व्हाट इन्फॉरमेशन इट नीड्स। व्हेयर इट शुड रिट्रीव इट फ्रॉम, वेदर इट इज़ ट्रस्टेड ओर नॉट, एंड वेदर इट इज़ सेफ टू बी सेंट टू द
Speaker A
मॉडल। नाउ द फाइनल प्रोडक्शन लेयर प्रिंसिपल आय प्रॉमिस इज़ ऑब्ज़रबिलिटी, सिक्योरिटी एंड प्राइवेसी। फॉर ऑब्जरवेबिलिटी, यू नीड टू लॉक द एनाटमी ऑफ एव्री एजेंट रन। व्हाट्स द मॉडल नेम, व्हाट्स द मॉडल वर्जन, द प्र्प वर्जन, स्टेप नेम, वर्क फ्लो आईडी, कन्वर्सेशन
Speaker A
आईडी, टूल नेम, टूल आर्गुमेंट्स विथ सेंसिटिव वैल्यूज़ मस्ट। ऑफ़ कोर्स। देन लेटेंसी, देन टाइम टू फर्स्ट टोकन, टोकन इन, टोकन आउट, व्हाट आर द कॉस्ट? हाउ मेनी रीट्राइज़, वेर देयर एनी फॉलबैक्स, वेर देयर एनी एरोस? वाज़ देयर एनी यूज़ ऑफ़
Speaker A
फीडबैक, एंड व्हाट द इवल स्कोर्स वर? आई नो दिस इज़ अ लॉट, बट यू नीड टू लॉग ऑल ऑफ़ देम। एंड मोर। यू शुड बी एबल टू आंसर व्हेयर डीड द फेलियर हैपन? वाज़ इट इंटेंट क्लासिफिकेशन, वाज़ इट रिट्रीवल, प्लानिंग,
Speaker A
टूल सिलेक्शन, टूल एक्सक्यूशन, पॉलिसी वैलिडेशन, ऑर वाज़ इट द फाइनल रिस्पांस एरोर? फॉर सिक्योरिटी, ट्रीट एवरीथिंग दैट टचेस द मॉडल एज़ एन अटैकर कंट्रोलोल्ड इनपुट, अनलेस प्रूवन अदरवाइज़। यूजर मैसेजेस कैन कंटेन डायरेक्ट प्र्प इंजेक्शन। रिट्रीव्ड डॉक्यूमेंट्स कैन आल्सो कंटेन इनडायरेक्ट प्र्पों्ट
Speaker A
इंजेक्शन। टूल आउटपुट्स कुड आल्सो कंटेन पोइजन डेटा एंड मॉडल आउटपुट्स कैन कंटेन अनसेफ कमांड्स, थिंग्स लाइक, सीक्वल, एचटीएमएल ऑर अदर काइंडस ऑफ कोड। सो, यू नीड टू आइसोलेट द अनट्रस्टेड कंटेंट। सो, सेपरेट द इंस्ट्रक्शन्स फ्रॉम द डेटा। डू
Speaker A
नॉट एक्सजीक्यूट रॉ मॉडल आउटपुट। डू नॉट रन एनी एसक्यूएल ओर और शेल कमांड्स डायरेक्टली फ्रॉम मॉडल जनरेटेड टेक्स्ट। गिव टूल्स लीस्ट प्रिविलेज परमिशंस एंड ऐड अप्रूवल गेट्स फॉर रिस्की एक्शंस। नाउ फॉर प्राइवेसी सेंड द मिनिमम डेटा नीडेड टू द
Speaker A
मॉडल। इफ द मॉडल ओनली नीड्स अपॉइंटमेंट आईडी एंड अवेलेबिलिटी डू नॉट सेंड द फुल पेशेंट रिपोर्ट। इफ इट ओनली रिक्वायर्स अ समराइज़ टिकट डू नॉट सेंड द फुल कस्टमर हिस्ट्री। एंड रिगार्डिंग पीआईआई ऑलवेज मास्क पीआईआई एट द राइट टाइम। सेट रिटेंशन
Speaker A
डिटेल्स फॉर लॉग्स, ट्रेसेस एंड कन्वर्सेशन आर्काइव््स। मेक श्योर दैट यू कीपिंग द सेंसिटिव फील्ड्स आउट ऑफ़ द प्रॉप्ट अनलेस दे आर रिक्वायर्ड फॉर द टास्क। योर मॉडल प्रोवाइडर, योर वेक्टर डेटाबेस, योर ऑब्ज़र्वेबिलिटी प्लेटफार्म, एंड लॉगिन सिस्टम्स आर ऑल पार्ट ऑफ़ योर
Speaker A
डेटा बाउंड्री। दिस इज़ व्हाई एजेंटिक एआई सिस्टम डिज़ाइन इज़ नॉट जस्ट अबाउट प्र्प इंजीनियरिंग। इट इज़ एक्चुअली द बैक एंड डिज़ाइन। इट इज़ द डेटा डिज़ाइन, इट इज़ अ सिक्योरिटी डिज़ाइन एंड इट इज़ द प्रोडक्ट डिज़ाइन विथ एलएलएम इन द लूप। सो हियर इज़ द
Speaker A
फाइनल टेक अवे दैट यू शुड हैव फ्रॉम दिस वीडियो। अ प्रोडक्शन ग्रेड एजेंटिक एआई सिस्टम नीड्स क्लियर मॉडल राउटिंग, स्ट्रिक्ट टूल कॉन्ट्रैक्ट्स, एक्सप्लसिट मेमोरी एंड स्टेट मैनेजमेंट, इट नीड्स ऑर्केस्ट्रेशन, इट [संगीत] नीड्स ट्रेस लेवल इवल्स, इट नीड्स अप्रूवल गेट्स,
Speaker A
कॉस्ट एंड लेटेंसी कंट्रोल्स अलोंग विथ कॉन्टेक्स्ट डिज़ाइन, ऑब्ज़वेबिलिटी, सिक्योरिटी [संगीत] एंड प्राइवेसी। इट इज़ ऑल ऑफ़ इट। एंड इफ यू वांट टू गो डीपर वी हैव अ फ्री एजेंटिक एi सिस्टम डिज़ाइन मास्टर क्लास रिकॉर्डिंग दैट्स ऑलमोस्ट टू आवर्स लॉन्ग। इट गोज मच
Speaker A
डीपर इनटू दी आर्किटेक्चर, प्रोडक्शन पैटर्न, ट्रेडऑफ्स एंड रियल डिज़ाइन डिसिशन [संगीत] बिहाइंड एजेटिक एi सिस्टम्स। आई विल आल्सो लिंक दैट इन दी डिस्क्रिप्शन बिलो। एंड इफ दिस वीडियो मेड यू थिंक। ओके, आई डोंट जस्ट वांट टू वाच दिस। आई
Speaker A
एक्चुअली वांट टू बिल्ड दिस सिस्टम्स, [संगीत] देन डेफिनेटली गो चेक आउट जैन अकडमी। आवर फ्लैगशिप प्रोग्राम इज अ मास्टरिंग एजेंटिक सर्टिफिकेशन। इट इज अ लाइव सर्टिफिकेशन प्रोग्राम व्हेयर एव्री सिंगल वीक आई एंड माय को फाउंडर अरविंद आर एक्चुअली टीचिंग यू क्लासेस एंड एव्री
Speaker A
सिंगल वीक यू आर गोइंग टू बी बिल्डिंग प्रोजेक्ट्स [संगीत] एंड नॉट डेमो प्रोजेक्ट्स प्रोडक्शन लेवल प्रोजेक्ट्स फॉर द प्रोजेक्ट्स वी हैव टू ट्रैक्स यू कैन इदर चूज द लो कोड नो कोड टूल्स ओर यू कैन चूस द कोड हेवी टूल्स। दिस इस नॉट
Speaker A
जस्ट फॉर इंजीनियर्स ओर डेवेलपर्स। दिस इस फॉर एनीबडी हु वांट्स टू बिकम एन एआई प्रोफेशनल एंड वांट्स टू अंडरस्टैंड हाउ एआई एजेंट्स आर बिल्ट। व्हाट आई एम सुपर एक्साइटेड अबाउट इज द डैट वी हैव पार्टनर्ड विद कंपनी लाइक एनवीडी ओपन एआई,
Speaker A
फायworks एआई, रेप्लेट, पाइनको, मेमो, 11 लैब, लामा इंडेक्स, लैंगचेन [संगीत] एंड मेनी मोर। सो एज़ अ स्टूडेंट इन द को C को C कोर्ट यू विल गेट क्रेडिट्स फॉर ऑल ऑफ दिस टूल्स एंड यू विल गेट टू लर्न
Speaker A
डायरेक्टली फ्रॉम एआर एक्सपर्ट्स [संगीत] फ्रॉम देयर टीम्स एज़ वेल। अ लॉट ऑफ़ पीपल आर एक्चुअली यूज़िंग देयर कंपनीज़, लर्निंग एंड डेवलपमेंट बजट फॉर दिस [संगीत] सर्टिफिकेशन। सो, डेफिनेटली चेक विथ योर मैनेजर फॉर रीइब्बोर्समेंट। एंड फॉर माय YouTube ऑडियंस आई हैव एडेड अ स्पेशल
Speaker A
डिस्काउंट कोड व्हिच इज आल्सो देर इन द डिस्क्रिप्शन बिलो। ओके, आय होप दिस वीडियो वाज इनसाइटफुल फॉर यू। आई नो इट वाज अ लॉट टू अनपैक बट यू नो यू कैन ऑलवेज रिवॉच दिस। एंड इफ यू आर लाइक मी जस्ट मेक
Speaker A
हैंड रिटन नोट्स। इट जस्ट मेक्स द लर्निंग प्रोसेस सो मच मोर इज़ीअर। इफ यू हैव एनी क्वेश्चंस यू नो यू कैन ड्रॉप द कमेंट्स बिलो। एंड आई विल चेक इट आउट। ओके देन आई विल सी यू इन द नेक्स्ट वन।
Topics:एजेंटिक AIसिस्टम डिजाइनमॉडल राउटिंगटूल्समेमोरी मैनेजमेंटमल्टी एजेंट सिस्टमAI सुरक्षाप्रोडक्शन AIAI ऑर्केस्ट्रेशनAI लॉगिंग
