Speaker A
시간짜리 영상 있잖아요. 6시간짜리 영상. 6시간짜리 영상을 그냥 A한테 딱 줘요.
AI를 활용한 영상 자동화와 클로드 코드의 하네스 개념, 룰스 설계 및 최적화 방법을 상세히 설명합니다.
Ask about this video. Answers come from its transcript only — with the timestamp, so you can check them.
Generated from the transcript and can be wrong — check the timestamp.
Key Takeaways
- AI 자동화에서 하네스는 AI 모델을 통제하고 효율적으로 활용하는 핵심 요소이다.
- 불필요한 컨텍스트를 줄이고 룰스를 체계적으로 관리하는 것이 AI 성능 향상에 중요하다.
- 자동화 작업은 실행과 기록이 병행되어야 하며, 기록된 스킬은 중요한 자산이 된다.
- 메타 룰스를 통해 AI가 스스로 학습하고 실수를 개선하는 자가 개선 시스템 구현이 가능하다.
- AI를 활용한 영상 편집과 나레이션 생성은 시간과 비용을 크게 절감할 수 있다.
What the video covers
- 6시간짜리 영상에서 AI가 텍스트 추출(STT)과 프레임 분석을 통해 상황을 파악하는 과정 소개
- AI 자동화 작업에서 하네스(harness)의 중요성과 AI 모델을 효과적으로 제어하는 방법 설명
- 컨텍스트 관리의 중요성과 불필요한 정보 제거로 AI 효율성 극대화 방법 제시
- 클로드 MD와 룰스(Rules)의 역할 및 설계 원칙, 조건부 룰스와 글로벌 스코프 개념 설명
- 룰스 작성 시 프론트 매터(front matter)의 구성과 문서 관리 방법 안내
- 자동화 실행과 기록의 중요성, 스킬 개발을 통한 자산화 과정 강조
- AI가 사용자 실수를 학습하고 룰스를 자동으로 개선하는 메타 룰스(Meta Rules) 시스템 소개
- AI 기반 영상 편집 및 나레이션 생성 도구(11레븐 랩스, 위스퍼 등) 활용 사례
- 클라우드 업로드 비용과 제한, 외주 대비 AI 자동화의 시간 및 비용 절감 효과 설명
- 실제 적용 시 발생할 수 있는 문제점과 해결 방법(프론트 매터 오류, 컨텍스트 과부하 등) 안내
Full Transcript — Download SRT & Markdown
Speaker A
A한테 딱 주면은 AI가 그 영상에서 텍스트를 혼자서 다 뽑아요. STT 해 가지고 무슨 내용인지 혼자서 맥락을 다 파악합니다.
Speaker A
그리고 프레임 단위로 다 캡처를 떠요. 프레임 단위로 캡처를 다 떠 가지고이
Speaker A
상황이 지금 어떤 상황에 쳐 있는지를 분석을 합니다.
Speaker A
그럼 오디오도 분석을 하고 이미지도 분석을 해서 아 지금은 이런 상황이구나를 AI가 알 수가 있죠.
Speaker A
그래서 이분이 뭘 만들었냐면은 지금 [음악] 이분이 운영하고 있는 것도 어쨌든 그 다 그 클로드 코드가 다 영상을 제작을 한 거고요. 여기
Speaker A
영상 나와 있는 20분짜리 이런 롱폼도 다 클로드 일을 하다 보면은 정말 답답한 그 순간이 있어요.
Speaker A
누군가 커뮤니케이션 할 때 어 알아서 잘 적당히 알 닦 센으로 해 주세요. 이런 내용을 받으면 미칩니다.
Speaker A
사람이 AI도 똑같아요. 보면은 코드를 잘 짜라. 보고를 잘해라. 조심해서 처리해라. 적절히 판단해라. 여러 계속 얘기를 해 줘야 돼요. [음악] 얘기. 음. 사실 뭐 저도 그렇고
Speaker A
주변에 계신 AI를 자동화하시는 대표님들도 보면은 결국에는 어 자리 싸움이라고 보시면 돼요.
Speaker A
얼마나 누가 더 오래 앉아서 끝까지 집착을 하면서 만들어 내느냐. 우리 회사도 생각을 해 보면 팀장급이나 아니면 대표님급이나 뭔가 조직을 관리한다라고 하는 그런 어 직급에 있으신 분들은 대부분 어 계속 관리를 해 줘야
Speaker A
되죠. 결국에 그 관리라고 하는게 사람을 관리를 하는 겁니다.
Speaker A
그럼 사람한테 직원한테 계속 이거 해.
Speaker A
이거 아니야. 보아서 이렇게 써 와. 어 이거 아니지 이러면서 계속 얘기를 해 준단 말이에요.
Speaker A
결국에는 그런 것들을 하는게 다 한스예요. AI에게 계속 뭔가를 알려 주는 거. AI 모델은 이미 있고 그 모델에게 계속 사람이 주입시키는게 결국에는 하네스예요.
Speaker A
그럼 누가 끝까지이
Speaker A
하네스를 포기하지 않고 만드느냐 이게 핵심의 차이가 되는 거예요. 예.
Speaker A
그래서 저번 시간에 잠깐 저희가 어떤 거 배웠는지 정리하고 한번가 보도록 하겠습니다. 저번 시간에 이제 하네스에 대해서 배웠습니다. 하네스.
Speaker A
하네스는 이제 마구죠. 마구. 네. AI 모델은 굉장히 강력한 힘을 가지고 있어요. 야생마예요. 야생마. [음악] 근데 그 야생마가이 돼요.
Speaker A
그래서 지금 보시면 대화를 시작하지도 않았는데 대화를 시작하지도 않았는데 지금 이미 86%밖에 안 남았어요. 86% [음악] 86% 정도 남았어요.
Speaker A
그러면 나머지 14%는 어디서 먹고 있냐? 바로 제가 앞으로 여러분들이 지금 배울 그 하네스 있잖아요. 그 한네스들이이 앞단에서 이미 적용이 된 거예요.
Speaker A
AI가 일을 하기 위한 그 환경에서 텍스트가 다 들어가 있어요. 프롬프트 이렇게 이래라, 이렇게 이래라 하는 것들이 수많은 것들이 들어가 있고 거기에 다 14%로 들어가 있다.
Speaker A
[음악] 그리고 앞으로 오늘 배울 스킬도 여기에 해당이 되고요. 그 메시지는 뭐냐? 음.이 메시지는 [음악] 저희가 보내는 메시지. 예. 저희가 보내는 메시지가 여기에 해당이 됩니다.
Speaker A
그까 제가이 창을 보여 드리는 이유가 뭐냐면 우리가 배우는 하네스라고 하는 것들.이 이 하네스라고 하는 것들은이
Speaker A
대화에 녹아 들어가 있어요. 시작하기도 전에 시작하기도 전에이 컨텍스트를 먹고 시작하기 때문에 제가 이것들을 보여 드린 겁니다.
Speaker A
그래서이 서제션도 나오고 MCP, 커스텀 에이전트, 메모리 파일 요런 것들을 볼 수가 있는데 일단 더 구체적으로 보도록 할게요.
Speaker A
자, 여러분들도 지금 한번 이거 다 열어 보셨나요? 컨텍스트. 네. 보시면 몇 왜냐하면 어 멍청해질 가능성이 점점 높아지기 때문에 예 그래서 제일 비어 있었을 때가 제일 똑똑하기도 해요.
Speaker A
컨텍스트의 역설이기도 한데 그래서 불필요한 컨텍스트는 최대한 줄여지는게 중요하다. 우리가 방정리를 할 때도
Speaker A
물론 시각적으로 보는 것도 깔끔해서 좋지만이 컨텍스트 정리는 정말 주기적으로 해 주는게 좋다라고 제가 저번에 말씀드렸어요.
Speaker A
일주일에 한 번 정도는이 컨테스트를 정리를 해 주는게 좋다라고 말씀을 드렸어요. 음.
Speaker A
그래서 보시면 클로드 MD 본체가 A4 한 장이 안 돼요. 클로드 MD가. 근데 만약에이 설랍을요.이 설랍을 우리가 설랍에 안 놓고 서랍에 안 놓고 본체에다가 다 놓는다고 생각을 해 보면 어떤 문제가 생기냐면 굳이 안 봐도 돼야 될 것들을 다 꾸여 놓으니까 정리도 안 되고 매번
Speaker A
봐야 되고 이런 문제들이 생기는 거죠. 예. 여러분들 AI 입장에서 생각을 해 보는 거예요.
Speaker A
그래서 우리가 하는게 바로이 룰스를 만들어서 필요할 때만 열리는 서랍을 만드는 거예요. 룰스는 필요할 때만 AI가 찾아가서 보게끔 하는 거죠.
Speaker A
예를 들어서 정말 가벼운 예시로 예,
Speaker A
캐러스 아, 뭐 블로그를 만들어야 돼. 블로그를 만들 때 이런 규칙으로 만들어야 돼라고 하는 것들을 정리해 보면 어 룰스는 반복해서 말하는 특정한 케이스의 어떤 지시들, 규칙들을 파일로 고정해 놓는 거고요.
Speaker A
메모리는 AI가 우리와 대화하다가 알게 된 사실들을 정리해 두는 공간이고 스킬은 어 AI가 상황에 따라서 아 나 이거 써야겠다라고 했었을 때 쓰는게 바로 스킬이고요.
Speaker A
그 커맨드는 뭐냐? 내가 쓰는 거 사용자가 직접 쓰는게 바로 커맨드다라고 [음악] 봐주시면 되겠습니다. 자, 그럼 여러분들이
Speaker A
이제 앞으로 클로드 코드를 쓰면서 아, 내가 이걸 만들어야겠다. 아, 지금 내가 요게 안 되는 이유가 요걸 안 해서 안 되는구나를 이제 아실 수가 있을 거예요.
Speaker A
그러면 내가 자동화를 만들어야 돼. 근데 AI가 자동으로 하게끔 하는 걸 만들어야 된다라면 여기서 어떤 걸 만들어야
Speaker A
될까요? AI가 자동으로 업무를 수행해야 된다라고 생각해 봅니다. 스스가 많이 나오죠. 스 사실 이밖에서도 스가 나오는데네 스킬이 맞아요.
Speaker A
그렇죠. 바에는 그냥 빼는게 낫다. [음악] 그럼 좋은 룰은 뭐냐면 명확하게 누가 봐도 딱 떨어지는 수치가 있거나 수치가 있거나 정해진 꼴이 있거나 정성적인 평가가
Speaker A
아니라 우리가 실제로 취적으로 평가가 가능한 지표들을 넣어 주는게 좋아요.
Speaker A
그래서 예를 들어 함수는 50줄 파일은 뭐 800줄을 넘지 말라. 첫 줄은 결론 그다음 파급 근거 공고순으로 뭐 보고해라.
Speaker A
그래서 누가 봐도 알 수가 있는 형태의 문장이 들어가는게 좋은 룰입니다. 음. 잘
Speaker A
되고 있고요. 그래서 그럼 룰스에는 어떤게 들어가냐면 첫 번째로는이 룰스가 어떤 룰스인지 왜 쓰는지에 대한 것들이 먼저 들어가고 실제로 그 규칙이 들어가게 됩니다.
Speaker A
그리고 금지 사항이 들어가게 되고 어떨 때 나와야 되는지 트리고도 있어야 되고요.
Speaker A
그리고이 규칙과 관련되어 있는 어떤 참조되어 있는 문서들 [음악] 문서들 들어가고 실제로 어떤 문제가 발생했었던게 있으면은 거기에 대한 메모리까지 넣어 주시면 되겠습니다.
Speaker A
지금 여기 보이는 거 있죠? 요거를 한번 사진을 쫙 찍어서 앞으로 여러분들이 룰스 작성할 때 클드 MD 연결하지 않아도 자동으로 읽힌다.
Speaker A
음. 그래서이 클로드 MD가 길어지는 문제. 길어지는 문제. 예를 들어 저희가 200줄이 넘어 넘어가면 안 된다라고 말씀을 드렸는데 그 200줄이 이제 넘어갈 때는 항상이 룰스로 분산을 시켜 줘야 돼라는 거 주시고 그러면 클로드 MD에서 어떻게 어 룰스를 참조시키느냐 이게 굉장히
Speaker A
중요해요. 클로드 MD에서 우리가 일을 할 때도 어 대리 님 그 오전에 블로그을 쓰실 때 그거 참고해 가지고 어 뭐 어떤 페이지에 있는데 그 블로그 가이드 보시고 써 주세요.
Speaker A
이렇게 알려 주잖아요. 예. 그런 것처럼이 AI에게도 알려 줘야 돼. 어떻게 알려 줘야 되냐면 기본적으로이 클로드 MD에서 규칙들은 그냥 다 클로드 MD에서 시작한다라고 보시면 돼. 규칙들은.
Speaker A
그래서 실제로이 카드이 컨텐츠 오토메이션에 보면은이 상색 규칙이라고 해 가지고 그 상색 규칙이 다 여기에 들어가 있어요.
Speaker A
어떨 땐 이런 규칙을 따르고 저럴 땐 이런 규칙을 따라라 하는 것들이 다 그래서 사실 뭐 클로드 코드를 쓴다라고 하는 건 어떤게 제일 중요하냐면 그냥 기록하는 거 기록하는게 제일 중요해요.
Speaker A
실행하고 기록하고 그리고 중요한 건 제일 중요한 건 실행이죠.
Speaker A
실행을 엄청나게 했는데 결과물이 딱 좋게 나왔는데 기록을 안 했어. 그러면 사실 그다음에 자동화를 못 하는 거고 그 실행을 엄청나게 하고 마지막에 기록까지 해서 스킬까지 만들면 그게 내 자산이 되는 겁니다.
Speaker A
예. 그래서 우리가 그 자산을 만들기 위한 지금 과정으로 가고 있는 거고요.
Speaker A
그래서이 룰이라고 하는 파일 상단에는이 프론트 메터라고 하는게 들어가는데 어 프론트 메터라고 하는게 들어갑니다.이 프론트 메터는 앞으로 저희가 어 굉장히 많이이 들어올 거예요. 내용이 많이 들어올 건데 쉽게 말해서이 프런트 메터는이 문서의
Speaker A
문서의 제일 어 머리말 같은 거다라고 보시면 돼요. 문서의 머리말. 예. 문서의 머리말. 그래서이 머리말이 어떤게 들어가 있냐? 그래서 로드와 패스, 네임, 디스크립션 뭐 요런 것들이 들어가게 됩니다. 예. 요런 것들이 들어가게 돼요. 이거를 꼭 여러분들이 뭔가 왜 강제로 막 외울
Speaker A
필요는 없어요. 저희가 또 막 개념적으로 막 엄청 외우려고 막 그렇게 하실 것 같아서 말씀을 드리는데 이것들이 있고요. 음.
Speaker A
그래서 실제로 제가 가지고 있는이 규칙의 105개의 규칙 중에서는 여러 가지 규칙이 있는데 항상 로드가 되는 건 25개가 있고 조건부로 열리는 컨디셔널에는 82개가 있어요. 네.
Speaker A
82개가 있습니다. 그래서 항상 열려야 되는 것들은 말 그대로 정말 모든 작업에 해당되는 것들이겠죠. 그리고 조건부에 관련된 것들은 특정은 업무에 따라서 열리게 되는 겁니다. 여러분들이 이제 루스를 설계하실 때 그 상황에 맞춰서 처음에 루스를 만드는게 어 중요합니다.
Speaker A
자, 그러면이 프론트 메터가 어떻게 생기는지 보고 한번 실습을 바로 진행을 해 볼 거예요. 그래서 보면은 이렇게 생겼어요. 클로 그 룰스를 열어 보면은 이렇게 상단에 점점점 세 개 대시가 이렇게 세 개로 감싸져 있는 부분이 있는데 요런 것들이 다 프론트 매터예요. 클로드 작동이 안
Speaker A
되는 경우가 있어서 대표적인 사례를 다섯 가지 한번 볼게요. 잘 안 먹으면은 보통 클로드 코드 세션을 껐다가 안 켜는 경우들이 좀 있어요.
Speaker A
껐다가 켜야 됩니다. 컨트롤 CC 누르고 껐다가 켜야지 적용이 되고요. 그리고 파일이 통째로 뭔가 무시가 되고 안 먹히는 부분이 있으면은 맨 첫 줄이 정확하게 대시 세 개인지 확인을 해 줘야 돼요.이 프론트 매터 아까 말씀을 드린 것처럼 대시 세 개가 이겁니다. 요거 룰스의 시작이
Speaker A
요걸로 시작이 되는 건지도 한번 확인을 해 주시고 조건부 우리 컨디셔너를 해 놨는데 안 열린다 그러면 경로 패턴 앞에서 그 두 개 슬래시 뺀 거 그니까 결국에는 다이 규칙이 안 먹혀 있는 부분들이 그런 문제가 해결이 돼. 그리고 대화가 느려지고 지시가 묻히고 뭔가
Speaker A
컨텍스트가 너무 빨리 차고 별로 대화하지도 않았는데 뭔가 토큰을 빨리 먹어 뭐 이런 경우들이 또 룰스 때문에 그런 경우도 있어요. 예.
Speaker A
보통 이제 유튜브 댓글도 보면은 뭐 토큰 뭐 엄청 빨리 먹는데 어떻게 해야 되냐 이러신 분들 엄청 많거든요. 그래서 그런 분들 대부분이 클로드 코드를 그냥 어 막 쓰고 계신 분들이 좀 많네. 그 이런 규칙이나 클로드 MD나 이런 것들이 나도
Speaker A
모르게 계속 뭔가 학습이 되고 플러그인 엄청나게 막 다운로드 받고 이러다 보니까 불필요한 컨텍스트가 나도 모르게 엄청 많이 먹는 거죠.
Speaker A
음. 그래서이 룰스 메모리에 저장을 하든 어떤 룰스에 추가를 하든 이런 것들을 해 줘야 돼요. 넣어 줘야 돼. 넣어 줘야 돼요. 음. 그럼 이것도 넣어 줄 때 어떻게 넣어 줘야 되냐면 제가 저는 이거를 이제 메타룰스라고 부르거든요. 메타룰스 AI가 사용자가 실수를 했었을 때
Speaker A
자동으로 룰스에다가 기록을 하는 룰스를 전 만들어 놨어요. 원래 룰스는 저희가 추가를 하는 건데 글로벌 스코프에 AI가 사용자의 목적에 맞지 않게끔 뭔가 잘못 얘기를 했었어. 사용자가 지적을 했었어.
Speaker A
그럼 그때 그 규칙을 자기가 만들거나 업데이트해서 자기가 스스로 학습하는 메타 자가 개선인 거죠. 어떻게 자가 개선 스스로 할 수 있는 시스템을 만들어 메타 개선. 그럼 이게 어떻게 되냐면 사용자와 AI가 대화를 합니다. 그러다가 실수가 터져요.
Speaker A
그럼 사용자가 야 그거 그렇게 하지 마. 뭔가 부정적으로 네거티브하게 얘기를 합니다. 그러면 그때 AI는 어떻게 하냐면 그냥 바로 작업을 하는게 아니라 그 규칙을 추가를 하는 거예요. 추가. 그럼 다음부터는 AI가 실수할 확률이 이제 떨어지게 되는 거죠. 예. 떨어지게 되는
Speaker A
겁니다. 그럼 요거를 어디다가 설정을 해 놓냐면은 글로벌 스코프에 이제 추가를 해 주시는 거예요. 글로벌 스코프. 자, 그럼 요거를 그대로 복사해서 어떻게 하냐면 실수를 했었을 때 어 정말 많이 학습이 되고 혼자서 학습을 할 수 있게끔 할 거예요.
Speaker A
이건 쉽게 말해서 어 직원한테 실수했었을 때 그거를 무조건 너 노트에다가 적어라라고 하는 거랑 똑같은 거예요. 예.
Speaker A
그럼 저희가 사람하고 일을 할 때는 그 직원이 나가면 이렇게 의미가 없거든요. 근데 에이전트는 상관이 없습니다. 나갈 리 없으니까.
Speaker A
예. 자, 그래서이 룰스를 만들었을 때 그니까이 프럼프트를 어 일주일에 한 번 정도는 실행해 주는게 좋다.
Speaker A
가장 베스트다라고 하시면 돼요. 수업 시작하고 맥. 자, 지금이 프럼프트를 보면 엔트로피 공식문서 기반으로 조사해서 최신 내용 기반으로 작업해 줘라고 했어요. 이게 킥입니다. 이게 키 포인트예요. 왜냐하면 모델이 업데이트가 되고요. 엔트로픽 공 앤트로픽 내부에서도 뭐 오픈 AI든 엔트로픽이든 구글이든 내부적으로 계속
Speaker A
아티클이 나오고 블로그가 나와요. 예. [음악] 근데 우리가 보통 사람이 그걸 보고 아 이게 됐으니까 이걸 적용해야겠구나라는 걸 보통 작업을 하는데 그게 아니라 AI에게 직접 조사를 시키고 거기에 맞춰서 개선을 하라고 시킬 수가 있어요. 결과물도 훨씬 더 잘 나옵니다. 중요한 거는 최신
Speaker A
근데 이제 얼마 안 남았다는 거 제가 봤었을 때 다 클로드 코드나 코덱스가 사람이 기존 기존에 잡아낼 수 있었던 그런 클립들 뭐 숏폼 만들어야 되고이 장면이 되게 자극적이고이 장면이 되게 사람들에게 후킹이 될 것이고 하는 그런 판단까지도 다 AI가 해서
Speaker A
편집까지 해서 업로드까지도 다 해 줘요. 다 해 줘요. 그래서 우리가 지금 배우는이 기술 중에 하나가 바로 그 편집을 도와주고 영상을 만드는 기술이다라고 보시면 되겠습니다.
Speaker A
그래서 저희가 이제 질문해 달라고 했죠. 네. 그래서 보면은 첫 번째로 이제 매장을 뭘로 할 거냐 뭐 이렇게 보여주고 있어요. 그래서 이렇게 옵션을 정해주면 1번에 뭐 이렇게 B 이렇게 해도 되고 1 B 이렇게 해도 됩니다. 그래서 2번 또 가서 영상을
Speaker A
실제로 굽는 곳 이렇게 나오죠. 영상을 굽는 곳은 B로 가야 돼요. 뭐 클라우드 이렇게 나오면은 어 봐 보면은 업로드 건당 비용과 업로드에 제한이 있다. 이렇게 나오죠.
Speaker A
클라우드는 비용이 된다라고 보시면 돼요. 클라우드는 자, 지금도 우리가 이런 영상을 보통 아까 만드신 영상 이런 영상을 우리가 외주를 맡기면은 일단 보통 시간으로 따져도 한 하루는 이상 걸려요. 하루는 이상 걸리고 그 회사랑 또 미팅해야 돼. 그리고 거기서 또 주면 받고 피드백 줘야
Speaker A
돼. 뭐 이렇게 하다 보면은 시간으로 따지면 일주일 이상이 걸릴 것이고 그리고 비용도 뭐 기본 뭐 몇십만 원 나갈 거예요. 예. 근데 지금 저희가 클로드 코 써서 이런 거 다 만들 수가 있는 예. 그리고 아까 스필드도 있다고 하셨기 때문에 필드도 연동을
Speaker A
하면은 또 거기서 사람이 나와서 캐릭터가 나와서 그런 드라마틱한 영상도 다 만들 수가 있죠. 자, 그래서 제가 이제 했습니다. 벤츠 광고톤으로 가려면 나이션과 음악 핵심인데 지금 두 개가 막혀 있고 뭐가 되고 안 되는지 먼저 정확히 확인하겠다 얘기를 하고 있어요.
Speaker A
그래서 1레블랩스 오픈에 키가 살아 있어요. 헤이젠 없이도 갈 수 있는 길이 보인다 얘기를 하고 있습니다.
Speaker A
그니까 일레블 랩스는 뭐냐면은 쉽게 말해서 나레이션하는 도구예요. 나레이션 [음악] 보이스. 예. 나이션 만드는 오픈 AI는 뭘 할지 모르겠지만 여기도 위스퍼라고 하는 기능으로 나레이션을 만들 수는 있어요. 그래서 자기가 이걸로 뭔가를 만들어 봤습니다. 전문 나레이션은 11레븐 랩스 음악 생성은 구글에
Speaker A
라일라 릴리타임 1라 일리아 릴타임 효과은
Topics:AI 자동화클로드 코드하네스룰스 설계컨텍스트 관리메타 룰스영상 편집 AI나레이션 생성클라우드 업로드스킬 개발
![[Poe 3.29] 엘리 화염구빌드 제작가이드 / 매물이 없다면 만들어보세요 — Transcript](https://i.ytimg.com/vi/l2P7-4gCCs8/maxresdefault.jpg)
