Skip to content
Get App

The Last AI Roadmap Video You’ll Ever Watch

Ein umfassender KI-Lehrplan von den Anfängen bis zu modernen Modellen wie GPT, erklärt von Nick Saraev in verständlicher Form.

Key Takeaways

  • Ein tiefes Verständnis der KI-Geschichte erleichtert das Verständnis moderner KI-Technologien.
  • Moderne KI basiert auf jahrzehntelanger theoretischer Forschung, die erst durch heutige Hardware nutzbar wurde.
  • Transformer-Modelle sind das Fundament aktueller großer Sprachmodelle wie GPT.
  • Weiterbildung mit empfohlenen Ressourcen ist essenziell für ein fundiertes KI-Verständnis.
  • KI wird zunehmend in wissensbasierten Rollen eingesetzt und ist für viele Lebensbereiche relevant.

What the video covers

  • Nick Saraev teilt seine siebenjährige Erfahrung im Aufbau und Betrieb von KI-Unternehmen.
  • Das Video bietet einen einwöchigen Lehrplan für ein fundiertes Verständnis von KI, von Grundlagen bis zu praktischer Anwendung.
  • Historischer Überblick über KI von den 1950er Jahren mit dem Perzeptron bis zu modernen neuronalen Netzen und Deep Learning.
  • Erklärung der KI-Winter und der Entwicklung von Expertensystemen als Vorläufer heutiger KI.
  • Wiederentdeckung neuronaler Netze durch AlexNet 2012 und der Einfluss auf die heutige KI-Forschung.
  • Vorstellung der Transformer-Architektur von 2017 als Grundlage für GPT-Modelle und andere große Sprachmodelle.
  • Erwähnung der 2024 eingeführten Reasoning-Modelle, die die Fähigkeiten großer Sprachmodelle erweitern.
  • Empfehlung von weiterführenden Ressourcen wie 3Blue1Brown, Welch Labs und 'The Art of the Problem'.
  • Betonung der Bedeutung, die Theorie hinter KI zu verstehen, um moderne Anwendungen besser zu begreifen.
  • Einführung in die wichtigsten Konzepte großer Sprachmodelle mit dem Ziel, Neugier und Verständnis zu fördern.

Answers

Questions about this video

Wie erklärt Nick Saraev die Entwicklung der künstlichen Intelligenz?

Nick Saraev gibt einen historischen Überblick von den 1950er Jahren mit dem Perzeptron über Expertensysteme bis hin zu modernen Deep-Learning-Methoden und Transformer-Architekturen.

Welche Rolle spielen Transformer-Modelle in der heutigen KI?

Transformer-Modelle, erstmals 2017 vorgestellt, bilden die Grundlage für große Sprachmodelle wie GPT-3 und ChatGPT und sind entscheidend für die Leistungsfähigkeit moderner KI-Systeme.

Welche Ressourcen empfiehlt Nick Saraev für ein besseres Verständnis von KI?

Er empfiehlt unter anderem die Videos von 3Blue1Brown, Welch Labs und 'The Art of the Problem' sowie den Text 'The Bitter Lesson' von Rich Sutton, um theoretische und praktische Aspekte der KI zu vertiefen.

Full Transcript — Download SRT & Markdown

00:00
Speaker A
Ich habe die letzten sieben Jahre damit verbracht, KI-Unternehmen aufzubauen und zu betreiben – angefangen bei GPT-2 im Jahr 2019, über Bildgeneratoren der Zwischenzeit in 2021 und 2022 bis hin zu modernen Cloud-Code- und Codex-basierten Systemen. Das war finanziell sehr lukrativ und ziemlich interessant, aber da KI nun in wissensbasierte Rollen in der realen Welt vordringt, weiß ich, dass sich viele Leute fragen: Wie lerne ich eigentlich KI? Und zwar nicht nur ein grundlegendes Verständnis von KI, nicht nur wie man die Tools benutzt, sondern wie man ein breiteres Verständnis und ein fundierteres Begreifen dessen gewinnt, was genau vor sich geht und warum. In diesem Video wollte ich also einen einfachen einwöchigen Lehrplan zusammenstellen, der Sie von jemandem, der nur sehr wenig über KI weiß oder vielleicht nur mit ein oder zwei Tools experimentiert hat, zu einem wirklich fundierten Verständnis von KI führt: sowohl deren Grundlagen als auch allgemeiner, wie Sie KI auf vielfältige Weise nutzen können, sei es für Wissensarbeit, Ihr Unternehmen, Ihre Hobbys oder Ihr Privatleben. Letztendlich werden Sie sich am Ende dieses Videos viel sicherer im Umgang mit KI fühlen und mehr über künstliche Intelligenz wissen als wahrscheinlich 99 % aller Menschen, die jemals gelebt haben. Dies ist ein umfassender Fahrplan, daher werde ich unten in der Videobeschreibung eine Reihe von Ressourcen verlinken, die Sie nutzen können, um sich die Videos anzusehen und die Referenzen zu lesen, die ich dort einfügen werde. Ich werde auch eine kurze, übergeordnete Beschreibung all der verschiedenen Konzepte geben, mit denen ich gerne begonnen hätte. Das hätte mir so viel Zeit erspart, wahrscheinlich Jahre meines Lebens, als ich am Anfang meiner eigenen Reise stand. Um das wirklich zu verstehen, beginnen wir in den 1950er Jahren mit der KI-Geschichte, als Frank Rosenblatt die Idee eines modernen neuronalen Netzes erfand, das er Perzeptron nannte. Es ist wichtig, die Geschichte hinter künstlichen neuronalen Netzen und später, wissen Sie, maschinellem Lernen, Deep Learning und der heutigen modernen künstlichen Intelligenz zu verstehen, denn vieles, womit wir es heute zu tun haben, wirkt sehr kompliziert. Und wenn man einfach so hineingeworfen wird, denkt man sich: Warum zum Teufel haben sie das gemacht? Und was zum Teufel bedeutet dieser Begriff? Und was war die Motivation dahinter? Die Realität ist: Wann immer etwas sehr kompliziert aussieht, wird es oft ganz einfach, wenn man zu dem Zeitpunkt zurückgeht, als es erfunden wurde, und sich in die Köpfe der Menschen versetzt, die mit den Problemen zu tun hatten, die diese Erfindungen notwendig machten. Wenn man sich Frank Rosenblatt in den 1950er Jahren ansieht, wird durch das Verständnis der Geschichte hinter dem Perzeptron und der Probleme, die er lösen wollte, vieles an modernen Begriffen wie künstliche neuronale Netze, Regressionsmodelle, gewichtete Funktionen und so weiter plötzlich sehr klar. Ganz allgemein führte die Erfindung dieser künstlichen neuronalen Netze zu einer enormen Begeisterung für künstliche Intelligenz im Allgemeinen. Die Leute fingen an zu sagen: „Hey, in den nächsten 5 bis 10 Jahren werden wir KI-Modelle haben, die alles für uns steuern.“ „Maschinen werden denken, unsere Wirtschaft leiten und wirklich völlig verrückte Dinge tun.“ Aber natürlich gab es damals ziemliche Engpässe bei der Rechenleistung. Sie hatten bei weitem nichts, das auch nur annähernd mit dem vergleichbar wäre, was wir heute haben. Und so kam es, dass die meisten dieser Dinge nicht eingetreten sind. Das führte zu einer massiven, weit verbreiteten Ernüchterung gegenüber der KI, die als KI-Winter bekannt ist. Nach dem KI-Winter gab es ein erneutes Interesse an der Entwicklung sogenannter Expertensysteme. Diese Expertensysteme sind im Grunde genommen genau wie die Computerprogramme, mit denen wir es heute zu tun haben. Es waren sehr komplizierte Wenn-Dann-Systeme oder auf Binärbäumen basierende Strukturen, die versuchten, Probleme prozedural und deterministisch zu lösen. Und sie funktionierten für einige Probleme in ihren Fachgebieten ziemlich gut. Sie basierten keineswegs auf neuronalen Netzen und hatten mit dem, was wir heute unter KI verstehen, nichts zu tun. Dennoch waren sie ziemlich nützlich. Heutzutage ist das einfach unsere moderne Vorstellung von einem Computerprogramm. Damals wurden diese Expertensysteme jedoch noch als künstliche Intelligenz bezeichnet. Man nutzte Expertensysteme bis etwa 2011 oder 2012, als AlexNet in der Deep-Learning-Szene auftauchte und bei einer Bildklassifizierungsaufgabe absolut überragte. Es schnitt so viel besser ab als praktisch alle anderen Ansätze, dass die Leute begannen zu fragen: „Moment mal, nutzen diese Leute diese verrückte Architektur aus den 1950er und 1960er Jahren?“ „Warum zur Hölle funktioniert das jetzt?“ Dies führte zu einem erneuten Interesse an künstlichen neuronalen Netzen und daran, wozu sie fähig sind. Und wenn man darüber nachdenkt, ist eigentlich nur das passiert, dass die Technologie endlich die Theorie eingeholt hat. Wissen Sie, die theoretischen Grundlagen der Technologie, die wir heute nutzen, wie ChatGPT oder Codex, existieren größtenteils schon seit etwa 70 Jahren. Wir brauchten jedoch die entsprechende Hardware und Rechenleistung, um mit dem Stand der Theoretiker von damals gleichzuziehen, damit wir diese Technik für spannende Anwendungen wie Bildklassifizierung und Ähnliches einsetzen können. Das führt uns ins Jahr 2017, als der Transformer erstmals vorgestellt wurde. Dies ist dieselbe Architektur, die ChatGPT, Claude, Gemini und eigentlich den meisten erfolgreichen großen Sprachmodellen von heute zugrunde liegt. Diese Basis wurde zum Fundament des „Generative Pre-trained Transformer“ – GPT-1, GPT-2, GPT-3 und später ChatGPT, das auf der Architektur von GPT-3 basiert – und führte schließlich zu der Explosion und der außergewöhnlichen Vielfalt an LLMs, die heute verfügbar sind. Dann kam das Jahr 2024, in dem wir Reasoning-Modelle erfanden, die die Art und Weise, wie große Sprachmodelle Aufgaben lösen, deutlich komplexer machten. Und der Rest ist eigentlich Geschichte, wie wir sie heute erleben. Das ist also ein sehr grober Überblick, aber hinter den Kulissen steckt noch weitaus mehr. Einige fantastische Ressourcen hierfür sind die „Was ist ein neuronales Netz?“-Reihe von 3Blue1Brown. Diese führt einen anschaulich durch die grundlegende Mathematik hinter der Verarbeitung und Berechnung in einem neuronalen Netzwerk. Ich weiß, das kann für Leute, die keine großen Fans von Mathematik sind – mich eingeschlossen – etwas beängstigend wirken, aber es ist wirklich faszinierend, es zu durchschauen und diesen „Aha-Moment“ zu erleben: „Warte mal, das ist ja fast genau das, was mein eigenes Gehirn macht.“ Abgesehen davon ist eine wirklich gute Ressource von Welch Labs das Video „The Moment We Stopped Understanding AI“. Es beschreibt im Detail, was um das Jahr 2012 herum mit AlexNet und der Revolution des Deep Learning geschah. Und schließlich hat „The Art of the Problem“ ein unglaubliches Video namens „The 35-Year History of ChatGPT“. Sobald Sie diese drei Videos gesehen haben – die Sie übrigens unten in der Beschreibung finden – kann ich Ihnen das Lesen von „The Bitter Lesson“ von Rich Sutton nur wärmstens empfehlen. Ein fantastisches Werk, das einem ein grundlegendes Verständnis dafür vermittelt, was die meisten Forscher für den Weg zur künstlichen allgemeinen Intelligenz und letztlich zur Superintelligenz halten. Als Nächstes müssen Sie verstehen, wie große Sprachmodelle tatsächlich funktionieren. Es gibt hier eine Menge Ressourcen, mit denen ich Sie versorgen werde, und es ist ein sehr breites Thema, aber ich werde versuchen, Ihnen direkt jetzt das Wichtigste, die 80/20-Regel, zu vermitteln. Hoffentlich regt das einige Ihrer Neuronen an, sodass Sie etwas mehr Lust bekommen, sich die Ressourcen anzusehen, die ich unten verlinke. Zunächst gibt es acht Schlüsselkonzepte, um die Funktionsweise m
00:14
Speaker A
interessant, aber da KI nun in wissensbasierte Rollen in der realen Welt vordringt, weiß ich, dass sich viele Leute fragen: Wie lerne ich eigentlich KI? Und zwar nicht nur ein grundlegendes Verständnis von KI, nicht nur wie man die Tools benutzt,
00:25
Speaker A
sondern wie man ein breiteres Verständnis und ein fundierteres Begreifen dessen gewinnt, was genau vor sich geht und warum. In diesem Video wollte ich also einen einfachen einwöchigen Lehrplan zusammenstellen, der Sie von jemandem, der nur sehr wenig über KI weiß oder vielleicht
00:38
Speaker A
nur mit ein oder zwei Tools experimentiert hat, zu einem wirklich fundierten Verständnis von KI führt: sowohl deren Grundlagen als auch allgemeiner, wie Sie KI auf vielfältige Weise nutzen können, sei es für Wissensarbeit, Ihr Unternehmen, Ihre Hobbys oder Ihr Privatleben.
00:51
Speaker A
Letztendlich werden Sie sich am Ende dieses Videos viel sicherer im Umgang mit KI fühlen und mehr über künstliche Intelligenz wissen als wahrscheinlich 99%aller Menschen, die jemals gelebt haben. Dies ist ein umfassender Fahrplan, daher werde ich unten in der Videobeschreibung eine
01:04
Speaker A
Reihe von Ressourcen verlinken, die Sie nutzen können, um sich die Videos anzusehen und die Referenzen zu lesen, die ich dort einfügen werde. Ich werde auch eine kurze, übergeordnete Beschreibung all der verschiedenen Konzepte geben, mit denen ich gerne begonnen hätte. Das hätte mir so viel
01:17
Speaker A
Zeit erspart, wahrscheinlich Jahre meines Lebens, als ich am Anfang meiner eigenen Reise stand. Um das wirklich zu verstehen, beginnen wir in den 1950er Jahren mit der KI-Geschichte, als Frank Rosenblatt die Idee eines modernen neuronalen Netzes erfand, das er
01:29
Speaker A
Perzeptron nannte. Es ist wichtig, die Geschichte hinter künstlichen neuronalen Netzen und später, wissen Sie, maschinellem Lernen, Deep Learning und der heutigen modernen künstlichen Intelligenz zu verstehen, denn vieles, womit wir es heute zu tun haben, wirkt sehr kompliziert. Und wenn man einfach
01:43
Speaker A
so hineingeworfen wird, denkt man sich: Warum zum Teufel haben sie das gemacht? Und was zum Teufel bedeutet dieser Begriff? Und was war die Motivation dahinter? Die Realität ist: Wann immer etwas sehr kompliziert aussieht, wird es oft ganz einfach, wenn man zu dem
01:53
Speaker A
Zeitpunkt zurückgeht, als es erfunden wurde, und sich in die Köpfe der Menschen versetzt, die mit den Problemen zu tun hatten, die diese Erfindungen notwendig machten. Wenn man sich Frank Rosenblatt in den 1950er Jahren ansieht, wird durch das Verständnis der Geschichte hinter dem
02:04
Speaker A
Perzeptron und der Probleme, die er lösen wollte, vieles an modernen Begriffen wie künstliche neuronale Netze, Regressionsmodelle, gewichtete Funktionen und so weiter plötzlich sehr klar. Ganz allgemein führte die Erfindung dieser künstlichen neuronalen Netze zu einer enormen Begeisterung für künstliche
02:19
Speaker A
Intelligenz im Allgemeinen. Die Leute fingen an zu sagen: „Hey, in den nächsten 5 bis 10 Jahren werden wir KI-Modelle haben, die alles für uns steuern.“„Maschinen werden denken, unsere Wirtschaft leiten und wirklich völlig verrückte Dinge tun.“ Aber natürlich gab es damals ziemliche
02:33
Speaker A
Engpässe bei der Rechenleistung. Sie hatten bei weitem nichts, das auch nur annähernd mit dem vergleichbar wäre, was wir heute haben. Und so kam es, dass die meisten dieser Dinge nicht eingetreten sind. Das führte zu einer massiven, weit verbreiteten
02:43
Speaker A
Ernüchterung gegenüber der KI, die als KI-Winter bekannt ist. Nach dem KI-Winter gab es ein erneutes Interesse an der Entwicklung sogenannter Expertensysteme. Diese Expertensysteme sind im Grunde genommen genau wie die Computerprogramme, mit denen wir es heute zu tun haben. Es waren sehr
02:56
Speaker A
komplizierte Wenn-Dann-Systeme oder auf Binärbäumen basierende Strukturen, die versuchten, Probleme prozedural und deterministisch zu lösen. Und sie funktionierten für einige Probleme in ihren Fachgebieten ziemlich gut. Sie basierten keineswegs auf neuronalen Netzen und hatten mit dem, was wir heute unter KI verstehen, nichts zu tun
03:10
Speaker A
. Dennoch waren sie ziemlich nützlich. Heutzutage ist das einfach unsere moderne Vorstellung von einem Computerprogramm. Damals wurden diese Expertensysteme jedoch noch als künstliche Intelligenz bezeichnet. Man nutzte Expertensysteme bis etwa 2011 oder 2012, als AlexNet in der Deep-Learning-Szene auftauchte und bei
03:26
Speaker A
einer Bildklassifizierungsaufgabe absolut überragte. Es schnitt so viel besser ab als praktisch alle anderen Ansätze, dass die Leute begannen zu fragen: „Moment mal, nutzen diese Leute diese verrückte Architektur aus den 1950er und 1960er Jahren?“„ Warum zur Hölle funktioniert das jetzt
03:40
Speaker A
?“ Dies führte zu einem erneuten Interesse an künstlichen neuronalen Netzen und daran, wozu sie fähig sind.
03:44
Speaker A
Und wenn man darüber nachdenkt, ist eigentlich nur das passiert, dass die Technologie endlich die Theorie eingeholt hat. Wissen Sie, die theoretischen Grundlagen der Technologie, die wir heute nutzen, wie ChatGPT oder Codex, existieren größtenteils schon seit etwa 70 Jahren. Wir brauchten jedoch die
03:58
Speaker A
entsprechende Hardware und Rechenleistung, um mit dem Stand der Theoretiker von damals gleichzuziehen, damit wir diese Technik für spannende Anwendungen wie Bildklassifizierung und Ähnliches einsetzen können. Das führt uns ins Jahr 2017, als der Transformer erstmals vorgestellt wurde.
04:10
Speaker A
Dies ist dieselbe Architektur, die ChatGPT, Claude, Gemini und eigentlich den meisten erfolgreichen großen Sprachmodellen von heute zugrunde liegt . Diese Basis wurde zum Fundament des „Generative Pre-trained Transformer “–GPT-1, GPT-2, GPT-3 und später ChatGPT, das auf der Architektur von
04:26
Speaker A
GPT-3 basiert–und führte schließlich zu der Explosion und der außergewöhnlichen Vielfalt an LLMs, die heute verfügbar sind. Dann kam das Jahr 2024, in dem wir Reasoning-Modelle erfanden, die die Art und Weise, wie große Sprachmodelle Aufgaben lösen, deutlich komplexer machten. Und der
04:43
Speaker A
Rest ist eigentlich Geschichte, wie wir sie heute erleben. Das ist also ein sehr grober Überblick, aber hinter den Kulissen steckt noch weitaus mehr.
04:49
Speaker A
Einige fantastische Ressourcen hierfür sind die „Was ist ein neuronales Netz ?“-Reihe von 3Blue1Brown. Diese führt einen anschaulich durch die grundlegende Mathematik hinter der Verarbeitung und Berechnung in einem neuronalen Netzwerk. Ich weiß, das kann für Leute, die keine großen Fans
05:02
Speaker A
von Mathematik sind–mich eingeschlossen–, etwas beängstigend wirken, aber es ist wirklich faszinierend, es zu durchschauen und diesen „Aha-Moment“ zu erleben: „ Warte mal, das ist ja fast genau das, was mein eigenes Gehirn macht.“ Abgesehen davon ist eine wirklich gute
05:13
Speaker A
Ressource von Welch Labs das Video „ The Moment We Stopped Understanding AI “. Es beschreibt im Detail, was um das Jahr 2012 herum mit AlexNet und der Revolution des Deep Learning geschah.
05:22
Speaker A
Und schließlich hat „The Art of the Problem“ ein unglaubliches Video namens „The 35-Year History of ChatGPT“. Sobald Sie diese drei Videos gesehen haben–die Sie übrigens unten in der Beschreibung finden–, kann ich Ihnen das Lesen von „The Bitter Lesson“ von Rich Sutton
05:33
Speaker A
nur wärmstens empfehlen. Ein fantastisches Werk, das einem ein grundlegendes Verständnis dafür vermittelt, was die meisten Forscher für den Weg zur künstlichen allgemeinen Intelligenz und letztlich zur Superintelligenz halten. Als Nächstes müssen Sie verstehen, wie große Sprachmodelle tatsächlich funktionieren. Es gibt hier eine Menge
05:47
Speaker A
Ressourcen, mit denen ich Sie versorgen werde, und es ist ein sehr breites Thema, aber ich werde versuchen, Ihnen direkt jetzt das Wichtigste, die 80/20- Regel, zu vermitteln. Hoffentlich regt das einige Ihrer Neuronen an, sodass Sie etwas mehr Lust bekommen, sich die
05:57
Speaker A
Ressourcen anzusehen, die ich unten verlinke. Zunächst gibt es acht Schlüsselkonzepte, um die Funktionsweise moderner KI zu verstehen . Das erste sind Tokens. Nun, ein Token ist im Grunde ein Teil eines Wortes.
06:09
Speaker A
Wissen Sie, ein Wort kann sieben Zeichen lang sein. Ein Token kann vier oder fünf Zeichen lang sein. Was große Sprachmodelle also tun, ist, Text in diese Token-Stücke zu zerlegen , und das Modell liest oder schreibt sie dann ein Token nach dem anderen.
06:24
Speaker A
Das ist für Leute, die in Wörtern denken, etwas gewöhnungsbedürftig. Die meisten Menschen glauben im Grunde, dass ein KI-Modell einfach das wahrscheinlichste nächste Wort generiert, aber es ist durch das Token-Konzept viel komplizierter. Es ist nicht wirklich ein Wort, sondern
06:38
Speaker A
eher ein Bruchteil eines Wortes, sozusagen. Der Grund dafür ist, dass es einfach viele verschiedene Wortfragmente gibt, die man immer wieder neu kombinieren kann, um verschiedene Wörter zu bilden. Es gibt auch die Vorhersage des nächsten Tokens; das ist die Idee, dass im Kern
06:53
Speaker A
dieser neuronalen Netze eine Menge komplizierter Matrix-Mathematik abläuft–mit denselben Methoden, die Sie im Video von 3Blue1Brown gelernt haben–, um das statistisch wahrscheinlichste nächste Token zu generieren. Das stimmt nicht ganz. Es ist ein wenig komplizierter als das.
07:09
Speaker A
Tatsächlich generieren Sie eine Verteilung der wahrscheinlichsten nächsten Tokens und wählen dann daraus aus–vielleicht die Top fünf oder ähnliches–und iterieren dann zufällig darauf. Denn wenn Sie immer das statistisch wahrscheinlichste nächste Token wählen würden, wüssten Sie im Grunde immer im Voraus,
07:24
Speaker A
was Sie sagen werden. Man braucht ein wenig Varianz. Man braucht ein wenig Unschärfe. Und das ist ein sehr wichtiges Konzept, um die Vorhersage des nächsten Tokens bei großen Sprachmodellen zu verstehen. Danach ist auch das Konzept des Vortrainings entscheidend. Vortraining sind die
07:37
Speaker A
ersten Schritte, die nötig sind, um ein Modell zu entwickeln und es dazu zu bringen, über Dinge zu schlussfolgern.
07:43
Speaker A
Vortraining ist im Grunde das, was GPT- 3 war. Es war im Grunde ein rein vortrainiertes Modell. Ich meine, ich habe dieses Modell und seine Art von aufkeimender, fremdartiger Intelligenz tatsächlich genutzt, um ein Unternehmen aufzubauen, das über eine Million Dollar umgesetzt hat. Und genau
07:55
Speaker A
so habe ich meine erste Million mit GPT -3 gemacht, bei dem die meisten Leute heute sagen würden: „Dieses Ding, wisst ihr, dieses Ding hat weniger Neuronen als ein verdammter Käfer.“ Wie zum Teufel will man damit ein Millionengeschäft aufbauen? Nun, der
08:06
Speaker A
Weg, wie mir das gelang, war wirklich zu verstehen, wie viele Daten und Informationen durch das Vortraining in die Intelligenz des Modells komprimiert wurden und welche Muster ich letztlich daraus extrahieren konnte, um Dinge zu tun wie, na ja, qualitativ hochwertige
08:17
Speaker A
Artikel zu schreiben, indem ich vorgab, ein preisgekrönter Journalist zu sein, dies als System-Prompt einspeiste und es dann immer und immer wieder iterieren ließ. Heutzutage gehen Modelle ein wenig weiter als nur das Vortraining. Wir optimieren sie tatsächlich durch menschliches
08:29
Speaker A
Feedback. Das ist ein weiteres wichtiges Konzept, über das ihr mit diesen Ressourcen viel lernen werdet, bei dem wir im Grunde nicht nur dieses Gehirn vortrainieren und sozusagen instanziieren, sondern dieses Gehirn dann auch noch dazu bewegen, formen und weiterentwickeln, zu etwas, das aktiv
08:43
Speaker A
produktive Konversationen mit Menschen führen kann. Und hier bekommen Menschen eine Reihe verschiedener Ausgaben gezeigt und werden gebeten, die ihrer Meinung nach beste Ausgabe zu bewerten. Und meistens passiert es, dass die Menschen die Ausgabe bewerten, die ihnen am meisten schmeichelt und
08:57
Speaker A
bei der sie sich am besten fühlen. Und deshalb landet man auch bei einer Kriecherei des Modells und einer Reihe anderer Dinge. Wiederum nichts, was man wirklich auf einer tieferen Ebene verstehen würde, wenn man nicht diese grundlegende Art von Lernen absolviert
09:06
Speaker A
hätte. Das mag euch nur ein paar Stunden kosten, ist aber sehr, sehr wichtig. Danach, bei Modellen mit logischem Schlussfolgern und „Chain of Thought“, speist man eine Ausgabe tatsächlich wieder als Eingabe ein und simuliert dann die Schritte, die für
09:15
Speaker A
eine Entscheidung erforderlich sind. „Chain of Thought“ ist der Grund, warum Modelle heute außergewöhnliche Dinge leisten können, und es ist auch ein gutes Überwachungstool. Es ist ein gutes Beobachtungsinstrument für Menschen, um irgendwie zu verstehen, was genau in diesem seltsamen,
09:26
Speaker A
außerirdisch anmutenden Gehirn des Modells vor sich geht, wenn ich ihm eine Aufgabe gebe und es bitte, diese zu erledigen. Ein sehr wichtiges Konzept, über das ihr viel lernen werdet, ist die Idee eines Kontextfensters, was die Gesamtzahl der Token ist, die man tatsächlich auf
09:37
Speaker A
einmal in ein Modell einpassen kann. Ihr wisst schon, je länger das Token-Fenster, oder besser gesagt das Kontextfenster, desto mehr Token passen hinein. Und letztendlich kann ein Modell umso besser über eine Reihe verschiedener Dinge nachdenken, um sie sozusagen miteinander zu verknüpfen.
09:48
Speaker A
Sehr vergleichbar mit dem menschlichen Arbeitsgedächtnis, aber man kann auch da extrem tief in die Materie eintauchen. Halluzinationen sind ein weiterer wirklich wichtiger Punkt.
09:54
Speaker A
Wissen Sie, da Modelle auf statistische Weise denken und aus dieser Verteilung Stichproben ziehen, unterliegen sie von Zeit zu Zeit auch Verzerrungen und Fehlern, wie etwa Dinge zu erfinden, die eigentlich gar keinen Sinn ergeben.
10:06
Speaker A
Warum? Weil die Art und Weise, wie das Modell ursprünglich seine Sprachfähigkeit erlangte, nicht durch eine Verankerung in realen Fakten geschah. Es lernte zu sprechen, zu schlussfolgern und zu denken, indem es einfach eine Menge Text betrachtete und die statistischen Zusammenhänge darin
10:19
Speaker A
analysierte. Und es stellt sich heraus, dass Text nicht immer der Realität entspricht. Wir sprechen nicht immer nur über Dinge, die real sind. Und weil wir nicht immer über Dinge sprechen, die tatsächlich real und in der Welt verankert sind, lernt das
10:29
Speaker A
Modell: "Oh, okay, ich kann über Dinge schreiben, die nicht unbedingt existieren." Schließlich das Konzept, dass es gezüchtet und nicht gebaut wird. Viele Leute sprechen davon, dass KI-Forscher diese wirklich intelligenten und nützlichen Modelle bauen. Die Realität ist jedoch, dass
10:43
Speaker A
sie sie nicht wirklich bauen. Was wir tun, gleicht eher dem Hinzufügen verschiedener Lösungen in eine Petrischale, um dann langsam zu beobachten, wie sie wächst. Wir machen das nur in Silizium, nicht biologisch, daher gibt es darüber keine Lovecraft-Horrorromane. Aber im Grunde
10:57
Speaker A
züchten wir eine Art außerirdische Intelligenz mittels Mathematik. Und ich halte es für wichtig, das zu verstehen . Einige der Ressourcen, die ich Ihnen zeigen werde, gehen sehr tief darauf ein, und Sie werden viel mehr darüber lernen, was es bedeutet, gezüchtet und
11:06
Speaker A
nicht gebaut zu sein. Hier sind also einige wirklich gute. Large Language Models kurz erklärt, wieder von Three Blue One Brown. Das dauert etwa 5 bis 10 Minuten und ist absolut verständlich. Es führt Sie im Wesentlichen durch die grundlegende
11:16
Speaker A
Funktionsweise von Large Language Models. Dann zwei wirklich gute Video-Ressourcen von Andrej Karpathy, der weithin als einer der besten Pädagogen im Bereich KI gilt. Ich schaue ziemlich zu diesem Mann auf. Das erste ist eine Einführung in Large Language Models. Es ist eine
11:29
Speaker A
einstündige Erklärung für ein allgemeines Publikum. Es entstand, bevor logische Schlussfolgerungsmodelle 2023 auf den Plan traten. Deshalb gibt es eine Reihe von Dingen, die er sagt, bei denen ich heute denke: "Wow, wäre ich 2023 Forscher gewesen, hätte ich das wahrscheinlich auch geglaubt." Und
11:43
Speaker A
Sie sehen auch, wie wir die Probleme, die er in diesem Video anspricht, durch Dinge wie „Chain-of-Thought“-und Schlussfolgerungsprozesse lösen, die unmittelbar danach entwickelt wurden.
11:51
Speaker A
Das ist also sehr cool, denn im Grunde genommen ist dies auch ein kleiner geschichtlicher Abriss. Danach gibt es von ihm ein großartiges Video mit dem Titel „Deep Dive in LLMs wie ChatGPT “. Es dauert etwa 3 oder 4 Stunden
12:00
Speaker A
und ist im Grunde genommen fast wie ein Roman. Es vermittelt Ihnen jedoch alles , vom Vortraining bis hin zum Fine-Tuning und den Reasoning-Modellen.
12:07
Speaker A
Und letztendlich wird das, was Sie in diesem Video lernen, den Großteil von heute ausmachen. Sie werden wahrscheinlich ein paar Sitzungen brauchen, um es durchzuarbeiten, aber es lohnt sich trotzdem. Was die Lektüre angeht, würde ich Ihnen sehr empfehlen, sich eine Primärquelle von
12:17
Speaker A
Anthropic anzusehen. Sie haben einen wunderbaren Artikel mit dem Titel „ Tracing the Thoughts of a Large Language Model“ geschrieben. Dieser geht tief darauf ein, wie das Innere des Gehirns eines Modells aussieht.
12:26
Speaker A
Letztendlich auch, warum es Dinge wie Halluzinationen produziert. Er ist zudem für ein modernes Publikum ziemlich gut zugänglich. Wenn Sie noch etwas tiefer einsteigen und mehr darüber erfahren möchten, wie Transformer–die spezifische Architektur, die ChatGPT, Codex und anderen Modellen zugrunde liegt–
12:39
Speaker A
funktionieren, würde ich Ihnen auch empfehlen, sich „Transformers: The Tech Behind LLMs“ von Three Blue, One Brown anzusehen. Das dauert etwa eine halbe Stunde. Es ist sicherlich technischer, aber auch außerordentlich aufschlussreich. Sobald Sie damit fertig sind, ist es wichtig, den Stack
12:51
Speaker A
zu verstehen, okay? Viele Leute sprechen von künstlicher Intelligenz, als wäre sie eine Art Abstraktion, genau wie ein Software-Tool oder sogar eine mathematische Idee. Aber es ist weitaus mehr als das. Wissen Sie, es gibt Hardware, die diese Modelle ausführen muss. Es gibt Chips, die,
13:03
Speaker A
wissen Sie, die mathematischen Operationen ausführen müssen, die dort stattfinden. Und diese müssen auch hergestellt werden, und es gibt nur sehr wenige Hersteller. Und daher beginnt diese Art der Modellproduktion auch, die Politik und das Handeln verschiedener Regierungsführer in verschiedenen Regionen der Welt zu
13:17
Speaker A
beeinflussen. Und letztendlich auch, warum bestimmte Zwänge Modelle, sagen wir, aus dem Osten und aus China aufgrund der Computerverfügbarkeit in eine etwas andere Richtung gelenkt haben als Modelle aus dem Westen.
13:27
Speaker A
Wissen Sie, diese Dinge sind nicht offensichtlich entscheidend für den Nutzen, aber ein starkes grundlegendes Verständnis des Kontexts dahinter wird Sie später zu einem weitaus besseren Anwender machen. Fangen wir also zuerst mit der Kette an. Es gibt also eine
13:38
Speaker A
Vielzahl von Schichten, die wie bei einer Zwiebel übereinanderliegen und letztendlich die Künstlichen Intelligenzen ergeben, die wir heute kennen und schätzen. Sie beginnen bei Chips, gehen weiter zu Rechenzentren, dann zu Energie, zu Modell-Laboren, weiter zu APIs, dann zu Apps und
13:51
Speaker A
Anwendungen und schließlich zur tatsächlichen Implementierung. Auf der Chipebene haben wir also große Unternehmen wie Nvidia, einige der wertvollsten Firmen auf dem Planeten, die diese Chiparchitekturen tatsächlich entwerfen. Wissen Sie, sie stellen sie nicht selbst her. Sie schicken die Entwürfe an ein
14:07
Speaker A
Unternehmen wie TSMC oder die Taiwan Semiconductor Manufacturing Company. Ähm, sie, sie produzieren die Chips.
14:13
Speaker A
Und wissen Sie, was interessant ist: TSMC selbst, das Unternehmen, das die Chips herstellt–nun, jemand muss auch die Maschinen bauen, die diese Chips fertigen. Wie sich herausstellt, ist das ein weiteres Unternehmen, ASML, das in den Niederlanden ansässig ist. Man
14:25
Speaker A
gelangt also langsam zu den Lieferketten der Dinge, die diese Hardware und die Infrastruktur fertigen , auf denen letztendlich die meiste moderne Machine-Learning-KI aufbaut.
14:35
Speaker A
Die meisten Leute verstehen das nicht. Den meisten Menschen ist nicht klar, dass es an der Basis der KI tatsächlich eine komplexe Lieferkette gibt, die vielleicht noch wertvoller und mächtiger ist als das, was Modell-Labore wie Anthropic und OpenAI tun. Auf der Ebene der Rechenzentren
14:50
Speaker A
haben wir Microsoft, Google, Amazon, Meta, äh ich weiß nicht, Oracle oder X. Es sind diese großen Unternehmen, die jetzt Milliarden, manchmal sogar geplant im Billionenbereich, in den Bau von Anlagen stecken, in denen die Wände mit Chips bestückt werden, die
15:07
Speaker A
von Nvidia erfunden, von TSMC gefertigt und–einen Schritt weiter in der Kette –von Maschinen produziert wurden, die von ASML stammen. Die Idee ist also, Reihen um Reihen dieser Chips zu haben, die im Grunde perfekt im Einklang miteinander arbeiten. Ähm, die
15:25
Speaker A
Produkte von TSMC zum Beispiel, um die Verarbeitung genau so durchzuführen, wie Nvidia es vorgibt. Große Unternehmen stecken also wieder hunderte Milliarden Dollar in diesen Bereich, weil sie wissen, dass dort die eigentlichen Berechnungen stattfinden werden. Aber diese großen Rechenzentren existieren auch nicht
15:41
Speaker A
isoliert, oder? Denn sie brauchen etwas , das sie mit Energie versorgt. Jeder einzelne dieser Vorgänge erfordert eine außerordentlich hohe Energiemenge , um letztendlich in dem Maßstab und Umfang zu funktionieren, den wir uns wünschen. Und so hat man es
15:53
Speaker A
tatsächlich mit Versorgungsunternehmen und Stromnetzen zu tun. Man hat die Kommunalverwaltungen, die dafür verantwortlich sind, Ja oder Nein zu sagen, wo diese großen Rechenzentren entstehen sollen. Wir arbeiten uns also gerade erst durch diese Zwiebel, aber hoffentlich verstehen Sie, dass das
16:06
Speaker A
Ganze etwas komplizierter ist, als nur zu sagen: "Oh, Anthropic und OpenAI machen alles." Apropos, dann gibt es noch die Modell-Labore, okay? Auf dieser Ebene finden Sie Unternehmen wie OpenAI oder Anthropic. Sie haben Google . Es gibt auch X, wissen Sie? Einige
16:17
Speaker A
dieser Unternehmen sind vertikal integriert und versuchen daher, auf mehreren Stufen dieser Ebene zu arbeiten. Ähm, Sie haben DeepMind. Es gibt auch ein paar Labore mit offenen Gewichten. Diese Art von Unternehmen ist tatsächlich für die Softwareimplementierung verantwortlich.
16:27
Speaker A
Sie sind dafür zuständig, sozusagen die Mathematik hinter den Berechnungen zu entwickeln, die auf den Chips ausgeführt werden. Eine Stufe höher finden Sie dann die Labore selbst, von denen einige APIs anbieten, aber jetzt auch Tools wie OpenRouter, die im
16:40
Speaker A
Grunde Zwischenschichten sind, bei denen man eine Anfrage stellt und diese dann die Anfragen an den Anbieter weiterleiten, der in diesem Moment finanziell am meisten Sinn ergibt. Aber was sendet letztendlich die meisten dieser Anfragen? Es sind nicht mehr nur
16:52
Speaker A
Menschen an ihren Computern. Eigentlich ist es eine Ebene höher, bei den Frameworks, bei automatisierten Agenten-Systemen, die diese Art von Anfragen massenhaft durchführen. Das sind also zum Beispiel Codex-Systeme.
17:01
Speaker A
Das sind Ihre Claude-Codes. Das sind Ihre Cursors. Und schließlich gibt es noch die Implementierung, also die Leute wie ich, wahrscheinlich wie die meisten von Ihnen, die all diese Technologie nutzen, okay, im Bereich der KI, und sie dann nehmen und auf
17:16
Speaker A
andere Branchen anwenden. Wissen Sie, wie Ihr lokaler Klempner oder ein großes Beratungsunternehmen, dessen Betriebsabläufe Sie optimieren, oder etwas in der Art. Vielleicht implementieren Sie es in Ihr eigenes Unternehmen, in Ihr eigenes Leben, in Ihre Hobbys, Ihr Persönliches oder was
17:29
Speaker A
auch immer. Letztendlich ist die Implementierungsebene diejenige, auf der wir uns fragen: "Na und?" Und wir nehmen all die transformativen Ergebnisse dieser Industrien und wenden sie auf etwas anderes an. Als jemand, der, wissen Sie, wahrscheinlich erst kürzlich mit der Technologie der
17:43
Speaker A
künstlichen Intelligenz vertraut gemacht wurde, beginnen Sie auf der Anwendungsebene, also ganz oben auf dieser Zwiebel. Aber Sie müssen erkennen, wie tief das alles geht, wenn Sie wirklich verstehen wollen, was genau vor sich geht und warum. Hier sind einige großartige Ressourcen, die
17:55
Speaker A
man sich ansehen sollte. Zum Thema AI Harness habe ich ein großartiges Video mit dem Titel "AI Harness: An In-depth Explanation", das erklärt, was ein Harness ist und warum er genauso wichtig ist wie das zugrundeliegende Modell. Es gibt auch eine wunderbare
18:06
Speaker A
Video-Ressource von Andre Karpathy mit dem Titel "How I Use LLMs". Es ist im Grunde ein ausführlicher Rundgang darüber, wie ein Power-User wie er– jemand, der zum Zeitpunkt dieser Aufnahme zumindest bei Anthropic arbeitet–die zugrundeliegende künstliche Intelligenz tatsächlich nutzt. Ich würde auch ein wenig im "
18:22
Speaker A
State of AI"-Bericht lesen. Es gibt einen hervorragenden Bericht namens " State of AI Report 2026" von einem Unternehmen namens Air Street Capital.
18:29
Speaker A
Er dauert etwa 45 Minuten und umfasst fast 250 Folien. Sie werden also eine ganze Menge Zeit dafür einplanen müssen. Aber wenn Sie ihn überfliegen , werden Sie vieles von dem verstehen, was ich hier über die tieferen Schichten der Zwiebel gesagt habe. Es
18:38
Speaker A
gibt auch eine großartige Arbeit von Epoch, die "Epoch AI Trends". Dabei geht es um Zahlen zur Rechenleistung, wie viel Geld es kostet, Dinge wie Modelle zu trainieren, und wie viel Geld in Rechenzentren steckt. Danach würde ich etwas Zeit damit verbringen,
18:48
Speaker A
die spezifischen Akteure in diesem Bereich kennenzulernen. Ich habe ja vorhin schon ein paar von ihnen erwähnt, nicht wahr? Sie müssen wissen, wer führende KI entwickelt und wie sich ihre Philosophien ein wenig voneinander unterscheiden. Wissen Sie, jedes dieser Unternehmen hat eine
18:57
Speaker A
andere Philosophie. Deshalb sind es auch unterschiedliche Unternehmen. Die beiden führenden Unternehmen zum Zeitpunkt dieser Aufnahme, OpenAI und Anthropic, sind selbst aus einer Reihe von Arbeiten hervorgegangen, die andere Forscher bei Google geleistet haben.
19:10
Speaker A
Sie hatten sozusagen ideologische Probleme mit der Art und Weise, wie die Forschung bei Google betrieben wurde.
19:14
Speaker A
Und daraus entstand dann OpenAI. Einige Generationen nach den Modellen von OpenAI hatte Anthropic einige ideologische Probleme mit der Entwicklung bei OpenAI, also haben sie sich abgespalten. Und so ist alles irgendwie auf einer grundlegenden Ebene miteinander verbunden. Das müssen Sie
19:27
Speaker A
wissen. Also, aktuell haben wir die Labore, äh, da wäre OpenAI, ein riesiges Verbraucherunternehmen, wahrscheinlich eines der größten und lukrativsten KI-Unternehmen überhaupt.
19:37
Speaker A
Und offensichtlich waren sie die Ersten , die ChatGPT ans Licht brachten und zu einem Verbraucherprodukt machten. Ich würde sagen, sie halten immer noch einen ordentlichen Marktanteil, und ich möchte das Bildungspotenzial dieses Videos nicht durch konkrete Zahlen veralten lassen. Aber neben OpenAI gibt
19:51
Speaker A
es noch Anthropic. Die ganze Idee hinter OpenAI ist, wissen Sie, sie wollen zu einem automatisierten Forschungspraktikanten gelangen. Doch auf diesem Weg haben sie einige Umwege gemacht. Sie haben Verbraucher-Apps und -Produkte entwickelt, wie zum Beispiel Sora. Sie haben, wissen Sie,
20:02
Speaker A
Bildmodelle entwickelt. Sie haben zum Beispiel GPT-Bildmodelle gemacht. Sie haben, ähm, eine Menge Dinge sowohl im Video-als auch im Audiobereich und bei der Sprachtranskription getan. Das ist also so eine Art Allzweck-KI-Unternehmen. Sie waren die Ersten auf dem Markt und wissen
20:14
Speaker A
natürlich, dass ein großer finanzieller Anreiz besteht, das richtig hinzubekommen. Ähm, aber sie setzen sich nicht gerade zu hundert Prozent für eine einzige Sache ein.
20:20
Speaker A
Apropos Unternehmen, die sich voll auf eine Sache konzentrieren: Anthropic. Das Hauptunterscheidungsmerkmal zwischen Anthropic und OpenAI, das die meisten Leute nicht erkennen, ist, dass Anthropic zu 1.000.000%auf Computerprogrammierung als Weg zur AGI und letztlich ASI setzt. Während OpenAI all diese coolen
20:35
Speaker A
Verbraucher-Apps veröffentlichte, sich in Video und Foto versuchte, sagte Anthropic buchstäblich: "Wir setzen auf Texteingabe und Textausgabe, Baby." Das Einzige, was zählt, ist, dass wir unsere Modelle zu den intelligentesten Programmierern auf dem Planeten Erde machen. Dann werden wir sie die
20:47
Speaker A
nächste Generation der Modelle selbst programmieren lassen. Wenn die Verschwendung von auch nur 1%der Ressourcen, die wir für Video ausgeben , unsere Fähigkeit beeinträchtigt, diese AGI oder ASI zu erreichen, wäre es das alles nicht wert gewesen. Ihre ganze Arbeitsweise besteht also darin,
21:02
Speaker A
diese bessere Zukunft aufzubauen, indem sie zum rekursiven Selbstverbesserungsprozess eilen, einem Konzept, über das wir später sprechen , und diesen dann nutzen. Und sobald sie bei der RSI angekommen sind, werden sie mehr oder weniger alles andere erledigen. Es gibt auch noch Google
21:13
Speaker A
DeepMind. Das ist wahrscheinlich eines der ältesten Labore, die es gibt. Ähm , wissen Sie, das ist das Labor, das damals AlphaGo entwickelt hat. Es ist das Unternehmen, das, wie ich glaube, vor etwa 7, 8 oder 9 Jahren die Welt im
21:24
Speaker A
Sturm eroberte, noch bevor OpenAI oder Ähnliches überhaupt gegründet oder erfunden wurde. Es war wirklich das, was eine ganze Generation von KI-Forschern geprägt hat. Und natürlich ist Google DeepMind ein Teil von Google. DeepMind war vor der Übernahme ein eigenständiges Labor.
21:38
Speaker A
Google hatte offensichtlich viele finanzielle Anreize für die Übernahme , aber diese Leute sind quasi vertikal in alles integriert. Sie besitzen den gesamten Stack, denn Google stellt auch Chips her. Sie produzieren auch, oder betreiben vielmehr, eine Cloud-Infrastruktur. Denken Sie also an
21:51
Speaker A
die Google-Suche. Sie haben wahrscheinlich mehr Daten als jedes andere dieser Unternehmen, einfach weil sie seit gut 15 oder 20 Jahren eine Suchmaschine sind. Viele bezeichnen sie als eine Art langsamen Giganten, wo man , wissen Sie, als das ganze KI-Thema
22:03
Speaker A
anfing, auf Google DeepMind blickte und sich dachte: „Oh mein Gott, die werden wahrscheinlich alles übernehmen , oder?“ Aber dann haben sie für eine sehr lange Zeit einfach nichts getan. Und die Realität ist: Je größer ein Unternehmen ist, desto
22:14
Speaker A
bürokratischer sind die Prozesse, aber man muss auch viel mehr in Bewegung setzen, um tatsächlich an Fahrt aufzunehmen. Dennoch gilt: Je größer ein Unternehmen, desto mehr Trägheit besitzt es. Genau wie bei einem sehr schweren Güterzug. Wenn er sich erst
22:26
Speaker A
einmal in eine Richtung bewegt, kann es zwar etwas dauern, bis er Fahrt aufnimmt, aber sobald er rollt und in Bewegung bleibt, ist er nur schwer zu stoppen. Dann gibt es noch Meta, okay?
22:33
Speaker A
Und Meta von Mark Zuckerberg lag eine ganze Weile weit hinter dem Wettlauf um Modelle zurück und hat erst vor Kurzem aufgeholt. Aber sie haben sich selbst dazu ernannt, im Grunde Open Source zu sein, wissen Sie, Modelle für die
22:43
Speaker A
Menschen. Wir wollen, dass jeder seine eigene persönliche Superintelligenz hat. Deshalb haben sie eine Reihe von Produkten zu diesem Zweck veröffentlicht, wie Muse. Und sie scheuen sich nicht zu sagen, warum. Sie wollen eine Menge Geld mit diesem Zeug verdienen. Und sie glauben, dass sie
22:52
Speaker A
durch die Stärkung aller Menschen mit deren eigenen Superintelligenzen Märkte schaffen können, die es so noch nie gegeben hat. Dann gibt es noch xAI mit Elon Musk. Ihr großer Einsatz gilt wirklich der Rechenleistung. Ihr riesiger Einsatz ist: Wir haben so viel
23:04
Speaker A
Geld wie nie zuvor. Wir haben auch das, was wir für den Bau großer Rechenzentren und Computerfarmen brauchen, dank SpaceX, dank Tesla und der Tatsache, dass wir im Grunde führend in der Robotikfertigung sind, speziell in der Raumschiff-Fertigung, aber auch bei Dingen wie Solarpaneelen,
23:20
Speaker A
schon seit gut 10 oder 15 Jahren. Und obwohl sie anfangs eigentlich nicht in der Lage waren, im KI-Wettlauf mitzuhalten, weil ihnen schlicht die KI-Talente oder das Know-how fehlten, machen sie jetzt massive Fortschritte beim Ausbau ihrer Rechenkapazitäten.
23:34
Speaker A
Sie sind inzwischen an einem Punkt angelangt, an dem ihre Rechenzentren, wie Colossus 2 in Memphis, buchstäblich an andere KI-Labore vermietet werden, die bei weitem nicht über so viel Kapazität verfügen. Sie gehen also dort strategische Partnerschaften ein, wo es darauf
23:44
Speaker A
ankommt, und führen das Rennen um die KI zumindest in diesem Hardware-Bereich derzeit an, zumindest zum Zeitpunkt dieser Aufnahme. Nun rennen all diese Labore auf die Idee der rekursiven Selbstverbesserung zu. Einfach ausgedrückt bedeutet das nur, dass eine KI die Forschung und Entwicklung
23:57
Speaker A
von KI betreibt. Und das geschieht völlig unabhängig und autonom, ganz ohne menschliches Zutun. Ob es nun langsamer oder schneller ist als die Ansätze des Menschen, der Vorteil der rekursiven Selbstverbesserung liegt aus KI-Forschungssicht darin, dass man, sobald eine KI diese Dinge selbst
24:12
Speaker A
herausfinden kann, sie beliebig schnell und beliebig skaliert laufen lassen kann. Man kann also, wissen Sie, 100.000 dieser Forscher oder eine Million davon erschaffen. Alles, was man wirklich braucht, sind Rechenleistung und Energie. Diese beiden Faktoren sind die größten Engpässe. Die Idee ist, dass die
24:25
Speaker A
Modelle, sobald sie sich rekursiv selbst verbessern können, damit beginnen, ihre eigene Inferenz und auch ihr eigenes Training zu optimieren. Und dann wird die nächste Modellgeneration um ein Vielfaches schneller und im Betrieb günstiger sein. Diese Modelle werden dann die nächste Generation
24:39
Speaker A
optimieren, die noch schneller und billiger ist, bis–nun ja, ehrlich gesagt–die Leute davon sprechen, dass diese Modelle im Grunde eine Allwissenheit erlangen, also alles über alles wissen. Einfach deshalb, weil sie so viele Größenordnungen schneller rechnen und denken können als Menschen. Und wir kommen dem Ganzen
24:53
Speaker A
ziemlich nahe. Ich werde hier kein Datum nennen, aber es genügt zu sagen, dass die rekursive Selbstverbesserung meiner Meinung nach wahrscheinlich schon begonnen hat, wenn sie nicht sogar gerade in vollem Gange ist, was übrigens einer der Hauptgründe für dieses Video ist. Ich hielt es für
25:05
Speaker A
wichtig, dass jeder versteht, was hier eigentlich passiert und wie schnell sich das alles entwickelt. Das bedeutet , dass man innerhalb eines Jahres etwa 10 bis 20 Jahre an Fortschritt sehen könnte. Versuchen Sie einmal zu begreifen, wie viel Fortschritt wir im
25:16
Speaker A
letzten Jahr gemacht haben und wie viel Fortschritt wir in einer exponentiell wachsenden Situation haben würden. Wir könnten an einen Punkt kommen, an dem neue Modelle nicht mehr nur einmal im Monat erscheinen. Wir könnten an einem Punkt sein, an dem buchstäblich alle 5
25:24
Speaker A
Minuten neue Modelle erscheinen. Und das sage ich nicht scherzhaft. Wie auch immer, hier sind einige großartige Ressourcen zum Lesen. „The Gentle Singularity“ von Sam Altman. Es dauert vielleicht 15 oder 20 Minuten.
25:33
Speaker A
Es ist ein sehr optimistisches Szenario und letztendlich wahrscheinlich aus Investitionsgründen etwas voreingenommen, aber es ist ein großartiger Text. „We Must Pace the Frontier“ von Dario Amodei. Er ist der CEO von Anthropic. Wissen Sie, dies ist ein eher vorsichtiger Ansatz,
25:46
Speaker A
während OpenAI sagt: „Hey, alles wird fantastisch. Alles wird großartig werden.“ Anthropic sagt hingegen: „ Nein, nein, nein, wir müssen etwas vorsichtiger sein.“ Und genau diesen Punkt führt er in diesem Text aus.
25:54
Speaker A
Wenn man den Text von Anfang bis Ende liest–es ist zwar etwas anspruchsvoll –, ist er doch sehr wichtig und wertvoll. Zusammen mit seinem anderen Text, „Machines of Loving Grace“, beginnt man zu verstehen, wie manisch fokussiert viele dieser Unternehmen auf
26:06
Speaker A
das Erreichen dieser rekursiven Selbstverbesserung sind. „Time Horizon 1.1“ von METR. Es ist ein Unternehmen, das intensiv daran arbeitet, die Entwicklung dieser KI-Modelle und deren Fortschrittsgeschwindigkeit zu verfolgen. Ich halte es auch für wichtig, die Argumente der Skeptiker zu verstehen. Hier ist ein Artikel vom MIT
26:20
Speaker A
mit dem Titel: „AI's Recursive Self-Improvement Might Not Come So Quickly After All“. Und wenn Sie wirklich nicht nur die Modelldynamik verstehen wollen, sondern auch die geopolitische Dynamik, von der ich Ihnen vorhin erzählt habe, lesen Sie „AI 2027“. Es ist eine detaillierte
26:34
Speaker A
Prognose dessen, was in den letzten Jahren geschehen ist und in den nächsten Jahren, vielleicht bis in die 2030er Jahre hinein, mit der Technologie der künstlichen Intelligenz geschehen wird. Als Nächstes: Ich wünschte, ich hätte das alles getan, bevor ich die Tools
26:45
Speaker A
gelernt habe, denn ich glaube, das hätte einen ziemlichen Einfluss darauf gehabt, was ich getan habe und warum.
26:50
Speaker A
Aber letztendlich, wenn es hart auf hart kommt, kann man nicht seine ganze Zeit in einer Traumwelt verbringen und sich über Geopolitik oder Ähnliches den Kopf zerbrechen; man muss, wenn es darauf ankommt, verdammt noch mal ein Tool lernen. Und genau darum geht es
27:00
Speaker A
bei den Tools. Zum Zeitpunkt dieser Aufnahme gibt es ein paar wichtige. Es gibt Claude, ChatGPT, Gemini, X's Grok und einige Open-Weights-Modelle aus China, die ebenfalls konkurrieren. Aber das sind wirklich die Hauptkonkurrenten , und das sind wahrscheinlich diejenigen, die sich durchsetzen werden
27:17
Speaker A
. Ich schätze, man könnte auch Muse nutzen, je nachdem, wie sich die Dinge in den nächsten Monaten entwickeln.
27:21
Speaker A
Die Realität ist, dass die meisten dieser Tools ziemlich ähnlich sind, aber man muss sich einfach für eines entscheiden und anfangen, es zu nutzen.
27:26
Speaker A
Zusätzlich zur Chat-Assistenten-Ebene, wieder wie bei einer Zwiebel, gibt es eine Ebene darüber: die Agenten-Ebene und die Harness-Ebene. Es gibt eine Vielzahl verschiedener Harness-Lösungen, zum Beispiel Claude Code, Codex oder Kimmy Code, richtig?
27:39
Speaker A
Es gibt eine ganze Reihe dieser Harness-Tools, bei denen es sich um Software-Implementierungen und Ansätze handelt, um diese Modelle einzugrenzen und in bestimmte Richtungen zu steuern.
27:47
Speaker A
Sie werden darüber viel mehr wissen als das, was ich jetzt erkläre, da Sie den gesamten Harness-Abschnitt unseres Lehrplans durchlaufen haben werden.
27:53
Speaker A
Abschließend würde ich empfehlen, sich mit einer Art Automatisierungstool vertraut zu machen. Ich meine damit kein Automatisierungstool im herkömmlichen Sinne, aber es ist wichtig zu verstehen, dass die meisten Menschen diese Modelle nicht nur nutzen , um zu fragen, wie viel Protein in
28:06
Speaker A
ihrem Joghurt steckt, wie mein Co-Moderator Jack Roberts immer sagt. Letztlich geht es darum, Geld zu verdienen oder ein wirtschaftliches Ziel zu erreichen, wissen Sie, etwas in einem geschäftlichen Kontext zu bewirken. Der Weg dorthin führt meist über die Automatisierung von Prozessen
28:20
Speaker A
, die bereits Einnahmen generieren oder einen positiven Mehrwert schaffen. Automatisierungstools verknüpfen also in der Regel KI-Modelle und statten sie mit Zugriff auf andere Werkzeuge aus, damit sie Aufgaben in einem Unternehmen zuverlässig und vorhersehbar erledigen können. Ich persönlich würde also
28:35
Speaker A
einen Chat-Assistenten wählen, vielleicht Claude, dazu ein Harness oder eine agentenbasierte Ebene wie Claude Code, und schließlich ein Automatisierungstool wie, keine Ahnung, N8N. Obwohl diese Automatisierungstools in ihrer jetzigen Form in den nächsten Jahren vielleicht gar nicht mehr nötig sein werden, je nachdem, wie schnell
28:50
Speaker A
die KI diese Dinge übernimmt. Ein einfacher Weg, um das Konzept des Promptings zu verstehen–also den Prozess, eine Anfrage an ein KI-Modell zu stellen, um eine Aktionskette auszulösen–, ist das Delegieren.
29:03
Speaker A
Prompten Sie nicht. Letztendlich funktionieren diese Modelle tatsächlich besser, wenn man sie anthropomorphisiert. Für diejenigen unter Ihnen, die das Wort nicht kennen: Es bedeutet einfach, sie so zu behandeln, wie man einen Menschen behandeln würde. Wenn man Aufgaben an andere delegiert, sollte man
29:12
Speaker A
normalerweise immer vier Dinge beachten . Erstens: der Kontext. Also wer du bist, wofür die Arbeit gedacht ist, warum du sie erledigen willst und so weiter. Zweitens das Ziel, also welches Ergebnis du dir davon versprichst.
29:22
Speaker A
Drittens: wie ein großartiges Ergebnis aussieht. Also eine Art Beispiel oder Kriterien, die explizit festlegen, dass die Arbeit erledigt ist. Und schließlich, wie du überprüfst, ob die Arbeit deinen Vorgaben entsprechend erledigt wurde. Vielleicht prüfst du es mit einem Screenshot oder durch
29:37
Speaker A
einen Vergleich der pixelgenauen Genauigkeit dessen, was Claude generiert hat, mit dem, was du erstellt hast. Etwas in der Art. Das ist ein Großteil dessen, was ich auf meinem Kanal lehre und auch in der Maker School, meinem 90-Tage-Programm, das
29:49
Speaker A
dir garantiert, dass du innerhalb von 90 Tagen deinen ersten zahlenden Kunden für einen KI-oder Automatisierungsdienst gewinnst, oder ich erstatte dir dein Geld zurück. Der Grund dafür ist, dass wir dir zeigen, wie man Dinge wie Prompt Engineering macht, wie man Agenten präzise
30:00
Speaker A
Aufgaben gibt und so weiter. Wie dem auch sei, Werbung Ende, du solltest es dir ansehen. Hier sind einige Dinge, die ihr lernen, lesen oder ansehen könnt, um wirklich zu verinnerlichen, wie man mit diesen Modellen effektiv arbeitet. Erstens: AI Fluency–
30:12
Speaker A
Framework und Grundlagen. Dies ist ein kurzer 4-stündiger Minikurs der Anthropic Academy, der euch alles über ihre Version des großen Sprachmodells Claude vermittelt, aber auch über Claude Code, wofür diese verschiedenen Tools gedacht sind und wie ihr sie letztendlich für geschäftliche
30:27
Speaker A
Anwendungsfälle einsetzen könnt. Als Nächstes: 2,4 Millionen Dollar an Prompt-Engineering-Hacks in 53 Minuten. Das ist von mir. Ich habe 53 Minuten lang im Grunde mein Gehirn wie einen nassen Lappen ausgewrungen, um euch so viel Mehrwert wie möglich zu bieten.
30:39
Speaker A
Schaut euch das also unbedingt auch unten an. Und ich weiß, ich wirke wahrscheinlich wie ein Anthropic-Fanboy oder total voreingenommen oder so etwas . Aber wenn ihr tiefer in die Materie eintauchen wollt, würde ich auch das interaktive Prompt-Engineering-Tutorial von Anthropic durcharbeiten. Es ist
30:52
Speaker A
sehr praxisorientiert. Sie haben tatsächlich Agenten direkt in die Struktur integriert. Es ist eine Art Quiz. All das wurde von KI erstellt. Es ist also quasi ein Meta-Beispiel dafür , wofür KI eingesetzt werden kann.
31:03
Speaker A
Sowohl zur Ausbildung, zur Weiterbildung als auch dazu, Menschen etwas beizubringen und sie an euer Produkt heranzuführen. Alles Dinge, die man auch mit KI lernen kann. Und schließlich, wie man all das zu Geld macht. Ich meine, es ist eine Sache,
31:14
Speaker A
ein Werkzeug zu bedienen, aber wie wendet man es in echten Unternehmen an? Die Grundidee hinter diesem Teil der Roadmap ist, dass KI nichts grundlegend Neues möglich gemacht hat. Was sie getan hat, ist, alte Prozesse deutlich profitabler zu machen. Und durch die
31:28
Speaker A
höhere Profitabilität dieser alten Prozesse scheint es, als ob nun neue Dinge möglich geworden sind. Aber eigentlich waren diese Dinge schon immer möglich. Die ganze Idee von künstlicher allgemeiner Intelligenz ist, dass sie in etwa die gleiche Intelligenz besitzt wie ein Mensch in
31:40
Speaker A
allen Bereichen, oder? Und wissen Sie, alles, was eine AGI kann, kann auch ein Mensch. Es geht nur um den Zeitfaktor.
31:46
Speaker A
Wenn Leute also von AGI sprechen und davon, dass KI all diese unglaublich neuen Dinge hervorbringt, frage ich mich immer: War diese Sache schon vor der KI profitabel? Wissen Sie, war es schon vor dem Release des nächsten coolen Modells profitabel? Wenn die
31:59
Speaker A
Antwort darauf Nein war, ist es das wahrscheinlich jetzt immer noch nicht. Aber wenn es jetzt profitabel ist und man KI darauf anwendet, dann kommen wir der Sache näher. Die Fähigkeit, diese wunderbaren Entwicklungen in ein finanzielles Ergebnis umzumünzen, hängt meist davon ab, ob man versteht,
32:12
Speaker A
wie ein guter finanzieller Prozess aussieht. Im Allgemeinen sieht das für die meisten Unternehmen nach einem sehr strukturierten, schrittweisen und wiederholbaren Workflow aus, der ein Rohprodukt nimmt. Das könnte zum Beispiel eine Person sein, die noch nichts über Ihr Angebot weiß. Wenn
32:28
Speaker A
Sie Bildung verkaufen, könnte das, ich weiß nicht, eine Art Rohmaterial sein, vielleicht ein Eisenbarren oder Ähnliches. Das durchläuft dann eine Pipeline mit einer Reihe von Prozessen, um aus dem Eisenbarren etwas anderes zu machen. Und am Ende kommt, ich weiß
32:41
Speaker A
nicht, eine Art funktionierender Hammer oder Werkzeug heraus, das man auf einem Bauernhof nutzen kann. In dieser Pipeline, in diesem Prozess, wird letztlich der Wert geliefert und Sie werden bezahlt. Wenn Sie also richtig gut darin werden wollen, diese technologischen Fortschritte in Geld zu
32:56
Speaker A
verwandeln, müssen Sie nur verstehen, welche bestehenden Prozesse bereits profitabel waren, und dann schauen, wie man sie mit KI hundertmal schneller machen kann, um eine deutlich höhere Hebelwirkung zu erzielen. Der einfachste und direkteste Weg, all das wirklich zu verstehen, besteht
33:08
Speaker A
eigentlich nur darin, rauszugehen und zu versuchen, es den Leuten zu verkaufen. Frag sie: „Was genau raubt dir nachts den Schlaf? Was genau unternimmt dein Unternehmen aktuell, um Umsatz zu generieren?“ Wow, wirklich?
33:18
Speaker A
Hmm, das ist interessant. Ich frage mich, ob eine KI das schneller erledigen könnte. Lass mich nachdenken . Es geht nicht nur darum, mit künstlicher Intelligenz haufenweise tolle Ideen um der Ideen willen zu entwickeln, sondern bestehende Prozesse zu betrachten und KI zu nutzen, um
33:30
Speaker A
diese zu optimieren und ein bisschen besser und schneller zu machen. Das Coole ist: Wenn du jeden Tag ein Prozent besser wirst, steigerst du dich bis Jahresende um, keine Ahnung, 200 oder 300 Prozent. KI kann diesen einjährigen Prozess auf etwas
33:41
Speaker A
komprimieren, das tatsächlich nur wenige Tage dauert. Und als jemand, der mittlerweile über 10 Millionen Dollar mit KI-Tools verdient hat, ist es schockierend, was dieser Unterschied für den Geldbeutel eines Unternehmens bedeuten kann. Einige sehr einfache und direkte Leitfäden dazu: Wie ich 2026
33:56
Speaker A
mit KI-Beratung anfangen würde, wenn ich neu starten könnte–von mir persönlich; das Video dauert etwa eine halbe Stunde. Falls euch so etwas gefällt, dann ist ein weiteres sehr gutes Video: Was ich 2027 anstelle von KI-Automatisierung lernen würde. Das dauert etwa 20 bis 25 Minuten. Was das
34:11
Speaker A
Lesen betrifft, ist mein absoluter Favorit wahrscheinlich dieser Text: „ Do things that don't scale“ von Paul Graham. Das dauert etwa, keine Ahnung, 10 bis 20 Minuten. Im Grunde erklärt es, warum deine ersten Kunden immer daher kommen, dass du Dinge manuell
34:24
Speaker A
tust, die nicht skalierbar sind–also die Art von Dingen, die du schon immer getan hast, egal ob KI existiert oder nicht. Und letztendlich geht es darum, wenn du diese Dinge identifiziert hast, wie du sie in einen hochgradig effizienten KI-Prozess umwandeln kannst
34:35
Speaker A
. Als Nächstes kommen die „Request for Startups“. Das Lesen dauert nur ein paar Minuten; es ist im Grunde ein Ort, an dem Leute Anfragen stellen, damit Firmen Lösungen für Probleme entwickeln, die andere Unternehmen haben. Dies kann dir helfen, dich in
34:45
Speaker A
die Denkweise von jemandem zu versetzen , der nach Wegen sucht, künstliche Intelligenz auf Dinge anzuwenden, die Menschen aktuell daran hindern, Geld zu verdienen, oder einfach ihre Probleme zu lösen. Okay, letztendlich kommen die KI-Chancen. Im Allgemeinen werden sie immer größer. Sie werden auch
35:01
Speaker A
viel häufiger, aber das Zeitfenster, in dem man sie nutzen kann, ist viel kürzer. Ich wollte dieses Video machen , weil ich glaube, dass man durch das Verständnis des Hintergrunds–wenn man sich nur ein paar Tage oder eine Woche Zeit nimmt–ein so fundiertes
35:14
Speaker A
Verständnis für die Vorgänge entwickeln kann, dass man letztendlich selbst beurteilen kann, ob eine Gelegenheit gut ist, ob diese neuen Entwicklungen echt oder nur heiße Luft sind, ob man sich über bestimmte geopolitische Auswirkungen Sorgen machen muss, ob man sich um den
35:26
Speaker A
Arbeitsmarkt sorgen muss oder was auch immer. Das hätte ich mir gewünscht, als ich vor langer Zeit meine KI-Reise begann. Und hoffentlich können mein Video und die Ressourcen, die ich unten verlinkt habe, auch euch dabei helfen, dieses Niveau zu erreichen. Wenn ihr
35:38
Speaker A
diese Ressourcen haben möchtet, klickt einfach auf den zweiten Link in der Beschreibung, um zu Maker Zero zu gelangen. Dort stelle ich alles komplett kostenlos zur Verfügung. Das findet ihr ganz oben im kürzlich hochgeladenen Modul innerhalb von Classroom. Falls ihr lernen wollt, wie
35:50
Speaker A
man das für geschäftliche Zwecke nutzt, schaut euch, wie erwähnt, die Maker School an. Das ist der erste Link in der Beschreibung. Abgesehen davon, Leute, vielen Dank, dass ihr euch dieses Video bis zum Ende angesehen habt. Ich schätze jeden Einzelnen von
35:58
Speaker A
euch sehr, besonders diejenigen, die es bis hierher geschafft haben. Wenn ihr Vorschläge für zukünftige Videos habt, lasst es mich einfach wissen. Ich würde mich sehr darüber freuen. Die meisten meiner Ideen bekomme ich inzwischen von meinem Publikum. Tut mir
36:08
Speaker A
bitte einen Gefallen, liked und abonniert den Kanal–ich liebe euch alle. Habt noch einen schönen Tag, und wir sehen uns im nächsten Video.
Topics:Künstliche IntelligenzNeuronale NetzeDeep LearningGPTTransformerKI-GeschichteAlexNetExpertensystemeKI-WinterGroße Sprachmodelle

Get More with the SozAI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries and speaker detection. 30 minutes free.

Or transcribe another YouTube video here →