Dieser Kurs bietet eine praktische Einführung in die Verwendung von Transformator-basierten Modellen für Anwendungen der natürlichen Sprachverarbeitung (NLP). Sie lernen, Modelle für die Textklassifikation zu erstellen und zu trainieren, indem Sie Encoder-basierte Architekturen wie Bidirectional Encoder Representations from Transformers (BERT) verwenden, und erforschen Kernkonzepte wie Positionskodierung, Worteinbettungen und Aufmerksamkeitsmechanismen. Der Kurs behandelt Multi-Head-Attention, Self-Attention und kausale Sprachmodellierung mit GPT für Aufgaben wie Textgenerierung und Übersetzung. Sie werden praktische Erfahrungen mit der Implementierung von Transformer-Modellen in PyTorch sammeln, einschließlich Pretraining-Strategien wie Masked Language Modeling (MLM) und Next Sentence Prediction (NSP). In geführten Übungen werden Sie Encoder- und Decoder-Modelle auf reale Szenarien anwenden. Dieser Kurs richtet sich an Lernende, die sich für generative KI interessieren, und erfordert Vorkenntnisse in Python, PyTorch und maschinellem Lernen. Melden Sie sich jetzt an, um Ihre Fähigkeiten in NLP mit Transformatoren zu erweitern!
Generative KI Sprachmodellierung mit Transformers
Dieser Kurs ist Teil mehrerer Programme.
Unterrichtet in Deutsch (KI-Synchronisation)
Dozenten: Joseph Santarcangelo
10.528 bereits angemeldet
Bei 
enthalten
(81 Bewertungen)
Empfohlene Erfahrung
Was Sie lernen werden
Die Rolle von Aufmerksamkeitsmechanismen in Transformationsmodellen zur Erfassung von Kontextbeziehungen in Texten zu erläutern
Die Unterschiede zwischen decoderbasierten Modellen wie GPT und encoderbasierten Modellen wie BERT bei der Sprachmodellierung zu beschreiben
Implementierung von Schlüsselkomponenten von Transformatormodellen, einschließlich Positionskodierung, Aufmerksamkeitsmechanismen und Maskierung, mit PyTorch
Anwendung von Transformator-basierten Modellen für reale NLP-Aufgaben, wie z.B. Textklassifizierung und Sprachübersetzung, unter Verwendung von PyTorch und Hugging Face Tools
Kompetenzen, die Sie erwerben
- Kategorie: Generative KI
- Kategorie: Angewandtes maschinelles Lernen
- Kategorie: Text Mining
- Kategorie: Deep Learning
- Kategorie: Verarbeitung natürlicher Sprache
- Kategorie: Modellierung großer Sprachen
- Kategorie: PyTorch (Bibliothek für Maschinelles Lernen)
Wichtige Details
Zu Ihrem LinkedIn-Profil hinzufügen
6 Aufgaben
Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.
Erweitern Sie Ihre Fachkenntnisse
- Lernen Sie neue Konzepte von Branchenexperten
- Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
- Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
- Erwerben Sie ein Berufszertifikat zur Vorlage
In diesem Kurs gibt es 2 Module
In diesem Modul lernen Sie die Techniken zur Positionskodierung kennen und erfahren, wie Sie Positionskodierung in PyTorch implementieren. Sie werden lernen, wie der Aufmerksamkeitsmechanismus funktioniert und wie man den Aufmerksamkeitsmechanismus auf Worteinbettungen und Sequenzen anwendet. Sie werden auch lernen, wie Selbstaufmerksamkeitsmechanismen bei der einfachen Sprachmodellierung helfen, um das Token vorherzusagen. Darüber hinaus lernen Sie den skalierten Punktprodukt-Aufmerksamkeitsmechanismus mit mehreren Köpfen kennen und erfahren, wie die Transformator-Architektur die Effizienz von Aufmerksamkeitsmechanismen erhöht. Sie werden auch lernen, wie man eine Reihe von Encoder-Schicht-Instanzen in PyTorch implementiert. Schließlich werden Sie lernen, wie man Transformator-basierte Modelle für die Textklassifikation verwendet, einschließlich der Erstellung der Textpipeline und des Modells sowie des Trainings des Modells.
Das ist alles enthalten
6 Videos4 Lektüren2 Aufgaben2 App-Elemente1 Plug-in
In diesem Modul lernen Sie Dekoder und GPT-ähnliche Modelle für die Sprachübersetzung kennen, trainieren die Modelle und implementieren sie mit PyTorch. Sie werden auch Kenntnisse über Encoder-Modelle mit bidirektionalen Encoder-Repräsentationen von Transformatoren (BERT) erwerben und diese mit maskierter Sprachmodellierung (MLM) und Vorhersage des nächsten Satzes (NSP) trainieren. Sie werden auch die Datenvorbereitung für BERT mit PyTorch durchführen. Schließlich lernen Sie die Anwendungen von Transformern für die Übersetzung kennen, indem Sie die Architektur von Transformern verstehen und ihre Implementierung in PyTorch durchführen. Die praktischen Übungen in diesem Modul werden Ihnen zeigen, wie Sie das Decoder-Modell, das Encoder-Modell und die Transformatoren für reale Anwendungen nutzen können.
Das ist alles enthalten
10 Videos6 Lektüren4 Aufgaben4 App-Elemente2 Plug-ins
Erwerben Sie ein Karrierezertifikat.
Fügen Sie dieses Zeugnis Ihrem LinkedIn-Profil, Lebenslauf oder CV hinzu. Teilen Sie sie in Social Media und in Ihrer Leistungsbeurteilung.
von
Mehr von Maschinelles Lernen entdecken
DeepLearning.AI
Google Cloud
Status: Kostenloser Testzeitraum
Status: Kostenloser TestzeitraumDeepLearning.AI
Warum entscheiden sich Menschen für Coursera für ihre Karriere?
Bewertungen von Lernenden
81 Bewertungen
- 5 stars
76,82 %
- 4 stars
12,19 %
- 3 stars
3,65 %
- 2 stars
1,21 %
- 1 star
6,09 %
Zeigt 3 von 81 an
Geprüft am 11. Okt. 2024
Once again, great content and not that great documentation (printable cheatsheets, no slides, etc). Documentation is essential to review a course content in the future. Alas!
Geprüft am 17. Nov. 2024
need assistance from humans, which seems lacking though a coach can give guidance but not to the extent of human touch.
Geprüft am 18. Jan. 2025
Exceptional course and all the labs are industry related
Neue Karrieremöglichkeiten mit Coursera Plus
Unbegrenzter Zugang zu 10,000+ Weltklasse-Kursen, praktischen Projekten und berufsqualifizierenden Zertifikatsprogrammen - alles in Ihrem Abonnement enthalten
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich mehr als 3.400 Unternehmen in aller Welt an, die sich für Coursera for Business entschieden haben.
Schulen Sie Ihre Mitarbeiter*innen, um sich in der digitalen Wirtschaft zu behaupten.
Häufig gestellte Fragen
Es dauert nur zwei Wochen, um diesen Kurs zu absolvieren, wenn Sie 3 bis 5 Stunden pro Woche für das Lernen aufwenden.
Es wäre gut, wenn Sie über Grundkenntnisse in Python verfügen und mit Konzepten des maschinellen Lernens und neuronaler Netze vertraut sind. Es wäre von Vorteil, wenn Sie mit Textvorverarbeitungsschritten und N-Gramm-, Word2Vec- und Sequenz-zu-Sequenz-Modellen vertraut sind. Kenntnisse von Evaluationsmetriken wie z.B. der bilingualen Evaluation Understudy (BLEU) sind von Vorteil.
Dieser Kurs ist Teil der Generative AI Engineering Essentials with LLMs PC Spezialisierung. Wenn Sie die Spezialisierung abschließen, werden Sie sich mit den Fähigkeiten und dem Selbstvertrauen vorbereiten, um Jobs wie AI Engineer, NLP Engineer, Machine Learning Engineer, Deep Learning Engineer und Data Scientist anzunehmen.
Weitere Fragen
Finanzielle Unterstützung verfügbar,