-
Notifications
You must be signed in to change notification settings - Fork 978
Translation chapter 7 #938
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Changes from 12 commits
6b5a6f9
d13ac2d
ade28a8
2a10e3b
1c9d20a
bfe0baf
abd846c
3b79756
5681ee4
a759450
1bd8547
9026c66
8d7fd41
444d4f4
ea4af07
9724363
8d66477
e61e11e
2550453
0904819
6f98827
e5722ca
1b93f33
0cea075
7e95b1f
16a2692
9ebc1a0
c312f44
219c04d
092e1cc
827ac06
c117018
d483391
c4efd99
d44c2fd
6da5dde
dc3c3d2
4be802f
6f50a71
39e6d0a
a836cf0
0829b0d
baa99ea
e82e833
bb0aeac
3f8f37d
3a3bb89
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
Original file line number | Diff line number | Diff line change | ||||
---|---|---|---|---|---|---|
@@ -0,0 +1,38 @@ | ||||||
<FrameworkSwitchCourse {fw} /> | ||||||
|
||||||
# Introducere[[introduction]] | ||||||
|
||||||
<CourseFloatingBanner | ||||||
chapter={7} | ||||||
classNames="absolute z-10 right-0 top-0" | ||||||
/> | ||||||
|
||||||
În [Capitolul 3](/course/chapter3), ați văzut cum să faceți fine-tune unui model pentru clasificarea textului. În acest capitol, vom aborda următoarele sarcini NLP: | ||||||
|
||||||
- Clasificarea tokenilor | ||||||
- Masked language modeling (precum BERT) | ||||||
- Sumarizare | ||||||
- Traducere | ||||||
- Preantrenare pentru causal language modeling (precum GPT-2) | ||||||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more.
Suggested change
|
||||||
- Răspunderea la întrebări | ||||||
There was a problem hiding this comment. Choose a reason for hiding this commentThe reason will be displayed to describe this comment to others. Learn more.
Suggested change
|
||||||
|
||||||
{#if fw === 'pt'} | ||||||
|
||||||
Pentru a face acest lucru, va trebui să valorificați tot ceea ce ați învățat despre API-ul `Trainer` și biblioteca 🤗 Accelerate în [Capitolul 3](/course/chapter3), biblioteca 🤗 Datasets în [Capitolul 5](/course/chapter5) și biblioteca 🤗 Tokenizers în [Capitolul 6](/course/chapter6). De asemenea, vom încărca rezultatele noastre în Model Hub, așa cum am făcut în [Capitolul 4](/course/chapter4), astfel încât acesta este cu adevărat capitolul în care totul se unește! | ||||||
|
||||||
Fiecare secțiune poate fi citită independent și vă va arăta cum să antrenați un model cu API-ul `Trainer` sau cu propria buclă de antrenament, utilizând 🤗 Accelerate. Nu ezitați să săriți peste oricare dintre cele două părți și să vă concentrați pe cea care vă interesează cel mai mult: API-ul `Trainer` este excelent pentru fine-tuning sau antrenarea modelului vostru fără a vă face griji cu privire la ceea ce se întâmplă în spatele scenei, în timp ce bucla de antrenament cu `Accelerate` vă va permite să personalizați mai ușor orice parte doriți. | ||||||
|
||||||
{:else} | ||||||
|
||||||
Pentru a face acest lucru, va trebui să valorificați tot ceea ce ați învățat despre API-ul `Trainer` și biblioteca 🤗 Accelerate în [Capitolul 3](/course/chapter3), biblioteca 🤗 Datasets în [Capitolul 5](/course/chapter5) și biblioteca 🤗 Tokenizers în [Capitolul 6](/course/chapter6). De asemenea, vom încărca rezultatele noastre în Model Hub, așa cum am făcut în [Capitolul 4](/course/chapter4), astfel încât acesta este cu adevărat capitolul în care totul se unește! | ||||||
|
||||||
Fiecare secțiune poate fi citită independent. | ||||||
|
||||||
{/if} | ||||||
|
||||||
|
||||||
<Tip> | ||||||
|
||||||
Dacă citiți secțiunile în succesiune, veți observa că acestea au destul de mult cod și proză în comun. Repetarea este intenționată, pentru a vă permite să intrați (sau să reveniți mai târziu) la orice sarcină care vă interesează și să găsiți un exemplu. | ||||||
|
||||||
</Tip> |
Large diffs are not rendered by default.
Large diffs are not rendered by default.
Large diffs are not rendered by default.
Large diffs are not rendered by default.
Large diffs are not rendered by default.
Large diffs are not rendered by default.
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,34 @@ | ||
# Înțelegerea LLM-urilor[[mastering-llms]] | ||
|
||
<CourseFloatingBanner | ||
chapter={7} | ||
classNames="absolute z-10 right-0 top-0" | ||
/> | ||
|
||
Dacă ați ajuns până aici în curs, felicitări – acum aveți toate cunoștințele și instrumentele necesare pentru a aborda (aproape) orice sarcină de procesare a limbajului cu 🤗 Transformers și ecosistemul Hugging Face! | ||
|
||
## De la NLP la LLM-uri | ||
|
||
Deși am acoperit multe sarcini tradiționale de NLP în acest curs, domeniul a fost revoluționat de Modelele Mari de Limbaj (LLM-uri). Aceste modele au extins dramatic ceea ce este posibil în procesarea limbajului: | ||
|
||
- Pot gestiona mai multe sarcini fără fine-tuning specific pentru fiecare sarcină | ||
- Excelează la urmarea instrucțiunilor și adaptarea la contexte diferite | ||
- Pot genera text coerent și adecvat contextului pentru diverse aplicații | ||
- Pot realiza raționamente și rezolva probleme complexe prin tehnici precum chain-of-thought prompting | ||
|
||
Abilitățile fundamentale de NLP pe care le-ați învățat sunt în continuare esențiale pentru a lucra eficient cu LLM-urile. Înțelegerea tokenizării, a arhitecturilor de modele, a metodelor de fine-tuning și a metricilor de evaluare vă oferă cunoștințele necesare pentru a valorifica la maximum potențialul LLM-urilor. | ||
|
||
Am văzut o mulțime de data collators, așa că am făcut acest mic videoclip pentru a vă ajuta să găsiți cel pe care să îl utilizați pentru fiecare sarcină: | ||
|
||
<Youtube id="-RPeakdlHYo"/> | ||
|
||
După finalizarea acestui tur fulger prin sarcinile de bază ale procesării limbajului, ar trebui să: | ||
|
||
* Știți care arhitecturi (encoder, decoder sau encoder-decoder) sunt cele mai potrivite pentru fiecare sarcină | ||
* Înțelegeți diferența dintre preantrenarea și fine-tuning-ul unui model lingvistic | ||
* Știți cum să antrenați modele Transformer folosind fie API-ul `Trainer` și funcționalitățile de antrenare distribuită ale 🤗 Accelerate, fie TensorFlow și Keras, în funcție de traseul pe care l-ați urmat | ||
* Înțelegeți semnificația și limitele metricilor precum ROUGE și BLEU pentru sarcinile de generare de text | ||
* Știți cum să interacționați cu modelele voastre ajustate, atât pe Hub, cât și folosind `pipeline` din 🤗 Transformers | ||
* Să apreciați modul în care LLM-urile se bazează pe și extind tehnicile tradiționale de NLP | ||
|
||
În ciuda tuturor acestor cunoștințe, va veni un moment în care fie veți întâlni un bug dificil în codul vostru, fie veți avea o întrebare despre cum să rezolvați o anumită problemă de procesare a limbajului. Din fericire, comunitatea Hugging Face este aici pentru a vă ajuta! În ultimul capitol al acestei părți a cursului, vom explora cum puteți depana modelele Transformer și cum puteți solicita ajutor în mod eficient. |
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.