Home-theater-designers
ChatGPT je osvojio tehnološki svijet, a poboljšanja i ažuriranja ne nedostaje. No unatoč korištenju napredne tehnologije, postoji dosta ograničavajućih čimbenika unutar trenutne verzije.
Jedan takav čimbenik je sustav tokena, koji nastavlja prekidati evolucijski ciklus, bacajući uslužne programe aplikacije na koljena. Ako koristite ChatGPT, možda biste željeli znati više o tokenima ChatGPT-a i što učiniti kada vam ponestane tokena.
MAKEUSEOF VIDEO DANA POMICI SE ZA NASTAVAK SA SADRŽAJEM
Vratimo se korak unatrag i pružimo vam uvid u sve što treba znati o temeljnim mehanizmima rada aplikacije.
Što je ChatGPT token?
Ako prođete kroz fasadu aplikacije, sve što vidite je računalni jezik koji sluša vaše naredbe i daje vam odgovore koje tražite. Međutim, pozadina je samo puno koda, učenje svake minute i upoznavanje s pitanjima na koja odgovara.
besplatni filmovi bez registracije ili plaćanja
ChatGPT svaku riječ pretvara u čitljiv token kad god postavite pitanje. Da bismo to dalje raščlanili, tokeni su tekstualni fragmenti, a svaki programski jezik koristi drugačiji skup vrijednosti tokena za razumijevanje zahtjeva.
Budući da računala ne razumiju tekstualne vrijednosti izravno, rastavljaju ih na kombinacije brojeva, koje se često nazivaju ugrađivanjem. Možete čak razmotriti i ugradnje poput Python liste , koji nalikuju popisu povezanih brojeva, kao što je [1.1,2.1,3.1,4.1…n].
Nakon što ChatGPT uzme početni unos, pokušava predvidjeti sljedeći mogući unos na temelju prethodnih informacija. Odabire cijeli popis prethodnih tokena i, koristeći svoju sintezu kodiranja, pokušava spriječiti naknadni unos korisnika. Koristi i predviđa jedan po jedan token kako bi jezik lakše razumio upotrebu.
Kako bi poboljšao predviđanja i poboljšao točnost, preuzima cijeli popis ugrađivanja i prolazi ga kroz transformatorske slojeve kako bi uspostavio asocijacije između riječi. Na primjer, kada postavite pitanje poput 'Tko je Thomas Edison?', ChatGPT bira najvrjednije riječi na popisu: WHO i Edison .
Transformatorski slojevi imaju svoju ulogu u cijelom procesu. Ti su slojevi oblik arhitekture neuronske mreže osposobljene za odabir najrelevantnijih ključnih riječi iz niza riječi. Međutim, proces obuke nije tako jednostavan kao što zvuči, jer je potrebno mnogo vremena za obuku slojeva transformatora na gigabajtima podataka.
koji je najnoviji ipad vani
Iako ChatGPT predviđa samo jedan po jedan token, njegova auto-regresivna tehnologija je programirana za predviđanje i vraćanje u primarni model kako bi se objavio izlaz. Model je podešen da se izvodi samo jednom za svaki token, tako da se rezultat ispisuje jednu po jednu riječ. Izlaz se automatski zaustavlja kada aplikacija naiđe na naredbu stop token.
Na primjer, ako pogledate kalkulator tokena na web stranici ChatGPT, možete izračunati svoju upotrebu tokena na temelju svojih pitanja.
Unesite primjer teksta, kao što je:
How do I explain the use of tokens in ChatGPT?
Prema kalkulatoru, postoji 46 znakova u ovom nizu, koji će potrošiti 13 tokena. Ako ga raščlanite na ID-ove tokena, izgledat će otprilike ovako:
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
Prema OpenAI kalkulator tokena :