Kako blokirati OpenAI-jeve alate za indeksiranje da skrapaju vašu web stranicu

Kako blokirati OpenAI-jeve alate za indeksiranje da skrapaju vašu web stranicu
Čitatelji poput vas podržavaju MUO. Kada kupite putem poveznica na našoj stranici, možemo zaraditi partnersku proviziju. Čitaj više.

Dok korisnici vole ChatGPT zbog ogromne količine informacija koje trenutno sadrži, isto se ne može reći za vlasnike web stranica.





MUO Video dana POMICI SE ZA NASTAVAK SA SADRŽAJEM

OpenAI-jev ChatGPT koristi alate za indeksiranje za struganje web-mjesta, ali ako ste vlasnik web-mjesta i ne želite da OpenAI-jev alat za indeksiranje pristupa vašem web-mjestu, evo nekoliko stvari koje možete učiniti kako biste to spriječili.



kako besplatno strujati lokalne kanale

Kako radi indeksiranje OpenAI-jem?

A alat za indeksiranje weba (također poznat kao pauk ili bot tražilice) je automatizirani program koji skenira internet u potrazi za informacijama. Zatim kompilira te informacije na način koji vašoj tražilici može lako pristupiti.





Web pretraživači indeksiraju svaku stranicu svakog relevantnog URL-a, obično se fokusirajući na web stranice koje su relevantnije za vaše upite pretraživanja. Na primjer, pretpostavimo da googlate određenu grešku sustava Windows. Web indeks unutar vaše tražilice skenirat će sve URL-ove s web stranica koje smatra vjerodostojnijima na temu Windows pogrešaka.

OpenAI-jev pretraživač weba zove se GPTBot, a prema OpenAI dokumentacija , davanje GPTBotu pristupa vašem web-mjestu može pomoći u obučavanju AI modela da postane sigurniji i točniji, a može čak pomoći u proširenju mogućnosti AI modela.



Kako spriječiti OpenAI da indeksira vašu web stranicu

Kao i većina drugih alata za indeksiranje weba, GPTBotu se može blokirati pristup vašoj web stranici izmjenom web stranice roboti.txt protokol (poznat i kao protokol za isključivanje robota). Ova .txt datoteka smještena je na poslužitelju web-mjesta i kontrolira kako se alati za indeksiranje i drugi automatizirani programi ponašaju na vašem web-mjestu.

Evo kratkog popisa onoga što robot.txt datoteka može učiniti:



  • Može potpuno blokirati GPTBotu pristup web stranici.
  • GPTBot može blokirati pristup samo određenim stranicama s URL-a.
  • Može reći GPTBotu koje veze može pratiti, a koje ne.

Evo kako kontrolirati što GPTBot može učiniti na vašoj web stranici:

Potpuno blokirajte GPTBotu pristup vašoj web stranici

  1. Postavite datoteku robot.txt , a zatim ga uredite bilo kojim alatom za uređivanje teksta.
  2. Dodajte GPTBot na svoje stranice roboti.txt kako slijedi:
 User-agent: GPTBot 
Disallow: /

Blokirajte GPTBotu pristup samo određenim stranicama

  1. Postavite robot.txt datoteku, a zatim je uredite pomoću željenog alata za uređivanje teksta.
  2. Dodajte GPTBot na svoje stranice roboti.txt kako slijedi:
 User-agent: GPTBot 
Allow: /directory-1/ 
Disallow: /directory-2/

Međutim, imajte na umu da promjena robot.txt datoteka nije retroaktivno rješenje i sve informacije koje je GPTBot možda već prikupio s vaše web stranice neće se moći povratiti.



OpenAI omogućuje vlasnicima web stranica da se isključe iz indeksiranja

Otkako se alati za indeksiranje koriste za obuku modela umjetne inteligencije, vlasnici web stranica traže načine da zadrže privatnost svojih podataka.

Neki se boje da modeli umjetne inteligencije zapravo kradu njihov rad, čak pripisujući manje posjeta web-mjestu činjenici da korisnici sada dobivaju svoje podatke bez da moraju posjetiti njihove web-stranice.

Sve u svemu, želite li u potpunosti blokirati AI chatbotove da skeniraju vaše web stranice, u potpunosti je vaš izbor.

kako podići ruku na sastanku zumiranja