Generative pre-trained transformer

Architektura GPT

Generative pre-trained transformer, zkratka GPT, česky Generativní předtrénovaný transformátor, je typ velkého jazykového modelu, který funguje jako umělá neuronová síť, založená na architektuře transformerů.

První veřejně dostupnou verzí byl GPT-3, následován GPT-3.5, který je používán v bezplatné verzi ChatGPT a byl trénován na datech do roku 2021.[1] V placené verzi je dostupná robustnější verze GPT-4, která má i přístup k internetu.

Pojem je používán i jako název produktů, které slouží pro interakci člověka a počítače, jako například ChatGPT (od firmy OpenAI pro obecné účely)[2] či EinsteinGPT (od firmy Salesforce pro řízení vztahů se zákazníky).[3] Technologie je používání pro funkcionalitu dalších nástrojů, jako je Copilot od GitHub.

Odkazy

Reference

  1. What is ChatGPT? | OpenAI Help Center. help.openai.com [online]. [cit. 2023-08-17]. Dostupné online. (anglicky) 
  2. ChatGPT. openai.com [online]. [cit. 2023-08-17]. Dostupné online. (anglicky) 
  3. MARCH 7; 2023. Salesforce Announces Einstein GPT, the World’s First Generative AI for CRM. Salesforce [online]. 2023-08-16 [cit. 2023-08-17]. Dostupné online. (anglicky) 

Média použitá na této stránce

Full GPT architecture.svg
Autor: Původní dílo: Marxav, Vektorizace: Mrmw, Licence: CC0
The full architecture of a generative pre-trained transformer (GPT) model
 
Function with trainable parameters
 
Function without trainable parameters
 
Transformer block
 
Function activated during inference, inactive during training