Transformer on neuroon-võrgu arhitektuur, mille Google tutvustas 2017. aastal artiklis „Attention is All You Need”. See on suurte keelemudelite (GPT, Claude, Gemini) ja enamiku tänapäeva generatiivse AI alus.
Kuidas transformer töötab?
Transformeri süda on tähelepanumehhanism (attention): mudel kaalub, millised sõnad tekstis on üksteisega kõige rohkem seotud, ja mõistab nii konteksti. Erinevalt varasematest mudelitest töötleb transformer kogu teksti korraga (paralleelselt), mitte sõna-sõnalt — see tegi võimalikuks treenimise tohutul andmehulgal.
Miks see oluline on?
Transformer käivitas kogu praeguse AI-buumi. Ilma selleta poleks ChatGPT-d, Claude’i ega pildigeneraatoreid. Nimi „GPT” tähendabki Generative Pre-trained Transformer.