TOKENIZER — ARCHIVE

記録

Transformer verstehen — Schritt 1: Tokenizer

Transformer aus Papier — Schritt 1: Der Tokenizer

Tokenizer → Embedding → Pos. …

Transformer verstehen — Schritt 1b: BPE (Byte Pair Encoding)

Schritt 1b: BPE — Byte Pair Encoding

Tokenizer (BPE) → Embedding → Pos. Encoding → …