Vort-Ero-igo

Ĉina: 分词 (fēncī) = 分 (dividi) + 词 (vorto)

Fundamenta klarigo: En AKo, Vort-Ero-igo estas la unua paŝo kie:

1. Teksto dispartiĝas en etaj unuoj (tokenoj)
2. Ĉiu ero ricevas numeran reprezenton
3. La strukturo konserviĝas por posta analizo

Kial gravas por AKo?

• Permesas al la sistemo "vidi" tekston kiel matematikan enigon
• Difinas la bazon por ĉiuj postaj operacioj
• Malbonaj erigoj povas rompi la komprenadon

Ekzemplo: "Mi lernas Esperanton" → ["Mi", "lernas", "Esperanton"]

Diskut-temo: Ĉu AKo bezonas malsamajn erig-regulojn por malsamaj lingvoj?