El preset usa \p{L}+ con g y u sobre texto multilingüe.
L significa letras Unicode
Incluye alfabetos más allá de ASCII.
Los límites de palabra son otra regla
Una secuencia de letras no es un tokenizador local.
Unicode
Busca letras de varios alfabetos con bandera Unicode.
El preset usa \p{L}+ con g y u sobre texto multilingüe.
Incluye alfabetos más allá de ASCII.
Una secuencia de letras no es un tokenizador local.