类库
› tokenizers
huggingface/tokenizers
Hugging Face推出的高性能分词库，专为研究和生产环境优化。支持多种模型和硬件，提供Python等语言的绑定，用于自然语言处理中的文本预处理。
标签
技术栈
bindings/node rust
代码规范
Prettier
^2.8.3
查看全部依赖 (5)
依赖
napi
3
napi-derive
3
开发依赖
@napi-rs/cli
^3.6.2
@taplo/cli
^0.5.2
typescript
^5.0.0
bindings/python/tools/stub-gen rust
查看全部依赖 (1)
依赖
pyo3-introspection
0.29
tokenizers rust
查看全部依赖 (7)
开发依赖
ahash
0.8.12
assert_approx_eq
1.1
criterion
0.8
serde_json
1.0
tempfile
3.27
tracing
0.1
tracing-subscriber
0.3.23
tokenizers/bitcannon rust
查看全部依赖 (1)
依赖
ahash
0.8
tokenizers/bitmap_gen rust
查看全部依赖 (1)
依赖
unicode-properties
0.1
tokenizers/tk-convert rust
查看全部依赖 (4)
依赖
bitcannon
0.1.0-dev.0
serde_json
1.0
thiserror
2
tokenizers-release
=0.23.2
tokenizers/tk-encode rust
查看全部依赖 (18)
依赖
ahash
0.8.12
bitcannon
0.1.0-dev.0
dary_heap
0.3.9
indicatif
0.18
itertools
0.15
log
0.4
memchr
2.8.3
paste
1.0.15
ptr_hash
2.0.2
rand
0.10
rayon
1.12
rayon-cond
0.4
spm_precompiled
0.1.4
thiserror
2
unicode-normalization-alignments
0.1
unicode-segmentation
1.13
unicode_categories
0.1
wide
1.6.1
tokenizers/tk-serialize rust
查看全部依赖 (6)
依赖
base64
0.22
bitcannon
0.1.0-dev.0
hifijson
0.5.0
tk-encode
0.1.0-dev.0
开发依赖
criterion
0.8
tk-convert
tokenizers/tk-train rust
查看全部依赖 (2)
开发依赖
assert_approx_eq
1.1
tempfile
3.10
