MicroTokenizer

A micro tokenizer for Chinese

Installation

In a virtualenv (see these instructions if you need to create one):

pip3 install microtokenizer

Dependencies

PyPI page
pypi.org/project/microtokenizer
Project JSON
piwheels.org/project/microtokenizer/json
Versions
54
Files
52
Downloads (all time)
loading...
Downloads (last 30 days)
loading...

Releases

Version Released Bookworm
Python 3.11		 Trixie
Python 3.13		 Files
0.21.3 2024-10-18    
0.21.2 2021-09-28
0.21.1 2021-09-28
0.21.0 2021-09-28
0.20.4 2021-08-31
0.20.3 2021-08-31
0.20.2 2021-07-16
0.20.1 2021-07-16
0.20.0 2021-07-16
0.19.2 2020-07-08
0.19.1 2020-07-08
0.19.0 2018-12-13
0.18.0 2018-10-16
0.17.4 2018-09-25
0.17.3 2018-09-25
0.17.2 2018-09-25
0.17.1 2018-09-25
0.17.0 2018-09-23
0.16.0 2018-09-23
0.15.2 2018-09-20
0.15.1 2018-09-20
0.15.0 2018-09-20
0.14.1 2018-09-07
0.14.0 2018-09-07
0.13.1 2018-09-03
0.13.0 2018-09-03
0.12.1 2018-09-02
0.11.1 2018-09-01
0.11.0 2018-09-01
0.10.0 2018-09-01
0.9.0 2018-09-01
0.8.0 2018-08-28
0.7.11 2018-08-19
0.7.10 2018-08-19
0.7.9 2018-08-19
0.7.8 2018-08-19
0.7.6 2018-08-19
0.1.7.6 2018-08-19
0.1.7.5 2018-08-19
0.1.7.4 2018-08-18
0.1.7.3 2018-08-18
0.1.7.2 2018-08-18
0.1.7.1 2018-08-18
0.1.7 2018-08-16
0.1.6.3 2018-08-14
0.1.6.2 2018-08-14
0.1.6.1 2018-08-14
0.1.6 2018-08-13
0.1.5.1 2018-08-12
0.1.5 2018-08-12
0.1.4 2018-08-12
0.1.2 2018-08-06
0.1.1 2018-07-18
0.1.0 2018-07-13

Issues with this package?

Key

Build succeeded
Build failed
Build skipped
Build pending
Build succeeded; file since deleted

Page last updated 2026-09-03 00:49:18 UTC