# cn_sort
按拼音和笔顺精确、快速排序大量简体中文词组（支持百万数量级，简体中文与非中文混用的词组也可），有效解决多音字混排的问题。
# 依赖
运行python版本：
+ 3.6+
本项目涉及以下依赖：
+ jieba
+ pypinyin
# 安装
pip安装命令：
```shell
pip install cn_sort --upgrade
```
如果提示缺少依赖，运行以下命令：
```shell
pip install -r requirements.txt
```
# 使用
## 入门
基本用法如下：
```python
from cn_sort.process_cn_word import *
if __name__ == "__main__":
# 先按拼音，再按笔顺排序
text_list = ["重心", "河水", "重庆", "河流", "WTO世贸组织"] # 待排序的中文词组列表
result_text_list = list(sort_text_list(text_list, mode=Mode.pinyin)) # mode=Mode.pinyin可以不写
print(result_text_list)
# 输出：
# ['WTO世贸组织', '重庆', '河流', '河水', '重心']
# 只按笔顺排序
text_list = ["二", "重要", "三", "一二", "一", "22", "1", "a", "重庆"] # 待排序的中文词组列表
a = list(sort_text_list(mode=Mode.bihua))
print(a)
# 输出：
# ['1', '22', 'a', '一', '一二', '二', '三', '重庆', '重要']
```
## 设置输出日志级别
```python
from cn_sort.process_cn_word import *
if __name__ == "__main__":
set_stdout_level("CRITICAL") # 日志级别：DEBUG、INFO、WARN、ERROR、CRITIAL
```
# 构思
cn_sort库的核心思想是基数排序，思想类似这篇提到的对英文单词的排序： [Java 实现 单词排序———基数排序](https://www.jianshu.com/p/3331930a90bf) 。
cn_sort库排序分两种模式：
* 模式一（默认）：对词从左往右逐字先对比拼音排序，当拼音相同时再对比笔顺的排序方式，如`["唯依","唯衣","唯一","啊"]`排序为`["啊","唯一", "唯衣", "唯依"]`。
* 模式二：对词从左往右逐字对比笔顺排序，如`["三","二","一","一二"]`排序为`["一","一二", "二", "三"]`。
cn_sort库分为词组量少（排序方式一）与词组量多（排序方式二）的排序方式，这两种方式默认的词组量阈值为1000000。模式一分排序方式一与排序方式二，模式二只采用排序方式一。
核心算法位于./cn_sort/process_cn_word.py。
## 排序方式一
cn_sort库当词组量少时，包含最基本的排序功能。
对于模式一的基本思想如下图：
<div align="center">
<img src="https://github.com/bmxbmx3/cn_sort/blob/master/readme_pic/%E8%AF%8D%E7%BB%84%E9%87%8F%E5%B0%91.png" width="60%"/>
<br>词组量少时的排序思想</br>
<br></br>
</div>
①每个词用pypinyin转化为拼音二维组。
②各字按其拼音和笔顺查表，转化为优先级二维组（列数以所有词的最大长度为界，短于该长度的词末尾补0）
③从最低位往最高位，对优先级二维数组纵向采用python的tim排序，横向采用基数排序。
④查表，将优先级二维数组恢复为排序好的词组。
对于模式二，只需把词组拆成字，再按笔顺转换成对应的优先级二维组即可，原理同上。
## 排序方式二
cn_sort库当词组量多时，采用多进程提高运算速度。先将词组量按cpu数-1来分段，用cpu数-1个生产者进程处理这分段后的词组量，为了提高运行速度，采用jieba分割并过滤出重复的词元，最后将这些词元放于1个消费者进程中，按词组量少时的情况排序，最后再按每个词间的'\n'
定位标志，重新恢复成排序好的词组。大体构思如下：
<div align="center">
<img src="https://github.com/bmxbmx3/cn_sort/blob/master/readme_pic/%E8%AF%8D%E7%BB%84%E9%87%8F%E5%A4%9A.png" width="60%"/>
<br>词组量多时的排序思想</br>
<br></br>
</div>
为了便于对多进程处理中文排序的理解，我这里写了一个demo：
```python
from multiprocessing import *
from multiprocessing.pool import Pool
from openpyxl import Workbook
from time import *
# 这里替换为生产者与消费者进程，包括中文排序
def write_to_excel(num_split):
index = num_split[0] # 第index个进程
num_list = num_split[1] # 顺序分割后的数据量
# 写入文件
wb = Workbook()
ws = wb.create_sheet("newSheet")
for i in range(len(num_list)):
ws.cell(row=i + 1, column=1).value = num_list[i]
wb.save('test' + str(index) + '.xlsx')
print("正在生成第" + str(index + 1) + "个文件")
if __name__ == "__main__":
# 计算程序运行时间
start_time = time()
# 原始数据
num = list(range(1, 10000000 + 1))
# 分割数据量
n = 100
num_split = []
quotient, remainder = divmod(len(num), n)
for i in range(n):
first_index = i * quotient
end_index = (i + 1) * quotient if i < n - 1 else None
temp = num[first_index:end_index]
num_split.append([i, temp])
# 多进程处理数据（耗尽cpu算力）
cpu_n = cpu_count() # 获取cpu数，控制进程量
pool = Pool(cpu_n)
for i in range(n):
pool.apply_async(func=write_to_excel, args=(num_split[i],))
pool.close()
pool.join()
end_time = time()
print("耗时" + str(end_time - start_time))
```
在这个demo基础上，cn_sort库增添了生产者与消费者进程，以及进程间的通信。
当多进程任务切换频繁出现错误时，应将程序入口放在`if __name__=="__main__":`下执行，除此以外，sort_text_list函数的freeze参数应设置为True：
```python
if __name__ == "__main__":
set_stdout_level("INFO")
sort_text_list(["992", "3.", "2.", "重庆", "人民", "Awsl"] * 1000000, freeze=True)
# 一百万词组量排序输出
# 2021-03-02 16:36:45,611 - all - INFO - get_text_spit_list函数运行时间为0.182560s
# 2021-03-02 16:36:48,230 - all - INFO - get_word_dict函数运行时间为0.222509s
# 2021-03-02 16:37:00,198 - all - INFO - 分词进程1已切割8个不重复的词
# 2021-03-02 16:37:00,314 - all - INFO - 分词进程9已切割8个不重复的词
# 2021-03-02 16:37:00,327 - all - INFO - 分词进程5已切割8个不重复的词
# 2021-03-02 16:37:00,389 - all - INFO - 分词进程3已切割8个不重复的词
# 2021-03-02 16:37:00,390 - all - INFO - 分词进程10已切割8个不重复的词
# 2021-03-02 16:37:00,397 - all - INFO - 分词进程2已切割8个不重复的词
# 2021-03-02 16:37:00,417 - all - INFO - 分词进程4已切割8个不重复的词
# 2021-03-02 16:37:00,490 - all - INFO - 分词进程11已切割8个不重复的词
# 2021-03-02 16:37:00,493 - all - INFO - 分词进程6已切割8个不重复的词
# 2021-03-02 16:37:00,558 - all - INFO - 分词进程7已切割8个不重复的词
# 2021-03-02 16:37:00,598 - all - INFO - 分词进程8已切割8个不重复的词
# 2021-03-02 16:37:00,598 - all - INFO - 分词总结果为7个不重复的词
# 2021-03-02 16:37:02,306 - all - INFO - multiprocess_split_text_list函数运行时间为16.693209s
# 2021-03-02 16:37:02,308 - all - INFO - hadle_seged_text_word函数运行时间为0.000000s
# 2021-03-02 16:37:02,448 - all - INFO - sort_text_list函数运行时间为18.033616s
```
## 设置词组量阈值
如果你要更改使用排序方式一与排序方式二之间的词组量阈值，可对sort_text_list函数的threshold参数进行调整：
```python
if __name__ == "__main__":
set_stdout_level("INFO")
sort_text_list(["992", "人民", "Awsl"] * 100000, freeze=True, threshold=5000)
# 所处理的词组量为3*100000=300000，大于阈值5000，此时cn_sort采用排序方式二
```
## 注意
pypinyin会将一个字的不同声调标注为这种形式：�
cn_sort-0.7.3.tar.gz （14个子文件） 
cn_sort-0.7.3 
PKG-INFO 25KB setup.cfg 85B setup.py 4KB cn_sort.egg-info PKG-INFO 25KB
requires.txt 15B SOURCES.txt 301B top_level.txt 8B dependency_links.txt 1B README.md 21KB cn_sort res logging.conf 910B all_word.json 3.91MB __init__.py 74B decorator.py 1KB process_cn_word.py 18KB资源评论
挣扎的蓝藻
- 粉丝: 14w+
- 资源: 15万+
最新资源
- 图形配置运动控制软件框架Demo 开发语言：C# 1.图形可放大缩小，任意位置摆放，工具增删改； 2.参数加载，另存为，保存； 3.仿真界面显示，程序可增删改； 4.目前适配SMC-604控制器
- Matlab通信边缘计算通信仿真 雷达跟踪算法matlab 跟踪滤波：卡尔曼滤波、扩展卡尔曼滤波、无迹卡尔曼滤波 matlab遗传算法粒子群路径规划算法改进
- 狼群算法求解柔性车间调度matlab版 有源码提供学习 可直接运行
- lunwen复现基于改进人工鱼群法的机器人，无人机，无人车，无人船的路径规划算法，MATLAB 在基本算法中加入了自适应视野和步长，加入了启发选择机制 该代码运行结果是那四个栅格地图的一个，只包含I
- 永磁同步电机直接公式法计算，它是将MTPA和弱磁结合起来应用，弱磁方法选择的是公式法（直接计算法） 包括直接法弱磁控制基本原理、实现方法及仿真 最最重要的提供从内环到外环电流环的仿真步骤，各个参数
- 三相逆变器之下垂控制?负载突变分析 图一控制阶跃信号为0.7 图二整体结构控制图 图三负载突变时，电流幅值发生变化曲线图 图四负载突变时，功率发生变化曲线图
- 灰狼算法优化支持向量机（GWO- VMD） 1、适合新手学习使用、保证运行哦 2、GWOSVM，gwosvm 适合新手学习，研究程序，代码很齐全 3、注释也很多，（matlab）程序哦 4、带入接带
- 光伏逆变器低电压穿越仿真模型，boost加NPC拓扑结构，基于MATLAB Simulink建模仿真 具备中点平衡SVPWM控制，正负序分离控制，pll，可进行低电压穿越仿真 仿真模型使用MATL
- 交错并联Boost PFC仿真电路模型 采用输出电压外环，电感电流内环的双闭环控制方式 交流侧输入电流畸变小，波形良好，如效果图所示 simulink仿真 matlab simulink仿真模型
- 永磁同步电机最大转矩电流比控制MTPA，id=0控制仿真及其对比，可帮助更好理解其区别 MTPA单位电流产生最大的输出扭矩，或者具有相同转矩情况下该电流幅值最小，该控制方法相对电流小=可以减小电机损
- comsol固态纳米孔稳态仿真
- STM32单片机指纹密码锁仿真 仿真程序 功能： 1.键盘解锁 2.指纹解锁 3.可修改密码 3.蜂鸣器 警报 4.LED灯 5.LCD显示屏 资料（源码 proteus仿真电路 演示视频）
- 西门子PID程序西门子PLC 1200和多台G120西门子变频器Modbud RTU通讯，带西门子触摸屏，带变频器参数 Modbus通讯报文详细讲解，PID自写FB块无密码可以直接应用到程序，PID带
- 光伏系统+boost电路+单相spwm逆变并网仿真 直流母线电压400V 输出交流电压220V 负载可调 THD小于5% 纹波小 simulink
- 基于yolov5的布匹缺陷检测（含源码和数据集）
- 永磁同步电机超前角弱磁控制，抵抗负载扰动，切弱磁的过程较为平滑，主要原理是通过电压反馈，得到偏转角度theta，并通过id=iscos（theta）的方式控制弱磁电流 该弱磁控制为一个多闭环系统，由
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
