250行源码逐行精读pydis asyncio.Protocol异步服务端实现细节全解析【免费下载链接】pydisA redis clone in Python 3 to disprove some falsehoods about performance.项目地址: https://gitcode.com/gh_mirrors/py/pydispydis 是一个用约250 行 Python 编写的 Redis 克隆它基于asyncio.Protocol构建异步服务端实测吞吐量达到 C 语言版 Redis 的约 50%。本文带你逐行拆解这个性能反直觉实验的核心实现事件循环如何驱动连接、RESP 协议如何被解析、14 个常用命令又是怎么用几行代码落地的。 pydis 是什么250 行 Python 复刻 Redis 的动机项目作者在 README.md 中开门见山这是一个证伪实验——用来反驳解释型语言一定慢的性能迷思。作者选择了当时能想到的最快软件之一 Redis 作为克隆对象最终结论是pydis 约等于 Redis 每秒操作数的50%使用 uvloop 事件循环 hiredis 协议解析两个 C 扩展的前提下。整个仓库非常小文件清单一目了然文件作用pydis/__main__.py核心源码260 行含导入服务端全部逻辑requirements.txt依赖清单hiredis、uvloop、matplotlibbenchmark.sh压测脚本对 pydis 和 Redis 各跑 3 轮redis-benchmarkvisualise.py读取csv/下 6 份压测数据计算均值/标准差并生成柱状图csv/pydis_1.csv等各轮压测的原始数据 asyncio.Protocol 异步服务端事件循环驱动的连接模型整个服务端的骨架在 pydis/main.py 末尾的main()函数第 236-254 行流程只有 5 步asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())—— 用 uvloop 替换默认事件循环这是性能提升的关键之一loop.create_server(RedisProtocol, 127.0.0.1, 7878)—— 注册协议类每条客户端连接都会新建一个RedisProtocol实例注释原话Each client connection will create a new protocol instanceloop.run_until_complete(coro)完成服务器启动随后loop.run_forever()无限循环处理事件捕获KeyboardInterrupt后优雅关闭server.close()→wait_closed()→loop.close()。这就是典型的Protocol 回调模型你不需要写任何accept()或read()代码事件循环负责 IO 多路复用只在你关心的时机回调 3 个方法。connection_made拿到 transport 就结束def connection_made(self, transport): self.transport transport连接建立时事件循环把管道transport交给你。pydis 只把它存下来留待回包不做任何握手——Redis 协议是无状态的随时可发命令。data_received整个服务端最精华的 12 行def data_received(self, data: bytes): self.parser.feed(data) while True: req self.parser.gets() if req is False: break else: self.response.append(self.commands[req[0].upper()](*req[1:])) self.transport.writelines(self.response) self.response.clear()这段代码浓缩了 4 个设计要点增量解析self.parser.feed(data)把新到达的字节流喂给 hiredis 解析器。网络数据可能半包/粘包gets()在数据不完整时返回False循环自然退出等下一波数据到来——协议层自动帮你处理了 TCP 分包。命令分发表dispatch table__init__中预建了一个 14 键的字典第 21-36 行把bSET映射到self.com_set等处理方法。self.commands[req[0].upper()]一次哈希查表即完成路由没有 if/elif 链。请求-响应批处理每条命令的返回值RESP 字节串先append进deque循环结束后用transport.writelines()一次性写回减少系统调用次数。无锁单线程模型dictionary和expiration是模块级全局字典因为事件循环保证所有回调都在同一线程执行天然无竞态不需要任何锁。⚡ RESP 协议解析hiredis 带来 C 级速度RESPREdis Serialization Protocol是 Redis 的文本协议pydis 没有手写解析器而是直接调用hiredis.Reader()第 19 行——一个 C 实现的 RESP 解析器通过 Python 绑定使用。这是项目 README.md 中性能声明的一部分Python 负责业务逻辑C 负责热路径解析与事件循环而命令处理代码保持完全地道的 Python 写法。响应编码也很直白每个com_*方法返回现成的 RESP 字节串编码形式含义示例...\r\n简单字符串OK\r\n:...\r\n整数:12\r\n$len\r\ndata\r\n二进制安全字符串$3\r\nfoo\r\n$-1\r\n空值nullGET 不存在的键-...\r\n错误-ERR syntax error\r\n*n\r\n...数组LRANGE 的多元素响应 命令处理逐行精读14 个指令的实现细节SET条件写 过期时间的一次解析com_set第 82-129 行是逻辑最复杂的命令它按参数个数区分 3 种语法SET key value、SET key value NX|XX、SET key value EX seconds | PX milliseconds [NX|XX]。细节上秒级EX直接加到time.monotonic()上毫秒级PX先除以 1000 统一成秒duration 0返回-ERR invalid expire time in set与 Redis 报错一致NX/XX条件判断前必须先做过期驱逐self.evict_if_expired(key)否则已过期但残留的键会让 NX 误判失败——代码注释专门提醒了这一点命中条件失败时返回$-1\r\nnull而不是报错。懒删除evict_if_expired 的两行设计def evict_if_expired(self, key): if key in expiration and expiration[key] time.monotonic(): del dictionary[key] del expiration[key]Redis 采用惰性删除 定期删除混合策略pydis 只保留了惰性删除的一半expiration是defaultdict默认值为float(inf)所以没有过期时间的键查一次哈希即返回无需分支判断。每次读/写前顺手检查一次即可代码量最小且语义正确。INCR 与 LPUSH防御式类型检查每个结构类命令LPUSH/RPUSH/LPOP/RPOP/SADD/HSET/SPOP/LRANGE都遵循同一模板self.get(key, 默认容器)取出键值不存在时拿到空deque/set/dictisinstance校验类型不匹配返回-WRONGTYPE Operation against a key holding the wrong kind of value——与 Redis 的错误文案保持一致这样 redis-cli 等标准客户端不会有任何异样原地操作容器extendleft、add、pop等O(1) 或 O(n) 完成返回整数响应列表长度或新增元素数如 SADD 返回len(set_) - prev_size。com_incr还处理了边界情况键不存在按 0 起步值是 bytes 时尝试int(value)失败则返回-value is not an integer or out of range。LRANGE 与 MSET批量操作的编码技巧com_lrange第 217-226 行用itertools.islice做惰性切片支持负数下标语义交由 int 转换简化处理再用一个生成器表达式把每个元素编码成$len\r\nval\r\n后拼接最外层包上*n\r\n数组头——整个多元素响应只有两行代码。com_mset第 228-233 行则是步长为 2 的 for 循环成对解析key/value后逐个写入最后统一返回OK\r\n。 性能实测pydis 达到 Redis 约 50% 的速度benchmark.sh对两个服务器各执行 3 轮redis-benchmark每命令 10 万次请求、-P 5流水线打包 5 条visualise.py汇总csv/目录下的数据。官方基准结果每命令 10 万请求流水线 5Benchmarkpydisredis比值SET271,947467,3610.582GET274,283467,2370.587INCR213,409478,6690.446LPUSH216,082381,0330.567RPUSH231,143399,2380.579LPOP248,527384,3320.647SADD219,475434,2570.505HSET220,178377,6370.583SPOP288,068477,7050.603MSET125,215195,1210.642LRANGE (100)26,17096,2540.272LRANGE (600)4,70513,8690.339测试环境为 Ubuntu 20.04 Python 3.8.5 Redis 5.0.7。可以看到单值读写类命令比值普遍在 0.5~0.65而需要搬运大响应的 LRANGE 比值跌至 0.27~0.37——Python 对象在内存拷贝上的开销被放大这正好印证了瓶颈在热路径而非语言本身。 如何本地运行 pydis 并复现压测git clone https://gitcode.com/gh_mirrors/py/pydis cd pydis pip install -r requirements.txt python -m pydis看到Serving on (127.0.0.1, 7878)后即可用标准工具对话redis-cli -p 7878 set foo bar # → OK redis-cli -p 7878 incr counter # → 1压测则直接执行仓库内的benchmark.sh再用visualise.py重新生成对比图表。✅ 从 250 行源码中我们能学到什么异步服务端的最小骨架一个 Protocol 类 create_server约 20 行就能撑起一个 TCP 服务connection_made/data_received回调就是事件循环与你的业务代码之间的全部接口。查表优于分支命令字典路由dispatch table让新增命令只需加一个方法 加一行注册。懒删除 无锁全局字典单线程事件循环下Redis 的核心数据结构可以直接用 Python dict/deque/set 表达无需加锁。性能的关键在选对热路径协议解析hiredis和事件循环uvloop交给 C业务代码保持地道 Python——这就是 pydis 能逼近 C 实现一半速度的全部秘密。一致性细节决定像不像与 Redis 逐字一致的错误文案、NX/XX 语义、WRONGTYPE 检查让标准客户端可以无感替换。这个项目的意义不止于跑分它用 250 行可读完的代码证明了解释型语言的慢往往慢在选型而非语法——选对异步模型、把 C 用在刀刃上Python 照样能跑进每分钟几十亿字节的 IO 世界。【免费下载链接】pydisA redis clone in Python 3 to disprove some falsehoods about performance.项目地址: https://gitcode.com/gh_mirrors/py/pydis创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 250行源码逐行精读：pydis asyncio.Protocol异步服务端实现细节全解析
250行源码逐行精读pydis asyncio.Protocol异步服务端实现细节全解析【免费下载链接】pydisA redis clone in Python 3 to disprove some falsehoods about performance.项目地址: https://gitcode.com/gh_mirrors/py/pydispydis 是一个用约250 行 Python 编写的 Redis 克隆它基于asyncio.Protocol构建异步服务端实测吞吐量达到 C 语言版 Redis 的约 50%。本文带你逐行拆解这个性能反直觉实验的核心实现事件循环如何驱动连接、RESP 协议如何被解析、14 个常用命令又是怎么用几行代码落地的。 pydis 是什么250 行 Python 复刻 Redis 的动机项目作者在 README.md 中开门见山这是一个证伪实验——用来反驳解释型语言一定慢的性能迷思。作者选择了当时能想到的最快软件之一 Redis 作为克隆对象最终结论是pydis 约等于 Redis 每秒操作数的50%使用 uvloop 事件循环 hiredis 协议解析两个 C 扩展的前提下。整个仓库非常小文件清单一目了然文件作用pydis/__main__.py核心源码260 行含导入服务端全部逻辑requirements.txt依赖清单hiredis、uvloop、matplotlibbenchmark.sh压测脚本对 pydis 和 Redis 各跑 3 轮redis-benchmarkvisualise.py读取csv/下 6 份压测数据计算均值/标准差并生成柱状图csv/pydis_1.csv等各轮压测的原始数据 asyncio.Protocol 异步服务端事件循环驱动的连接模型整个服务端的骨架在 pydis/main.py 末尾的main()函数第 236-254 行流程只有 5 步asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())—— 用 uvloop 替换默认事件循环这是性能提升的关键之一loop.create_server(RedisProtocol, 127.0.0.1, 7878)—— 注册协议类每条客户端连接都会新建一个RedisProtocol实例注释原话Each client connection will create a new protocol instanceloop.run_until_complete(coro)完成服务器启动随后loop.run_forever()无限循环处理事件捕获KeyboardInterrupt后优雅关闭server.close()→wait_closed()→loop.close()。这就是典型的Protocol 回调模型你不需要写任何accept()或read()代码事件循环负责 IO 多路复用只在你关心的时机回调 3 个方法。connection_made拿到 transport 就结束def connection_made(self, transport): self.transport transport连接建立时事件循环把管道transport交给你。pydis 只把它存下来留待回包不做任何握手——Redis 协议是无状态的随时可发命令。data_received整个服务端最精华的 12 行def data_received(self, data: bytes): self.parser.feed(data) while True: req self.parser.gets() if req is False: break else: self.response.append(self.commands[req[0].upper()](*req[1:])) self.transport.writelines(self.response) self.response.clear()这段代码浓缩了 4 个设计要点增量解析self.parser.feed(data)把新到达的字节流喂给 hiredis 解析器。网络数据可能半包/粘包gets()在数据不完整时返回False循环自然退出等下一波数据到来——协议层自动帮你处理了 TCP 分包。命令分发表dispatch table__init__中预建了一个 14 键的字典第 21-36 行把bSET映射到self.com_set等处理方法。self.commands[req[0].upper()]一次哈希查表即完成路由没有 if/elif 链。请求-响应批处理每条命令的返回值RESP 字节串先append进deque循环结束后用transport.writelines()一次性写回减少系统调用次数。无锁单线程模型dictionary和expiration是模块级全局字典因为事件循环保证所有回调都在同一线程执行天然无竞态不需要任何锁。⚡ RESP 协议解析hiredis 带来 C 级速度RESPREdis Serialization Protocol是 Redis 的文本协议pydis 没有手写解析器而是直接调用hiredis.Reader()第 19 行——一个 C 实现的 RESP 解析器通过 Python 绑定使用。这是项目 README.md 中性能声明的一部分Python 负责业务逻辑C 负责热路径解析与事件循环而命令处理代码保持完全地道的 Python 写法。响应编码也很直白每个com_*方法返回现成的 RESP 字节串编码形式含义示例...\r\n简单字符串OK\r\n:...\r\n整数:12\r\n$len\r\ndata\r\n二进制安全字符串$3\r\nfoo\r\n$-1\r\n空值nullGET 不存在的键-...\r\n错误-ERR syntax error\r\n*n\r\n...数组LRANGE 的多元素响应 命令处理逐行精读14 个指令的实现细节SET条件写 过期时间的一次解析com_set第 82-129 行是逻辑最复杂的命令它按参数个数区分 3 种语法SET key value、SET key value NX|XX、SET key value EX seconds | PX milliseconds [NX|XX]。细节上秒级EX直接加到time.monotonic()上毫秒级PX先除以 1000 统一成秒duration 0返回-ERR invalid expire time in set与 Redis 报错一致NX/XX条件判断前必须先做过期驱逐self.evict_if_expired(key)否则已过期但残留的键会让 NX 误判失败——代码注释专门提醒了这一点命中条件失败时返回$-1\r\nnull而不是报错。懒删除evict_if_expired 的两行设计def evict_if_expired(self, key): if key in expiration and expiration[key] time.monotonic(): del dictionary[key] del expiration[key]Redis 采用惰性删除 定期删除混合策略pydis 只保留了惰性删除的一半expiration是defaultdict默认值为float(inf)所以没有过期时间的键查一次哈希即返回无需分支判断。每次读/写前顺手检查一次即可代码量最小且语义正确。INCR 与 LPUSH防御式类型检查每个结构类命令LPUSH/RPUSH/LPOP/RPOP/SADD/HSET/SPOP/LRANGE都遵循同一模板self.get(key, 默认容器)取出键值不存在时拿到空deque/set/dictisinstance校验类型不匹配返回-WRONGTYPE Operation against a key holding the wrong kind of value——与 Redis 的错误文案保持一致这样 redis-cli 等标准客户端不会有任何异样原地操作容器extendleft、add、pop等O(1) 或 O(n) 完成返回整数响应列表长度或新增元素数如 SADD 返回len(set_) - prev_size。com_incr还处理了边界情况键不存在按 0 起步值是 bytes 时尝试int(value)失败则返回-value is not an integer or out of range。LRANGE 与 MSET批量操作的编码技巧com_lrange第 217-226 行用itertools.islice做惰性切片支持负数下标语义交由 int 转换简化处理再用一个生成器表达式把每个元素编码成$len\r\nval\r\n后拼接最外层包上*n\r\n数组头——整个多元素响应只有两行代码。com_mset第 228-233 行则是步长为 2 的 for 循环成对解析key/value后逐个写入最后统一返回OK\r\n。 性能实测pydis 达到 Redis 约 50% 的速度benchmark.sh对两个服务器各执行 3 轮redis-benchmark每命令 10 万次请求、-P 5流水线打包 5 条visualise.py汇总csv/目录下的数据。官方基准结果每命令 10 万请求流水线 5Benchmarkpydisredis比值SET271,947467,3610.582GET274,283467,2370.587INCR213,409478,6690.446LPUSH216,082381,0330.567RPUSH231,143399,2380.579LPOP248,527384,3320.647SADD219,475434,2570.505HSET220,178377,6370.583SPOP288,068477,7050.603MSET125,215195,1210.642LRANGE (100)26,17096,2540.272LRANGE (600)4,70513,8690.339测试环境为 Ubuntu 20.04 Python 3.8.5 Redis 5.0.7。可以看到单值读写类命令比值普遍在 0.5~0.65而需要搬运大响应的 LRANGE 比值跌至 0.27~0.37——Python 对象在内存拷贝上的开销被放大这正好印证了瓶颈在热路径而非语言本身。 如何本地运行 pydis 并复现压测git clone https://gitcode.com/gh_mirrors/py/pydis cd pydis pip install -r requirements.txt python -m pydis看到Serving on (127.0.0.1, 7878)后即可用标准工具对话redis-cli -p 7878 set foo bar # → OK redis-cli -p 7878 incr counter # → 1压测则直接执行仓库内的benchmark.sh再用visualise.py重新生成对比图表。✅ 从 250 行源码中我们能学到什么异步服务端的最小骨架一个 Protocol 类 create_server约 20 行就能撑起一个 TCP 服务connection_made/data_received回调就是事件循环与你的业务代码之间的全部接口。查表优于分支命令字典路由dispatch table让新增命令只需加一个方法 加一行注册。懒删除 无锁全局字典单线程事件循环下Redis 的核心数据结构可以直接用 Python dict/deque/set 表达无需加锁。性能的关键在选对热路径协议解析hiredis和事件循环uvloop交给 C业务代码保持地道 Python——这就是 pydis 能逼近 C 实现一半速度的全部秘密。一致性细节决定像不像与 Redis 逐字一致的错误文案、NX/XX 语义、WRONGTYPE 检查让标准客户端可以无感替换。这个项目的意义不止于跑分它用 250 行可读完的代码证明了解释型语言的慢往往慢在选型而非语法——选对异步模型、把 C 用在刀刃上Python 照样能跑进每分钟几十亿字节的 IO 世界。【免费下载链接】pydisA redis clone in Python 3 to disprove some falsehoods about performance.项目地址: https://gitcode.com/gh_mirrors/py/pydis创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考