20230408 周会纪要

[AlexStocks]

1 Task List

1.1 单机

• P0 CI/CD

  • 1 tar 版本过低的问题 @lqxhub
  • 2 依赖包的链接问题 build.sh @kernelai 验证下断网的情况下是否能够cmake编译；@lqxhub 在 build.sh 中提前把依赖包下载完毕，然后在 cmake 中使用相对路径

• P1 稳定性

  • Arm 平台稳定性验证 arm环境编译兼容性问题踩坑 #1138 AWS 已经在 Arm 上验证过，此任务结束

• P1 性能调优

  • 调优 build: support PGO #1300 编译选项，在编译阶段生成 profile，然后进行调优

• P2 RocksDB 恨水

  • @lqxhub feat:support rocksdb compression_per_level #1365 rocksdb compression_per_level 改进， 默认 l0、l1 不压缩，其它层单独压缩；已经 merge
  • rocksdb: support event listen and export #1288 恨水： RocksDB 观测性数据导出

• P2 Pika 兼容 Redis

  • redis API: role #902 redis API: role
  • info 命令增强 info命令应该带上redis_version信息，否则springboot框架健康监测异常 #948
  • Pipeline 功能改进 咨询问题pipeline #935
  • blpop brpo 命令支持 redis API: support brpop, blpop #114 @Tangruilin
  • Redis move 等命令支持 redis smart client的兼容 #1227 @haohongfan
  • spop 支持 redis API: spop with count #889
  • unlink 命令支持 反馈两个问题 #864
    Support unlink command #892
  • pika支持MULTI和EXEC事务 pika支持MULTI和EXEC事务么？ #499
  • redis API: support commands_duration_seconds_total redis API: support commands_duration_seconds_total #977
  • zset range delete performence sucks redis API: zset range delete performence sucks #1119

• P2 数据同步

  • rsync 去除，添加新的主从同步机制 0401 有待恨水组织一次文档；kvrocks 使用的是 rocks replicator https://github.com/pinterest/rocksplicator 方案；kvrocks 使用的网络框架是 libevent；
  • pika针对essd盘优化，提升社区小企业在使用公有云essd的性能。ceph-like 陈宗志
  • 主从服务器突然不同步了， 但是长时间不恢复， 要重启， 才可以 #933 网络抖动导致主从同步失败：刘振让用户升级到 3.3.6，但用户升级到 3.3.6 仍然出问题
  • Failure with replication (SLAVEOF) #893 Failure with replication (SLAVEOF)：赵名寰给出了有效答复
  • 主从连接断连，无法进行无从同步 #1035 主从连接断连，无法进行无从同步: 刘振让用户升级到 3.3.6，但是没给出原因
  • codis+pika主从同步失败 #1031 codis+pika主从同步失败：刘振给出了有效答复
  • pika_repl_bgworker.cc:254复制线程有时耗时比较久 #1024 pika_repl_bgworker.cc:254复制线程有时耗时比较久：没有有效答复
  • pika主从同步没有同步数据 #1021 pika主从同步没有同步数据: 刘振让用户升级到 3.3.6，但是没给出原因
  • 主从切换原主库同步失败 #1013 主从数据不一致时：执行 slaveof B_ip B_port force 可以强制进行数据全同步
  • pika3.2.9 同步失败 #1009 pika3.2.9 同步失败：通过检查发现是cache-file设置的过高，rsync文件的时候没有足够的内存去fork 进程
  • 请问一下WAL文件和write-buffer-size参数关系 #980 WAL文件和write-buffer-size参数关系
  • pika 丢数据问题 #993 主从同步可能丢失数据，并给出了解决方法 leisurelyrcxf@edf31986d526bf9f12642ca1ab869e057adc738b，但是代码并没有 merge 进 pika 主干
  • v3.2.9使用哨兵进行主从切换，新的slave不能同步master #998 v3.2.9使用哨兵进行主从切换，新的slave不能同步master：没有任何有效回复

• P2 Pika on Mac( or Windows？)

  • Mac Feature: support running on macOS (#1270) #1372
  • Windows 恨水觉得没必要：rocksdb 不支持 windows；推荐使用 windows 上的 wsl

• P2 Pika on S3 恨水

  • 0408：恨水说 Pika 可改成 share disk 架构 @Tangruilin ；恨水觉得开发难度大，且用户切换的难度比较高；

• P2 网络 How do I do UDS? Unix Domain Socket #1018 支持 unix socket domain

1.2 集群

• codis 维护 马鑫

  • 请问下pika_codis这个分支基于哪个版本的pika修改的 #1194
    • 0401 恨水说 codis 还没有合并完整，如果合并完整则 codis 集群已经可用，刘振维护的 codis 没有合并到这个库；
    • 0408 刘振单独维护的 codis，让月财接手相关工作；
    • Is there a tutorial of Pika + Codis？ #1082 pika 与codis 官方原版不兼容的核心问题在于 codis dashboard 发送的一些命令使用事务的语义（获取状态信息）。但其实对于对于pika来说并不太重要。使用codis的兼容版本可以参考branch

• 数据复制

  • A-->B-->C 级联主从关系的问题 #209 多 pika 实例 A->B->C 级联时的数据复制问题
  • 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点 #1001 3.3.3版pika哨兵模式下，一个节点挂掉后，无法重启该节点：没有有效回复

1.3 可观测性

• Metrics

  • 0401 目前重要的任务就是添加 RocksDB 的观测性指标
  • 0408 陈百幍 继续基于 exporter 进行相关工作；baitao 老版本的 exporter 2.0 的指标在 exporter 3.0 中没有了，不保证支持

• Logging

  • log 处理 pstd & net & storage @kernelai

• Tracing

  • P2 接入 OpenTelemetry 洪范

1.4 工具集

• 以往工具集的改进 于雨
  • 相关 issue pika port、pika export 项目迁移到pika仓库 #1230
    * 我把pika从一个服务器迁移到另一个服务器，用pika_port命令报错 #702 把pika从一个服务器迁移到另一个服务器，用pika_port命令报错
• CDC 能力：spark 数据 import 导入
• 跨机房数据同步代理 https://github.com/KernelMaker/pika_hub
• P2 基于 ldb 命令，做一个工具，分析 sst 文件 @Tangruilin

1.5 云原生

• P1 马鑫贡献的主从 operator，月财接入

  • 0408 背景 issue [discuss] pika-operator 需求场景讨论 #1238 ； pika operator 设计 #1236

• rocksdb: supprot blobdb #1286 RocksDB 的 kv 分离 @WyattJia

1.6 质量建设

• P0 单测

  • 单测 刘振已经提交了 pr https://github.com/OpenAtomFoundation/pika/pull/1357，还有待继续改进
  • 可以借鉴 https://github.com/jianqingdu/kedis/tree/master/tests

• P1 压测

  • https://github.com/OpenAtomFoundation/pika/wiki/3.2.x-Performance 文档没有压测方法
  • redis-benchmark failed to fetch config from Pika #645 一个可借鉴的压测方法，使用 redis-benchmark
  • Pika主从延迟问题 #944 Pika主从延迟问题
  • 批量写入PIKA数据丢失问题 #862 批量写入PIKA数据丢失问题
  • pika 无法充分利用资源，性能压不上去 #992 如何高效的压测 Pika：thread-num 最好设置成机器的核数，thread-pool-size 设置为 thread-num 的两倍
  • Pika 3.3.6 存储（HASH）数据，CPU异常 #1038 Pika 3.3.6 存储（HASH）数据，CPU异常：线程池调度有些问题，存在惊群的问题。这个我们已经修复：据刘振回忆，网络队列 来任务时由于使用了 condition 的 notify all 导致了惊群问题，后来改为 notify one 解决了该问题 Qihoo360/pink@e0d4256...83f884c#diff-92f3e13615c33e923d2aae7d9b742e3b8a3d32bfa03c9e2538a59a1bf200423f%EF%BC%9B

• P1 集成测试

• P1 文档

2 Issues & Prs

2.1 prs

• test: add redis test #1357 刘振 单测

  • 0401 第一次提交 pr，还在改进中
  • 0408 继续改进中

• add pika build shell script file #1356 李谦祥 build 脚本改进

  • 0401 第一次提交 pr，有待 于雨 等 review
  • 0408 已经 merge

• test: add operator e2e test #1347 马鑫 e2e 测试

  • 0401 还有待 kvrocks 李闯继续 review
  • 0408 月财接手该工作，在内部进行验证

• clarify the default config setting #1275 恨水 配置文件参数默认初始化；

  • 0401 刘振觉得有些参数不合理，需要继续讨论
  • 0408 继续讨论

• 修复pika在ubuntu环境中退出时rsync没有正常关闭的问题 #1250 Ubuntu 下 rsync 异常问题

  • 0408 恨水接手

• Feature: support running on macOS (#1270) #1372 Pika on Mac

  • 0408 恨水和刘振 review

2.2 issues

• redis API: monitor api broken with redigo-driver #1344 pika 和 redis 协议格式的问题
• 间隙性客户端pika断开 #1367
  • 0408 恨水接手验证
• integrate pika_exporter into pika repo #1336 把 exporter 合入 pika repo
  • 0408 尚未合入
• meta version conflict in heavy set/delete workload #1333 pika blackwidow version 实现是 int32，可能导致数据版本错乱
  • 0408 于雨找阿古跟进
• 关于pika compact时候造成吞吐上限影响业务的优化 #1334 compact 影响性能
  • 0408 需要在 pika 中加入一个 auto compact 配置项，恨水负责
• build: support clang-tidy #1303
  • 0408 在 cmake 中加入编译时候的静态分析告警 ，恨水负责
• codis: support migrate-tools #1302 codis 点对点数据迁移，相关 issue 目前有codis数据迁移到zk版pika的相关工具或项目吗？ #1176
  • 0408 陈百韬 负责，在 codis 之上完成该任务
• build: support LTO #1299 优化 Pika 二进制文件，让符号表更精简，运行更快
  • 0408 恨水完成
• docker: new image base on ubuntu #1298 当前 pika 的 centos 镜像处于荒废状态，需要 centos 和 ubuntu 的新镜像
  • 0408 马鑫 接手
• pika: behind codis, pika should support raw command instead of redis command #1296 在 codis 架构下，proxy 解析一次 redis 协议，pika 再解析一次，属于重复工作
• codis : support etcd/local storage instead of zk #1295 codis 下支持 etcd
• codis: support hash range instead of slotnum #1294 codis 在 codis 下支持 hash 而非 range
• rocsksdb: support sst ingest file import #1292 把数据转换成 sst，然后导入 Pika
• Pika 支持 ACL 多租户功能 #1284 支持 ACL，可参照 Redis 进行权限控制；
• 用pika3.3.6 主从切换以后slaveof xx xx force 不触发数据同步 rsync也没调用起来 [from QQ group] #1265 rsync 数据同步问题
• rsync 进程去除， 全量同步功能设计 #1228 去除 rsync 讨论
• pika: 差异化命令类型API 单元测试用例 #1257 增加针对 pika 独有的命令的ut
• pika perf 性能瓶颈分析 #1239 性能提升
• pika perf 性能瓶颈分析 #1239 pika 架构讨论

补充：0408 过完了 2023 年的所有 issue，下次周会开始 review 2022 年新建的 issue。本次周会时间 19:00 pm ~ 20:30 pm。