20230513周会纪要 #1500
AlexStocks
started this conversation in
Weekly meeting
20230513周会纪要
#1500
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
-
1 单机
P0 CI/CD
P0 数据同步
rsync 去除,添加新的主从同步机制 rsync 进程去除, 全量同步功能设计 #1228
用pika3.3.6 主从切换以后slaveof xx xx force 不触发数据同步 rsync也没调用起来 [from QQ group] #1265 rsync 数据同步问题
pika针对essd盘优化,提升社区小企业在使用公有云essd的性能。ceph-like 陈宗志
pika 实例硬盘容量满,清理数据后,pika仍然保持错误的状态,需要重启才能恢复 #1150 刘振:pika 实例硬盘容量满,清楚数据后,pika仍然保持错误的状态,需要重启才能恢复,方案:在辅助线程里增加容量检查
A-->B-->C 级联主从关系的问题 #209 多 pika 实例 A->B->C 级联时的数据复制问题
主从服务器突然不同步了, 但是长时间不恢复, 要重启, 才可以 #933 网络抖动导致主从同步失败:刘振让用户升级到 3.3.6,但用户升级到 3.3.6 仍然出问题
3.3.3版pika哨兵模式下,一个节点挂掉后,无法重启该节点 #1001 3.3.3版pika哨兵模式下,一个节点挂掉后,无法重启该节点:没有有效回复
主从连接断连,无法进行无从同步 #1035 主从连接断连,无法进行无从同步: 刘振让用户升级到 3.3.6,但是没给出原因
codis+pika主从同步失败 #1031 codis+pika主从同步失败:刘振给出了有效答复
pika_repl_bgworker.cc:254复制线程有时耗时比较久 #1024 pika_repl_bgworker.cc:254复制线程有时耗时比较久:没有有效答复
pika主从同步没有同步数据 #1021 pika主从同步没有同步数据: 刘振让用户升级到 3.3.6,但是没给出原因
主从切换原主库同步失败 #1013 主从数据不一致时:执行 slaveof B_ip B_port force 可以强制进行数据全同步
pika3.2.9 同步失败 #1009 pika3.2.9 同步失败:通过检查发现是cache-file设置的过高,rsync文件的时候没有足够的内存去fork 进程
请问一下WAL文件和write-buffer-size参数关系 #980 WAL文件和write-buffer-size参数关系
pika 丢数据问题 #993 主从同步可能丢失数据,并给出了解决方法 leisurelyrcxf@edf31986d526bf9f12642ca1ab869e057adc738b,但是代码并没有 merge 进 pika 主干
v3.2.9使用哨兵进行主从切换,新的slave不能同步master #998 v3.2.9使用哨兵进行主从切换,新的slave不能同步master:没有任何有效回复
主从同步失败(Rsync send file failed) #1065 Rsync 主从同步失败,用户问题没解决,其中一个用户:关闭master pika进程,kill掉rsync进程,删除dbsync目录,重启pika,我这么做解决了
3.3.6支持slaveof ip port [write2file-name] [write2file-pos] [force]命令吗? #1058 用户:3.3.6支持slaveof ip port [write2file-name] [write2file-pos] [force]命令吗?官方没有回答。
启动pika时有报错:pika_binlog_transverter.cc:191] Binlog Item type error, expect type:1 actualy type: 0 #1057 用户:启动pika时有报错:pika_binlog_transverter.cc:191] Binlog Item type error, expect type:1 actualy type: 0 章俊回复:报错的实例存在padding items。padding items是该节点以slave身份运行时,全量同步master数据产生的(从节点全量同步完成之后,会将自己本地已有binlog填充0,直到全同步点位为止)。下次读取数据(比如,作为master,同步数据给slave),一旦读到该同步点位之前的数据就会产生该报错。这个问题,已经通过引入snapshot point修复,但尚未提交。目前解决方式是:1)若为slave,重新强制全量同步。2)若为master,使其余slave强制全量同步
切主以后,主从同步失败,一直报错。 #1106 用户:切主以后,主从同步失败,一直报错。刘振:主从切换时,由于有部分binlog slave没有获得,因此master slave的binlog在当时是不相同的。对于pika设计这个命令的时候,考虑到这是个严重问题,需要人为介入。因此需要slaveof masterIp masterPort --force才能强制新slave 全同步。对于想忽略这个问题,直接自动全同步,pika需要给出一个开关选项(默认关闭),在管理员已知的的情况下,可以自动强制全同步。这部分功能需求,需要参考下redis的设计。 恨水:后面优化考虑引入主写入限速,不能超过过长落后。
v3.3.5版Docker镜像,使用一段时间后执行LPUSH提示磁盘空间不足,实际是有空间的 String没问题 #938 磁盘溢出后,只能重启 RocksDB的问题: rocksdb本身需要额外的空间做compact,如果compact期间遇到了空间不足的错误,除非重启,否则状态不会清除,这个是rocksdb的设计问题。后续升级rocksdb等社区优化
P1 多平台支持
P1 性能调优
P2 RocksDB 恨水
rocksdb: support event listen and export #1288 恨水: RocksDB 观测性数据导出
动态配置sst文件大小 #1129 恨水+bitstring: 动态配置sst文件大小
feat: ratelimiter support auto tune #1374 ratelimiter support auto tune,对 rocksdb compaction 进行限速,防止影响rw
P2 Pika on S3 恨水
Pika On BlobDB rocksdb: supprot blobdb #1286
P2 Pika 兼容 Redis
Support unlink command #892
相关 pr fix: set expire timestamp #1413
P2 网络 How do I do UDS? Unix Domain Socket #1018 支持 unix domain socket @yq
P2 依赖库
2 集群
codis 维护 马鑫,月财
分片模式
3 可观测性
Metrics
Logging
Tracing
4 工具集
5 云原生
P1 马鑫贡献的主从 operator,lyc/姚胤楠 接入
P1 docker 马鑫 、姚胤楠
6 质量建设
P0 单测
P1 压测 cjg
P1 集成测试
P1 文档
7 社区
7.1 开源之夏
7.2 members
luky116
#1230
#1288
luky116
#1115
Beta Was this translation helpful? Give feedback.
All reactions