WAL超过50G限制导致后续写入操作拒绝问题

[cerasumat]

您好，目前我们在线上3C3D集群（均为8核16G）节点，进行批量写入操作过程中，发生写入操作被拒绝的问题。
iotdb版本为1.2.0

StatementExecutionException:org.apache.iotdb.rpc.StatementExecutionException: 606: The write is rejected because the wal directory size has reached the threshold 53687091200 bytes. You may need to adjust the flush policy of the storage engine or the IoTConsensus synchronization parameter

Meet error when async insert!
org.apache.iotdb.rpc.BatchExecutionException: 302: The write is rejected because the wal directory size has reached the threshold 53687091200 bytes. You may need to adjust the flush policy of the storage engine or the IoTConsensus synchronization parameter;

---

目前与WAL相关的参数配置均使用的默认值：

• wal_buffer_size_in_byte=33554432 # 32MB
• wal_buffer_queue_capacity=500
• wal_file_size_threshold_in_byte=31457280 # 30MB
• wal_min_effective_info_ratio=0.1
• wal_memtable_snapshot_threshold_in_byte=8388608 # 8MB
• max_wal_memtable_snapshot_num=1
• delete_wal_files_period_in_ms=20000
• iot_consensus_throttle_threshold_in_byte=53687091200 # 50GB
• iot_consensus_cache_window_time_in_ms=-1 # default 10s

与IoTConsensus相关的参数也都是默认值。

---

请问：

1. 参数配置中的target_chunk_size默认1MB，根据描述是memtable大小超过1MB就flush落库；另一个参数wal_memtable_snapshot_threshold_in_byte默认8MB，根据描述是超过8MB以后WAL来flush落库，这两个参数的关系如何理解？
2. 我们每次写入批量为100-500条序列，这个数据量是否合理？
3. 造成WAL不能正常flush及删除，以及极度不平衡的原因是什么？3个节点上WAL文件分别为48个，133个，1027个？
4. 我们的场景写操作大于读操作，是否可以优化下列参数？
   

---

非常感谢。

[CritasWang]

首先建议更新版本，有修复一系列关于 wal 的问题
关于问题

1. target_chunk_size 是指落成 tsfile 后里面每一个 chunk 的大小，这个与 tsfile 的文件内容有关，wal_memtable_snapshot_threshold_in_byte 是指 wal的 memtable（内存表）的缓存大小，到达后会写入wal文件中
2. 合理，除了序列数，还需要考虑行数。综合来说 行*列控制字啊一定范围内，比如 100 列 1000 行
3. WAL不能正常flush及删除是由于一些低版本的bug，比如 wal 被意外的 pin 住，比如被节点间数据同步阻塞，三个节点 wal 数量不同原因是因为 看dataregion 的 leader 分配是否均匀，以及不同测点的写入量是否相同。另外也跟副本同步的速度相关
4. 内存控制可以调整分配比例，第二个参数的配置个数跟默认的值的个数一致。关于flush_proportion，这个是可以调整的，但调整后的效果需要进行试验，不同场景会不一样

[SteveYurongSu]

新版本不会出写 WAL 超出限制的问题了