关于 llama.cpp REST API 的修改 #8
Description
ggml-org/llama.cpp#10162 修改了 /slots 的返回结果，在 b4027 版本之后，/slots 不再使用 status 而是使用 is_processing 属性来表示某 slot 是否正在工作。因此对于 b4027 版本后的用户，现在的脚本将会认为这些用户的 server 始终没有空闲槽位。虽然实际上不会有太大影响，但是还是尽快修改比较好吧。
{{ message }}
ggml-org/llama.cpp#10162 修改了 /slots 的返回结果，在 b4027 版本之后，/slots 不再使用 status 而是使用 is_processing 属性来表示某 slot 是否正在工作。因此对于 b4027 版本后的用户，现在的脚本将会认为这些用户的 server 始终没有空闲槽位。虽然实际上不会有太大影响，但是还是尽快修改比较好吧。