-
Notifications
You must be signed in to change notification settings - Fork 3
Open
Description
ggml-org/llama.cpp#964
以下是 LoRA 的一些未决问题:
基本实现 (ggml-org/llama.cpp#820)
使用 SIMD (AVX, AVX2) 缩短 LoRA 应用时间 (ggml-org/llama.cpp#956)
在基本模型上使用 MMAP 缩短 LoRA 加载时间
量化已应用 LoRA 的 MMAPed float16 基本模型
权重插值(从 1 开始,查看多个)(ggml-org/llama.cpp#905)
将加载的模型导出到二进制文件(在带有LoRA(标志)的CLI中独立;交互式(?))(--export-lorahttps://github.com/ggml-org/llama.cpp/issues/904)
研究为任意模型提取 LoRA(请参阅 huggingface/peft#312)
Metadata
Metadata
Assignees
Labels
No labels