Skip to content

跟踪: LoRA  #13

@ziwang-com

Description

@ziwang-com

ggml-org/llama.cpp#964
以下是 LoRA 的一些未决问题:

基本实现 (ggml-org/llama.cpp#820)
使用 SIMD (AVX, AVX2) 缩短 LoRA 应用时间 (ggml-org/llama.cpp#956)
在基本模型上使用 MMAP 缩短 LoRA 加载时间
量化已应用 LoRA 的 MMAPed float16 基本模型
权重插值(从 1 开始,查看多个)(ggml-org/llama.cpp#905)
将加载的模型导出到二进制文件(在带有LoRA(标志)的CLI中独立;交互式(?))(--export-lorahttps://github.com/ggml-org/llama.cpp/issues/904)
研究为任意模型提取 LoRA(请参阅 huggingface/peft#312)

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions