why?

[alph4b3th]

por qual motivo, decidiram criar uma lib de tensores em vez de usar as lib C pytorch?

[goerch]

To support quantization formats?

[alph4b3th]

pytorch suporta quantização: https://pytorch.org/docs/stable/quantization.html

[alph4b3th]

O máximo suportado parece ser int8bits, enquanto a lib em c suporta int2bits

"PyTorch suporta quantização INT8 em comparação com os modelos FP32 típicos, permitindo uma redução de 4x no tamanho do modelo e uma redução de 4x na largura de banda da memória"

[alph4b3th]

Originalmente, os modelos LLAMA são escritos em pytorch. Na documentação do pytorch, a menor precisão é de 8 bits, enquanto as precisões do GGML.C alcançam 2-bits ~ 32-bits (parece suportar 64-bits, mas não tenho certeza). Sua resposta foi útil para que eu pudesse entender essa diferença de precisões, realmente era um detalhe que eu deixei passar. Vou deixar esta discussão aberta, para mais devs comentarem aqui, talvez acrescentarem algo.