llama : expose n_head and allow setting rope_freq_base

This is useful for supporting dynamic NTK in code that uses llama.cpp.

Author: cebtenzzre

llama.cpp

@@ -8718,6 +8718,10 @@ int llama_n_embd(const struct llama_model * model) {
     return model->hparams.n_embd;
 }
 
+int llama_n_head(const struct llama_model * model) {
+    return model->hparams.n_head;
+}
+
 float llama_rope_freq_scale_train(const struct llama_model * model) {
     return model->hparams.rope_freq_scale_train;
 }
@@ -9621,6 +9625,10 @@ int llama_token_to_piece(const struct llama_model * model, llama_token token, ch
     return 0;
 }
 
+void llama_set_rope_freq_base(struct llama_context * ctx, float freq) {
+    ctx->cparams.rope_freq_base = freq;
+}
+
 struct llama_timings llama_get_timings(struct llama_context * ctx) {
     struct llama_timings result = {
         /*.t_start_ms  =*/ 1e-3 * ctx->t_start_us,

llama.h

@@ -297,6 +297,7 @@ extern "C" {
     LLAMA_API int llama_n_vocab    (const struct llama_model * model);
     LLAMA_API int llama_n_ctx_train(const struct llama_model * model);
     LLAMA_API int llama_n_embd     (const struct llama_model * model);
+    LLAMA_API int llama_n_head     (const struct llama_model * model);
 
     // Get the model's RoPE frequency scaling factor
     LLAMA_API float llama_rope_freq_scale_train(const struct llama_model * model);
@@ -626,6 +627,9 @@ extern "C" {
                                   char * buf,
                                   int    length);
 
+    // Sets rope_freq_base of llama context
+    LLAMA_API void llama_set_rope_freq_base(struct llama_context * ctx, float freq);
+
     //
     // Grammar
     //