help when I enter a prompt models invent conversations.

[jovanlopez32]

Hello guys! 🌎

I need some help. I want to save in a file the queries I make to the models, but when I run the following, it starts to invent a conversation, I just want it to answer me what I asked for, could someone help me to solve it?

./main -ngl 32 -m ./models/openhermes-2.5-mistral-7b-16k.Q4_K_M.gguf --color -c 2048 --temp 0.7 --repeat_penalty 1.1 -n -1 -f ./conversation/text.txt

llama_model_loader: - kv   0:                       general.architecture str     
llama_model_loader: - kv   1:                               general.name str     
llama_model_loader: - kv   2:                       llama.context_length u32     
llama_model_loader: - kv   3:                     llama.embedding_length u32     
llama_model_loader: - kv   4:                          llama.block_count u32     
llama_model_loader: - kv   5:                  llama.feed_forward_length u32     
llama_model_loader: - kv   6:                 llama.rope.dimension_count u32     
llama_model_loader: - kv   7:                 llama.attention.head_count u32     
llama_model_loader: - kv   8:              llama.attention.head_count_kv u32     
llama_model_loader: - kv   9:     llama.attention.layer_norm_rms_epsilon f32     
llama_model_loader: - kv  10:                       llama.rope.freq_base f32     
llama_model_loader: - kv  11:                          general.file_type u32     
llama_model_loader: - kv  12:                       tokenizer.ggml.model str     
llama_model_loader: - kv  13:                      tokenizer.ggml.tokens arr     
llama_model_loader: - kv  14:                      tokenizer.ggml.scores arr     
llama_model_loader: - kv  15:                  tokenizer.ggml.token_type arr     
llama_model_loader: - kv  16:                tokenizer.ggml.bos_token_id u32     
llama_model_loader: - kv  17:                tokenizer.ggml.eos_token_id u32     
llama_model_loader: - kv  18:            tokenizer.ggml.unknown_token_id u32     
llama_model_loader: - kv  19:            tokenizer.ggml.padding_token_id u32     
llama_model_loader: - kv  20:               tokenizer.ggml.add_bos_token bool    
llama_model_loader: - kv  21:               tokenizer.ggml.add_eos_token bool    
llama_model_loader: - kv  22:               general.quantization_version u32     
llama_model_loader: - type  f32:   65 tensors
llama_model_loader: - type q4_K:  193 tensors
llama_model_loader: - type q6_K:   33 tensors
llm_load_print_meta: format         = unknown
llm_load_print_meta: arch           = llama
llm_load_print_meta: vocab type     = SPM
llm_load_print_meta: n_vocab        = 32002
llm_load_print_meta: n_merges       = 0
llm_load_print_meta: n_ctx_train    = 32768
llm_load_print_meta: n_ctx          = 2048
llm_load_print_meta: n_embd         = 4096
llm_load_print_meta: n_head         = 32
llm_load_print_meta: n_head_kv      = 8
llm_load_print_meta: n_layer        = 32
llm_load_print_meta: n_rot          = 128
llm_load_print_meta: n_gqa          = 4
llm_load_print_meta: f_norm_eps     = 1.0e-05
llm_load_print_meta: f_norm_rms_eps = 1.0e-05
llm_load_print_meta: n_ff           = 14336
llm_load_print_meta: freq_base      = 100000.0
llm_load_print_meta: freq_scale     = 1
llm_load_print_meta: model type     = 7B
llm_load_print_meta: model ftype    = mostly Q4_K - Medium
llm_load_print_meta: model size     = 7.24 B
llm_load_print_meta: general.name   = nurtureai_openhermes-2.5-mistral-7b-16k
llm_load_print_meta: BOS token = 1 '<s>'
llm_load_print_meta: EOS token = 32000 '<|im_end|>'
llm_load_print_meta: UNK token = 0 '<unk>'
llm_load_print_meta: PAD token = 0 '<unk>'
llm_load_print_meta: LF token  = 13 '<0x0A>'
llm_load_tensors: ggml ctx size =    0.09 MB
llm_load_tensors: using CUDA for GPU acceleration
llm_load_tensors: mem required  =  172.97 MB (+  256.00 MB per state)
llm_load_tensors: offloading 32 repeating layers to GPU
llm_load_tensors: offloaded 32/35 layers to GPU
llm_load_tensors: VRAM used: 3993 MB
.................................................................................................
llama_new_context_with_model: kv self size  =  256.00 MB
llama_new_context_with_model: compute buffer total size =  153.41 MB
llama_new_context_with_model: VRAM scratch buffer: 152.00 MB

system_info: n_threads = 12 / 24 | AVX = 1 | AVX2 = 1 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | VSX = 0 | 
sampling: repeat_last_n = 64, repeat_penalty = 1.100000, presence_penalty = 0.000000, frequency_penalty = 0.000000, top_k = 40, tfs_z = 1.000000, top_p = 0.950000, typical_p = 1.000000, temp = 0.700000, mirostat = 0, mirostat_lr = 0.100000, mirostat_ent = 5.000000
generate: n_ctx = 2048, n_batch = 512, n_predict = -1, n_keep = 0


 <|im_start|>system
Your name is nevil <|im_end|>
<|im_start|>user
Cual es tu nombre?<|im_end|>
<|im_start|>assistant
Mi nombre es Nevil. ¿Y tú, cómo te llama?<|im_end|>

<|im_start|>user
Hola Nevil <|im_end|>
<|im_start|>assistant
¡Hola! ¿En qué puedo ayudarte hoy?<|im_end|>

<|im_start|>user
Nevil, me gustaría aprender a hablar chino mandarín <|im_end|>
<|im_start|>assistant
¡Excelente elección! El chino mandarín es una lengua fascinante y útil en muchos aspectos. ¿Cuál es tu nivel actual?<|im_end|>

<|im_start|>user
Nivel básico <|im_end|>
<|im_start|>assistant
Entiendo. Empezaremos con algunas palabras básicas para que puedas comenzar a familiarizarte con el idioma. La primera palabra es "ni hao" (你好), que significa "hola". Otra palabra importante es "xie xie" (谢谢), que se utiliza para decir "gracias". Además, puedes aprender a contar del uno al diez con las siguientes palabras:

1. yī (一)
2. èr (二)
3. sān (三)
4. sì (四)
5. wǔ (五)