what's the replacement of llama_set_rng_seed now?

[shadow3aaa]

LLAMA_API void llama_set_rng_seed(struct llama_context * ctx, uint32_t seed); was removed in df270ef, so what's the replacement of that?

[ngxson]

It's moved to sampling API, can be set with llama_sampler_init_dist or any other llama_sampler_init_* that have it.

llama.cpp/include/llama.h

Lines 1063 to 1097 in f355229

	// Sampling API
	//
	// Sample usage:
	//
	// // prepare the sampling chain at the start
	// auto sparams = llama_sampler_chain_default_params();
	//
	// llama_sampler * smpl = llama_sampler_chain_init(sparams);
	//
	// llama_sampler_chain_add(smpl, llama_sampler_init_top_k(50));
	// llama_sampler_chain_add(smpl, llama_sampler_init_top_p(0.9, 1));
	// llama_sampler_chain_add(smpl, llama_sampler_init_temp (0.8));
	//
	// // typically, the chain should end with a sampler such as "greedy", "dist" or "mirostat"
	// // this sampler will be responsible to select the actual token
	// llama_sampler_chain_add(smpl, llama_sampler_init_dist(seed));
	//
	// ...
	//
	// // decoding loop:
	// while (...) {
	// ...
	//
	// llama_decode(ctx, batch);
	//
	// // sample from the logits of the last token in the batch
	// const llama_token id = llama_sampler_sample(smpl, ctx, -1);
	//
	// // accepting the token updates the internal state of certain samplers (e.g. grammar, repetition, etc.)
	// llama_sampler_accept(smpl, id);
	// ...
	// }
	//
	// llama_sampler_free(smpl);
	//