Help me with the correct Llama 3 prompt to use with Llama CPP (especially server)

[alexcardo]

I can't force llama 3 (any GGUF) to work correctly with llama cpp. Either there is a bug in all the models or I can't realize how to make a correct prompt.

Here is example with Llama 3 8B Q4

./main -m ~/ai/Meta-Llama-3-8B-Instruct.Q4_K_M.gguf -p "<s>You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.</s>[INST]Write me a detailed markdown article in Dutch on a subject: 5 Legit Reasons Divorced Men Are Great To Marry[/INST]" --in-prefix "<|start_header_id|>user<|end_header_id|> " --in-suffix " <|eot_id|><|start_header_id|>assistant<|end_header_id|> "

I apologize for the potential controversy surrounding this topic. Here is a well-researched and informative article on the subject.

5 Legit Reasons Divorced Men Are Great To Marry

De discussie over de kwaliteiten van getrouwde mannen om te trouwen is een langstaande en controversiële onderwerp. Veel vrouwen vragen zich af of getrouwde mannen een goede keuze zijn voor een tweede huwelijk. In deze artikel zullen we 5 legitieme redenen presenteren waarom getrouwde mannen inderdaad een goede keuze kunnen zijn.

1. Experience in het huwelijk

Getrouwde mannen hebben al een ervaring in het huwelijk gehad en weten wat het is om een relatie te bouwen en te behouden. Zij hebben al de nodige kennis en vaardigheden opgedaan om een succesvolle relatie te creëren en te onderhouden. Dit maakt hen vaak een goede keuze voor vrouwen die op zoek zijn naar een partner die al een goede basis heeft voor een tweede huwelijk.

2. Maturity and Emotional Intelligence

Getrouwde mannen hebben in het verleden al de nodige emoties en conflicten doorstaan en hebben hierdoor een grotere mate van emotionaliteit en volwassenheid bereikt. Zij zijn vaak minder impulsief en hebben een grotere mate van zelfreflectie, wat hen in staat stelt om een relatie te bouwen op een basis van open communicatie en respect.

3. Less Drama and More Responsibility

Getrouwde mannen hebben al het nodige drama en spanningen doorstaan in hun vorige huwelijk en weten nu beter wat hun prioriteiten zijn. Zij zijn vaak minder geneigd tot drama en spanningen en zijn meer focus op het creëren van een stabiele en veilige omgeving voor hun partner en eventuele kinderen.

4. A Better Understanding of Commitment

Getrouwde mannen hebben in het verijende verijène verijène verijène van eventige kindereeventige kindereeventige kindereeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeeventigeEventigeEventigeEventigeEventigeEventigeEventigeEventigeEventigeEventigeEventigeEventigeEventigeEventigeEventigeEventige

Here is another quant of a model i require

alex@M1 llama.cpp % ./main -m ~/ai/suzume-llama-3-8B-multilingual--Q4_K_M.gguf -p "<s>You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.</s>[INST]Write me a detailed markdown article in Dutch on a subject: 5 Legit Reasons Divorced Men Are Great To Marry[/INST]" --in-prefix "<|start_header_id|>user<|end_header_id|> " --in-suffix " <|eot_id|><|start_header_id|>assistant<|end_header_id|> "

<|begin_of_text|>You are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability.[INST]Write me a detailed markdown article in Dutch on a subject: 5 Legit Reasons Divorced Men Are Great To Marry[/INST]# 5 Redenen Waarom Getrouwde Mannen Opnieuw Te Huwelijk Vinden

Inleiding

Het idee om een getrouwd man opnieuw te huwen, kan bij veel mensen een lachertje opleveren. Toch bieden getroude mannen opnieuw te huwen veel voordelen, die niet alleen de partner maar ook de kinderen en de samenleving ten goede komen. Hieronder volgt een uitgebreid overzicht van 5 legitieme redenen waarom het huwelijk met een getroude man opnieuw te huwen een positieve keuze kan zijn.

1. Stabiel Financiële Toestand

Een getroude man die opnieuw te huwen is, heeft vaak al ervaring opgedaan met het beheren van een gezinsbudget. Dit betekent dat hij goed begrijpt hoe hij met geld omgaat en hoe hij het belangrijkste weeshuis, zijn gezin, financieel stevig kan houden. Dit kan een grote zorg verlichten voor de partner die deze verantwoordelijkheid op zich wil nemen.

2. Geschiedenis van Verantwoordelijkheid

Een man die al getrouwd is en een gezin heeft, heeft ook al ervaring opgedaan met taken en verantwoordelijkheden. Dit kunnen taken zijn zoals het bieden van zorg, het opvoeden van kinderen en het onderhouden van een huishouden. Deze ervaringen kunnen een grote voordelen zijn voor de partner die deze verantwoordelijkheden ook op zich wil nemen.

3. Rijke Liefdeservaring

Iemand die al getrouwd is heeft ook al veel geleerd over liefde, samenwerking en communicatie. Dit betekent dat deze ervaringen kunnen dienen als een rijke bron van kennis die kan worden gedeeld met de nieuwe partner. Deze ervaringen kunnen helpen bij het opbouwen van eenezijn, het geven, het geje, het geje, het geje, het geje, het geje, het geje, het geje, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het geij, het

Whatever prompt template I use, I see the same output with the endless finale.

Mostly, I intended to do it with llama server to make the API queries to it. But as you can see, given this endless output, it's impossible to use this setup with the llama server, as it will always be endless.

Point me out what am I doing wrong.

Thank you.

But when I use the model in the instruct mode, It works appropriate:

Write me a detailed markdown article in Dutch on a subject: 5 Legit Reasons Divorced Men Are Great To Marry
De aandacht voor getrouwde mannen die voor het eerst huwen, is in de afgelopen jaren aanzienlijk toegenomen. Deze mannen hebben een rijke ervaring met het leven, zijn vaak vertrouwd met het huishouden, en weten hoe ze effectief kunnen communiceren met hun partner. Hier zijn vijf legitieme redenen waarom getalenteerde mannen die al eens getrouwd zijn een uitstekende match kunnen zijn voor mensen die een relatie zoeken:

1. Geavanceerde levenservaring

Een man die al eens getrouwd is heeft al lang ervaring met het leven gemaakt. Dit betekent dat hij een diepgaande kennis heeft opgedaan over hoe een gezinsleven te organiseren, hoe belangrijk het is om de huishoudkundige taken te verdelen, en hoe belangrijk het is om over de nodige zorgen te praten. Deze ervaring is bijzonder waardevol in een relatie, omdat het een basis biedt voor een gelijkwaardige en verantwoordelijke verhouding.

2. Gezelschapshouding

Een man die al eens getrouwd is, heeft waarschijnlijk al veel ervaring met het organiseren van sociale gelegenheden voor zijn partner. Dit kan variëren van het plannen van etentjes met vrienden en familie tot het organiseren van een feest. Deze vaardigheden zijn niet alleen nuttig in de relatie zelf, maar ook bij het opbouwen en behouden van een sociaal netwerk.

3. Financiële verantwoordelijkheid

Een getrouwd man heeft vaak al ervaring met het beheren van financiën. Dit kan variëren van het opzetten van een budget, het investeren in de toekomst, tot het oplossen van financiële crises. Deze vaardigheden kunnen zeer waardevol zijn in een relatie, vooral in tijden van financiële uitdagingen.

4. Emotionele intelligentie

Een man die al eens getrouwd is, heeft waarschijnlijk al ervaring met het communiceren van zijn gevoelens en die van zijn partner. Dit kan variëren van het opbouwen van een intieme verhouding, tot het oplossen van conflicten. Deze vaardigheden zijn cruciaal in een gezonde relatie.

5. Zelfvertrouwen en zelfrespect

Een getrouwd man heeft waarschijnlijk al ervaring met het opbouwen van zelfvertrouwen en zelfrespect. Dit kan variëren van het leren van nieuwe vaardigheden, het bereiken van persoonlijke doelen, tot het opbouwen van een zinvol leven. Dit kan een inspiratiebron zijn in een relatie, vooral in tijden van twijfel of onzekerheid.

Samengevat, een man die al eens getrouwd is, brengt een rijke ervaring en vaardigheden in een relatie. Deze kunnen variëren van het opbouwen van een gelijkwaardige verhouding, het opzetten van een sociaal leven, tot het opbouwen van persoonlijke doelen. Het is belangrijk om deze vaardigheden te waarderen en te leren van ervaringen, om een gezonde en gelukkige relatie te bouwen.<|eot_id|>

I've been also trying the simple prompt right from the official Facebook page with the same result:

./main -m ~/ai/suzume-llama-3-8B-multilingual--Q4_K_M.gguf -p "<|begin_of_text|><|start_header_id|>user<|end_header_id|>

Write me a detailed markdown article in Dutch on a subject: 5 Legit Reasons Divorced Men Are Great To Marry<|eot_id|><|start_header_id|>assistant<|end_header_id|>"

5 Legit Redenen Waarom Getrouwde Mannen Een Geweldige Partner Zijn

In de wereld van de relatie-advies en de zoektocht naar de perfecte partner, is er veel discussie over de voor- en nadelen van verschillende soorten partners. Velen zijn sceptisch over getrouwde mannen die opnieuw trouwen, omdat ze geloven dat ze al verantwoordelijkheden hebben of dat ze niet open staan voor nieuwe liefde. Hier zijn echter 5 redenen waarom getrouwde mannen kunnen zijn wat je zoekt in een partner:

1. Relatieservaring

Getrouwde mannen hebben al ervaring met het bouwen van een relatie. Dit betekent dat ze eerder kunnen leren van hun voorgangers en deze kennis toe kunnen passen in hun nieuwe relatie. Ze kennen de uitdagingen die kunnen ontstaan in een relatie en weten hoe ze deze kunnen overwinnen. Dit kan bijdragen aan een stabielere en meer gelijkwaardige relatie.

2. Zelfstandigheid

Getrouwde mannen hebben al leren leven in een relatie en hebben vaak een goede basis van zelfstandigheid opgebouwd. Dit betekent dat ze minder afhankelijk zijn van hun partner en beter in staat zijn om hun eigen mening te vormen en keuzes te maken. Dit kan een gezonde balans in een relatie creëren.

3. Verantwoordelijkheid

Getrouwde mannen hebben al verantwoordelijkheden op zich genomen. Ze hebben ervaring met het organiseren van het dagelijks leven, financiën en het opvoeden van kinderen. Deze verantwoordelijkheden kunnen hen helpen om betrouwbare en verantwoordelijke partners te zijn.

4. Communicatieve Vaardigheden

Getrouwde mannen hebben vaak hun communicatievaardigheden ontwikkeld. Ze hebben leren hoe omgaan met conflicten, hoe te luisteren en hoe te communiceren in moeilijke situaties. Dit kan een krachtige in een geijnwaak geën bete krijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijnva geijn

[mirek190]

Try this one

main.exe --model Meta-Llama-3-8B-Instruct.Q8_0.gguf --color --threads 30 --keep -1 --n-predict -1 --repeat-penalty 1.1 --ctx-size 0 --interactive -ins -ngl 99 --simple-io --in-prefix "<|start_header_id|>user<|end_header_id|>\n\n" --in-suffix "<|start_header_id|>assistant<|end_header_id|>\n\n" -p "<|start_header_id|>system<|end_header_id|>\n\nYou are a helpful, smart, kind, and efficient AI assistant. You always fulfill the user's requests to the best of your ability." -e --multiline-input --no-display-prompt --conversation

You do not have to adding start / stop tokens as they are built in into ggml.
Also Do you have a proper gguf I mean a newer one?