Уведомлять о нехватке размера контекста

[Deviaphan]

Не знаю, есть ли об этом информация от ollama, но возникла неприятная неприятность.
Передавал на обработку слишком большую функцию, не по количеству строк-символов (буквально на пол экрана всего), а с большим числом "токенов": большие выражения с большим числом аргументов в формулах. Ииии... ничего. Чат говорит, предоставьте код функции. Если копирую код в окно чата, то этот текст молча не отправляется.
Если отправить меньший объём кода, то обрабатывает. Увеличил в настройках контекст до 32КБ и небольшая фукнция полностью обработалась.
Если есть возможность, хорошо бы явно писать, что размера контекста недостаточно и надо либо уменьшить объём запроса, либо использовать модель с бОльшим контекстом. В идеале, писать размер контекста, требуемый для запроса.

[lsoft]

имеешь ввиду, сделать вот так?

[Deviaphan]

Да. Если эта ошибка как-то внутренне диагностируется, чтобы вообще на все ошибки это не вылазило. Можно не как диалог, а просто в вывод чата писать уведомление.

[lsoft]

Надо посмотреть, как реагирует OpenAI на такую ситуацию. Возможно, эксцепшен вертает, тогда порешаю проблему. Гляну, что можно сделать.

В целом, с токенами беда, так как разные ЛЛМ по разному токенизируют и имея в руках текст промта совсем непонятно, влезет он в контекст или нет. Поэтому я перестраховываюсь и считаю 1 токен = 1 символ, что тоже хрень, но лучше, чем ничего.

[Deviaphan]

Если лимит превышен, то выдаётся ошибка или всё-равно пытается выполнить запрос? Если блокируется, то хотелось бы опцию, отключающую проверку (или переводящую в режим предупреждения о возможной проблеме, а не блокирование работы).
Пока пробовал только модели qwen-coder с 16-32КБ контекстом. Поставил deepcoder или как-то так называется со 160КБ контекстом, но пока не тестировал. И там размер модели всего 10ГБ, есть сомнения в качестве работы. Не хотелось бы от qwen отказываться из-за маленького размера контекста, который может и не маленький, если они токены как-то иначе считают.

[lsoft]

Если лимит превышен, то выдаётся ошибка или всё-равно пытается выполнить запрос

полагаю это зависит от собственно LLM. KoboldCpp вроде как пытается что-то ответить, даже если контекст превышен, хотя и предупреждает В КОНСОЛИ о проблемах с контекстом; другой оператор LLM может и ошибку кидать; нет никакого стандартного контракта как LLM реагирует на превышение размера контекста.

Тут я никак не влияю, я лишь дергаю OpenAI API, который к тому же далек от идеала...

Я даже не могу посчитать сколько токенов весит промпт, так как для этого нужна программа-токенизатор, а для разных LLM она разная и OpenAI API не содержит метода "дай мне число токенов по тексту промпта".

Таким образом, я:

1. считаю 1 символ = 1 токен
2. могу лишь оценивать промпт по этому критерию, показывать ворнинг как на скриншоте и отправлять запрос в LLM, в надежде на лучшее =)

Так что, вероятно, я тут сделал всё, что мог (см. скриншот), если у тебя нет идей получше =)

[Deviaphan]

Наверное, тогда лучше ничего не менять, от диалога будет только больше раздражения, если ложные срабатывания будут.

Удивило, что при превышении контексте ollama вообще никак не отрабатывает. Ожидал, что лишнее обрежет и выдаст неполный ответ или ещё как-то. Хотя, это же ещё и от конкретной модели зависит? Тот же qwen сразу ответ пишет, а у deepseek сперва "рассуждения" выдаются, а потом ответ.
Не надо уведомлять, просто поумерю аппетиты и буду держать в уме, что в контекст надо умещаться.

[Deviaphan]

Я даже не могу посчитать сколько токенов весит промпт

А для поля "Add new items to context" со стороны плагина какие-то проверки есть на размер и содержимое текста? Я пытался вставить кусок кода с комментариями и не отправляется. Если комментарии удалить, то даже больший рамер кода отправляется в контекст. Там весь файл 1.5 килобайта, а у меня включена модель со 160КБ контекстом (в настройках плагина тоже 163840 указал).
И сразу там же "баг", у поля "Add new items to context" нет скроллбара, если текст не влезает в экран, то невозможно прокрутить.

[lsoft]

у поля "Add new items to context" нет скроллбара, если текст не влезает в экран, то невозможно прокрутить.

вроде есть скроллбар, если я правильно тебя понял:

дай скриншот проблемы плз

[Deviaphan]

Вот для нижнего поля, где зелёный плюсик. Где не файлы добавляешь, а именно текст вставляешь.

[lsoft]

оно же растягивается и даже длинная строка переносится. дай скриншот плз.

[Deviaphan]

Да, переносится, растягивается, и не влезает и скрывает окно чата. И там же вторая ошибка, что я вот отправить контекст не могу, закрываю чат, создаю новый и в этом поле оказыается тот текст, который я не смог в прошлый чат добавить. Про это отдельную пробелму создам :)