v1.0.6 исправление багов

Author: anyks

ChangeLog.md

@@ -1,5 +1,7 @@
 # [Change Log](https://github.com/anyks/asc/archive/release.tar.gz)
 
+## [1.0.6](https://github.com/anyks/asc/archive/v1.0.6.tar.gz) Bug fixes
+
 ## [1.0.5](https://github.com/anyks/asc/archive/v1.0.5.tar.gz) Bug fixes
 
 ## [1.0.4](https://github.com/anyks/asc/archive/v1.0.4.tar.gz) Bug fixes

alm

@@ -9,7 +9,7 @@
 // Название языковой модели
 #define ANYKS_ASC_NAME "asc"
 // Версия приложения
-#define ANYKS_ASC_VERSION "1.0.5"
+#define ANYKS_ASC_VERSION "1.0.6"
 // Версия словаря
 #define ANYKS_ASC_DICT_VERSION "1.0.0"
 // Автор приложения

app/asc.hpp

@@ -54,7 +54,6 @@ namespace anyks {
 			enum class options_t : u_short {
 				debug,    // Флаг режима отладки
 				bloom,    // Флаг разрешающий использовать фильтр Блума
-				nopython, // Флаг запрещающий инициализацию питона
 				stemming, // Флаг активации стемминга
 				onlytypos // Флаг исправления только опечаток
 			};
@@ -115,7 +114,7 @@ namespace anyks {
 			// Идентификатор конца строки
 			wchar_t elid;
 			// Флаги параметров
-			bitset <5> options;
+			bitset <4> options;
 			// Размер эмбеддинга
 			u_short sizeEmbedding = 0;
 			// Количество вариантов для анализа

include/dict.hpp

@@ -229,13 +229,13 @@ void anyks::ASCb::read() noexcept {
 			// Если опции языковой модели получены
 			if(optionsAlm > 0){
 				// Получаем опции языковой модели
-				bitset <5> options = optionsAlm;
+				bitset <4> options = optionsAlm;
 				// Если установлена опция - использования только слов из белого списка
-				if(options.test(2)) this->alm->setOption(alm_t::options_t::onlyGood);
+				if(options.test(1)) this->alm->setOption(alm_t::options_t::onlyGood);
 				// Если установлена опция - детектирования слова из смешанных словарей
-				if(options.test(3)) this->alm->setOption(alm_t::options_t::mixdicts);
+				if(options.test(2)) this->alm->setOption(alm_t::options_t::mixdicts);
 				// Если установлена опция - разрешающая загружать n-граммы из arpa так-как они есть
-				if(options.test(4)) this->alm->setOption(alm_t::options_t::confidence);
+				if(options.test(3)) this->alm->setOption(alm_t::options_t::confidence);
 			}
 			// Если список пользовательских токенов получен
 			if(!userTokensAlm.empty()){
@@ -1229,17 +1229,17 @@ void anyks::ASCb::info() const noexcept {
 			// Если опции языковой модели получены, устанавливаем
 			if(optionsAlm > 0){
 				// Получаем опции языковой модели
-				bitset <5> options = optionsAlm;
+				bitset <4> options = optionsAlm;
 				// Если установлена опция - использования только слов из белого списка
-				if(options.test(2)) info.append("* Only good words: YES\r\n");
+				if(options.test(1)) info.append("* Only good words: YES\r\n");
 				// Если опция не установлена
 				else info.append("* Only good words: NO\r\n");
 				// Если установлена опция - детектирования слова из смешанных словарей
-				if(options.test(3)) info.append("* Mix words in dicts: YES\r\n");
+				if(options.test(2)) info.append("* Mix words in dicts: YES\r\n");
 				// Если опция не установлена
 				else info.append("* Mix words in dicts: NO\r\n");
 				// Если установлена опция - разрешающая загружать n-граммы из arpa так-как они есть
-				if(options.test(4)) info.append("* Confidence arpa: YES\r\n\r\n");
+				if(options.test(3)) info.append("* Confidence arpa: YES\r\n\r\n");
 				// Если опция не установлена
 				else info.append("* Confidence arpa: NO\r\n\r\n");
 			}

src/ascb.cpp

@@ -537,13 +537,13 @@ void anyks::Dict::setALM(alm_t * alm) noexcept {
 			// Добавляем альтернативное слово
 			this->alt.add(word, true, idw);
 		});
-		// Если флаг запрещения использовать Python не установлен
-		if(!this->isOption(options_t::nopython)){
-			// Получаем объект внешний объект питона
-			const python_t * obj = this->stemmer->getPythonObj();
-			// Устанавливаем объект питона
-			if(obj != nullptr) this->alm->setPythonObj(const_cast <python_t *> (obj));
-		}
+// Если работа идет не изнутри Python
+#ifndef NOPYTHON
+		// Получаем объект внешний объект питона
+		const python_t * obj = this->stemmer->getPythonObj();
+		// Устанавливаем объект питона
+		if(obj != nullptr) this->alm->setPythonObj(const_cast <python_t *> (obj));
+#endif
 	}
 }
 /**
@@ -591,11 +591,14 @@ void anyks::Dict::setLogfile(const char * logfile) noexcept {
  * @param option опция для установки
  */
 void anyks::Dict::setOption(const options_t option) noexcept {
+// Если работа идет не изнутри Python
+#ifndef NOPYTHON
 	// Если это режим отладки
-	if((option == options_t::debug) && !this->isOption(options_t::nopython)){
+	if(option == options_t::debug){
 		// Устанавливаем режим отладки модуля питона
 		const_cast <python_t *> (this->stemmer->getPythonObj())->setDebug();
 	}
+#endif
 	// Устанавливаем опции
 	this->options.set((u_short) option);
 }
@@ -1674,13 +1677,11 @@ const list <wstring> anyks::Dict::variants(const wstring & word) const noexcept
 			wstring words = L"";
 			// Переходим по всему списку вариантов
 			for(auto & item : result){
+				// Если слово уже не пустое, добавляем разделитель
+				if(!words.empty()) words.append(L"|");
 				// Добавляем в список вариантов, полученный вариант
 				words.append(item);
-				// Добавляем разделитель
-				words.append(L"|");
 			}
-			// Удаляем последний элемент
-			words.pop_back();
 			// Выводим основное сообщение отладки
 			this->alphabet->log("stemming: [%ls => %ls]\r\n", alphabet_t::log_t::info, this->logfile, word.c_str(), words.c_str());
 		}

src/dict.cpp

@@ -51,7 +51,7 @@ const bool anyks::Stemmer::check(const wstring & word) const noexcept {
 	// Если слово передано
 	if(!word.empty()){
 		// Если это не первый или последний дефис
-		result = ((word[0] != L'-') && (word[word.length() - 1] != L'-'));
+		result = ((word.front() != L'-') && (word.back() != L'-'));
 		// Если слово прошло проверку
 		if(result) result = !this->alphabet->isANumber(word);
 	}
@@ -79,16 +79,22 @@ void anyks::Stemmer::setVMethod(variants_t fn) noexcept {
  * @param script python скрипт для установки
  */
 void anyks::Stemmer::setLScript(const string & script) noexcept {
+// Если работа идет не изнутри Python
+#ifndef NOPYTHON
 	// Если скрипт передан, устанавливаем его
 	if(!script.empty() && (this->script != nullptr)) this->lemmaScript = this->script->add(script, 2);
+#endif
 }
 /**
  * setVScript Метод установки скрипта подбора вариантов
  * @param script python скрипт для установки
  */
 void anyks::Stemmer::setVScript(const string & script) noexcept {
+// Если работа идет не изнутри Python
+#ifndef NOPYTHON
 	// Если скрипт передан, устанавливаем его
 	if(!script.empty() && (this->script != nullptr)) this->variantsScript = this->script->add(script, 2);
+#endif
 }
 /**
  * setTokenizer Метод установки токенизатора
@@ -99,6 +105,8 @@ void anyks::Stemmer::setTokenizer(const tokenizer_t * tokenizer){
 	if(tokenizer != nullptr){
 		// Устанавливаем модуль генератора
 		this->tokenizer = tokenizer;
+// Если работа идет не изнутри Python
+#ifndef NOPYTHON
 		// Если внешняя функция не установлена
 		if((this->lemmaFn == nullptr) && (this->variantsFn == nullptr) && (this->script == nullptr)){
 			try {
@@ -110,6 +118,7 @@ void anyks::Stemmer::setTokenizer(const tokenizer_t * tokenizer){
 				exit(EXIT_FAILURE);
 			}
 		}
+#endif
 	}
 }
 /**
@@ -139,26 +148,29 @@ const wstring anyks::Stemmer::lemma(const wstring & word, const wstring & code)
 	wstring result = L"";
 	// Если слово передано и скрипт загружен
 	if(!word.empty() && !code.empty() && ((this->lemmaFn != nullptr) || (this->lemmaScript > 0)) && this->check(word)){
-		// Блокируем остальные потоки до завершения работы скрипта
-		this->locker.lock();
+		// Код языка к которому принадлежит слово
+		wstring lang = code;
 		// Если это русский язык, проверяем на латиницу
-		if((code.compare(L"en") != 0) && this->alphabet->isLatian(word))
-			// Устанавливаем код языка, по умолчанию
-			const_cast <wstring *> (&code)->assign(L"en");
+		if((lang.compare(L"en") != 0) && this->alphabet->isLatian(word)) lang = L"en";
 		// Если внешняя функция установлена
-		if(this->lemmaFn != nullptr) result = this->lemmaFn(word, code);
+		if(this->lemmaFn != nullptr) result = this->lemmaFn(word, lang);
+// Если работа идет не изнутри Python
+#ifndef NOPYTHON
 		// Если скрипт Python установлен
 		else if(this->script != nullptr){
+			// Блокируем остальные потоки до завершения работы скрипта
+			this->locker.lock();
 			// Выполняем скрипт для получения вариантов
 			result = this->script->run(
 				this->lemmaScript, {
 					this->alphabet->convert(word),
-					this->alphabet->convert(code)
+					this->alphabet->convert(lang)
 				}
 			);
+			// Разблокируем остальные потоки
+			this->locker.unlock();
 		}
-		// Разблокируем остальные потоки
-		this->locker.unlock();
+#endif
 	}
 	// Выводим результат
 	return result;
@@ -174,28 +186,31 @@ const list <wstring> anyks::Stemmer::variants(const wstring & word, const wstrin
 	list <wstring> result;
 	// Если слово передано и скрипт загружен
 	if(!word.empty() && !code.empty() && ((this->variantsFn != nullptr) || (this->variantsScript > 0)) && this->check(word)){
-		// Блокируем остальные потоки до завершения работы скрипта
-		this->locker.lock();
+		// Код языка к которому принадлежит слово
+		wstring lang = code;
 		// Если это русский язык, проверяем на латиницу
-		if((code.compare(L"en") != 0) && this->alphabet->isLatian(word))
-			// Устанавливаем код языка, по умолчанию
-			const_cast <wstring *> (&code)->assign(L"en");
+		if((lang.compare(L"en") != 0) && this->alphabet->isLatian(word)) lang = L"en";
 		// Если функция подборки вариантов установлена
-		if(this->variantsFn != nullptr) result = this->variantsFn(word, code);
+		if(this->variantsFn != nullptr) result = this->variantsFn(word, lang);
+// Если работа идет не изнутри Python
+#ifndef NOPYTHON
 		// Если функция подборки вариантов не передана
 		else if(this->script != nullptr) {
+			// Блокируем остальные потоки до завершения работы скрипта
+			this->locker.lock();
 			// Выполняем скрипт для получения вариантов
 			const wstring & res = this->script->run(
 				this->variantsScript, {
 					this->alphabet->convert(word),
-					this->alphabet->convert(code)
+					this->alphabet->convert(lang)
 				}
 			);
+			// Разблокируем остальные потоки
+			this->locker.unlock();
 			// Если результат получен
 			if(!res.empty()) this->alphabet->split(res, L"|", result);
 		}
-		// Разблокируем остальные потоки
-		this->locker.unlock();
+#endif
 		// Если результат получен
 		if(!result.empty()){
 			// Выполняем сортировку
@@ -238,6 +253,16 @@ anyks::Stemmer::Stemmer(const alphabet_t * alphabet, const tokenizer_t * tokeniz
  * ~Stemmer Деструктор
  */
 anyks::Stemmer::~Stemmer() noexcept {
+// Если работа идет не изнутри Python
+#ifndef NOPYTHON
 	// Если объект создан, удаляем его
 	if(this->script != nullptr) delete this->script;
+#endif
+	/**
+	 * Так и не понял этот баг
+	 * Деструктор отрабатывает но из-за установленной функции lemmaFn поток блокируется намертво
+	 * Игры с py::gil_scoped_release ничего не дали, блокировки в любом случае есть
+	 * По этому просто выходим из приложения, по завершению работы деструктора
+	 */
+	exit(0);
 }