Skip to content

Границы обращения к метаданным #1837

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
wants to merge 17 commits into
base: develop
Choose a base branch
from
Open
Show file tree
Hide file tree
Changes from 1 commit
Commits
Show all changes
17 commits
Select commit Hold shift + click to select a range
cd9ef8b
отработал Gradle, заготовки под диагностику
Sep 10, 2021
768ab7d
переименовал правильно
Sep 10, 2021
ea1e7dd
настройку думаю сделать мапой. читать ее из json?
Golovanoff Sep 12, 2021
b17d97f
попытался накидать чтение настройки из json. но не взлетает
Golovanoff Sep 21, 2021
2bc45e1
сделал параметр сразу мапой
Golovanoff Sep 22, 2021
f06515a
работающий вариант
Golovanoff Sep 22, 2021
65557a8
документация
Golovanoff Sep 22, 2021
fdad879
документация
Golovanoff Sep 23, 2021
8912ca2
убрал ворнинг на каст мапы
Golovanoff Sep 23, 2021
36f4e78
Merge pull request #1 from 1c-syntax/develop
Golovanoff Sep 23, 2021
f05deaa
Смержил с develop
Golovanoff Sep 23, 2021
1248793
Сделал диагностику отключенной по умолчанию
Golovanoff Sep 23, 2021
1379891
перетащил компиляцию паттернов и их фильтрацию в configure
Golovanoff Sep 26, 2021
84e4d9d
поправил импорты
Golovanoff Sep 26, 2021
7171d3f
оптимизация - переписал через visitFile
Golovanoff Sep 28, 2021
239f1c0
Убрал переносы строк из описания диагностики, вычистил левые строки и…
Golovanoff Sep 30, 2021
5ce7014
Поправил документацию и имя функции, убрал this.
Golovanoff Oct 7, 2021
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
30 changes: 19 additions & 11 deletions docs/diagnostics/MetadataBorders.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,17 +7,21 @@
## Параметры


| Имя | Тип | Описание | Значение<br>по умолчанию |
|:---------------------------:|:--------:|:------------------------------------------------------------------------------------------------------------:|:------------------------------:|
| `metadataBordersParameters` | `Строка` | `JSON-структура для пар "регулярное выражение для операторов":"регулярное выражение для имени файла модуля"` | `` |
| Имя | Тип | Описание | Значение<br>по умолчанию |
|:---------------------------:|:--------:|:---------------------------------------------------------------------------------------:|:------------------------------:|
| `metadataBordersParameters` | `Строка` | `{"регулярное выражение для операторов":"регулярное выражение для имени файла модуля"}` | `` |
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

стало еще менее понятно :(

Предлагаю что-то вроде:

Строка в виде объекта JSON (в фигурных скобках) с перечислением пар "регулярное выражение для операторов": "регулярное выражение для имени файла модуля". Например, `{"Регистры?Сведений.КонтактнаяИнформация": "CommonModules/РаботаСКонтактами"}`.

Пускай пример будет прям в описании параметра, упростит понимание.

<!-- Блоки выше заполняются автоматически, не трогать -->
## Описание диагностики
Диагностика обращения к метаданным за пределами разрешенных границ. Нужна, если, например, в компании установлены правила обращения к каким-то метаданным только из определенного общего модуля.
Диагностика обращения к метаданным за пределами разрешенных границ. Нужна, если в компании установлены,
например, правила обращения к каким-то метаданным только из определенного общего модуля.

## Примеры
Например, получение контактной информации по внутренним правилам должно происходить только через функции общего модуля РаботаСКонтактами. Тогда заданные настройки вида
Получение контактной информации по внутренним правилам должно происходить только через функции
общего модуля РаботаСКонтактами. Тогда заданные настройки вида

```{"Регистры?Сведений.КонтактнаяИнформация":"CommonModules/РаботаСКонтактами"}```
```json
{"Регистры?Сведений.КонтактнаяИнформация":"CommonModules/РаботаСКонтактами"}
```

вызовут срабатывание диагностики на запросе с текстом

Expand All @@ -28,18 +32,22 @@
РегистрСведений.КонтактнаяИнформация КАК КИ"
```

если этот запрос будет не в общем модуле РаботаСКонтактами. Так же эта диагностика с такой настройкой сработает и на оператор
если этот запрос будет НЕ в общем модуле РаботаСКонтактами.
Так же эта диагностика с такой настройкой сработает и на оператор

```НаборЗаписей = РегистрыСведений.ИспользованиеКонтактов.СоздатьНаборЗаписей();```
```НаборЗаписей = РегистрыСведений.КонтактнаяИнформация.СоздатьНаборЗаписей();```

В настройках обе части - это регулярные выражения java. Вторая часть настройки сравнивается с путем к файлу выгрузки конфигурации.
В настройках обе части - это регулярные выражения java.
Вторая часть настройки сравнивается с путем к файлу выгрузки конфигурации.

Можно запретить использование нескольких метаданных:

```{"Регистры?Сведений.КонтактнаяИнформация|Справочники?.Контакты":"CommonModules/РаботаСКонтактами"}```
```json
{"Регистры?Сведений.КонтактнаяИнформация|Справочники?.Контакты":"CommonModules/РаботаСКонтактами"}
```

Настройки задаются в виде json-строки:
```
```json
{
"Регистры?Сведений.КонтактнаяИнформация":"CommonModules/РаботаСКонтактами",
"Справочники?.СтрокиСоединения":"DataProcessors/ВнешниеСоединения|CommonModules/ПодключениеК.*"
Expand Down
6 changes: 3 additions & 3 deletions docs/en/diagnostics/MetadataBorders.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,9 +7,9 @@
## Parameters


| Name | Type | Description | Default value |
|:---------------------------:|:--------:|:---------------------------------------------------------------------------:|:-------------:|
| `metadataBordersParameters` | `String` | `JSON-structure for pairs "regex for statements":"regex for module names".` | `` |
| Name | Type | Description | Default value |
|:---------------------------:|:--------:|:---------------------------------------------------:|:-------------:|
| `metadataBordersParameters` | `String` | `{"regex for statements":"regex for module names"}` | `` |
<!-- Блоки выше заполняются автоматически, не трогать -->
## Description
<!-- Описание диагностики заполняется вручную. Необходимо понятным языком описать смысл и схему работу -->
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -59,35 +59,35 @@ public class MetadataBordersDiagnostic extends AbstractVisitorDiagnostic {
type = String.class,
defaultValue = ""
)
private Map<Pattern, Pattern> metadataBordersParameters = MapFromJSON(METADATA_BORDERS_DEFAULT);
private Map<Pattern, Pattern> metadataBordersParameters = mapFromJSON(METADATA_BORDERS_DEFAULT);

private List<Pattern> statementPatterns = Collections.emptyList();

private static Map<Pattern, Pattern> MapFromJSON(String userSettings) {
private static Map<Pattern, Pattern> mapFromJSON(String userSettings) {
ObjectMapper mapper = new ObjectMapper();
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

создание ObjectMapper на каждый configure - довольно дорогая операция. лучше его закэшировать или просто указать его конструкторе - его туда подложит спринг.

MapType mapType = mapper.getTypeFactory().constructMapType(HashMap.class, String.class, String.class);
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

mapType тоже можно закэшировать в конструторе по принятому инстансу обджект-маппера

try {
Map<String, String> stringMap = mapper.readValue(userSettings, mapType);
return stringMap.entrySet().stream()
.filter(entry -> ! entry.getKey().isBlank() && ! entry.getValue().isBlank())
.filter(entry -> !entry.getKey().isBlank() && !entry.getValue().isBlank())
.collect(Collectors.toMap(
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

пробовал делать включать замер производительности? диагностика не вырывается в топ?

entry -> CaseInsensitivePattern.compile(entry.getKey()),
entry -> CaseInsensitivePattern.compile(entry.getValue())));
entry -> CaseInsensitivePattern.compile(entry.getKey()),
entry -> CaseInsensitivePattern.compile(entry.getValue())));
} catch (JsonProcessingException e) {
return Collections.emptyMap();
}
}

@Override
public void configure(Map<String, Object> configuration) {
metadataBordersParameters = MapFromJSON(
metadataBordersParameters = mapFromJSON(
(String) configuration.getOrDefault("metadataBordersParameters", METADATA_BORDERS_DEFAULT));
}

@Override
public ParseTree visitFile(BSLParser.FileContext ctx) {
statementPatterns = metadataBordersParameters.entrySet().stream()
.filter(entry -> ! entry.getValue().matcher(this.documentContext.getUri().getPath()).find())
.filter(entry -> ! entry.getValue().matcher(documentContext.getUri().getPath()).find())
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

а почему пути к файлам используются? почему не mdoRef?

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

ну и стоит проверять заполненность statementPatterns: для пустой делать возврат и не греть воздух

Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

а почему пути к файлам используются? почему не mdoRef?

вообще у нее scope захватывает OS, а для оскрипта mdoRef сейчас выглядит в виде uri. с другой стороны, вряд ли ее кто-то будет включать на os

Copy link
Contributor Author

@Golovanoff Golovanoff Oct 7, 2021

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

таки да. по-хорошему, если делать универсальненько и для людей, то надо вообще переделать, как Никита предлагал в телеге - на вхождение в подсистему.
но я такого пока не умею, это ж надо еще и тесты менять - конфу запихивать, разбираться с этим.

Copy link
Contributor Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

ну и стоит проверять заполненность statementPatterns: для пустой делать возврат и не греть воздух

это сделано при формировании мапы паттернов. из стринговой мапы в мапу щаблонов попадают только те элементы, в которых и ключ, и значение не пустые

.map(Map.Entry::getKey)
.collect(Collectors.toList());

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -926,18 +926,18 @@
},
"MetadataBorders": {
"description": "Metadata borders",
"default": true,
"default": false,
"type": [
"boolean",
"object"
],
"title": "Metadata borders",
"properties": {
"metadataBordersParameters": {
"description": "JSON-structure for pairs \"regex for statements\":\"regex for module names\". Etc \"InformationRegisters?.RegisterName:CommonModules/SpecialModule\".",
"description": "{\"regex for statements\":\"regex for module names\"}",
"default": "",
"type": "string",
"title": "JSON-structure for pairs \"regex for statements\":\"regex for module names\". Etc \"InformationRegisters?.RegisterName:CommonModules/SpecialModule\"."
"title": "{\"regex for statements\":\"regex for module names\"}"
}
},
"$id": "#/definitions/MetadataBorders"
Expand Down
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
diagnosticMessage=Use metadata outside the borders
diagnosticName=Metadata borders
metadataBordersParameters=JSON-structure for pairs "regex for statements":"regex for module names".
metadataBordersParameters={"regex for statements":"regex for module names"}

Original file line number Diff line number Diff line change
@@ -1,3 +1,3 @@
diagnosticMessage=Обращение к метаданным за пределами разрешенных границ
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

может быть в сообщение стоит добавить регулярку/пару регулярок, на которой произошло срабатывание?

diagnosticName=Границы метаданных
metadataBordersParameters=JSON-структура для пар "регулярное выражение для операторов":"регулярное выражение для имени файла модуля"
metadataBordersParameters={"регулярное выражение для операторов":"регулярное выражение для имени файла модуля"}