Merge pull request #2947 from 1c-syntax/feature/analyze-project-on-open

Author: nixel2007

docs/features/ConfigurationFile.md

@@ -16,11 +16,12 @@ BSL Language Server предоставляет возможность измен
 |   ⤷   `cyclomaticComplexity`|`Булево` или `JSON-Объект`|Включает отображение значения [цикломатической сложности](../diagnostics/CyclomaticComplexity.md) метода. По умолчанию настройка установлена в `true`. Доступные параметры линзы: `complexityThreshold` - порог, после которого линза начинает срабатывать. Значение параметра по умолчанию - `-1`.|
 |`diagnostics`|`JSON-Объект`|Содержит настройки диагностик|
 |⤷&nbsp;&nbsp;&nbsp;`computeTrigger`|`Строка`|С помощью этого параметра можно указать событие, при котором будет вызвана процедура анализа кода для диагностирования замечаний. Возможные значения:<br/>* `onType` - при редактировании файла (онлайн) ***на больших файлах может ЗНАЧИТЕЛЬНО замедлять редактирование***<br/>* `onSave` - при сохранении файла (*используется по умолчанию*)<br/>* `never` - анализ выполняться не будет|
-|⤷&nbsp;&nbsp;&nbsp;`ordinaryAppSupport`|`Булево>`|Поддержка обычного клиента. Диагностики будут требовать учитывать особенности обычного приложения. Возможные значения:<br/>* `true` - конфигурация разрабатывается с поддержкой обычного клиента *(установлен по умолчанию)* <br/>* `false` - игнорировать предупреждения связанные с особенностями обычного клиента|
+|⤷&nbsp;&nbsp;&nbsp;`ordinaryAppSupport`|`Булево`|Поддержка обычного клиента. Диагностики будут требовать учитывать особенности обычного приложения. Возможные значения:<br/>* `true` - конфигурация разрабатывается с поддержкой обычного клиента *(установлен по умолчанию)* <br/>* `false` - игнорировать предупреждения связанные с особенностями обычного клиента|
 |⤷&nbsp;&nbsp;&nbsp;`skipSupport`|`Строка`|Этим параметром настраивается режим пропуска файлов *(т.е. файлы не анализируются на предмет наличия замечаний)* **конфигурации 1С**, находящихся "на поддержке" конфигурации поставщика. Возможные значения:<br/>* `withSupport` - пропускаются все модули, находящиеся "на поддержке" *(все виды "замков")*<br/>* `withSupportLocked` - пропускаются только модули, находящиеся "на поддержке" с запретом изменений *("желтый закрытый замок")*<br/>* `never` - режим поддержки не анализируется и модули не пропускаются *(установлен по умолчанию)*|
 |⤷&nbsp;&nbsp;&nbsp;`mode`|`Строка`|Настройка для управления режимом учета настроек диагностик. Возможные варианты:<br/>* `OFF` - Все диагностики считаются выключенными, вне зависимости от их настроек <br/>* `ON` - Все диагностики включенные по умолчанию считаются включенными, остальные - в зависимости от личных настроек <br/>* `EXCEPT` - Все диагностистики, кроме указанных, считаются включенными <br/>* `ONLY` - Только указанные диагностики считаются включенными <br/>* `ALL` - Все диагностики считаются включенными|
 |⤷&nbsp;&nbsp;&nbsp;`parameters`|`JSON-Объект`|Параметр представляет собой коллекцию настроек диагностик. Элементами коллекции являются json-объекты следующей структуры:<br/>* *ключ объекта* - строка, являющаяся ключом диагностики<br/>* *значение объекта* - может принимать либо булево значение, и тогда интерпретируется как отключение диагностики (`false`) или ее включение с параметрами по умолчанию (`true`), либо значение типа `json-объект`, представляющего собой набор настроек диагностики.<br/><br/>Ключ, включена ли по умолчанию, а также описание возможных параметров и примеры для конфигурационного файла представлены на странице с описанием каждой диагностики.|
 |⤷&nbsp;&nbsp;&nbsp;`subsystemsFilter`|`JSON-Объект`|Фильтр по подсистемам конфигурации|
+|⤷&nbsp;&nbsp;&nbsp;`analyzeOnStart`|`Булево`|Запустить анализ всего проекта при запуске сервера. Если включено, после построения контекста на клиента будет отправлена информация о диагностиках во всех файлах проекта.|
 |&nbsp;&nbsp;&nbsp;⤷&nbsp;&nbsp;&nbsp;`include`|`Массив` `Строка`|Список имен подсистем по объектам которых выполняется анализ, включая подчиненные подсистемы|
 |&nbsp;&nbsp;&nbsp;⤷&nbsp;&nbsp;&nbsp;`exclude`|`Массив` `Строка`|Список имен подсистем исключенных из анализа, включая подчиненные подсистемы|
 |`documentLink`|`JSON-Объект`|Содержит настройки ссылок на документацию|

src/main/java/com/github/_1c_syntax/bsl/languageserver/AnalyzeProjectOnStart.java

@@ -0,0 +1,96 @@
+/*
+ * This file is a part of BSL Language Server.
+ *
+ * Copyright (c) 2018-2022
+ * Alexey Sosnoviy <labotamy@gmail.com>, Nikita Fedkin <nixel2007@gmail.com> and contributors
+ *
+ * SPDX-License-Identifier: LGPL-3.0-or-later
+ *
+ * BSL Language Server is free software; you can redistribute it and/or
+ * modify it under the terms of the GNU Lesser General Public
+ * License as published by the Free Software Foundation; either
+ * version 3.0 of the License, or (at your option) any later version.
+ *
+ * BSL Language Server is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
+ * Lesser General Public License for more details.
+ *
+ * You should have received a copy of the GNU Lesser General Public
+ * License along with BSL Language Server.
+ */
+package com.github._1c_syntax.bsl.languageserver;
+
+import com.github._1c_syntax.bsl.languageserver.configuration.LanguageServerConfiguration;
+import com.github._1c_syntax.bsl.languageserver.context.DocumentContext;
+import com.github._1c_syntax.bsl.languageserver.context.events.ServerContextPopulatedEvent;
+import com.github._1c_syntax.bsl.languageserver.providers.DiagnosticProvider;
+import com.github._1c_syntax.bsl.languageserver.utils.Resources;
+import lombok.RequiredArgsConstructor;
+import org.springframework.context.event.EventListener;
+import org.springframework.scheduling.annotation.Async;
+import org.springframework.stereotype.Component;
+
+import java.util.concurrent.ExecutionException;
+import java.util.concurrent.ForkJoinPool;
+
+/**
+ * Перехватчик события заполнения контекста сервера, запускающий анализ всех файлов контекста.
+ */
+@Component
+@RequiredArgsConstructor
+public class AnalyzeProjectOnStart {
+
+  private final LanguageServerConfiguration configuration;
+  private final DiagnosticProvider diagnosticProvider;
+  private final LanguageClientHolder languageClientHolder;
+  private final WorkDoneProgressHelper workDoneProgressHelper;
+
+  @EventListener
+  @Async
+  public void handleEvent(ServerContextPopulatedEvent event) {
+    if (!configuration.getDiagnosticsOptions().isAnalyzeOnStart()) {
+      return;
+    }
+
+    if (!languageClientHolder.isConnected()) {
+      return;
+    }
+
+    var serverContext = event.getSource();
+
+    var documentContexts = serverContext.getDocuments().values();
+    var progress = workDoneProgressHelper.createProgress(documentContexts.size(), getMessage("filesSuffix"));
+    progress.beginProgress(getMessage("analyzeProject"));
+
+    var executorService = new ForkJoinPool(ForkJoinPool.getCommonPoolParallelism());
+
+    try {
+      executorService.submit(() ->
+        documentContexts.parallelStream().forEach((DocumentContext documentContext) -> {
+          progress.tick();
+
+          serverContext.rebuildDocument(documentContext);
+          diagnosticProvider.computeAndPublishDiagnostics(documentContext);
+
+          serverContext.tryClearDocument(documentContext);
+        })
+      ).get();
+
+    } catch (ExecutionException e) {
+      throw new RuntimeException("Can't analyze project on start", e);
+    } catch (InterruptedException e) {
+      Thread.currentThread().interrupt();
+      throw new RuntimeException("Interrupted while analyzing project on start", e);
+    } finally {
+      executorService.shutdown();
+    }
+
+    progress.endProgress(getMessage("projectAnalyzed"));
+  }
+
+  private String getMessage(String key) {
+    return Resources.getResourceString(configuration.getLanguage(), getClass(), key);
+  }
+
+}

src/main/java/com/github/_1c_syntax/bsl/languageserver/BSLTextDocumentService.java

@@ -92,6 +92,7 @@
 import org.eclipse.lsp4j.services.TextDocumentService;
 import org.springframework.stereotype.Component;
 
+import java.net.URI;
 import java.util.Collections;
 import java.util.List;
 import java.util.concurrent.CompletableFuture;
@@ -305,7 +306,11 @@ public CompletableFuture<List<ColorPresentation>> colorPresentation(ColorPresent
 
   @Override
   public void didOpen(DidOpenTextDocumentParams params) {
-    var documentContext = context.addDocument(params.getTextDocument());
+    var textDocumentItem = params.getTextDocument();
+    var documentContext = context.addDocument(URI.create(textDocumentItem.getUri()));
+
+    context.openDocument(documentContext, textDocumentItem.getText(), textDocumentItem.getVersion());
+
     if (configuration.getDiagnosticsOptions().getComputeTrigger() != ComputeTrigger.NEVER) {
       validate(documentContext);
     }
@@ -320,7 +325,11 @@ public void didChange(DidChangeTextDocumentParams params) {
       return;
     }
 
-    documentContext.rebuild(params.getContentChanges().get(0).getText(), params.getTextDocument().getVersion());
+    context.rebuildDocument(
+      documentContext,
+      params.getContentChanges().get(0).getText(),
+      params.getTextDocument().getVersion()
+    );
 
     if (configuration.getDiagnosticsOptions().getComputeTrigger() == ComputeTrigger.ONTYPE) {
       validate(documentContext);
@@ -334,7 +343,7 @@ public void didClose(DidCloseTextDocumentParams params) {
       return;
     }
 
-    documentContext.clearSecondaryData();
+    context.closeDocument(documentContext);
 
     diagnosticProvider.publishEmptyDiagnosticList(documentContext);
   }

src/main/java/com/github/_1c_syntax/bsl/languageserver/aop/EventPublisherAspect.java

@@ -24,7 +24,9 @@
 import com.github._1c_syntax.bsl.languageserver.configuration.LanguageServerConfiguration;
 import com.github._1c_syntax.bsl.languageserver.configuration.events.LanguageServerConfigurationChangedEvent;
 import com.github._1c_syntax.bsl.languageserver.context.DocumentContext;
+import com.github._1c_syntax.bsl.languageserver.context.ServerContext;
 import com.github._1c_syntax.bsl.languageserver.context.events.DocumentContextContentChangedEvent;
+import com.github._1c_syntax.bsl.languageserver.context.events.ServerContextPopulatedEvent;
 import com.github._1c_syntax.bsl.languageserver.events.LanguageServerInitializeRequestReceivedEvent;
 import lombok.NoArgsConstructor;
 import lombok.extern.slf4j.Slf4j;
@@ -38,6 +40,8 @@
 import org.springframework.context.ApplicationEventPublisherAware;
 
 import javax.annotation.PreDestroy;
+import java.io.File;
+import java.util.Collection;
 
 /**
  * Аспект подсистемы событий.
@@ -74,6 +78,11 @@ public void documentContextRebuild(JoinPoint joinPoint) {
     publishEvent(new DocumentContextContentChangedEvent((DocumentContext) joinPoint.getThis()));
   }
 
+  @AfterReturning("Pointcuts.isServerContext() && Pointcuts.isPopulateContextCall() && args(files)")
+  public void serverContextPopulated(JoinPoint joinPoint, Collection<File> files) {
+    publishEvent(new ServerContextPopulatedEvent((ServerContext) joinPoint.getThis()));
+  }
+
   @AfterReturning("Pointcuts.isLanguageServer() && Pointcuts.isInitializeCall() && args(initializeParams)")
   public void languageServerInitialize(JoinPoint joinPoint, InitializeParams initializeParams) {
     var event = new LanguageServerInitializeRequestReceivedEvent(

src/main/java/com/github/_1c_syntax/bsl/languageserver/aop/Pointcuts.java

@@ -107,6 +107,14 @@ public void isRebuildCall() {
     // no-op
   }
 
+  /**
+   * Это вызов метода populateContext.
+   */
+  @Pointcut("isBSLLanguageServerScope() && execution(* populateContext(..))")
+  public void isPopulateContextCall() {
+    // no-op
+  }
+
   /**
    * Это вызов метода update.
    */

src/main/java/com/github/_1c_syntax/bsl/languageserver/cli/AnalyzeCommand.java

@@ -27,6 +27,7 @@
 import com.github._1c_syntax.bsl.languageserver.reporters.ReportersAggregator;
 import com.github._1c_syntax.bsl.languageserver.reporters.data.AnalysisInfo;
 import com.github._1c_syntax.bsl.languageserver.reporters.data.FileInfo;
+import com.github._1c_syntax.bsl.types.MdoReference;
 import com.github._1c_syntax.mdclasses.mdo.AbstractMDObjectBase;
 import com.github._1c_syntax.utils.Absolute;
 import lombok.RequiredArgsConstructor;
@@ -41,12 +42,10 @@
 import picocli.CommandLine.Command;
 
 import java.io.File;
-import java.nio.charset.StandardCharsets;
 import java.nio.file.Path;
 import java.time.LocalDateTime;
 import java.util.ArrayList;
 import java.util.List;
-import java.util.Optional;
 import java.util.concurrent.Callable;
 import java.util.stream.Collectors;
 
@@ -202,23 +201,21 @@ public String[] getReportersOptions() {
 
   @SneakyThrows
   private FileInfo getFileInfoFromFile(Path srcDir, File file) {
-    var textDocumentContent = FileUtils.readFileToString(file, StandardCharsets.UTF_8);
-
-    var documentContext = context.addDocument(file.toURI(), textDocumentContent, 1);
+    var documentContext = context.addDocument(file.toURI());
+    context.rebuildDocument(documentContext);
 
     var filePath = srcDir.relativize(Absolute.path(file));
     List<Diagnostic> diagnostics = documentContext.getDiagnostics();
     MetricStorage metrics = documentContext.getMetrics();
-    var mdoRef = "";
-    Optional<AbstractMDObjectBase> mdObjectBase = documentContext.getMdObject();
-    if (mdObjectBase.isPresent()) {
-      mdoRef = mdObjectBase.get().getMdoReference().getMdoRef();
-    }
+    var mdoRef = documentContext.getMdObject()
+      .map(AbstractMDObjectBase::getMdoReference)
+      .map(MdoReference::getMdoRef)
+      .orElse("");
 
     var fileInfo = new FileInfo(filePath, mdoRef, diagnostics, metrics);
 
     // clean up AST after diagnostic computing to free up RAM.
-    documentContext.clearSecondaryData();
+    context.tryClearDocument(documentContext);
 
     return fileInfo;
   }

src/main/java/com/github/_1c_syntax/bsl/languageserver/cli/FormatCommand.java

@@ -37,7 +37,6 @@
 import org.springframework.stereotype.Component;
 
 import java.io.File;
-import java.net.URI;
 import java.nio.charset.StandardCharsets;
 import java.nio.file.Path;
 import java.util.ArrayList;
@@ -147,13 +146,13 @@ private List<File> findFilesForFormatting(String[] filePaths) {
 
   @SneakyThrows
   private void formatFile(File file) {
-    String textDocumentContent = FileUtils.readFileToString(file, StandardCharsets.UTF_8);
-    final URI uri = file.toURI();
+    var uri = file.toURI();
 
-    var documentContext = serverContext.addDocument(uri, textDocumentContent, 1);
+    var documentContext = serverContext.addDocument(uri);
+    serverContext.rebuildDocument(documentContext);
 
-    DocumentFormattingParams params = new DocumentFormattingParams();
-    FormattingOptions options = new FormattingOptions();
+    var params = new DocumentFormattingParams();
+    var options = new FormattingOptions();
     options.setInsertSpaces(false);
 
     params.setOptions(options);

src/main/java/com/github/_1c_syntax/bsl/languageserver/configuration/diagnostics/DiagnosticsOptions.java

@@ -42,6 +42,7 @@
 @JsonIgnoreProperties(ignoreUnknown = true)
 public class DiagnosticsOptions {
   private ComputeTrigger computeTrigger = ComputeTrigger.ONSAVE;
+  private boolean analyzeOnStart;
   private SkipSupport skipSupport = SkipSupport.NEVER;
   private Mode mode = Mode.ON;
   private boolean ordinaryAppSupport = true;

src/main/java/com/github/_1c_syntax/bsl/languageserver/context/DocumentContext.java

@@ -47,7 +47,9 @@
 import lombok.Getter;
 import lombok.RequiredArgsConstructor;
 import lombok.Setter;
+import lombok.extern.slf4j.Slf4j;
 import org.antlr.v4.runtime.Token;
+import org.apache.commons.io.FileUtils;
 import org.apache.commons.io.FilenameUtils;
 import org.eclipse.lsp4j.Diagnostic;
 import org.eclipse.lsp4j.Position;
@@ -59,7 +61,10 @@
 
 import javax.annotation.Nullable;
 import javax.annotation.PostConstruct;
+import java.io.File;
+import java.io.IOException;
 import java.net.URI;
+import java.nio.charset.StandardCharsets;
 import java.util.Collections;
 import java.util.List;
 import java.util.Locale;
@@ -75,6 +80,7 @@
 @Component
 @Scope("prototype")
 @RequiredArgsConstructor
+@Slf4j
 public class DocumentContext {
 
   private static final Pattern CONTENT_SPLIT_PATTERN = Pattern.compile("\r?\n|\r");
@@ -265,13 +271,12 @@ public void unfreezeComputedData() {
     isComputedDataFrozen = false;
   }
 
-  public void rebuild(String content, int version) {
+  protected void rebuild(String content, int version) {
     computeLock.lock();
 
     boolean versionMatches = version == this.version && version != 0;
-    boolean contentWasCleared = this.content == null;
 
-    if (versionMatches && !contentWasCleared) {
+    if (versionMatches && (this.content != null)) {
       clearDependantData();
       computeLock.unlock();
       return;
@@ -289,7 +294,16 @@ public void rebuild(String content, int version) {
     computeLock.unlock();
   }
 
-  public void clearSecondaryData() {
+  protected void rebuild() {
+    try {
+      var newContent = FileUtils.readFileToString(new File(uri), StandardCharsets.UTF_8);
+      rebuild(newContent, 0);
+    } catch (IOException e) {
+      LOGGER.error("Can't rebuild content from uri", e);
+    }
+  }
+
+  protected void clearSecondaryData() {
     computeLock.lock();
 
     content = null;