Запретить запросы вида EXPLAIN SELECT/UPSERT/UPDATE

[dorooleg]

По поводу не мгновенного EXPLAIN и вообще долго работающих запросов. "Проблема" возникает на "холодном" хранилище (когда запрашивается диапазон данных, лежащих в S3). Ожидается, что EXPLAIN мгновенный, а сам запрос выполняется за какое-то разумное время.

Реальность: что EXPLAIN, что запрос отваливается по тайматуту или неразумно долгий (интуитивно кажется, что он должен выполняться быстрее на заданном диапазоне времени).

Пример запроса, который пытаюсь погонять прям сейчас:

$from = CurrentUtcDatetime() - Interval("P14DT00H");
$to = CurrentUtcDatetime() - Interval("P13DT23H");

EXPLAIN SELECT `cloud_id`, `folder_id`, COUNT(*) AS `cnt`
FROM `skladnica/events`
WHERE `time` > $from AND `time` < $to AND `class` = 'OsQProcessStart'
GROUP BY `cloud_id`, `folder_id`
LIMIT 10;

База:

/pre-prod_global/yc.yaem.service-cloud/cc8ltdnbj4lhkbct494a (preprod-olap)

[dorooleg]

1. С EXPLAIN разобрались. Если запускать запрос EXPLAIN ... не через интерактивное cli и jdbc driver, то это просто no op. Фактически тоже самое что и удалить его из запроса
2. В интерактивном CLI берут прямо первый токен и его воспринимают как EXPLAIN. Поэтому все что не первый EXPLAIN работать не будет
3. А в jdbc прямо весь запрос парсят и в нем находят все EXPLAIN, поэтому там будет работать приведенный выше запрос

Там фактически весь текст запроса парсится и перерабатывается. частично что бы explain/scan/bulk поддержать, частично что бы ? поддержать, частично для корректно работы multi statement выражений, частично для переписывания запросов в оптимизированной форме

[dorooleg]

Поток данных в систему ~30 mib/s. На часовом окне получаем 30 * 60 * 60 = 108 000 mib = 105 gib

[dorooleg]

0
Status: GENERIC_ERROR
Issues:
<main>: Error: Execution, code: 1060
    <main>: Error: unexpected exception: (yexception) contrib/ydb/library/actors/core/log.cpp:765: verification=state->State == EShardState::Running;fline=kqp_scan_fetcher_actor.cpp:376;state=Starting;
    <main>: Error: Query invalidated on scheme/internal error during Scan execution, code: 2019

[dorooleg]

Теперь начало все по OOM падать, все осложняется тем что в stable ветке старый код и все уже давно переписано.

[dorooleg]

В итоге договорились запретить запросы такого вида в kqp