Skip to content

Commit d9a0e70

Browse files
authored
Update public materials (backport to stable-25-1) (#18434)
2 parents ac9413a + f389c93 commit d9a0e70

26 files changed

+281
-2
lines changed

ydb/docs/.yfm

Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -11,6 +11,11 @@ resources:
1111
csp:
1212
- "img-src":
1313
- "https://github.ydb.tech"
14+
- "frame-src":
15+
- "https://vk.com"
16+
- "https://login.vk.com"
17+
- "https://runtime.strm.yandex.ru"
18+
- "https://www.youtube.com"
1419

1520
docs-viewer:
1621
project-name: ydb
Lines changed: 63 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,63 @@
1+
### YDB Topics — корпоративный брокер сообщений от Яндекса
2+
3+
{% include notitle [general_tag](../../tags.md#general) %}
4+
5+
YDB Topics — совместимый с Apache Kafka корпоративный брокер сообщений, являющийся частью СУБД Яндекса YDB. На вебинаре рассказали, как YDB Topics можно использовать для удобной разработки, быстрой миграции, безопасного администрирования и повышения отказоустойчивости микросервисной архитектуры.
6+
7+
Рассматриваются архитектурные решения, позволяющие совместить в YDB поддержку транзакционных, аналитических и потоковых нагрузок в рамках единой системы, а также преимущества такого подхода для корпоративных пользователей. Рассказывается, как благодаря поддержке распределённых ACID-транзакций между таблицами и топиками отпадает необходимость использования outbox-паттерна, что снижает сложность и затраты при интеграции микросервисов. Особое внимание уделяется гарантиям exactly-once при записи сообщений в ingest-сценариях, что позволяет эффективно бороться с дублями данных. Рассматриваются внутренние механизмы автоматического масштабирования YDB Topics, обеспечивающие быстрый ввод новых серверов и балансировку нагрузки без простоев. Также объясняется, почему для критичных бизнес-процессов важна полная доступность на запись (выше 99,99%), и каким образом YDB Topics этого достигает. В завершение приводятся возможности, важные для корпораций: совместимость с Apache Kafka, поддержка управления квотами и доступом, развитая ролевая модель, аудитные логи и сертификация.
8+
9+
Вебинар полезен разработчикам микросервисов, инженерам и архитекторам данных.
10+
11+
@[](https://runtime.strm.yandex.ru/player/episode/vpled3lm6gfqgtdb3gtw?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc)
12+
13+
### Как Яндекс разработал алгоритм для стоимостного оптимизатора в YDB
14+
15+
{% include notitle [database_internals_tag](../../tags.md#database_internals) %}
16+
17+
Для поддержки эффективных аналитических запросов в СУБД Яндекса реализован механизм стоимостной оптимизации — алгоритм выбора оптимального плана выполнения запроса. При этом такая задача является NP-трудной — для её решения необходимо перебрать все варианты выполнения запроса, и время работы системы увеличивается экспоненциально.
18+
19+
На вебинаре рассматривается архитектура и реализация стоимостного оптимизатора в YDB, начиная от используемых теоретических основ до практического применения в производственных нагрузках. Подробно объясняется, как современные алгоритмы и методы динамического программирования, применённые в оптимизаторе запросов, позволяют системе эффективно обрабатывать сложные SQL-запросы с большим числом JOIN-операций. Отдельное внимание уделяется тому, как реализованный оптимизатор обеспечивает высокую производительность СУБД, а также тому, за счёт каких технологических решений удаётся перебрать до 150 JOIN-операций за секунду.
20+
21+
Вебинар полезен тем, кто интересуется алгоритмами оптимизации, разработкой баз данных, динамическим программированием, — архитекторами и инженерам баз данных, разработчикам прикладного ПО и специалистам по системной интеграции.
22+
23+
@[](https://runtime.strm.yandex.ru/player/episode/vpledjxhhhm7dev3cg72?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc)
24+
25+
### YDB (СУБД Яндекса) для задач интеграции данных и бизнес-аналитики
26+
27+
{% include notitle [overview_tag](../../tags.md#overview) %}
28+
29+
На очередном вебинаре про аналитические возможности YDB детально рассматривается инструментарий для бизнес-аналитики и интеграции данных:
30+
31+
- федеративные запросы в СУБД и S3-совместимые хранилища данных;
32+
- ETL и ELT-интеграции с Apache NiFi и Apache Airflow;
33+
- обработка данных с помощью Apache Spark;
34+
- анализ данных в Jupyter;
35+
- инструменты визуализации: Grafana, DataLens, Apache Superset.
36+
37+
Вебинар будет полезен бизнес-аналитикам, архитекторам данных и специалистам, работающим с хранилищами данных.
38+
39+
@[](https://runtime.strm.yandex.ru/player/episode/vpleedipvdfxfl7upbjb?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc)
40+
41+
### Внутреннее устройство аналитической СУБД Яндекса — YDB DWH
42+
43+
{% include notitle [database_internals_tag](../../tags.md#database_internals) %}
44+
45+
На вебинаре по глубокому погружению в архитектуру аналитических компонентов YDB (СУБД Яндекса) детально разобрали внутреннее устройство ключевых механизмов, отвечающих за эффективную обработку аналитических запросов:
46+
47+
- архитектура хранения данных в колоночных шардах YDB DWH и механизмы распределения данных в кластере;
48+
- принципы работы и отличительные особенности стоимостного оптимизатора запросов YDB DWH;
49+
- внутреннее устройство модуля управления нагрузкой (Workload manager) и его влияние на производительность базы данных.
50+
51+
Вебинар полезен разработчикам систем хранения данных, инженерам по оптимизации производительности и архитекторам распределённых систем, желающим глубже понять принципы работы современных СУБД.
52+
53+
@[](https://runtime.strm.yandex.ru/player/episode/vplenkblbdqdawpj2qoa?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc)
54+
55+
### Новые возможности YDB (СУБД Яндекса) для аналитических систем
56+
57+
{% include notitle [general_tag](../../tags.md#general) %}
58+
59+
На вебинаре рассказали о новой возможности YDB (СУБД Яндекса) — выполнению сложных аналитических запросов. Теперь СУБД Яндекса позволяет не только разрабатывать транзакционные приложения, но и строить аналитические системы в контуре заказчика — корпоративные хранилища данных. На мероприятии рассказали, как реализовали поддержку одновременно OLAP- и OLTP-нагрузок, добились производительности аналитических запросов в ресурсоёмких бизнес-критичных сценариях, а также поговорили про отличия YDB DWH от PostgreSQL, MongoDB, ClickHouse и Greenplum.
60+
61+
Вебинар будет полезен архитекторам и инженерам баз данных, SRE-инженерам, разработчикам прикладного ПО и специалистам по системной интеграции.
62+
63+
@[](https://runtime.strm.yandex.ru/player/episode/vplemmlcgopqfspnvggi?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc)
Lines changed: 21 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,21 @@
1+
## Подкаст Руцентра: Александр Зотов (СУБД Яндекса)
2+
3+
{% include notitle [general_tag](../../tags.md#general) %}
4+
5+
Данный выпуск подкаста посвящен обсуждению развития карьеры в IT-сфере и особенностям работы в области СУБД на примере опыта Александра Зотова, директора по развитию бизнеса СУБД Яндекса (YDB).
6+
7+
В этом выпуске обсуждаются особенности принятия управленческих решений в технологической отрасли и стратегический выбор между стабильностью и инновационным развитием. Особое внимание уделяется практическим аспектам работы с СУБД, роли искусственного интеллекта в обработке данных и текущим вызовам развития IT-индустрии.
8+
9+
Материал представляет собой экспертное мнение специалиста с практическим опытом работы в крупной технологической компании и будет полезен как начинающим специалистам, так и опытным профессионалам, интересующимся развитием карьеры в технологической сфере и особенностями работы с современными СУБД.
10+
11+
@[vk](https://vk.com/video_ext.php?oid=-34475478&id=456239479&hd=2&autoplay=1)
12+
13+
## Стоимостный оптимизатор в YDB — как, зачем и почему?
14+
15+
{% include notitle [database_internals_tag](../../tags.md#database_internals) %}
16+
17+
Данный доклад посвящен развитию стоимостного оптимизатора в распределенной СУБД YDB. Рассматривается эволюция системы от классической OLTP-архитектуры к гибридной HTAP-платформе с поддержкой колоночной аналитики. Подробно анализируется архитектура оптимизатора, включающая энумератор планов, механизм динамического программирования с алгоритмом DPhyp, систему оценки кардинальности и работу с гиперграфом запроса.
18+
19+
Особое внимание уделяется сравнению реализации с аналогичными решениями в других современных распределенных СУБД: CockroachDB, TiDB, Yugabyte и Trino. Представлены результаты бенчмарков, демонстрирующие эффективность оптимизатора, а также обсуждаются основные вызовы, возникшие в процессе разработки.
20+
21+
@[youtube](https://www.youtube.com/watch?v=wfleXJL8rL8)
Lines changed: 13 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,13 @@
1+
### sysadmins №54. YDB
2+
3+
{% include notitle [releases_tag](../../tags.md#general) %}
4+
5+
В подкасте linkmeup руководитель проектного офиса YDB Антон Коваленко представляет обзор современной распределенной СУБД.
6+
7+
Выпуск подкаста освещает предпосылки создания YDB, особенности архитектуры Distributed SQL, текущие кейсы использования системы и её позиционирование на рынке СУБД.
8+
9+
Особое внимание уделяется техническим аспектам реализации и неожиданным результатам разработки, включая создание распределенной файловой системы.
10+
11+
Материал предназначен для специалистов, интересующихся современными тенденциями в области управления данными и распределенных систем.
12+
13+
[sysadmins №54. YDB](https://linkmeup.ru/podcasts/2758/?ysclid=m7ou8ysa9p758847370)

0 commit comments

Comments
 (0)