|
| 1 | +### YDB Topics — корпоративный брокер сообщений от Яндекса |
| 2 | + |
| 3 | +{% include notitle [general_tag](../../tags.md#general) %} |
| 4 | + |
| 5 | +YDB Topics — совместимый с Apache Kafka корпоративный брокер сообщений, являющийся частью СУБД Яндекса YDB. На вебинаре рассказали, как YDB Topics можно использовать для удобной разработки, быстрой миграции, безопасного администрирования и повышения отказоустойчивости микросервисной архитектуры. |
| 6 | + |
| 7 | +Рассматриваются архитектурные решения, позволяющие совместить в YDB поддержку транзакционных, аналитических и потоковых нагрузок в рамках единой системы, а также преимущества такого подхода для корпоративных пользователей. Рассказывается, как благодаря поддержке распределённых ACID-транзакций между таблицами и топиками отпадает необходимость использования outbox-паттерна, что снижает сложность и затраты при интеграции микросервисов. Особое внимание уделяется гарантиям exactly-once при записи сообщений в ingest-сценариях, что позволяет эффективно бороться с дублями данных. Рассматриваются внутренние механизмы автоматического масштабирования YDB Topics, обеспечивающие быстрый ввод новых серверов и балансировку нагрузки без простоев. Также объясняется, почему для критичных бизнес-процессов важна полная доступность на запись (выше 99,99%), и каким образом YDB Topics этого достигает. В завершение приводятся возможности, важные для корпораций: совместимость с Apache Kafka, поддержка управления квотами и доступом, развитая ролевая модель, аудитные логи и сертификация. |
| 8 | + |
| 9 | +Вебинар полезен разработчикам микросервисов, инженерам и архитекторам данных. |
| 10 | + |
| 11 | +@[](https://runtime.strm.yandex.ru/player/episode/vpled3lm6gfqgtdb3gtw?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc) |
| 12 | + |
| 13 | +### Как Яндекс разработал алгоритм для стоимостного оптимизатора в YDB |
| 14 | + |
| 15 | +{% include notitle [database_internals_tag](../../tags.md#database_internals) %} |
| 16 | + |
| 17 | +Для поддержки эффективных аналитических запросов в СУБД Яндекса реализован механизм стоимостной оптимизации — алгоритм выбора оптимального плана выполнения запроса. При этом такая задача является NP-трудной — для её решения необходимо перебрать все варианты выполнения запроса, и время работы системы увеличивается экспоненциально. |
| 18 | + |
| 19 | +На вебинаре рассматривается архитектура и реализация стоимостного оптимизатора в YDB, начиная от используемых теоретических основ до практического применения в производственных нагрузках. Подробно объясняется, как современные алгоритмы и методы динамического программирования, применённые в оптимизаторе запросов, позволяют системе эффективно обрабатывать сложные SQL-запросы с большим числом JOIN-операций. Отдельное внимание уделяется тому, как реализованный оптимизатор обеспечивает высокую производительность СУБД, а также тому, за счёт каких технологических решений удаётся перебрать до 150 JOIN-операций за секунду. |
| 20 | + |
| 21 | +Вебинар полезен тем, кто интересуется алгоритмами оптимизации, разработкой баз данных, динамическим программированием, — архитекторами и инженерам баз данных, разработчикам прикладного ПО и специалистам по системной интеграции. |
| 22 | + |
| 23 | +@[](https://runtime.strm.yandex.ru/player/episode/vpledjxhhhm7dev3cg72?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc) |
| 24 | + |
| 25 | +### YDB (СУБД Яндекса) для задач интеграции данных и бизнес-аналитики |
| 26 | + |
| 27 | +{% include notitle [overview_tag](../../tags.md#overview) %} |
| 28 | + |
| 29 | +На очередном вебинаре про аналитические возможности YDB детально рассматривается инструментарий для бизнес-аналитики и интеграции данных: |
| 30 | + |
| 31 | +- федеративные запросы в СУБД и S3-совместимые хранилища данных; |
| 32 | +- ETL и ELT-интеграции с Apache NiFi и Apache Airflow; |
| 33 | +- обработка данных с помощью Apache Spark; |
| 34 | +- анализ данных в Jupyter; |
| 35 | +- инструменты визуализации: Grafana, DataLens, Apache Superset. |
| 36 | + |
| 37 | +Вебинар будет полезен бизнес-аналитикам, архитекторам данных и специалистам, работающим с хранилищами данных. |
| 38 | + |
| 39 | +@[](https://runtime.strm.yandex.ru/player/episode/vpleedipvdfxfl7upbjb?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc) |
| 40 | + |
| 41 | +### Внутреннее устройство аналитической СУБД Яндекса — YDB DWH |
| 42 | + |
| 43 | +{% include notitle [database_internals_tag](../../tags.md#database_internals) %} |
| 44 | + |
| 45 | +На вебинаре по глубокому погружению в архитектуру аналитических компонентов YDB (СУБД Яндекса) детально разобрали внутреннее устройство ключевых механизмов, отвечающих за эффективную обработку аналитических запросов: |
| 46 | + |
| 47 | +- архитектура хранения данных в колоночных шардах YDB DWH и механизмы распределения данных в кластере; |
| 48 | +- принципы работы и отличительные особенности стоимостного оптимизатора запросов YDB DWH; |
| 49 | +- внутреннее устройство модуля управления нагрузкой (Workload manager) и его влияние на производительность базы данных. |
| 50 | + |
| 51 | +Вебинар полезен разработчикам систем хранения данных, инженерам по оптимизации производительности и архитекторам распределённых систем, желающим глубже понять принципы работы современных СУБД. |
| 52 | + |
| 53 | +@[](https://runtime.strm.yandex.ru/player/episode/vplenkblbdqdawpj2qoa?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc) |
| 54 | + |
| 55 | +### Новые возможности YDB (СУБД Яндекса) для аналитических систем |
| 56 | + |
| 57 | +{% include notitle [general_tag](../../tags.md#general) %} |
| 58 | + |
| 59 | +На вебинаре рассказали о новой возможности YDB (СУБД Яндекса) — выполнению сложных аналитических запросов. Теперь СУБД Яндекса позволяет не только разрабатывать транзакционные приложения, но и строить аналитические системы в контуре заказчика — корпоративные хранилища данных. На мероприятии рассказали, как реализовали поддержку одновременно OLAP- и OLTP-нагрузок, добились производительности аналитических запросов в ресурсоёмких бизнес-критичных сценариях, а также поговорили про отличия YDB DWH от PostgreSQL, MongoDB, ClickHouse и Greenplum. |
| 60 | + |
| 61 | +Вебинар будет полезен архитекторам и инженерам баз данных, SRE-инженерам, разработчикам прикладного ПО и специалистам по системной интеграции. |
| 62 | + |
| 63 | +@[](https://runtime.strm.yandex.ru/player/episode/vplemmlcgopqfspnvggi?autoplay=0&branding=0&from=documentation&mute=0&redirect_from=ugc) |
0 commit comments