Проекты

Кейсы с основной работы с данными и проекты с открытым кодом, которые я делаю вне работы.

Кейсы

Проекты с основной работы с данными. Код закрыт, поэтому на страницах описаны задача, решение и результат без деталей о компании.

  1. Платформа на Airflow 3

    Новый кластер Airflow 3.1: DAG из Git без деплоя, проверки в CI для каждого merge request, запуск dbt через Cosmos.

    • Airflow 3
    • dbt
    • Cosmos
    • GitLab CI
    • ruff
    • Podman
    • Ansible

  2. Мониторинг DWH для дежурных

    Дашборды и алерты для дежурного: упавшие и зависшие запуски, долгие DAG, устаревшие продуктовые метрики.

    • Airflow
    • Grafana
    • VictoriaMetrics
    • statsd
    • PostgreSQL
    • Python

  3. Пилот lakehouse

    Перенос сырых событий из HDFS в таблицы Iceberg в облаке, проверенный в двух облаках на 14 ТБ реальных данных. Переход отложен.

    • Iceberg
    • Spark
    • Trino
    • Kafka
    • S3
    • PyArrow

Проекты с открытым кодом

Проекты, которые я делаю вне работы, код открыт.

  1. InkVault

    Менеджер паролей, которому нужны только клиент и учетная запись XMPP на любом сервере: сквозное шифрование, ядро на Rust, web, Android и терминальный клиенты.

    • Rust
    • Kotlin
    • TypeScript
    • WebAssembly
    • XMPP

  2. Нагрузочная проверка InkVault

    Стенд для проверки Prosody с InkVault: SQLite или PostgreSQL в контейнерах, генератор нагрузки, который ведет себя как клиенты InkVault, сбор метрик и отчет.

    • Node.js
    • Prosody
    • SQLite
    • PostgreSQL
    • Podman
    • Prometheus
    • Grafana

  3. Cocosations

    XMPP-клиент для Android на основе Conversations с диагностикой звонков: этап сбоя, причина и качество звука.

    • Android
    • Java
    • XMPP
    • WebRTC
    • F-Droid

  4. Kadr

    Скриншотер для GNOME на Wayland: режимы захвата, редактор пометок, распознавание текста, выгрузка по SFTP и WebDAV.

    • C++23
    • Qt 6
    • Wayland
    • xdg-desktop-portal
    • Flatpak

  5. XMPP Server Guides

    Пошаговые инструкции по развертыванию своего XMPP-сервера на Prosody.

    • XMPP
    • Prosody
    • HAProxy
    • Xray
    • coturn
    • Let's Encrypt
    • Cloudflare

  6. termisations

    Терминальный XMPP-клиент для отладки протокола: рядом с беседой идет панель сырого потока строф.

    • Python
    • Textual
    • slixmpp
    • SQLite