Евгений Иньков

Senior Data Engineer / Data Platform Engineer

10+ лет в разработке · 7+ лет работы с данными

Проектирую и развиваю платформы данных: ETL/ELT-процессы, DAG в Airflow, DWH на Hadoop, витрины в ClickHouse и PostgreSQL. Отвечаю за полный цикл: от сбора данных до отчетов и мониторинга.

Написать мне Обо мне
Евгений Иньков, портрет у окна с комнатными растениями

Проекты с открытым кодом

Все проекты

Работа с данными ведется в закрытых репозиториях компаний, ее я описываю в кейсах. Ниже открытые проекты, которые я делаю вне работы.

  1. Cocosations

    XMPP-клиент для Android на основе Conversations с диагностикой звонков: этап сбоя, причина и качество звука.

    • Android
    • Java
    • XMPP
    • WebRTC
    • F-Droid

  2. Kadr

    Скриншотер для GNOME на Wayland: режимы захвата, редактор пометок, распознавание текста, выгрузка по SFTP и WebDAV.

    • C++23
    • Qt 6
    • Wayland
    • xdg-desktop-portal
    • Flatpak

  3. InkVault

    Менеджер паролей, которому нужны только клиент и учетная запись XMPP на любом сервере: сквозное шифрование, ядро на Rust, web, Android и терминальный клиенты.

    • Rust
    • Kotlin
    • TypeScript
    • WebAssembly
    • XMPP

Обо мне

Начинал с прикладной разработки: писал приложения на Java, Python и C++, веб-интерфейсы и скрипты миграции баз PostgreSQL. Затем перешел к данным в продукте: разбирал логи, писал загрузчики и парсеры на Go и Python, строил агрегаты в ClickHouse. Сейчас разрабатываю и развиваю ETL/ELT-процессы, DAG в Airflow, DWH на Hadoop, Hive и Impala, витрины и агрегаты в ClickHouse и PostgreSQL. Также спроектировал пилотный lakehouse на Iceberg, S3, Spark, Kafka и PyArrow.

Отвечаю за полный цикл работы с данными: сбор из внутренних и внешних источников, парсинг и нормализацию, обогащение, хранение, агрегацию, отчетность, мониторинг, алертинг и автоматизацию. Проектирую отказоустойчивые пайплайны, оптимизирую производительность запросов и оркестрации, слежу за качеством данных и SLA.

Работал с продуктовыми, маркетинговыми и логовыми данными, интеграциями с Google Ads, Meta Ads, data.ai, myTracker и другими внешними API. Довожу данные до бизнеса: дашборды, отчеты, self-service BI, ad-hoc анализ. В команде занимаюсь code review, менторством, архитектурными решениями и взаимодействием с аналитикой, продуктом и инфраструктурой.

attributes

role
Senior Data Engineer / Data Platform Engineer
dev_experience
10+ лет в разработке
data_experience
7+ лет работы с данными
core_stack
Python, SQL, Airflow, ClickHouse, Hadoop, Spark
data_domains
продуктовые, маркетинговые и логовые данные
team
code review, менторство, архитектура

Задачи

  • Сбор данных

    Сбор данных из логов продуктов и внешних источников: Google Ads, Meta Ads, data.ai, myTracker, внутренние API, БД, файлы, S3. Настройка CDC, выгрузок, парсеров и загрузчиков. Работа с Kafka и очередями.

  • Обработка и обогащение

    ETL/ELT-процессы на Python и SQL. Парсеры текстовых логов, очистка, нормализация, обогащение, дедупликация. Построение витрин, агрегатов, SCD2, слоев DWH. PySpark, dbt, Spark SQL.

  • Загрузка и хранение

    Вставка данных в ClickHouse, агрегаты в ClickHouse и MySQL. DWH на Hadoop, Hive и Impala. Работа с PostgreSQL, S3, HDFS, Parquet. Оптимизация партиционирования, сжатия и схем хранения.

  • Оркестрация

    DAG в Airflow: динамические DAG, custom operators, sensors, pools, SLA, retries, backfill. Настройка и оптимизация производительности Airflow. CeleryExecutor и KubernetesExecutor, мониторинг очередей и воркеров.

  • Качество данных

    Проверки полноты, уникальности, своевременности и консистентности. Reconciliation между источниками и витринами. Поиск аномалий, Great Expectations, dbt tests, собственные проверки.

  • Отчетность и BI

    Автоматизация отчетов, дашборды для бизнес-аналитики, анализ данных для маркетинга. Superset, Metabase, Grafana, ad-hoc анализ. Self-service BI и слой витрин для аналитиков.

  • Мониторинг и алертинг

    Дашборды Grafana, Graphite, Prometheus. Веб-модуль мониторинга ETL-процессов, webhook для алертов Grafana. Уведомления в Telegram, разбор инцидентов, health-check пайплайнов.

  • Производительность

    Оптимизация SQL-запросов в ClickHouse (MergeTree), PostgreSQL, Hive и Impala, оптимизация DAG в Airflow. Снижение времени обработки, стоимости хранения и нагрузки на кластер.

  • Микросервисы

    Боты, автоответчики, внутренние API и инструменты для команды.

  • Рассылки

    Техническая часть рассылок пользователям, до 3 млн получателей. Очереди, ограничение скорости отправки, шаблоны, доставляемость, мониторинг.

  • Инфраструктура

    Docker, Podman, Kubernetes, GitLab CI, Ansible. CI/CD для данных и сервисов. Документация, lineage, управление доступами, работа с PII по 152-ФЗ и GDPR.

  • Работа в команде

    Code review, менторство, оценка задач, архитектурные решения, сбор требований, взаимодействие с продуктом и аналитикой.

Стек

Языки

  • Python
  • SQL
  • Bash

Оркестрация и мониторинг

  • Airflow
  • dbt
  • Celery
  • Grafana
  • Graphite
  • Prometheus
  • Sentry

Хранилища и обработка

  • ClickHouse
  • PostgreSQL
  • Spark/PySpark
  • Kafka
  • Iceberg
  • S3
  • Parquet
  • Hadoop
  • HDFS
  • Hive
  • Impala
  • MySQL

Анализ данных

  • Jupyter Notebook
  • pandas
  • Plotly
  • Zeppelin
  • Spark
  • Superset

DevOps и платформа

  • Docker
  • Podman
  • Kubernetes
  • Git
  • GitLab CI
  • Ansible

Облака

  • Yandex Cloud
  • VK Cloud
  • S3-compatible object storage

Работал раньше

  • Java
  • Go
  • Hibernate
  • C++
  • Qt
  • C#
  • Mono
  • PHP
  • JavaScript
  • jQuery
  • Tornado
  • HTML
  • UML
  • Astra Linux

Контакты

Пишите на почту, по XMPP или в Telegram.