数据工程是什么

数据工程（Data Engineering） 负责把原始数据变成可靠、可查询、可分析的数据资产。CodeRoadMap 主栈是 MySQL + Spring Boot；本 track 帮你建立数据管道思维，与 /roadmaps/data-engineer 路线图对齐。

学习目标

• 区分数据工程、数据分析、数据科学、机器学习工程
• 理解数据从产生到消费的完整生命周期
• 明确数据工程师与后端工程师的职责边界

数据工程 vs 相邻角色

角色	核心问题	典型产出
数据工程师	数据怎么稳定流动、存储、建模	ETL 管道、数仓表、调度 DAG
数据分析师	业务指标是什么、趋势如何	报表、Dashboard、洞察
数据科学家	能否预测、分类、推荐	模型、实验、特征
后端工程师	API 怎么服务在线业务	REST 接口、事务、缓存

后端写 POST /api/tracks 落库；数据工程师关心 ** nightly 同步、历史快照、跨库汇总**——两者协作，不是替代。

数据生命周期

产生（业务库/API/日志）
  → 采集（CDC、批量导出、消息队列）
  → 存储（对象存储、数仓、湖）
  → 转换（清洗、聚合、建模）
  → 服务（BI、API、Reverse ETL）
  → 治理（质量、权限、血缘）

本站 cf_track、cf_lesson 是 OLTP 表；若要做「课程完成率趋势」，通常需要 ETL 到分析层，而不是直接在生产库跑重查询。

数据工程师日常

• 设计 batch/stream 管道与表结构
• 维护 Airflow/dbt 等编排与 SQL 转换
• 监控任务失败、数据延迟、schema 变更
• 与分析师对齐指标口径，与后端对齐源表变更

与路线图的关系

• /roadmaps/data-engineer — 本 track 主路线图
• /tracks/sql-essentials — SQL 是数据工程第一语言
• /tracks/kafka-essentials — 流式采集扩展

练习

• 用一句话向非技术人员解释「数据工程师做什么」
• 打开 /roadmaps/data-engineer，找到 ETL / 数仓相关节点
• 列举 CodeRoadMap 中 3 张表，说明哪些适合 OLTP、哪些适合分析层

小结

数据工程让数据「流动且可信」；后端保在线，数据工程保分析底座。 下一课补 Linux、Git 与分布式基础。