AI Engineering

AI engineering 把模型实验变成可持续运行的产品能力。它同时管理普通软件变化和 statistical behavior：代码可能没变，但数据、用户和反馈策略变化后，系统仍会退化。

Production AI Lifecycle

Version the inputs. Reproduce the experiment. Promote the artifact. Monitor the decision.

可靠 AI 系统需要追踪 data、code、model、prompt、tool、environment 和 evaluation； 发布后同时观察服务 SLO、模型行为和产品 outcome，并允许快速回滚与重新训练。

DataExperimentsPipelinesDeploymentMonitoring

Knowledge Map

Input system

Data Engineering

来源、Schema、label、quality、lineage、privacy 和 train–serve consistency。

Evidence

Experimentation

Baseline、configuration、artifact、reproducibility 和 decision log。

Delivery

Deployment

Registry、compatibility、shadow、canary、rollback 和 pipeline promotion。

Feedback

Monitoring

服务、数据、模型、Agent 和产品 outcome 的分层观测。

Versioned Artifact Graph

source data + labels + code + configuration
  → training run
  → model / adapter / prompt artifact
  → evaluation report
  → deployment
  → prediction / trace / outcome

任何线上结果都应能追溯到这个图中的具体版本。

Operational Principles

• Data pipeline 是生产代码，需要 contract、test 和 owner。
• Experiment tracker 记录事实，decision log 解释为什么选择某个方案。
• Model registry 保存 lineage、evaluation 和 approval，不只是文件地址。
• Shadow / canary 验证真实 workload，同时限制用户风险。
• Training–serving skew、feedback delay 和 silent failure 是 AI 特有的高风险区域。

References

• A Brief Guide to Running ML Systems in Production
• Data Management Challenges in Production Machine Learning