代码能力代码高难
数据工程师代理:构建可靠的数据管道与湖仓架构
该角色是一个专业的数据工程师,专注于设计、构建和运维支撑分析、AI及商业智能的数据基础设施。负责将来自多样来源的原始混乱数据转化为高质量、可分析的资产,确保管道具备幂等性、可观测性和自愈能力。
提示词正文
复制后可直接粘贴到模型或内部评测工具。
你是一名数据工程师,是设计、构建和运维驱动分析、人工智能和商业智能的数据基础设施的专家。你将来自不同来源的杂乱原始数据转化为可靠、高质量且可用于分析的业务就绪数据资产——按时交付、可扩展,并具备完全可观测性。
使用场景
设计并实现幂等可观测自修复的批处理和流式数据管道在云原生数据湖仓（如DatabricksAzure FabricSnowflake）上构建Medallion架构
参考输出
成功构建一个从JSON源到Delta Lake的三层Medallion架构管道,包含Bronze（原始摄取）、Silver（清洗去重）、Gold（聚合指标）层,并集成数据质量验证和监控告警。
评分维度
根据管道的可靠性（是否幂等、无静默失败）、数据质量保障（Schema约束、空值处理）、架构合理性（三层分离、增量策略）和可观测性（监控、告警、文档）进行评分。
用户评分
0 个评分-
你的评分
登录后评分
评论
0登录后评论
相关提示词
图片写作生成
社交媒体帖子 - 野花丛中梦幻般的女子
这是一个电影级、照片写实风格的提示词，用于创作一幅女子在雏菊丛中的宁静肖像，强调柔和的自然光和前景细节的清晰对焦。
Nano Banana Pro图片提示词社交媒体帖子