DataHub 功能全景元数据管理、数据发现、血缘与数据契约的一体化平台【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 是一个面向现代数据与 AI 技术栈的元数据目录平台其核心使命是帮助团队高效地发现、理解、治理和信任组织内的数据资产。本文基于 DataHub 官方功能文档结合仓库内源码与配套指南系统梳理 DataHub 的定位、六大核心能力、快速启动方式、部署选型与元数据摄入路径读者可据此快速判断 DataHub 是否适合自身场景并掌握从零启动到接入数据源、再到调用 API 的完整上手链路。DataHub 是什么面向数据与 AI 栈的上下文平台features.md 将 DataHub 定义为modern data catalog现代数据目录其设计目标覆盖三个层面元数据管理统一收集、建模、存储来自异构数据系统的元数据数据发现让用户高效检索和探索数据资产数据治理通过所有权、PII 追踪等手段落实数据合规与责任边界。与此同时DataHub 被定位为**可扩展extensible**的元数据管理平台面向开发者它帮助驯服快速演进的数据生态的复杂性面向数据实践者它帮助组织释放数据的全部价值。仓库根目录的项目描述将其概括为 The Context Platform for your Data and AI Stack即它不仅服务传统 BI 场景也面向机器学习与 AI 场景下的数据上下文管理。下图展示了 DataHub 作为数据中枢的整体架构左侧数据源通过 Push Pull 方式向平台输入元数据平台完成建模与处理右侧通过 GraphQL、REST、Kafka 等接口向告警、协作、BI 等下游系统输出元数据上下文。核心功能矩阵六张能力卡片背后的实践入口features.md 通过FeatureCardSection组件展示六项关键能力。该组件在 FeatureCardSection/index.jsx 中定义并在 generateDocsDir.ts 中维护了等价的纯 Markdown 版本供 AI 工具与静态渲染使用。以下逐一展开。1. 数据发现Data Discovery能力描述搜索整个数据生态系统包括仪表盘dashboards、数据集datasets、机器学习模型ML models与原始文件raw files。这是 DataHub 的入口级能力对应 Search 指南。具体机制包括搜索栏支持从 Dataset、Column、Dashboard、Chart、Data Pipeline 等资产类型中发现目标布尔逻辑默认以AND解释查询词如information about orders等价于information AND about AND orders筛选器左侧筛选栏可按数据平台如 Snowflake、标签、术语、域、所有者等快速下钻高级筛选还支持按列名、容器、描述、软删除状态等维度组合过滤并可切换匹配所有/匹配任一及取反操作高级查询支持精确短语pet profile、排除词logging -snowflake、布尔优先级logging (-snowflake | os_audit_log)以及字段级模式匹配如/q name: *mask*、/q customProperties: encoding*。2. 数据治理Data Governance能力描述定义数据所有权ownership并追踪 PII。所有权是治理的基础单元仓库提供了 ownership-types.md 说明所有权类型的设计。围绕治理DataHub 还提供了角色与策略通过 授权与访问策略指南 为个人、群组或资源维度配置细粒度权限标签与术语通过 Tags 指南 和 业务术语表 建立分类体系为 PII 等敏感信息打标追踪域Domains通过 Domains 指南 将资产按业务域组织。从源码结构看治理相关的能力横跨datahub-graphql-coreGraphQL 查询层、metadata-serviceGMS 服务端与datahub-web-react前端界面策略判定由metadata-service/auth-impl中的授权实现提供支撑。3. 数据质量与可观测性Data Quality Observability能力描述在质量问题影响生产前及时发现并解决通过自动异常检测、断言assertions与数据契约data contracts保障数据可靠性。DataHub 将质量保障分为三个层次断言Assertions对数据集施加可验证的质量规则数据契约Data Contracts以契约形式固化数据提供方与消费方之间的质量承诺异常检测与可观测性监控数据新鲜度、完整性等指标并追踪数据质量事件。该能力对应的主文档是 DataHub Observe 总览仓库内还提供了 开放断言规范Open Assertions Spec 以及 Incidents 事件管理指南用于质量问题从发现、登记到解决的闭环。4. 基于 UI 的元数据摄入UI-based Ingestion能力描述无需编写代码在几分钟内通过 DataHub 直观的 UI 完成数据源集成。详细操作见 Metadata IngestionUI 摄入核心流程为在 DataHub 界面进入Ingestion页签选择数据源类型支持 Snowflake、BigQuery、dbt 等主流平台配置 recipe 与凭据凭据通过 Secrets 加密管理按计划自动执行摄入任务并查看运行历史。UI 摄入依赖两项平台级权限Manage Metadata Ingestion创建、编辑、运行、删除摄入源与Manage Secrets管理加密凭据。在 DataHub Core 中管理员还可通过VIEW_INGESTION_SOURCE_PRIVILEGES_ENABLED特性开关启用面向具体摄入源的 View/Edit/Delete/Execute 资源级策略。5. 开放 API 与 SDKAPIs and SDKs能力描述为偏好程序化控制的用户提供全面的 API 与 SDK 集合。DataHub 提供四类接口选型对比如下详见 DataHub APIs and SDKs 总览接口类型优势适用注意点Python SDKSDK高度灵活适合批量操作需要理解元数据变更事件MCPJava SDKSDK高度灵活适合批量操作需要理解元数据变更事件GraphQL API接口直观镜像 UI 能力灵活度低于 SDK需了解 GraphQL 语法OpenAPI底层接口能力最强、最灵活简单场景上手成本偏高产品内自动生成规范官方推荐将 Python / Java SDK 作为扩展与定制 DataHub 行为的首选特别是程序化使用场景。入门示例可参考 GraphQL 快速上手 与 API 教程目录。6. 活跃的社区生态Vibrant CommunityDataHub 社区通过办公时间、工作坊与 Slack 频道 提供支持。从仓库结构看社区贡献沉淀了大量插件与集成metadata-ingestion下汇集了百余种数据源接入datahub-actions提供自动化 Action 框架datahub-kubernetes与docker/profiles则承载了部署与运行配置。快速上手一条命令启动本地实例features.md 的 Quickstart 区建议直接使用 DataHub CLI。核心命令序列如下python3 -m pip install --upgrade pip wheel setuptools python3 -m pip install --upgrade acryl-datahub datahub docker quickstart完整的前置条件与细节见 DataHub Quickstart 指南要点包括环境要求Docker 与 Docker Compose v2Python 3.10建议为 Docker 引擎分配 2 CPU、8GB 内存、2GB Swap 与 13GB 磁盘启动结果命令会拉取 docker-compose 配置并启动 MySQL、OpenSearch、Kafka、GMS、Frontend 与 actions 等容器登录浏览器访问http://localhost:9002默认账号datahub/datahub修改方式见 修改默认凭据加载示例数据执行datahub init --username datahub --password datahub后运行datahub datapack load showcase-ecommerce可载入约 1,050 个涵盖 Snowflake、Looker、PowerBI、Tableau 的资产实体含血缘、术语、域与数据产品日常管理datahub docker quickstart --stop停止、datahub docker nuke重置、--backup/--restore备份恢复、--version vX.Y.Z指定版本升级定制安装可下载 quickstart 用的 docker-compose 文件修改后通过datahub docker quickstart --quickstart-compose-file path使用。需要说明的是Quickstart 仅面向本地开发与体验不适用于生产环境其使用默认凭据、服务绑定所有网卡接口、缺乏水平扩展能力并默认跟随最新构建版本。部署选型本地、Kubernetes 与托管服务features.md 的 Get Started 部分给出了三条部署路径Quickstart本地快速启动适合开发与功能体验见 Quickstart 指南Kubernetes 自托管生产推荐方案见 Kubernetes 部署指南。DataHub 由 GMS、MAE Consumer可选、MCE Consumer可选与 Frontend 四个主要组件构成依赖 Kafka、本地数据库MySQL/Postgres/MariaDB、搜索索引Elasticsearch与图索引Neo4j 或 Elasticsearch四类外部服务官方提供 Helm charts 编排部署DataHub Cloud全托管无需自运维见 managed-datahub 总览。元数据摄入UI 与 CLI 双通道features.md 明确指出 DataHub 同时支持UI 摄入与CLI 摄入UI 摄入见上文基于 UI 的元数据摄入一节及 ui-ingestion.mdCLI 摄入基于acryl-datahubPython 包以 YAML recipe 描述数据源连接与处理逻辑支持单次执行与定时调度详见 CLI 摄入指南。两种方式底层共用同一套摄入框架metadata-ingestion模块源码目录中的 Source/Transformer/Sink 组件构成摄取管线产出的元数据变更事件MCE/MCP经 Kafka 进入 GMS 处理后写入主存储与搜索索引。UI 摄入本质上是将 recipe 托管在平台上、由摄入执行器ingestion executor按计划运行而 CLI 摄入则完全在用户侧执行两种模式满足不同运维偏好。从体验到落地围绕功能的下一步路径围绕 features.md 中提到的各项能力仓库提供了对应的深入材料搜索进阶Search 指南 覆盖筛选、高级查询与结果排序血缘血缘相关文档 及 API 教程中的 Lineage 示例质量保障Open Assertions Spec 与 Incidents治理配置访问策略指南、Groups 与 Roles编程接入Python SDK 使用方式、GraphQL 快速上手 与 API 教程架构理解元数据模型、GMS 与 元数据摄入架构。总体而言DataHub 的价值在于把发现、治理、质量、摄入、开放五类能力收敛到同一套元数据上下文之上先通过 Quickstart 快速体验再依据业务规模选择 Kubernetes 或托管部署随后按数据源选择 UI 或 CLI 接入元数据最终通过 API/SDK 将元数据能力嵌入到自身的工具链与自动化流程中。这也是其作为数据与 AI 栈上下文平台的完整落地路径。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 DataHub 功能全景：元数据管理、数据发现、血缘与数据契约的一体化平台
DataHub 功能全景元数据管理、数据发现、血缘与数据契约的一体化平台【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 是一个面向现代数据与 AI 技术栈的元数据目录平台其核心使命是帮助团队高效地发现、理解、治理和信任组织内的数据资产。本文基于 DataHub 官方功能文档结合仓库内源码与配套指南系统梳理 DataHub 的定位、六大核心能力、快速启动方式、部署选型与元数据摄入路径读者可据此快速判断 DataHub 是否适合自身场景并掌握从零启动到接入数据源、再到调用 API 的完整上手链路。DataHub 是什么面向数据与 AI 栈的上下文平台features.md 将 DataHub 定义为modern data catalog现代数据目录其设计目标覆盖三个层面元数据管理统一收集、建模、存储来自异构数据系统的元数据数据发现让用户高效检索和探索数据资产数据治理通过所有权、PII 追踪等手段落实数据合规与责任边界。与此同时DataHub 被定位为**可扩展extensible**的元数据管理平台面向开发者它帮助驯服快速演进的数据生态的复杂性面向数据实践者它帮助组织释放数据的全部价值。仓库根目录的项目描述将其概括为 The Context Platform for your Data and AI Stack即它不仅服务传统 BI 场景也面向机器学习与 AI 场景下的数据上下文管理。下图展示了 DataHub 作为数据中枢的整体架构左侧数据源通过 Push Pull 方式向平台输入元数据平台完成建模与处理右侧通过 GraphQL、REST、Kafka 等接口向告警、协作、BI 等下游系统输出元数据上下文。核心功能矩阵六张能力卡片背后的实践入口features.md 通过FeatureCardSection组件展示六项关键能力。该组件在 FeatureCardSection/index.jsx 中定义并在 generateDocsDir.ts 中维护了等价的纯 Markdown 版本供 AI 工具与静态渲染使用。以下逐一展开。1. 数据发现Data Discovery能力描述搜索整个数据生态系统包括仪表盘dashboards、数据集datasets、机器学习模型ML models与原始文件raw files。这是 DataHub 的入口级能力对应 Search 指南。具体机制包括搜索栏支持从 Dataset、Column、Dashboard、Chart、Data Pipeline 等资产类型中发现目标布尔逻辑默认以AND解释查询词如information about orders等价于information AND about AND orders筛选器左侧筛选栏可按数据平台如 Snowflake、标签、术语、域、所有者等快速下钻高级筛选还支持按列名、容器、描述、软删除状态等维度组合过滤并可切换匹配所有/匹配任一及取反操作高级查询支持精确短语pet profile、排除词logging -snowflake、布尔优先级logging (-snowflake | os_audit_log)以及字段级模式匹配如/q name: *mask*、/q customProperties: encoding*。2. 数据治理Data Governance能力描述定义数据所有权ownership并追踪 PII。所有权是治理的基础单元仓库提供了 ownership-types.md 说明所有权类型的设计。围绕治理DataHub 还提供了角色与策略通过 授权与访问策略指南 为个人、群组或资源维度配置细粒度权限标签与术语通过 Tags 指南 和 业务术语表 建立分类体系为 PII 等敏感信息打标追踪域Domains通过 Domains 指南 将资产按业务域组织。从源码结构看治理相关的能力横跨datahub-graphql-coreGraphQL 查询层、metadata-serviceGMS 服务端与datahub-web-react前端界面策略判定由metadata-service/auth-impl中的授权实现提供支撑。3. 数据质量与可观测性Data Quality Observability能力描述在质量问题影响生产前及时发现并解决通过自动异常检测、断言assertions与数据契约data contracts保障数据可靠性。DataHub 将质量保障分为三个层次断言Assertions对数据集施加可验证的质量规则数据契约Data Contracts以契约形式固化数据提供方与消费方之间的质量承诺异常检测与可观测性监控数据新鲜度、完整性等指标并追踪数据质量事件。该能力对应的主文档是 DataHub Observe 总览仓库内还提供了 开放断言规范Open Assertions Spec 以及 Incidents 事件管理指南用于质量问题从发现、登记到解决的闭环。4. 基于 UI 的元数据摄入UI-based Ingestion能力描述无需编写代码在几分钟内通过 DataHub 直观的 UI 完成数据源集成。详细操作见 Metadata IngestionUI 摄入核心流程为在 DataHub 界面进入Ingestion页签选择数据源类型支持 Snowflake、BigQuery、dbt 等主流平台配置 recipe 与凭据凭据通过 Secrets 加密管理按计划自动执行摄入任务并查看运行历史。UI 摄入依赖两项平台级权限Manage Metadata Ingestion创建、编辑、运行、删除摄入源与Manage Secrets管理加密凭据。在 DataHub Core 中管理员还可通过VIEW_INGESTION_SOURCE_PRIVILEGES_ENABLED特性开关启用面向具体摄入源的 View/Edit/Delete/Execute 资源级策略。5. 开放 API 与 SDKAPIs and SDKs能力描述为偏好程序化控制的用户提供全面的 API 与 SDK 集合。DataHub 提供四类接口选型对比如下详见 DataHub APIs and SDKs 总览接口类型优势适用注意点Python SDKSDK高度灵活适合批量操作需要理解元数据变更事件MCPJava SDKSDK高度灵活适合批量操作需要理解元数据变更事件GraphQL API接口直观镜像 UI 能力灵活度低于 SDK需了解 GraphQL 语法OpenAPI底层接口能力最强、最灵活简单场景上手成本偏高产品内自动生成规范官方推荐将 Python / Java SDK 作为扩展与定制 DataHub 行为的首选特别是程序化使用场景。入门示例可参考 GraphQL 快速上手 与 API 教程目录。6. 活跃的社区生态Vibrant CommunityDataHub 社区通过办公时间、工作坊与 Slack 频道 提供支持。从仓库结构看社区贡献沉淀了大量插件与集成metadata-ingestion下汇集了百余种数据源接入datahub-actions提供自动化 Action 框架datahub-kubernetes与docker/profiles则承载了部署与运行配置。快速上手一条命令启动本地实例features.md 的 Quickstart 区建议直接使用 DataHub CLI。核心命令序列如下python3 -m pip install --upgrade pip wheel setuptools python3 -m pip install --upgrade acryl-datahub datahub docker quickstart完整的前置条件与细节见 DataHub Quickstart 指南要点包括环境要求Docker 与 Docker Compose v2Python 3.10建议为 Docker 引擎分配 2 CPU、8GB 内存、2GB Swap 与 13GB 磁盘启动结果命令会拉取 docker-compose 配置并启动 MySQL、OpenSearch、Kafka、GMS、Frontend 与 actions 等容器登录浏览器访问http://localhost:9002默认账号datahub/datahub修改方式见 修改默认凭据加载示例数据执行datahub init --username datahub --password datahub后运行datahub datapack load showcase-ecommerce可载入约 1,050 个涵盖 Snowflake、Looker、PowerBI、Tableau 的资产实体含血缘、术语、域与数据产品日常管理datahub docker quickstart --stop停止、datahub docker nuke重置、--backup/--restore备份恢复、--version vX.Y.Z指定版本升级定制安装可下载 quickstart 用的 docker-compose 文件修改后通过datahub docker quickstart --quickstart-compose-file path使用。需要说明的是Quickstart 仅面向本地开发与体验不适用于生产环境其使用默认凭据、服务绑定所有网卡接口、缺乏水平扩展能力并默认跟随最新构建版本。部署选型本地、Kubernetes 与托管服务features.md 的 Get Started 部分给出了三条部署路径Quickstart本地快速启动适合开发与功能体验见 Quickstart 指南Kubernetes 自托管生产推荐方案见 Kubernetes 部署指南。DataHub 由 GMS、MAE Consumer可选、MCE Consumer可选与 Frontend 四个主要组件构成依赖 Kafka、本地数据库MySQL/Postgres/MariaDB、搜索索引Elasticsearch与图索引Neo4j 或 Elasticsearch四类外部服务官方提供 Helm charts 编排部署DataHub Cloud全托管无需自运维见 managed-datahub 总览。元数据摄入UI 与 CLI 双通道features.md 明确指出 DataHub 同时支持UI 摄入与CLI 摄入UI 摄入见上文基于 UI 的元数据摄入一节及 ui-ingestion.mdCLI 摄入基于acryl-datahubPython 包以 YAML recipe 描述数据源连接与处理逻辑支持单次执行与定时调度详见 CLI 摄入指南。两种方式底层共用同一套摄入框架metadata-ingestion模块源码目录中的 Source/Transformer/Sink 组件构成摄取管线产出的元数据变更事件MCE/MCP经 Kafka 进入 GMS 处理后写入主存储与搜索索引。UI 摄入本质上是将 recipe 托管在平台上、由摄入执行器ingestion executor按计划运行而 CLI 摄入则完全在用户侧执行两种模式满足不同运维偏好。从体验到落地围绕功能的下一步路径围绕 features.md 中提到的各项能力仓库提供了对应的深入材料搜索进阶Search 指南 覆盖筛选、高级查询与结果排序血缘血缘相关文档 及 API 教程中的 Lineage 示例质量保障Open Assertions Spec 与 Incidents治理配置访问策略指南、Groups 与 Roles编程接入Python SDK 使用方式、GraphQL 快速上手 与 API 教程架构理解元数据模型、GMS 与 元数据摄入架构。总体而言DataHub 的价值在于把发现、治理、质量、摄入、开放五类能力收敛到同一套元数据上下文之上先通过 Quickstart 快速体验再依据业务规模选择 Kubernetes 或托管部署随后按数据源选择 UI 或 CLI 接入元数据最终通过 API/SDK 将元数据能力嵌入到自身的工具链与自动化流程中。这也是其作为数据与 AI 栈上下文平台的完整落地路径。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考