OpenMetadata 连接 MySQL 采集元数据完整指南从 0 到血缘可视化的 3 步实践【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata把散落在各张 MySQL 表里的元数据一次性搬到 OpenMetadata 里其实只需要三步备好权限、写一份 YAML、跑一条 CLI 命令。整个过程不用手写 SQL也不用碰数据库内核——你只需要一个有权限的账号和一台能访问 MySQL 的机器。下面按真实上手顺序走一遍先搭好环境再把采集跑通然后看看它除了导表结构之外还顺手帮你做了什么视图血缘、数据预览、增量采集。最后附上最常见的几个报错和排查路径。先看环境要求90% 的失败都出在这里采集失败时十有八九不是配置写错而是账号权限不够或网络不通。开工前先确认三件事版本MySQL 8.0 最省心事务和高阶数据类型支持完整OpenMetadata 自身的后端也默认用 MySQLFlyway 负责 schema 迁移初始化逻辑可参考 docker/mysql/mysql-script.sql权限采集账号除了库表权限外必须额外拥有 PROCESS 和 USAGE 全局权限否则连接阶段就会报权限错误字符集库表用 utf8mb4避免 emoji 和特殊符号在元数据里变乱码。权限脚本的关键两行长这样GRANT ALL PRIVILEGES ON openmetadata_db.* TO openmetadata_user%; GRANT PROCESS, USAGE ON *.* TO openmetadata_user%;第二行是最容易被漏掉的。如果你的库是共享环境让 DBA 单独授权即可不需要动已有账号。连接怎么配一份能直接跑的 YAMLOpenMetadata 通过采集工作流ingestion workflow对接 MySQL配置就是一个 YAML 文件。仓库里已经带了一份完整示例ingestion/src/metadata/examples/workflows/mysql.yaml你可以复制后改掉连接信息直接上手。核心结构如下source: type: mysql serviceName: local_mysql serviceConnection: config: type: Mysql username: openmetadata_user authType: password: openmetadata_password hostPort: localhost:3306 databaseSchema: openmetadata_db sourceConfig: config: type: DatabaseMetadata sink: type: metadata-rest config: {}几个要点说明一下source.type填mysql对应的是 MySQL 连接器源码MysqlSource类它继承自通用关系库采集器所以表、视图、存储过程、列注释这些都会自动采集sourceConfig.type用DatabaseMetadata表示只要元数据后面想跑数据探查把它换成Profiler并指定schemaFilterPattern即可官方示例在 mysql_profiler.yaml文件末尾的workflowConfig里要填 OpenMetadata Server 地址和一个有效的 JWT Token在 UI 的 API 页面生成。配置好之后一条命令跑起来metadata ingest -c mysql_ingestion_config.yaml跑完后打开 OpenMetadata 的 Explore 页面你的库、表、列应该都躺在里面了。采集范围如何圈定不想全量采集就用过滤生产库里往往混着临时表、同步表、废弃表全量采集既慢又吵。OpenMetadata 支持三组过滤规则全部用通配符写参数作用示例includeSchemas按库圈范围openmetadata_db.*includeTables按表名追加entity_*excludeTables按表名排除.*bot.*写在sourceConfig.config下面就行比如只采openmetadata_db库、排除名字带bot的表效果就是该库全部表但临时表除外。注意 include 和 exclude 是叠加生效的exclude 优先级更高——配置前先想清楚规则顺序避免加了 include 反而少采了的困惑。这套行为在 MySQL 采集测试用例 里有完整断言想验证自己的过滤规则是否符合预期照着测试里的预期数量对一下最直观。它顺带帮你做的事视图血缘和数据预览采集不只是把表结构搬过来OpenMetadata 会解析视图定义并自动建立血缘。比如你建了一个视图CREATE VIEW view_persons AS SELECT * FROM openmetadata_db.persons;采集完成后view_persons和persons之间会自动生成逐列的血缘关系——官方测试用例里一个 22 列的视图正好产生 22 条列级血缘你点进视图详情页就能看到每张基础表、每个来源字段。排查这个字段到底从哪来这类问题时这一步能省掉大量翻 SQL 的时间。另外采集时会按配置对表做数据采样默认几行所以你在 UI 里点进任何一张表不登数据库客户端就能直接看到样本数据和列类型。官方测试用的persons表覆盖了 MySQL 常见的 22 种原生类型INT/DECIMAL/DATETIME/ENUM/BLOB……采集后类型映射一列列展示在 UI 上对新手判断这张表的字段到底是什么类型很友好。排障与调优报错先看这三处采集报错时按这个顺序查基本能覆盖所有情况权限SHOW GRANTS FOR your_userhost;确认输出里同时有库表权限和PROCESS, USAGE缺一个都会报权限错误网络在跑采集的机器上telnet host 3306确认端口可达内网部署时注意采集进程和 MySQL 之间的防火墙/安全组日志把workflowConfig.loggerLevel调成DEBUG重跑一次日志会精确到是哪张表、哪条查询失败。调优方面表多的大库建议开增量采集在sourceConfig.config下加lastModifiedFilter如30 days ago只采最近变更过的表第二次以后跑一遍的时间能降到原来的几分之一。连接数多的环境也可以调大连接池参数避免采集高峰期挤占数据库连接。行动清单今天就能做复制 mysql.yaml 示例填入你的连接信息和 JWT Token跑通metadata ingest -c在 Explore 页面确认表已入库本周安排给核心库配excludeTables排除临时表并开启lastModifiedFilter增量采集挂到定时任务里Airflow 或 crontab 均可接下来补齐为高频表指定负责人、加上业务描述和术语标签再挑一张核心表跑一次 Profiler见 mysql_profiler.yaml让数据预览和质量检查也跑起来。做到这三步你的 MySQL 就从一个只有 DBA 知道结构的黑盒变成了全团队可搜索、可追溯、可协作的数据资产。【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 OpenMetadata 连接 MySQL 采集元数据完整指南：从 0 到血缘可视化的 3 步实践
OpenMetadata 连接 MySQL 采集元数据完整指南从 0 到血缘可视化的 3 步实践【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata把散落在各张 MySQL 表里的元数据一次性搬到 OpenMetadata 里其实只需要三步备好权限、写一份 YAML、跑一条 CLI 命令。整个过程不用手写 SQL也不用碰数据库内核——你只需要一个有权限的账号和一台能访问 MySQL 的机器。下面按真实上手顺序走一遍先搭好环境再把采集跑通然后看看它除了导表结构之外还顺手帮你做了什么视图血缘、数据预览、增量采集。最后附上最常见的几个报错和排查路径。先看环境要求90% 的失败都出在这里采集失败时十有八九不是配置写错而是账号权限不够或网络不通。开工前先确认三件事版本MySQL 8.0 最省心事务和高阶数据类型支持完整OpenMetadata 自身的后端也默认用 MySQLFlyway 负责 schema 迁移初始化逻辑可参考 docker/mysql/mysql-script.sql权限采集账号除了库表权限外必须额外拥有 PROCESS 和 USAGE 全局权限否则连接阶段就会报权限错误字符集库表用 utf8mb4避免 emoji 和特殊符号在元数据里变乱码。权限脚本的关键两行长这样GRANT ALL PRIVILEGES ON openmetadata_db.* TO openmetadata_user%; GRANT PROCESS, USAGE ON *.* TO openmetadata_user%;第二行是最容易被漏掉的。如果你的库是共享环境让 DBA 单独授权即可不需要动已有账号。连接怎么配一份能直接跑的 YAMLOpenMetadata 通过采集工作流ingestion workflow对接 MySQL配置就是一个 YAML 文件。仓库里已经带了一份完整示例ingestion/src/metadata/examples/workflows/mysql.yaml你可以复制后改掉连接信息直接上手。核心结构如下source: type: mysql serviceName: local_mysql serviceConnection: config: type: Mysql username: openmetadata_user authType: password: openmetadata_password hostPort: localhost:3306 databaseSchema: openmetadata_db sourceConfig: config: type: DatabaseMetadata sink: type: metadata-rest config: {}几个要点说明一下source.type填mysql对应的是 MySQL 连接器源码MysqlSource类它继承自通用关系库采集器所以表、视图、存储过程、列注释这些都会自动采集sourceConfig.type用DatabaseMetadata表示只要元数据后面想跑数据探查把它换成Profiler并指定schemaFilterPattern即可官方示例在 mysql_profiler.yaml文件末尾的workflowConfig里要填 OpenMetadata Server 地址和一个有效的 JWT Token在 UI 的 API 页面生成。配置好之后一条命令跑起来metadata ingest -c mysql_ingestion_config.yaml跑完后打开 OpenMetadata 的 Explore 页面你的库、表、列应该都躺在里面了。采集范围如何圈定不想全量采集就用过滤生产库里往往混着临时表、同步表、废弃表全量采集既慢又吵。OpenMetadata 支持三组过滤规则全部用通配符写参数作用示例includeSchemas按库圈范围openmetadata_db.*includeTables按表名追加entity_*excludeTables按表名排除.*bot.*写在sourceConfig.config下面就行比如只采openmetadata_db库、排除名字带bot的表效果就是该库全部表但临时表除外。注意 include 和 exclude 是叠加生效的exclude 优先级更高——配置前先想清楚规则顺序避免加了 include 反而少采了的困惑。这套行为在 MySQL 采集测试用例 里有完整断言想验证自己的过滤规则是否符合预期照着测试里的预期数量对一下最直观。它顺带帮你做的事视图血缘和数据预览采集不只是把表结构搬过来OpenMetadata 会解析视图定义并自动建立血缘。比如你建了一个视图CREATE VIEW view_persons AS SELECT * FROM openmetadata_db.persons;采集完成后view_persons和persons之间会自动生成逐列的血缘关系——官方测试用例里一个 22 列的视图正好产生 22 条列级血缘你点进视图详情页就能看到每张基础表、每个来源字段。排查这个字段到底从哪来这类问题时这一步能省掉大量翻 SQL 的时间。另外采集时会按配置对表做数据采样默认几行所以你在 UI 里点进任何一张表不登数据库客户端就能直接看到样本数据和列类型。官方测试用的persons表覆盖了 MySQL 常见的 22 种原生类型INT/DECIMAL/DATETIME/ENUM/BLOB……采集后类型映射一列列展示在 UI 上对新手判断这张表的字段到底是什么类型很友好。排障与调优报错先看这三处采集报错时按这个顺序查基本能覆盖所有情况权限SHOW GRANTS FOR your_userhost;确认输出里同时有库表权限和PROCESS, USAGE缺一个都会报权限错误网络在跑采集的机器上telnet host 3306确认端口可达内网部署时注意采集进程和 MySQL 之间的防火墙/安全组日志把workflowConfig.loggerLevel调成DEBUG重跑一次日志会精确到是哪张表、哪条查询失败。调优方面表多的大库建议开增量采集在sourceConfig.config下加lastModifiedFilter如30 days ago只采最近变更过的表第二次以后跑一遍的时间能降到原来的几分之一。连接数多的环境也可以调大连接池参数避免采集高峰期挤占数据库连接。行动清单今天就能做复制 mysql.yaml 示例填入你的连接信息和 JWT Token跑通metadata ingest -c在 Explore 页面确认表已入库本周安排给核心库配excludeTables排除临时表并开启lastModifiedFilter增量采集挂到定时任务里Airflow 或 crontab 均可接下来补齐为高频表指定负责人、加上业务描述和术语标签再挑一张核心表跑一次 Profiler见 mysql_profiler.yaml让数据预览和质量检查也跑起来。做到这三步你的 MySQL 就从一个只有 DBA 知道结构的黑盒变成了全团队可搜索、可追溯、可协作的数据资产。【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考