CircularNet 数据可视化实战把废弃物识别模型结果接入 BigQuery 与 Looker Studio 仪表盘【免费下载链接】modelsModels and examples built with TensorFlow项目地址: https://gitcode.com/GitHub_Trending/mode/models本篇围绕 CircularNet废弃物识别 ML 项目文档站中的「查看数据view-data」章节展开在目标跟踪预测管线运行完毕、模型结果写入 BigQuery 之后如何基于官方 Looker Studio 模板搭建属于自己的可视化仪表盘实现针对废弃物管理场景的定制化图表与时间切片分析。读完后你将掌握 BigQuery 结果表的数据来源与表结构、仪表盘复制与数据源配置的全部操作步骤以及从摄像头采集到报表输出的完整数据链路。从模型结果到可视化洞察根据 view-data 概述文档当对象跟踪预测管线object tracking pipeline运行结束、模型结果上传到 BigQuery 之后就可以配置 Looker Studio 仪表盘获得定制化可视化与「某一时点」point-in-time的分析能力从而为废弃物管理提供可执行的洞察。CircularNet 官方提供了一个 Looker Studio 公开模板可以复制到你的 Google Cloud 账户中形成自有仪表盘。模板提供的是基线baseline你可以围绕存储在 BigQuery 中的模型结果作为数据源按案例需求定制专属图表与报表。也就是说可视化层本身不需要写代码——核心工作是先保证结果数据正确落到 BigQuery再正确地把仪表盘的数据源指向你的结果表。前提条件让模型结果先进入 BigQuery在动手配置仪表盘之前查看数据的前提条件文档 给出了三个必做步骤创建 Google Cloud 账户打开 Google Cloud 控制台把模型结果存入 BigQuery具体分两种情况在 Google Cloud 上运行对象跟踪预测管线管线会自动把数据加载进 BigQuery无需额外操作在边缘设备或 Google Cloud 之外的方案上做对象跟踪需要自行把本地数据库中的数据手动加载到 BigQuery例如通过 BigQuery 的数据加载机制。文档还给出一个实用建议边缘设备上的代码可以配置云 API 访问权限把数据直接推送到云端从而省去手动上传环节。云端管线如何自动写入 BigQuery从 云端预测管线文档 可知运行在 NVIDIA T4 GPU 虚拟机上的预测管线脚本会同时做两件事对输入桶Cloud Storage input bucket中的图像/视频逐帧应用模型并把每个文件的结果追加写入两张 BigQuery 表处理完成后再把导出结果存入另一个输出桶。管线脚本run_images.shrun_videos.sh中与数据落库直接相关的参数包括--project_idproject-idGoogle Cloud 项目 ID--bq_dataset_idbigquery-dataset-id存放预测结果的 BigQuery 数据集 ID例如circularnet_dataset--bq_table_idbigquery-table-id存放预测结果的 BigQuery 表 ID例如circularnet_table若表已存在管线会追加结果到该表--overwriteoverwrite_table设为 True 时覆盖已存在的 BigQuery 表。这一行为在源码中可以得到印证。Triton_TF_Cloud_Deployment 客户端的 BigQuery 操作模块 中定义了create_table()它会先检查数据集是否存在不存在则创建再检查表是否存在——若overwriteTrue则先删除旧表再按预定义_SCHEMAL31-L43重建否则跳过创建与文档「表已存在时追加」的描述一致。数据写入由ingest_data()完成L94-L114它接收一个 pandas DataFrame通过pandas_gbq.to_gbq(..., if_existsappend)以追加模式写入目标表。该部署变体_SCHEMA的核心字段包括particle整数编号、source_name、image_name、detection_scores置信度、creation_time、bbox_0~bbox_3边界框坐标、detection_classes类别编号与detection_classes_names类别名称。结果表结构逐对象明细表 聚合统计表仓库中 docker_solution 预测管线的 BigQuery 表结构定义 更为完整定义了两张表正好对应「每张视频/图像的预测结果被存入两张 BigQuery 表」这一描述表一SCHEMA_1逐检测对象明细一行对应一个被检测到的物体字段含义如下字段类型说明detection_scoresFLOAT检测置信度detection_classes_namesSTRING类别名称detection_classesINTEGER类别编号areaINTEGER检测区域面积bbox_0~bbox_3INTEGER边界框坐标convex_area/bbox_areaINTEGER凸包面积 / 边界框面积major_axis_length/minor_axis_lengthFLOAT主轴长 / 次轴长eccentricityFLOAT偏心率x/yFLOAT中心坐标image_nameSTRING来源图像名colorSTRING物体颜色creation_timestampSTRING时间戳video_nameSTRING来源视频名表二SCHEMA_2按类别与颜色聚合的对象计数字段包括colors_group颜色分组、particle对象数、detection_classes_group类别分组编号、material材料、material_form材料形态、creation_timestamp与video_name。这张聚合表正是仪表盘上做材料构成、颜色分布等统计图表最直接的查询对象。在配置仪表盘时你需要确认自己实际使用的是哪张表明细表适合做逐物体下钻聚合表适合做趋势与占比图表。配置 Looker Studio 仪表盘配置仪表盘的操作文档 给出了完整步骤这里完整继承并结合上述表结构加以说明打开官方的 Looker Studio 公开模板点击More optionsMake a copy在Copy this report窗口中Original data source菜单保持默认值不变因为它是模板自身的 BigQuery 数据源在New data source菜单中选择你要用作数据源的、包含模型结果的 BigQuery 表即上一节所述的结果表如果New data source菜单里没有显示你的 BigQuery 表则手动创建数据源在New data source菜单点击Create data source在Google connector页面选择BigQuery如被提示点击Authorize完成授权选择承载该 BigQuery 数据集的 Google Cloud 项目选择要使用的大数据集与表点击Connect在新页面点击Add to report点击Copy report模板仪表盘的副本即创建在你的 Google Cloud 账户中之后可自由修改标题并按需定制。实操提示结合源码选择数据源表之前先在 BigQuery 控制台中预览该表确认字段与 big_query_schema.py 中的定义一致并且creation_timestamp字段有数据——这是做时间切片分析的基础如果你的结果表中缺少聚合表SCHEMA_2仪表盘中依赖材料/颜色统计的图表将无数据此时应回到预测管线侧补齐而不是在仪表盘内临时拼凑逻辑模板复制后只是基线概述文档 明确建议按案例需求定制图表与报表。完整数据链路从传送带摄像头到报表把 CircularNet 工作原理文档 中的系统组件与本文档串起来完整的链路是采集机器视觉相机推荐全局快门拍摄传送带上的废弃物图像/视频或手机、运动相机拍摄后导入存储原始文件放入 Cloud Storage 输入桶本地磁盘可作临时缓存可用存储传输代理自动上传推理T4 GPU 虚拟机上的预测管线调用 Triton 推理服务器加载的 CircularNet 模型对逐帧做掩膜检测与目标分类配合对象跟踪在连续帧间关联同一物体--search_range_x/y控制搜索范围、--memory控制跟踪帧数落库逐对象结果写入 BigQuery 明细表按类别/颜色聚合的结果写入聚合表导出结果存入输出桶可视化Looker Studio 仪表盘以 BigQuery 表为数据源输出材料构成、颜色分布、对象计数等报表支撑分拣与回收流程的决策。其中第 4 步的权限前提来自 云端管线文档虚拟机服务账户需要对输入/输出桶拥有 Storage Admin 角色、对 BigQuery 拥有 BigQuery Admin 角色否则管线无法把结果写入数据库。参考文件view-data 概述文档查看数据前提条件配置仪表盘操作步骤云端预测管线文档BigQuery 表结构定义BigQuery 建表与数据写入实现Triton 云端部署目录适用前提与限制本文描述的仪表盘方案以 Google Cloud 环境BigQuery Looker Studio为适用前提结果表的具体字段以当前仓库中各部署变体的 schema 定义为准不同部署目录Triton_TF_Cloud_Deployment与docker_solution/prediction_pipeline的 schema 字段集合略有差异配置仪表盘前请先确认你所运行管线的实际表结构。【免费下载链接】modelsModels and examples built with TensorFlow项目地址: https://gitcode.com/GitHub_Trending/mode/models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CircularNet 数据可视化实战：把废弃物识别模型结果接入 BigQuery 与 Looker Studio 仪表盘
CircularNet 数据可视化实战把废弃物识别模型结果接入 BigQuery 与 Looker Studio 仪表盘【免费下载链接】modelsModels and examples built with TensorFlow项目地址: https://gitcode.com/GitHub_Trending/mode/models本篇围绕 CircularNet废弃物识别 ML 项目文档站中的「查看数据view-data」章节展开在目标跟踪预测管线运行完毕、模型结果写入 BigQuery 之后如何基于官方 Looker Studio 模板搭建属于自己的可视化仪表盘实现针对废弃物管理场景的定制化图表与时间切片分析。读完后你将掌握 BigQuery 结果表的数据来源与表结构、仪表盘复制与数据源配置的全部操作步骤以及从摄像头采集到报表输出的完整数据链路。从模型结果到可视化洞察根据 view-data 概述文档当对象跟踪预测管线object tracking pipeline运行结束、模型结果上传到 BigQuery 之后就可以配置 Looker Studio 仪表盘获得定制化可视化与「某一时点」point-in-time的分析能力从而为废弃物管理提供可执行的洞察。CircularNet 官方提供了一个 Looker Studio 公开模板可以复制到你的 Google Cloud 账户中形成自有仪表盘。模板提供的是基线baseline你可以围绕存储在 BigQuery 中的模型结果作为数据源按案例需求定制专属图表与报表。也就是说可视化层本身不需要写代码——核心工作是先保证结果数据正确落到 BigQuery再正确地把仪表盘的数据源指向你的结果表。前提条件让模型结果先进入 BigQuery在动手配置仪表盘之前查看数据的前提条件文档 给出了三个必做步骤创建 Google Cloud 账户打开 Google Cloud 控制台把模型结果存入 BigQuery具体分两种情况在 Google Cloud 上运行对象跟踪预测管线管线会自动把数据加载进 BigQuery无需额外操作在边缘设备或 Google Cloud 之外的方案上做对象跟踪需要自行把本地数据库中的数据手动加载到 BigQuery例如通过 BigQuery 的数据加载机制。文档还给出一个实用建议边缘设备上的代码可以配置云 API 访问权限把数据直接推送到云端从而省去手动上传环节。云端管线如何自动写入 BigQuery从 云端预测管线文档 可知运行在 NVIDIA T4 GPU 虚拟机上的预测管线脚本会同时做两件事对输入桶Cloud Storage input bucket中的图像/视频逐帧应用模型并把每个文件的结果追加写入两张 BigQuery 表处理完成后再把导出结果存入另一个输出桶。管线脚本run_images.shrun_videos.sh中与数据落库直接相关的参数包括--project_idproject-idGoogle Cloud 项目 ID--bq_dataset_idbigquery-dataset-id存放预测结果的 BigQuery 数据集 ID例如circularnet_dataset--bq_table_idbigquery-table-id存放预测结果的 BigQuery 表 ID例如circularnet_table若表已存在管线会追加结果到该表--overwriteoverwrite_table设为 True 时覆盖已存在的 BigQuery 表。这一行为在源码中可以得到印证。Triton_TF_Cloud_Deployment 客户端的 BigQuery 操作模块 中定义了create_table()它会先检查数据集是否存在不存在则创建再检查表是否存在——若overwriteTrue则先删除旧表再按预定义_SCHEMAL31-L43重建否则跳过创建与文档「表已存在时追加」的描述一致。数据写入由ingest_data()完成L94-L114它接收一个 pandas DataFrame通过pandas_gbq.to_gbq(..., if_existsappend)以追加模式写入目标表。该部署变体_SCHEMA的核心字段包括particle整数编号、source_name、image_name、detection_scores置信度、creation_time、bbox_0~bbox_3边界框坐标、detection_classes类别编号与detection_classes_names类别名称。结果表结构逐对象明细表 聚合统计表仓库中 docker_solution 预测管线的 BigQuery 表结构定义 更为完整定义了两张表正好对应「每张视频/图像的预测结果被存入两张 BigQuery 表」这一描述表一SCHEMA_1逐检测对象明细一行对应一个被检测到的物体字段含义如下字段类型说明detection_scoresFLOAT检测置信度detection_classes_namesSTRING类别名称detection_classesINTEGER类别编号areaINTEGER检测区域面积bbox_0~bbox_3INTEGER边界框坐标convex_area/bbox_areaINTEGER凸包面积 / 边界框面积major_axis_length/minor_axis_lengthFLOAT主轴长 / 次轴长eccentricityFLOAT偏心率x/yFLOAT中心坐标image_nameSTRING来源图像名colorSTRING物体颜色creation_timestampSTRING时间戳video_nameSTRING来源视频名表二SCHEMA_2按类别与颜色聚合的对象计数字段包括colors_group颜色分组、particle对象数、detection_classes_group类别分组编号、material材料、material_form材料形态、creation_timestamp与video_name。这张聚合表正是仪表盘上做材料构成、颜色分布等统计图表最直接的查询对象。在配置仪表盘时你需要确认自己实际使用的是哪张表明细表适合做逐物体下钻聚合表适合做趋势与占比图表。配置 Looker Studio 仪表盘配置仪表盘的操作文档 给出了完整步骤这里完整继承并结合上述表结构加以说明打开官方的 Looker Studio 公开模板点击More optionsMake a copy在Copy this report窗口中Original data source菜单保持默认值不变因为它是模板自身的 BigQuery 数据源在New data source菜单中选择你要用作数据源的、包含模型结果的 BigQuery 表即上一节所述的结果表如果New data source菜单里没有显示你的 BigQuery 表则手动创建数据源在New data source菜单点击Create data source在Google connector页面选择BigQuery如被提示点击Authorize完成授权选择承载该 BigQuery 数据集的 Google Cloud 项目选择要使用的大数据集与表点击Connect在新页面点击Add to report点击Copy report模板仪表盘的副本即创建在你的 Google Cloud 账户中之后可自由修改标题并按需定制。实操提示结合源码选择数据源表之前先在 BigQuery 控制台中预览该表确认字段与 big_query_schema.py 中的定义一致并且creation_timestamp字段有数据——这是做时间切片分析的基础如果你的结果表中缺少聚合表SCHEMA_2仪表盘中依赖材料/颜色统计的图表将无数据此时应回到预测管线侧补齐而不是在仪表盘内临时拼凑逻辑模板复制后只是基线概述文档 明确建议按案例需求定制图表与报表。完整数据链路从传送带摄像头到报表把 CircularNet 工作原理文档 中的系统组件与本文档串起来完整的链路是采集机器视觉相机推荐全局快门拍摄传送带上的废弃物图像/视频或手机、运动相机拍摄后导入存储原始文件放入 Cloud Storage 输入桶本地磁盘可作临时缓存可用存储传输代理自动上传推理T4 GPU 虚拟机上的预测管线调用 Triton 推理服务器加载的 CircularNet 模型对逐帧做掩膜检测与目标分类配合对象跟踪在连续帧间关联同一物体--search_range_x/y控制搜索范围、--memory控制跟踪帧数落库逐对象结果写入 BigQuery 明细表按类别/颜色聚合的结果写入聚合表导出结果存入输出桶可视化Looker Studio 仪表盘以 BigQuery 表为数据源输出材料构成、颜色分布、对象计数等报表支撑分拣与回收流程的决策。其中第 4 步的权限前提来自 云端管线文档虚拟机服务账户需要对输入/输出桶拥有 Storage Admin 角色、对 BigQuery 拥有 BigQuery Admin 角色否则管线无法把结果写入数据库。参考文件view-data 概述文档查看数据前提条件配置仪表盘操作步骤云端预测管线文档BigQuery 表结构定义BigQuery 建表与数据写入实现Triton 云端部署目录适用前提与限制本文描述的仪表盘方案以 Google Cloud 环境BigQuery Looker Studio为适用前提结果表的具体字段以当前仓库中各部署变体的 schema 定义为准不同部署目录Triton_TF_Cloud_Deployment与docker_solution/prediction_pipeline的 schema 字段集合略有差异配置仪表盘前请先确认你所运行管线的实际表结构。【免费下载链接】modelsModels and examples built with TensorFlow项目地址: https://gitcode.com/GitHub_Trending/mode/models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考