面向防洪“四预”的数字孪生流域数据底板建设.pdf

pdf,四预,孪生,学术文献
文档页数:9
文档大小:2.72MB
文档格式:pdf
文档分类:学术文献
上传会员:
上传日期:
最后更新:

DOI: 10.16867/j isn..

costreti e digtal tvis riser basisfr foo mgr vit f fntis of FEDE[].Cha Fod & Dnh Menagme 2022.32(6) :614.Gis Csese) 刘业森 刘昌军 都苗 等直向防洪“医预的数字李生流域数据底板建设[]. 中国防汛抗早 2022 32(6) :6-14.Lia Yesen La Changjan Hao Mioo s al.Date beseoand

面向防洪“四预”的数字李生流域数据底板建设

(1.中国水利水电科学研究院,北京100038:2.水利部数字李生流城重点实验室,北京100038; 3.北京捷泰云际信息技术有限公司,北京100085)

摘要:加快构建其有“四预“(预报、预警,预演、预案)功能的智慧水利体系,是国家智慧水利建设的明确要求,数据底板是“四预”功能的必要支撑.全国多个智慧水利和数字李生流规先行先试成功策例 发挥各白数据和技术优势,建设究或相应层级的数帮底板,为数字孚生流域和防涨“四预”应用提供了支撑.在横里数据展板相关效术基础上 结合试点工作经验,提出了面向阶洪“四黄” 的数据底板建设框架和主要技术路线,从数据采集整编、多源异构数据汇聚、多维多尺度数据融合,业务信惠资源库,底板专题图、专业横型数据标准化、数据资源共享管理平台和可视化技术等方面用域了主要内容和关键技术跨线,探讨了数据底板建设存在的不足和预期,以期为面向防洪“四预”的数字率生流域数据底板建设提供参考.

关键词:防洪:“四预”:数字李生流域;数据底板:数据治理

中图法分类号:TV877 文献标识码:A 文章编号:1673-9264[2022)06-06-09

智慧水利体系".

1背景

为贯彻落实水利部关于推进智慧水利建设的战略部习近平总书记高度重视信息化发展,在党的十九大报署,水利部先后发布《关于“十四五”期间大力推进智慧水部署,并在党的十九届五中全会上提出“坚定不移地建设智慧水利建设实施方案数字李生流域建设技术大纲(试制造强国、质量强国、网络强国、数字中国”.《中华人民共行)数字李生水利工程建设技术导则(试行)水利业务和国国民经济和社会发展第十四个五年规划和2035年远“四预"功能基本技术要求(试行)》等指导文件和技术要之一,要求在2023年底前,各级水利机构分工建设L1、L2、

告中作出建设网络强国、数字中国、智慧社会的重大战略利建设的指导意见X智慧水利建设顶层设计》“十四五”景目标纲要》强调:“构建智慧水利体系,以流域为单元提求",明确提出数据底板是数字李生流域建设的重点任务 升水情测报和智能调度能力”.

2021年6月28日,李国英部长在水利部“三对标、一规13三级数据底板”.划”专项行动总结大会上的讲话中指出,要推进智慧水利建设.按照“需求牵引、应用至上、数字赋能、提升能力”要求,以数字化、网络化、智能化为主线,以数字化场景、智慧设,加快构建具有“四预"(预报、预警、预演、预案)功能的必备支撑,成为智慧化建设不可或缺的一部分.如智慧 化模拟、精准化决策为路径,全面推进算据、算法、算力建仿真技术等相关技术的发展,数据作为各行业业务需求的

2现状和存在问题

随着卫星遥感技术、地面感知技术、大数据技术、虚拟

城市行业的“三维数据底座”和“空间数字底座”通信行座”、水利行业的“水利数据底板”等,华为、阿里等头部企 业提出了数据底座技术解决方案,区块链企业提出“可信数据底座”,金融市场也出现了“数字底座概念股”.虽然概念不同、定义有异,但核心内涵都是构建数字基础设施以适应信息时代业务智能化转型的需求.本文按照水利行业习惯,采用“数据底板”概念.

集、数据治理、数据存储、数据管理、数据展示、数据应用等 数据底板作为信息化的重要组成部分,涉及数据采环节”"水利行业作为一种传统行业,信息化是其四大“短板”之一,尚存在透彻感知不够、信息基础设施不强、信息资源开发利用不够、应用覆盖面和智能化水平不高、网络安全防护能力不足、保障体系建设不够健全等问题.最近的数字李生长江"智慧黄河淮河“四预”试点和演咸“四预”系统等成功应用,均取得了很好的示范引领效果.

流域防洪问题关乎社会稳定、经济发展,通过数字李生建设,构建数据底板,实现“四预”功能,是提升防洪智能化水平的重要途径.防洪数据底板的数据内容具有多来源(空、天、地)、多尺度(多级流域)、多维度(时、空)等特

3总体思路

3.1定位和目标

图1数据底板定位

点,存在时空一致性、逻辑一致性、拓扑一致性、属性一致性等多种难题需要解决,尚未形成一套完整的流域防洪数经验基础上,总体提出了防洪“四预”数据底板的框架和关 据底板理论体系.本文在淮河、海河等“四预"试点工作键技术方案,供相关应用借鉴和参考.

汇聚和整合水利系统内外部的数据资源,是数据联接与传 数据底板是数字李生流域中的“算据”部分.数据底板递的”中枢”,也是支撑防洪相关模型平台、知识平台和“四预”业务平台的数据基底(图1).

数据底板的建设目标是在现有数据共享体系的基础上.收集流域范围的水利基础数据、业务管理数据、动态监测数据、地理空间数据以及跨行业共享数据,以数据模数据汇集、二三维一体化、跨层级、跨业务的数据底板,实 型为核心进行数据关联与融合,形成基础数据统一、监测现全要素的数字化映射,并与模型平台、知识平台集成,实现业务数据标准化,形成具备持续性更新能力的数据支撑体系.同时,以流域为单元实现数据资源的一体化管理机制与多层次的数据服务体系,保障“四预”业务的高效运转.

遵照数据标准、基于数据模型、应用需求对数据进行融合与治理.

3.2总体思路

数据底板核心思路是构建一套让数据“流动”起来的机制和框架,实现系统内外部的数据汇聚,对数据进行重 新组织和联接,为业务可视化、分析、决策等提供数据服务.可以形象地比喻为:形成汇聚的“河”、可控的“闸”、一体化管理的“潮”和支撑应用的“泵”.数据底板建设总体思路见图2.

对结构化、半结构化、非结构化数据进行统一存储与管理, (3)一体化管理的“湖”:“湖”是数据底板的核心,能够既能适应数据规模的不断扩大,也能满足业务应用系统多类型计算引的支撑要求,通过数据标准管理、数据模型管理、数据质量管理、数据开发管理、数据资产管理等一系列的环节保障数据的一致性、可用性与安全性.

(1)汇聚的“河”:明确流域防洪体系中各项数据的“源头”.针对不同的数据源提供有针对性的数据汇聚方式,将 各类数据引人“潮”中,并实现数据的持续“流动”更新.

底板建设的目的是为了更好地支撑数据服务,能够给各类防洪业务提供更加灵活的使用数据、分析数据的方式,最大限度挖掘数据价值.

(2)可控的“闸”:“闸”的作用是对数据进行管控,通过“河”源源不断汇聚来的原始数据不能直接对外服务,而要

图2数据底板建设总体思路

模型BIM(Building Infommation Modeling)模型等,并通过 共享交换的方式接人其他政府行业部门的数据,成为数据底板的”原材料”.

4技术框架

数据底板建设内容包括数据采集与整编、数据汇聚、数据融合处理、业务信息资源库、可视化引擎、动态底板专题图、数据服务以及数据资源共享管理平台等,总体技术框架见图3.

对上述多来源的原始数据进行汇聚,梳理一数一源,采用合适的汇聚方式与技术手段将数据引人到数据底板的临时汇聚区,即数据湖中.数据湖是一个包含结构化数据与非结构化数据的混合存储区.汇聚来的原始数据在汇 聚区进行融合处理,解决多源数据一致性、空间数据一致性、对象逻辑一致性、数据脱敏等问题,进而存储到业务信息资源库中.

围内的流域、水系、水库、湖泊、水闸、堤防等各类水利工程 数据底板构建的前提是数据采集与整编,收集流域范特征数据、防洪相关业务数据、实时雨水情数据、实时工情数据,采集和补充高精度地形图数据、重点水利工程三维

图3数据底板建设总体技术框架

业务信息资源库逻辑上又可以划分为核心数据层和主题数据层两个层次.核心数据层存储的是标准化处理之后形成的成果数据,通过流域防洪调度数据模型进行组织,从而实现各类数据的关联融合.主题数据层面向业务应用,根据业务需求对核心数据层的数据进行抽取,并通过多种主题联接方式对数据进行二次加工和分析,衍生综 合主题数据.

(1)水利基础数据:包括流域范围内的流域、水系、水库、湖泊、堤防、蓄滞洪区、阻水建筑等数据.

(2)实时监测数据:包括流域范围内的雨情、水情、工情、灾情、视频监控、卫星反演等实时监测数据.

(3)业务管理数据:包括流域范围内的防洪相关应急预案、水利工程调度规程、水库调度方案、水库汛期调度运用 计划等防汛业务数据,以及水利业务应用运行中产生的数据.

在可视化表达方面,数据底板在原“水利一张图”的基础上进行升维,构建二三维一体化的3级空间数据底板,作为“四预”和"2N"业务应用的场景承载,并具备流域动态底板专题图的支撑能力.

(4)地理空间数据:包括行政区划、地形地貌、土地覆盖、遥感影像、BIM数据等.

(5)跨行业共享数据:包括需从自然资源、气象、规划、统计、住建等部门以接口或离线方式共享的数据.

数据资源共享管理平台是数据底板实现的软件支撑,实现各类数据资源一体化管理能力和多层次的服务能力, 保障数据底板的运营、管理与业务支撑.

5.2多源异构数据汇聚

多源异构数据汇聚主要解决从数据源头采集的原始数据到数据湖的全量数据层的问题.在进行数据汇聚之前,需要对数据源进行认证,并明确数据源管理原则.需要制定数据人湖标准,检查数据人湖条件,将满足要求的数据入湖.构建持续性数据资源汇聚与更新机制,打通多源异构数据进人数据底板的管道.

5主要技术方案

5.1数据采集与整编

对流域范围内分散在各级水利部门、各水利业务领域编,并根据“四预”业务需要补充采集缺少的内容,同时通 的数据资源进行调查与梳理,对现有数据进行采集与整过共享交换的方式接人其他行业数据,形成数据资源池,具体包括:

(1)完善数据汇聚渠道.根据数据源的梳理和分析情况,明确流域内数据采集的范围、方式和频次,统一水利数据采集标准;切实打通多级水利部门内部及其与外部相关

据底板提供充实的数据基础.

部门的数据交换通道,构建跨行业的共享交换机制,为数5.4模型数据标准化

防洪“四预”涉及构建水文模型、水动力模型、智能模湖方式归纳为物理人湖和虚拟人湖两种.物理入湖是将原包括水文模型实时运行数据标准、水动力学模型实时运行 (2)确定数据汇聚手段.根据数据实体是否人湖,将人型等多种模型,需制定各种模型所需要的各项数据标准,

息集成和流集成等方式.虚拟人湖是指原始数据不在数据文件、服务等方式,提供水文模型、水动力学模型、智能算湖中进行物理存储,通过元数据注册、共享服务接人的方法模型的数据需求.式实现其信息虚拟入湖,满足统一资产目录构建和全域数据检索的需要.

(1)水文模型实时运行数据标准:针对水文模型输入的雨量数据、实时流量数据、实时水位数据,按照模型驱动要求

(3)多源异构数据汇聚引擎.数据采集人湖的流程依制定统一标准,包括历史数据、实时数据、预报数据标准等.托数据汇聚引擎来实现,采用基于工作流的汇聚引擎,按(2)水动力模型输人数据数据标准:针对水动力学模型实照“定义数据源、定义采集方式、配置存储位置、配置调度时驱动过程中变边界、变初始条件等情况,模型输入的雨量数策略、执行采集任务”的流程进行数据汇聚的过程.

据、实时流量数据、实时水位数据、实时工况数据按照模型驱动要求制定统一标准,满足水动力学模型实时驱动要求.

5.3多维多尺度数据融合

(3)智能化模型输人数据标准:针对深度学习、AI算法驱动要求.

对汇聚来的原始数据,按照统一的数据标准及“四预”业务应用需求进行多维多尺度数据融合处理,解决多源数等相关智能算法训练和实时驱动计算要求,制定智能算法据脱敏等问题.

据标准,因而汇聚来的多源数据存在不一致的问题.以水库数据为例,水库相关信息来源包括水利普查数据库、风险普题数据层,底层基于混合多态的物理存储环境作为支撑.查数据库、“水利一张图"平台、防洪工程库等,由于数据分业务信息资源库逻辑架构见图4.辨率、时相、格式等标准不一致,存在各种冲突.因而需要通 过字段映射、空间叠加、人工核实等方式进行融合处理.

(1)多源数据一致性处理.原始数据普遍缺乏统一的数5.5业务信息资源库

业务信息资源库逻辑上可以划分为核心数据层和主

准化处理后形成的成果数据,并基于流域防洪调度数据模 (1)核心数据层.核心数据层存储的是经数据整编、标(2)多类型多尺度空间数据融合处理.空间数据存在型进行数据组织与存储.将河流、水库、控制站、堤防、蓄滞空间参考不一致、矢量与影像数据无法套合、水利对象的洪区、湖泊、圩烷、坝、水闸工程、跨河工程、治河工程、穿堤地形与倾斜摄影数据融合、倾斜摄影与BIM模型融合及数主线等维度的对象结构及其关系,包括关联关系、汇流关(3)空间数据与业务数据融合.在水利基础数据与空对象关系模型,实现“一码多态"的空间数据组织与表达, 系、从属关系、指示关系、空间拓扑关系等.同时,基于实体间数据进行了一致性处理的基础上,还要考虑空间数据与识别同一水利对象在不同尺度下的不同形态,实现地形、

空间拓扑关系不正确等,需要通过空间数据处理工具进行建筑物、险点险段等防洪调度核心水利对象按不同维度进一致性处理.空间数据融合还包括地形与BIM模型融合、行划分,形成自然对象主线、调度对象主线、社会经济对象据切片与建立索引等.

业务数据的关联融合,包括统一对象编码和统一接口、属倾斜、精模、BIM模型的数据关联.性挂接、拓扑关系建立和空间关系挂接等.

(2)主题数据层.在核心数据层的基础上,通过多样化(4)数据脱敏.敏感数据须经过专业部门脱敏后的主题联接方式.例如维度模型、图模型、指标、标签、算法利工程经纬度脱密处理、人员等基本信息脱敏处理、实时据,包括水库调度主题、洪水演进主题、指挥调度主题、应 才能在系统中使用.数据脱敏具体包括地形数据脱敏、水模型等,基于不同的分析场景,形成流域防洪综合主题数急抢险主题、历史事件主题、监测主题、预报主题等.

坐标转换处理等步骤.

资源链接请先登录(扫码可直接登录、免注册)
①本文档内容版权归属内容提供方。如果您对本资料有版权申诉,请及时联系我方进行处理(联系方式详见页脚)。
②由于网络或浏览器兼容性等问题导致下载失败,请加客服微信处理(详见下载弹窗提示),感谢理解。
③本资料由其他用户上传,本站不保证质量、数量等令人满意,若存在资料虚假不完整,请及时联系客服投诉处理。
④本站仅收取资料上传人设置的下载费中的一部分分成,用以平摊存储及运营成本。本站仅为用户提供资料分享平台,且会员之间资料免费共享(平台无费用分成),不提供其他经营性业务。

投稿会员:匿名用户
我的头像

您必须才能评论!

手机扫码、免注册、直接登录

 注意:QQ登录支持手机端浏览器一键登录及扫码登录
微信仅支持手机扫码一键登录

账号密码登录(仅适用于原老用户)