工业大数据平台1、产品介绍
银兴工业大数据平台,具备工业场景一站式的海量工业数据接入、汇总、备份、检索、分析的功能,适合工业自动化、生产管理、节能环保、智能制造、智慧城市、智慧医疗等领域的各种应用场景。通用性和稳定性高,相关数据管理人员可采用sql快速检索数据,开发人员可通过java、python、scala、c++、R等多种语言进行开发,业务人员可调用多种算法库进行建模。平台兼容绝大多数通用的报表组件和人工智能框架,用户可方便地基于实时数据库构建各类应用系统,包括: (1)海量实时/历史数据中心 (2)发电厂厂级监控信息系统(SIS) (3)流程企业制造执行系统(MES) (4)企业能源管理系统(EMS) (5)数据采集与监视控制系统(SCADA) (6)生产过程监控系统 (7)生产调度系统 (8)水利、环境、油井、煤矿、城市管网、通信基站等 (9)城市轨道交通综合监控系统 (10)电动汽车远程服务与管理系统 (11)智慧城市集中监控系统 (12)传感器数据采集与交换系统
平台集成通用的hadoop生态分布式组件,端到端的数据处理架构。可根据需要在线灵活部署相关功能组件或者线性拓展平台规模,业务连续性及数据安全性极高。致力于为工业客户解决传统数据产品的单点故障隐患、数据交互繁琐、数据检索慢、数据业务存储成本高、数据容量拓展性差等问题。倾力打造一套适用于各类工业企业场景的,打破工业设备数据与生产经营管理数据壁垒的一体化大数据平台。 2、核心功能 2.1工业设备数据采集
为工业传感器大数据量身定制,数据采集适配器为分布式去中心化的前端采集系统,主要负责数据采集并将采集的数据存储到分布式实时数据库。支持分布式部署及单机部署。它能够将工业中常见的各种协议格式或自定义格式的数据输入到主流实时数据库中。支持OPC协议、电力IEC103\104规约、控制器Modbus协议、各种PLC设备,以及可自定义格式的文件采集器,支持常见关系型数据库的采集器等。 2.2分布式实时数据库
实时/历史数据服务器是整个SIS系统的软件平台,实时/历史数据库存放的是工业现场产生的采集频度为秒一级的采集密度高达数万点的带时间标签的实时及历史数据,这些数据来自于各类自动化系统,数据之间关联性不大但却反映着工业现场设备的特性和生产运行状况,因此一方面要求该数据库具有高速处理海量实时数据的能力,另一方面又要求该数据库具有较高的历史数据压缩存储能力,既能够将海量的历史数据以较高的压缩比和精度进行存储,同时又能够在需要时以极快的速度进行数据提取和历史数据恢复。具备以下特点: 10倍以上的性能提升:定义了创新的数据存储结构,单核每秒能处理至少2万次请求,插入数百万个数据点,读出一千万以上数据点,比现有通用数据库快十倍以上。 硬件或云服务成本降至1/5:由于超强性能,计算资源不到通用大数据方案的1/5;通过列式存储和先进的压缩算法,存储空间不到通用数据库的1/10。 全栈时序数据处理引擎:将数据库、消息队列、缓存、流式计算等功能融为一体,集成Kafka/Redis/HBase/Spark/HDFS等软件,大幅降低应用开发和维护的复杂度成本。 强大的分析功能:无论是十年前还是一秒钟前的数据,指定时间范围即可查询。数据可在时间轴上或多个设备上进行聚合。即席查询可通过Shell, Python, R, Matlab随时进行。 与第三方工具无缝连接:不用一行代码,即可与Telegraf, Grafana, EMQ, Prometheus, Matlab, R等集成。后续将支持OPC, Hadoop, Spark等, BI工具也将无缝连接。 零运维成本、零学习成本:安装、集群一秒搞定,无需分库分表,实时备份。标准SQL,支持JDBC, RESTful, 支持Python/Java/C/C++/Go, 与MySQL相似,零学习成本。 可将典型的物联网、车联网、工业互联网大数据平台的总拥有成本大幅降低。需要特别指出的是,其不但充分利用了物联网时序数据的特点,还可以用来处理网络爬虫、微博、微信、电商、ERP、CRM等通用型数据 2.3大数据平台架构
平台支持多渠道多类型的数据接入,包括实时流式数据接入和批量数据接入。支持大批量实时数据存储,容量型可达40MB/s吞吐量,访问时延5-10ms,,单盘最高20000IOPS、256MB/S吞吐性能,访问时延0.5-2ms。平台提供各种工业算法分析引擎用来快速构建模型,实现复杂事件处理(CEP) 、可视化实时数据流管理等功能。对海量数据进行处理,例如对传感器数据进行标签处理、资产数据与ERP数据相结合等。可根据需求选择存储方式:时间序列存储传感器实时数据,BLOB数据库存储图片式数据,关系型数据库存储其他数据。 具备以下特点: 全面集成大数据生态组件,无缝对接工业数据协议; 主节点和元数据高可用保障,稳定安全; 快速部署,弹性扩展; 专业漏洞扫描,保障服务器安全; 专家咨询,专业服务。 2.4工业数据服务
提供将实时数据库中采集到的数据以窄表、宽表模式实时输出到后端的各种管理及分析平台,为企业进行及时决策,快速管理,为数据的充分挖掘分析提供关键性支撑。所提供的是一个开放的,具有高度可扩展、可配置式的插件管理系统。对应当前主流的数据管理和分析平台,良好的兼容将数据灵活输出到Hadoop大数据其他组件如Hdfs、Kudu、Hbase以及传统Oracle、MySql、SqlServer等关系数据库中。 |