大数据平台架构包含哪些框架体系
发布时间：2022-11-15 11:05:32 所属栏目：大数据 来源：
导读： 大数据平台是众多企业在引入大数据技术之后都会去搭建的一个服务平台，而今天我们就通过案例分析来了解一下，大数据平台架构包含哪些框架体系。
1、计算存储
这个框架大家可以看一下，我认为可以
1、计算存储
这个框架大家可以看一下，我认为可以
|
大数据平台是众多企业在引入大数据技术之后都会去搭建的一个服务平台，而今天我们就通过案例分析来了解一下，大数据平台架构包含哪些框架体系。 1、计算存储 这个框架大家可以看一下，我认为可以借鉴，如果你内部要去做一个数据服务平台的话，基本上思路也是这样的，底层的Iass可以不用管，直接用腾讯云或者阿里云或者其他云上的服务就可以了。 我们主要是做上层这一块的东西，下面的计算存储这个部分我们内部在做系统的时候也不是care的，这块好是能承包出去。现在Iass发展到这个程度，这些东西在云上可以直接像MySQL数据库或者Redis数据库一样购买就行了，比如Kafka、Pulsar、Flink、Storm。 存储这块我们内部的有TRedis、TSpider，其实就是Redis和MySQL的升级版本。基础这块我建议大家如果自己构建的话，也不需要太过于关注。 2、服务调度 系统核心主要是在中间的服务调度这个部分，它是统一的调度API，就是上层的一些服务能发下来，然后去统一调度。另外一个就是流程的开发，我们有一个不可缺少的调度系统，这里我们使用的是DAG调度引擎，这样我们可以把离线任务、实时任务、实时+离线、离线+函数接口的服务能够组合起来，来完成更复杂实时数据应用场景。 其实这块和业务场景没有直接关系的，但算法库一定是和场景是有关系的，另外下层我们会有写文件通道，比如说一些Jar包的分发，这里腾讯用的是COS，能够去做一些数据的传输和Jar包的提交。 还有一个命令管道，它主要针对机器，比如提交Flink任务的时候一定是通过命令管道，然后在一台机器去把Jar包拉下来，然后同时把任务提交到Flink集群里去。数据管道也是类似的一个作用。 3、各种管理 另外还要将一个蛮重要的内容，右边绿色这块的运营监控、集群管理、系统管理，还有消息中心、帮助文档，这些都是配套的，整个系统不可缺少的。 还有一部分是组件管理，包括大数据组件管理、函数管理、服务的二进制管理都可以在这里能够做统一的管理。 数据资产，比如我们通过Flink或者Storm能够生成的数据指标，它的计算逻辑的管理都在这里面，包括我们计算出来后，把这些指标打上标签或者划后，我们也作为数据资产。 还有一个重要的是数据表的管理，我们无论是Flink或Storm，它的计算终的落地点一定是通过一个数据表能算出来的。其他都还好，数据报表，比如每天计算多少数据，成功计算多少，每天有多少任务在跑，新增多少任务大数据架构，这些都在里面可以做，包括我们版本的发布变更。 还有一个是外部管理端，这个根据业务场景去做就行了，等会演示我们管理端的时候大家就可以看到，其实我们的菜单相对来说比较简单，根据比如我们的数据接入，从源头把数据接入到Kafka或者Pulsar里去。然后数据指标基于接入的数据表，进行数据指标的计算，比如一些特性的Jar包，它是多张表的数据混合计算，或者是加上的表的混合计算，等等一系列通过硬场景做的一些分装。 （编辑：财气旺网 - 海宁网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐