云平台应用需求分析
发布时间：2022-12-13 10:59:16 所属栏目：云计算 来源：
导读： 从使用传统的关系型数据库转到使用云存储，既要满足良好的数据运算性能，又要能够使数据管理像使用数据库一样方便，于是基于hadoop云架构的类数据库产品成为一个迫切的应用需求，我们这个云平台只从软件上面来分
|
从使用传统的关系型数据库转到使用云存储，既要满足良好的数据运算性能，又要能够使数据管理像使用数据库一样方便，于是基于hadoop云架构的类数据库产品成为一个迫切的应用需求，我们这个云平台只从软件上面来分析，目的是使用软件平台来管理和解决硬件瓶颈问题。下面来说说我们云平台的具体需求： 第一：对硬件的需求 1、不能对硬件提过多的配置需求（比如CPU、内存、硬盘等）满足CPU≥2核,内存≥4G，硬盘≥500G的服务器都可以使用； 2、不能要求特定的硬件型号； 3、各节点之间的网络带宽≤10M； 4、节点线性扩展满足≥500； 第二：功能需求 1、此平台必需是标准化通用软件产品，具备完整的开发接口，有完善的API文档，方便第三方基于此进行二次开发； 2、支持常用数据库（oracle、mysql、mssql、db2等）数据的全量和增量的导入导出，文本数据（XML、TXT、EXCEL等）的导入导出； 3、支持结构化数据和非结构化数据的管理，支持数据的增删改查； 4、支持各类流媒体和各类文件的存储/更新/查询，支持基于文件内容的检索； 5、支持类数据库服务，数据仓库服务，实现基于SQL或者类SQL的操作； 6、支持JDBC连接访问； 7、支持DML（如insert、delete、update等）和DDL（如create table）； 8、支持PB级数据的模糊查询、排序、分组、多表关联查询、子表关联查询等，支持索引； 9、支持分布式存储策略，支持文件系统的自动扩展； 10、支持分布式事务管理； 11、支持负载均衡，可以根据CPU使用率、内存大小、存储大小、I/O热度、TCP/IP连接数、网络带宽等配置均衡策略； 12、支持动态添加和删除节点； 13、支持系统节点环境的自动部署； 14、支持全文检索，支持分词，分词可以管理和扩展，并且支持全文索引的更新和删除； 第三：安全需求 1、支持用户名/口令的账户安全管理； 2、支持分角色、用户的权限控制，支持操作权限分配，支持库、表、字段（列）、访问时间段、访问IP段的权限控制； 3、所有操作均有完整的日志记录云计算需求分析，日志随时可查（操作命令及参数、执行时间、执行总耗时、数据量）； 4、必需保障数据的一致性要求，不能丢数据； 5、数据使用异常告警：防止数据被定时爬取； 6、支持数据备份策略配置管理； 7、支持节点负载检测和预警、故障检测和报警，实时查看节点状态（CPU、内存、存储、I/O、TCP/IP连接数、网络带宽等）； 8、在宕机3个节点的情况下可以保证平台的可用性和数据的一致性； 第四：管理需求 1、支持图形化界面的节点管理、权限管理、用户管理、角色管理、日志管理等管理功能； 2、可以在图形化界面上执行操作命令云计算需求分析，完成相关操作； 3、必要包含统计分析功能，比如分析系统的数据增量、数据总量、使用频度分析、使用用户分析、操作类型分析、预警分析、趋势分析、决策分析等； 第五：性能需求 1、数据加载：≥30万/秒 2、数据更新：≥10万/秒 3、数据删除：≥10万/秒 4、数据延迟：≤5分钟 5、单记录操作响应时间：≤1秒； 6、100亿级以内的数据查询操作响应时间：≤5秒； 以上技术实现方案：hadoop+mysql分布式数据库集群 （编辑：财气旺网 - 海宁网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐