ICT技术发展趋势，AI、大数据和云计算的概述及存储应用技术【2】(1)

发表于 2024-8-11 17:11:08

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？立即注册

×

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提拔。
需要这份系统化资料的朋友，可以戳这里获取
一个人可以走的很快，但一群人才气走的更远！岂论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎加入我们的的圈子（技术交换、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习发展！

云计算硬件包罗：高可靠和高性能的计算服务器提供计算资源；低成本、数据安全的存储装备提供数据存储空间；支持大二层网络的高密度交换机进行数据的通讯和交换。
云计算软件包罗：用于大数据的并行分析计算技术；整合存储资源提供动态可伸缩资源池的分布式存储技术；用于数据管理的分布式文件管理；计算、存储等资源池化的虚拟化技术；简化运维人员工作，方便高效智能运维的系统管理技术。

云计算的关键特性：
按需自助服务（On-demand Self-service）
无处不在的网络接入（Ubiquitous network access）
与位置无关的资源池（Location independent resource pooling）
快速弹性（Rapid Elastic）
按利用付费（Pay per use）

“云平台”的基本原理是一个分布式计算系统，通过使计算分布在大量的计算机上，提供On-Demand的超级运算能力和存储能力；终端也是云的一部分。
“云平台”的核心部分依然是数据中心（心脏），但技术上和传统的数据中心有本质的差别，从夸大单机的性能和集群向“分布式、智能化、超大容量”等方向发展。
“云” 只是一个形象的说法，既是对网状分布计算机的比喻，也指数据的计算过程被隐匿起来。

虚拟化的定义：对物理实体资源进行抽象与隔离的管理技术，以到达最大程度利用资源的目的。
云计算的部署范例：
私有云：企业拥有独立的云基础办法
公有云：云服务运营商拥有云服务办法，为公众或企业提供云服务
混合云：由私有云和公有云构成，通过专用技术互联，实现数据和应用共享

存储融合:
开放：支持多厂家虚拟化和物理机数据库部署
高性能：支持4096个节点，性能线性提拔，支持千万级IOPS，支持高性能数据库和大容量云资源池
高可靠：多副本，支持7个9可靠性，机柜级可靠性
DHT（Distributed Hash Table）：即分布式哈希表，它通常是为了拥有极大节点数量的系统，而且在系统的节点经常会加入或退出节点而设计的。

OceanStor DJ是华为公司推出的面向云数据中心发展的业务驱动存储控制软件，同一管理数据中心存储资源，提供业务驱动、自动化的存储服务，提拔云化情况中存储资源的利用率和存储服务的供给效率。
OceanStor DJ核心是基于OpenStack相关服务的加强，实现存储资源同一管理，按需分配和数据掩护服务。OceanStor DJ将应用与底层存储解耦，冲破传统装备和应用厂商的把持职位。在云化场景下，将存储和数据掩护等能力以XaaS的方式提供，顺应存储价值链向软件和服务转移。
从控制面和数据面来看，OceanStor DJ的价值如下：
OceanStor DJ在控制面上将存储的功能特性从物理阵列中抽象出来，把具备相同或近似能力的多个物理存储池在逻辑上构成资源池。用户在请求存储资源的时候，基于资源池的SLA（Service Level Agreement）能力而无需关心后端由哪台阵列为其应用提供存储服务。
从数据面上来看，OceanStor DJ具备集成所有范例的数据服务的能力，以及支持应用程序访问块存储、文件存储的能力。同时由于它始终具有并继续利用底层存储阵列独特的功能，OceanStor DJ的存储服务保留了存储阵列的增值特性，例如远程复制等，不会增加用户的购置成本。

NFV，即网络功能虚拟化，Network Function Virtualization。通过利用x86等通用性硬件以及虚拟化技术，来承载很多功能的软件处理。从而降低网络昂贵的装备成本。可以通过软硬件解耦及功能抽象，使网络装备功能不再依赖于专用硬件，资源可以充分灵活共享，实现新业务的快速开发和部署，并基于实际业务需求进行自动部署、弹性伸缩、故障隔离和自愈等。
AI、大数据存储应用技术
===========================================================================

大数据趋势：跨越裂谷，走向成熟，进入落地与实行阶段。
50%的企业已经投资和利用大数据，33%的企业正在规划如何利用大数据，我们看到大数据范畴的持续投资，大数据即将步入成熟发展阶段。
云计算和大数据已不再是“新兴”技术，而是成为了“主流”技术了。

全球创建和共享的数字信息5年增加9倍，2013年到达3.8ZB。
CERN： LHC对撞产生1PB/s的数据。
SKA：2015年存储需要1EB。
云化的IDC建设催生了数据的大集中。
Facebook：每天产生50TB的日记数据，衍生分析数据超过100TB。
“机器制造”和“人工制造”共同贡献了海量数据，集中式的数据中心建设加速数据

集中
大数据概述

维基百科：巨量资料(big data)，或称大数据，指的是所涉及的资料量规模巨大到无法通过现在主流软件工具，在合理时间内到达撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。
Gartner：“大数据”是需要新处理模式才气具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的本质：就是物理天下在数字天下的映像，比如：每年节沐日的人流迁徙方向，都会在数字天下中记录。
现实天下的现象，也可以通过大数据分析发现其背后的逻辑关系。比如：当暴雨到临时，可以看到海鸟低飞。通过分析发现，海鸟低飞是由于很多鱼儿浮游到海水外貌，海鸟可以方便的捕食；为什么鱼儿要游到海面呢？原来是暴雨到临时，水里气压增大，鱼儿浮游到海面可以更方便的呼吸。这些，都可以通过大数据分析得出表象背后的联系。
大数据并不但光是指新数据，在这个社会当中，最有价值的数据仍然是在企业内部本身几十年来已经累计下来的数据，也就是说在传统的数据管理核心系统当中产生出的，是仍然具有价值的，不一定是最大的数据，也不一定是最新潮的数据，但它一定是具有最大贸易价值的数据。

从大数据在容量、数据多样性、处理速度和价值发掘等四个方面所面对的挑衅看，大数据技术涵盖了从数据的海量存储、处理到应用的多方面的技术，包罗异构数据源融合、海量分布式文件系统、NoSQL数据库、并行计算框架、实时流数据处理以及数据发掘、贸易智能和数据可视化等。
一个典型的大数据处理系统可分为五层：数据采集、存储、处理、分析、应用及展现等，其技术参考架构如图所示。
大数据的数据范例及模子：
非结构化数据，是指不方便用数据库二维逻辑表来表现的数据，包罗所有格式的

办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

半结构化数据，就是介于完全结构化数据（如关系型数据库、面向对象数据库中

的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，HTML文档
就属于半结构化数据。它一般是自形貌的，数据的结构和内容混在一起，没有明
显的区分。

结构化数据，是指可以存储在数据库里，可以用二维表结构来逻辑表达实现的数

据。

针对大数据处理的流程与一般数据处理的流程基本同等，包罗数据采集、数据存储、数据管理、数据分析四个环节。
数据采集是利用多种途径、方法和工具来获取所需要的数据，为后续数据分析提供依据。在大数据的背景下，需要采集什么数据？通过什么途径采集数据？运用什么方法采集数据？利用什么工具实现更高效的数据采集？等都是我们必须关注的问题。
数据存储是对采集到的数据进行传输和存储。随着数据的增加呈指数级增长，传统的数据存储方式已经很难满足大数据存储的需求，因此需要采用新技术来实现大数据的存储需求。
数据管理是数据存储的延伸。在数据存储的基础上对数据进行深加工，进一步实现数据细分，为后续数据分析提供直接可用的元数据，提拔数据分析的效率。
数据分析是利用数据分析的方法、模子、工具对数据进行分析，最终得出分析效果，以此满足大多数常见的分析需求。基于前面分析和查询的数据进行更深入的数据发掘，可以满足更高级别的数据分析需求。

大数据期间：
计算：向集群化发展
存储：块装备和文件装备都向横向扩展虚拟化以及提供丰富的软件对外接口发展，但文件存储横向扩展能力要更高，硬件装备通常会扩展到百节点以上，文件系统由当地文件系统向集群文件系统和分布式文件系统发展
网络：无论是网间照旧网内都开始向更高速，协议开销更低，更有用的方向发展
数据库：由关系型数据库向分布式数据库以及非关系型数据发展（内存性数据库）
在这些技术变革中出现了新的机会点：
数据库革命：关系型数据库-非关系型数据库-混合型数据库
文件系统的变革：当地文件系统-集群文件系统-分布式文件系统
传统专业存储面对的挑衅：
传统SAN，双控到多控的架构，难以存储和管理PB级数据
传统NAS，面对PB级数据，复杂的卷管理及系统容量分配不平衡，导致资源浪费
海量存储系统的特点：
单一文件系统，管理更简朴
精简配置，配额管理，容量分配更合理，磁盘利用率更高
大规模横向扩展能力

华为在大数据财产中偏重技术提供者身份，提供大数据基础办法硬件、云平台及大数据分析平台。
大数据与云计算深度融合的含义解析:
云计算IaaS为大数据提供存储和计算分析服务，此层面对应大数据管理员岗位角色；
云计算PaaS为大数据提供应用开发服务，此层面对应大数据开发者岗位等角色。
行业办理方案，大数据存储，大数据计算分析，大数据应用服务均以云服务（SaaS）形式呈现；即，大数据服务是云服务中的一类基础服务。
大数据聚焦技术服务层面，提供产品与办理方案培训及华为大数据认证；贸易服务则通过行业化人才方案及行业认证渐渐覆盖。
大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础办法支撑情况以及数据服务的高效模式，大数据则为云计算提供了新的贸易价值。总体而言，云计算、物联网、移动互联网等新兴计算形态，既是产生大数据的地方，也是需要大数据分析方法的范畴。

AI：Artificial Intelligence，人工智能。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提拔。
需要这份系统化资料的朋友，可以戳这里获取
一个人可以走的很快，但一群人才气走的更远！岂论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎加入我们的的圈子（技术交换、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习发展！
链图片转存中…(img-jF4Vhndz-1715675026631)]
[外链图片转存中…(img-6gsdjsy6-1715675026631)]
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提拔。
需要这份系统化资料的朋友，可以戳这里获取
一个人可以走的很快，但一群人才气走的更远！岂论你是正从事IT行业的老鸟或是对IT行业感爱好的新人，都欢迎加入我们的的圈子（技术交换、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习发展！

ICT技术发展趋势，AI、大数据和云计算的概述及存储应用技术【2】(1)

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

浏览过的版块