首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
SAAS
ToB门户
了解全球最新的ToB事件
论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
微博
Follow
记录
Doing
博客
Blog
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
排行榜
Ranklist
相册
Album
应用中心
qidao123.com ToB IT社区-企服评测·应用市场
»
论坛
›
物联网/工业互联网
›
物联网
›
spark
返回列表
发新帖
spark
[复制链接]
发表于 2025-10-27 19:46:57
|
显示全部楼层
|
阅读模式
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要
登录
才可以下载或查看,没有账号?
立即注册
×
阶段性:
一、单机期间
特点:
1.硬件资源有限:单机体系的盘算本领、
存储
容量和内存空间都受限于单台盘算机的硬件设置。比方早期的个人电脑,通常只有几百兆的内存和几 GB 的硬盘空间。
2.数据处理处罚本领有限:重要处理处罚本地产生的小规模数据,数据量一样寻常在 MB 级别到 GB 级别之间。如单机版的财务软件,只处理处罚一个小型企业内部的少量财务数据。
3.应用场景简朴:重要用于个人办公、简朴的游戏娱乐或小型企业的根本业务处理处罚,如笔墨处理处罚、单机游戏、简朴的库存管理等。
范围性:
1.无法处理处罚大规模数据:随着业务的发展和数据量的增长,单机体系很快就会碰到
存储
和处理处罚本领的瓶颈,无法应对海量数据的
存储
和分析需求。
2.可靠性和可用性较低:一旦单机出现故障,整个体系就会瘫痪,导致业务制止,数据也大概丢失,没有冗余机制来包管数据的
安全
和业务的一连性。
3.扩展性差:难以通过简朴的方式增长盘算和存储资源来满足不停增长的业务需求,升级硬件通常受到兼容性等多种因素的限定。
二、大数据期间-分布式处理处罚
界说:是将一个大型的盘算使命或数据处理处罚使命分解成多个子使命,然后分配到多个盘算节点(如多台
服务器
)上举行并行处理处罚,末了将各个子使命的处理处罚结果汇总得到终极结果的过程。
特点:进步处理处罚本领:通过将使命分散到多个节点上并行盘算,可以大概大大进步数据处理处罚的速率和服从,从而可以在短时间内处理处罚海量数据,满足大数据期间对数据处理处罚的实时性和高效性要求。
三、实时大数据期间
hadoop慢由于它的盘算结果生存在磁盘将其处理处罚在spark中可办理盘算慢的标题由于spark将盘算结果生存在内存中
hadoop特点:1.高可靠性 2.高拓展性 3.高效性 4.高容错性
回复
使用道具
举报
返回列表
浏览过的版块
Java
SAAS
DevOps与敏捷开发
分布式数据库
网络安全
Mysql
tsx81428
+ 我要发帖
登录后关闭弹窗
登录参与点评抽奖 加入IT实名职场社区
去登录
微信订阅号
微信服务号
微信客服(加群)
H5
小程序
快速回复
返回顶部
返回列表