免费注册
查看新帖 |

ChinaUnix.net

  平台 黑桃棋牌官方网下载 博客 文库
最近访问板块 发新帖
查看: 52995 | 回复: 217

黑桃棋牌官方网下载徽章:
4
15-16赛季CBA联赛之同曦
日期:2019-04-10 11:46:5915-16赛季CBA联赛之上海
日期:2019-04-26 10:11:2315-16赛季CBA联赛之北控
日期:2019-05-17 10:41:1915-16赛季CBA联赛之北京
日期:2019-06-06 11:40:47
发表于 2019-05-10 13:09 |显示全部楼层
话题讨论:大规模高并发下的分布式存储架构设计

活动背景

在海量数据时代,随着数据的快速增长,IT环境的愈发复杂,传统存储系统已经难以满足大规模的IT应用对数据存储的要求。
在此背景下,分布式存储系统走上舞台。它采用分布式的系统架构,利用多台存储服务器同时对数据进行存储,已逐渐成为大规模数据存储的主要方式。在气象预测、教育科研、能源勘探、广电媒资、视频监控、生物工程等行业,往往拥有非常高的海量数据存储需求。但对于许多企业来说,分布式存储系统的建设仍然困难重重。下面,我们将从此类分布式存储典型应用场景出发,展开话题讨论。

讨论内容

上述的几个典型行业应用场景都具有一个共同点,就是都会产生海量的非结构化数据,即规模可达到PB级,甚至EB级的视频、图像、文本等数据。为了实现此类场景中数据的高效存储、共享与访问、管理等能力,往往需要存储系统具备高性能、高并发、高带宽、大容量以及高效数据保护与数据管理等特性。那么:

1、  为了使分布式存储系统获得更高性能,您会采用哪些措施?

2、  分布式存储系统的高并发能力应如何实现?

3、  使存储系统获得更高网络带宽的方法有哪些?

4、  怎样在控制总体成本的情况下,合理地为海量数据提供存储空间,并能满足数据量快速增长的需求?

5、  真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能?

6、  海量非结构化场景下,应用类型、数据类型复杂,为获得高效便捷的数据管理功能,需要在哪些方面做好准备?

7、  针对海量非结构化数据场景,您认为分布式存储系统的设计与建设还应关注什么?如何实现?(可选回答)


奖项设置

  特等奖:kindle一个
等奖1名:爱奇艺电视果一个
二等奖3名:中国数据库技术大会(DTCC)十周年纪念T恤一件
三等奖若干:50个 IT168文库金币


B_03.jpg B_06.jpg B_08.jpg










黑桃棋牌官方网下载徽章:
0
发表于 2019-05-13 14:32 |显示全部楼层
  分布式存储系统的高并发能力应如何实现?
并发(不是并行!)模型的选择和设计无法作为实现细节隐藏在局部,它会影响到程序代码的各个部分,从底层到上层。基本的并发模型只有这样几种:事件驱动、多线程、多进程以及较为小众的多协程.

黑桃棋牌官方网下载徽章:
0
发表于 2019-05-13 15:16 |显示全部楼层
真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能
1、负载均衡、2.系统容灾、3.安全交换、4、数据同步

黑桃棋牌官方网下载徽章:
0
发表于 2019-05-13 15:24 |显示全部楼层
分布式文件系统设计主要关注几个方面:
设计特点、分布式能力、性能、容灾、维护和扩展、成本
分布式文件系统主要关键技术:
全局名字空间、缓存一致性、安全性、可用性、可扩展性
其他关键技术:
文件系统的快照和备份技术、热点文件处理技术、元数据集群的负载平衡技术、分布式文件系统的日志技术

黑桃棋牌官方网下载徽章:
0
发表于 2019-05-13 15:41 |显示全部楼层
使存储系统获得更高网络带宽的方法有哪些?
1.用阵列,组成阵列的存储器,访问带宽成倍上升,代价是要多个存储器和供电不断.一断电就阵列全掉了,数据丢失后果.
2.采用高缓存了硬盘,IDE接口最高2M缓存.SATA接口最高32M缓存.
3.用SSD,固态硬盘,每秒读取速度是190-250M/秒,意未着拷贝1G电影,4秒搞定.80G容量要1750元左右

评分

参与人数 1信誉积分 +5 收起 理由
+ 5
山寨

查看全部评分

黑桃棋牌官方网下载徽章:
132
操作系统版块每日发帖之星
日期:2016-05-11 17:06:57操作系统版块每日发帖之星
日期:2016-05-11 17:06:57数据库技术版块每日发帖之星
日期:2016-05-11 17:07:05操作系统版块每日发帖之星
日期:2016-05-11 17:06:57操作系统版块每日发帖之星
日期:2016-05-11 17:06:57综合交流区版块每日发帖之星
日期:2016-05-11 17:07:052022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:57IT运维版块每日发帖之星
日期:2016-05-11 17:06:49操作系统版块每日发帖之星
日期:2016-05-11 17:06:57综合交流区版块每日发帖之星
日期:2016-05-11 17:07:05操作系统版块每日发帖之星
日期:2016-05-11 17:06:57程序设计版块每日发帖之星
日期:2016-05-11 17:06:57
发表于 2019-05-13 18:40 来自手机 |显示全部楼层
80G容量要1750元左右,不便宜啊

黑桃棋牌官方网下载徽章:
39
技术图书徽章
日期:2018-08-21 13:30:492015亚冠之首尔
日期:2015-11-04 22:25:43IT运维版块每日发帖之星
日期:2015-08-17 06:20:00寅虎
日期:2014-06-04 16:25:27狮子座
日期:2014-05-12 11:00:00辰龙
日期:2013-12-20 17:07:19射手座
日期:2013-10-24 21:01:23CU十二周年纪念徽章
日期:2013-10-24 15:41:34数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00平安夜徽章
日期:2015-12-26 00:06:30技术图书徽章
日期:2018-08-21 13:30:242016科比退役纪念章
日期:2018-03-07 11:23:33
发表于 2019-05-14 13:34 |显示全部楼层
1、  为了使分布式存储系统获得更高性能,您会采用哪些措施?
万兆网络,ssd

2、  分布式存储系统的高并发能力应如何实现?
无中心或者master/data分离

3、  使存储系统获得更高网络带宽的方法有哪些?
万兆网卡,捆绑端口,光纤卡,光纤交换机。

4、  怎样在控制总体成本的情况下,合理地为海量数据提供存储空间,并能满足数据量快速增长的需求?
横向可扩展,可以增加存储服务节点
纵向可扩展,服务器的存储槽位具备扩展性。

5、  真正可靠的数据保护往往需要一套复杂的策略,实现多级数据保护与容灾,这需要分布式存储系统具备哪些功能?
分片复制,机架感知,跨dc同步,离线备份

6、  海量非结构化场景下,应用类型、数据类型复杂,为获得高效便捷的数据管理功能,需要在哪些方面做好准备?
面向混合数据类型,选择合适的集群方案。
大文件还是中小文件分别应对。文件还是对象分别处理。
传统CDN方案对于文件存储已经很成熟了。
如果是数据,有计算需求,则需要考虑HDFS等大数据方案。

7、  针对海量非结构化数据场景,您认为分布式存储系统的设计与建设还应关注什么?如何实现?(可选回答)
不要盲目上。先试点再推广。
运维难度大于建设难度。
机房的供电很重要。
自建还是云服务,需要考虑好。

黑桃棋牌官方网下载徽章:
32
IT运维版块每日发帖之星
日期:2016-04-01 06:20:002017金鸡报晓
日期:2017-02-08 10:39:4215-16赛季CBA联赛之同曦
日期:2017-02-11 13:43:1415-16赛季CBA联赛之同曦
日期:2017-05-13 19:24:3815-16赛季CBA联赛之上海
日期:2017-07-19 17:38:4415-16赛季CBA联赛之福建
日期:2017-08-02 09:45:3315-16赛季CBA联赛之山东
日期:2017-08-23 17:34:3615-16赛季CBA联赛之上海
日期:2017-11-14 09:20:5015-16赛季CBA联赛之佛山
日期:2017-12-01 10:26:3815-16赛季CBA联赛之吉林
日期:2018-03-30 12:58:43黑曼巴
日期:2018-07-13 09:53:54ChinaUnix元老
日期:2018-08-03 17:26:00
发表于 2019-05-14 16:39 |显示全部楼层
1、  为了使分布式存储系统获得更高性能,您会采用哪些措施?
增加带宽,提高存储速度。

3、  使存储系统获得更高网络带宽的方法有哪些?
万兆网卡,光纤交换机。

就知道这些了。

黑桃棋牌官方网下载徽章:
40
水瓶座
日期:2013-08-15 11:26:422015年辞旧岁徽章
日期:2015-03-03 16:54:152015年亚洲杯之乌兹别克斯坦
日期:2015-03-27 14:01:172015年亚洲杯之约旦
日期:2015-03-31 15:06:442015亚冠之首尔
日期:2015-06-16 23:24:37IT运维版块每日发帖之星
日期:2015-07-01 22:20:002015亚冠之德黑兰石油
日期:2015-07-08 09:32:07IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:00IT运维版块每日发帖之星
日期:2015-10-11 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2019-05-14 23:42 |显示全部楼层
感兴趣 想要T恤 ~ 占位更新
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

话题讨论:大规模高并发下的分布式存储架构设计 - CU活动专区-ChinaUnix.net
ITPUB技术栈

ITPUB技术栈是ITPUB企业打造的垂直于IT领域的知识社群平台,在这里,你既可以是创作者也可以是消费者。如果你的IT生涯丰富多彩,喷薄的个人价值尽可在小栈内体现;如果你渴望找到志同道合的伙伴,拓宽人脉,小栈比跑会场更快。 小栈特色:
1.极高的用户转化率,实现更直接的知识变现;
2.随时随地,刷个朋友圈的时间,实现更长效的信息沉淀;
3.戳痛、难点的专业咨询,更接近成功解决方案的时刻;
4.贴近意见领袖,个人高速成长,迈入更富有价值的人际圈。

----------------------------------------

技术小栈>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP