可按Ctrl+D收藏 蚂蚁资源网

蚂蚁资源网

分布式文件存储系统(典型的分布式文件系统)

  • 时间:2022-01-20 03:43 编辑:于淼 来源:蚂蚁资源 阅读:109
  • 扫一扫,手机访问
摘要:大家好,今天给大家介绍关于分布式文件存储系统(典型的分布式文件系统)的相关内容,详细讲解当前主流的分布式文件系统有哪些,分布式文件系统的系统分类,当前主流分布式文件系统有哪些?各有什么优缺点等,希望可以帮助到您。
当前主流的分布式文件系统有哪些,分布式文件系统,集群文件系统,并行文件系统,这三个概念很容易混淆,在实践中,每个人经常使用它。总是有些人询问这三个的差异和联系,其实他们确实有一个越过在概念之间的位置,但也有显着差异。
分布式文件系统的系统分类,(DFS)是AFS的一个版本作为开放软件基础(OSF)分布式计算环境(DCE)的文件系统部分。如果可以访问该文件的限制为一个用户,则分布式文件系统易于实现。遗憾的是,许多网络环境中的这个极限是不现实的。您必须采取并发控件来实现多用户访问,如下所示:只读共享任何客户端只能访问文件,但不能修改它,这非常简单。受控写入操作使用此方法,并且有多个用户打开文件,但只写一个用户。用户的修改不一定出现在已经打开此文件的其他用户的屏幕上。并写入此方法以允许多个用户同时读取文件。但这需要大量的监控工作来防止文件重写并保证用户可以看到最新信息。即使处理安全性,这种方法也是不可接受的许多环境中的栅格和网络流量可以使其无法接受。NFS和AFS NFS和AFS之间的差异在于并发操作的处理方法。当客户端请求文件(或数据库记录)时,如果另一个用户还请求相同的文件,则将该文件放置在客户工作站的缓存中,它也将放在客户工作站的缓存中。当两个客户已修改文件时,文件的三个版本(其中一个客户端,以及其中一个服务器)。有两种方法可以在这些版本之间保持同步:此系统中的无意识系统,服务器不保存客户端被缓存的文件的信息。因此,客户必须与服务器合作,定期检查其他客户是否更改自己的文件。这种方法在大型环境中产生了额外的LAN通信开销,但对于小LAN来说,这是一种令人满意的方法。NFS是一个无状态的系统。返回(CA.LLBACK)通过这种方式,服务器记录这些客户端的文件,并保留其缓存的文件信息。服务器使用使用CallbackPromise的技术来使用用于客户端来更改文件的技术。这种方法减少了大量网络通信。AFS(和OSFDCE DFS)是一个回调系统。当客户端更改文件时,将调用并通知持有这些文件的其他客户端。无状态操作在运行性能中具有其优势,但AFS不会被回复的答案所代表。该方法是在一段时间后取消呼叫。客户端检查回调响应中的时间限制,以确保回调响应当前是有效的。回调响应的另一个有趣功能是确保文件的当前有效性给用户。换句话说,如果缓存文件具有回调响应,则客户端认为该文件当前是有效的,除非服务器调用指向此文件的文件E服务器已更改。永河Z-Data Martyonghong Data Mart是一种存储和数据处理软件。永河数据市场采用基于ZDFS的分布式列存储系统,存储在多个单独的设备中。传统的网络存储系统将所有数据存储在集中存储服务器中,存储服务器是系统性能的瓶颈,也是可靠性和安全性的焦点,不符合大规模存储应用的需求。分布式网络存储系统采用可扩展系统结构,使用多个存储服务器共享存储负载,使用位置服务器来定位存储信息,不仅可以提高系统可靠性,可用性,访问效率,还可以轻松扩展。永河数据集市的分布式文件存储系统(ZDFS)是基于Hadoop HDFS,Unified和Store文件的转换和扩展,存储在服务器群集中的所有节点上。这些节点包括唯一的命名编码,提供ZDFS内的元数据服务;许多映射,提供存储块。存储在ZDFS中的文件被分成块,然后将这些块复制到多台计算机(地图节点)中。这与传统的RAID架构不同。块的大小和复制块的数量由客户端在创建文件时确定。命名节点在服务器群集中的所有节点上监视文件操作,例如文件创建,删除,移动,重命名等。网络文件系统
当前主流分布式文件系统有哪些?各有什么优缺点,目前,几个主流分布式文件系统包括除GPF之外的PVFS,Lustre,Panf,GoogleFS等。1.PVFS(并行虚拟文件系统)项目是由克莱姆森大学创建的开源项目,以便运行Linux群集。当前PVF仍然如下:1)单管理节点:只有一个管理节点来管理元数据,当群集系统到达一定的规模时,管理节点可能会有过多的忙情况。此时,管理节点将成为系统瓶颈;2)数据缺少容错机制:当某个I / O节点不起作用时,数据将无法使用。情况;3)静态配置:PVFS的配置只能在开始之前执行,一旦系统运行,原始配置将不再更改。2.Lustre文件系统是1999年在卡内基梅隆大学开始的基于对象的分布式文件系统,卢Stre也是一个开源项目。它只有两个元数据管理节点,类似于PVF,并且在系统达到一定尺寸后,管理节点将成为光泽系统中的瓶颈。3.Panfs文件系统是用于管理自己的群集存储系统的Panasas的分布式文件系统。4.Googlefs(Google文件系统)是一组分布式文件系统,旨在满足公司内部的数据处理需求,以满足公司的内部数据处理。5.相对于其他文件系统,GPFS的主要优势具有以下三个点:1)使用分布式锁管理和大数据块策略来支持较大的群集系统,文件系统令牌管理器是块,inode,属性和目录项建立细粒度锁定,首次采集锁将负责维护相应共享对象的一致性管理,这减少了元数据服务器的负担;2)有MULTiple元数据服务器,元数据还分布式使得元数据管理不再是系统瓶颈;3)具有最小单位的字节单位作为锁定的令牌管理,即除非同一文件的相同字节数据访问两个请求,除非是数据访问请求永远没有冲突。

责任编辑(于淼

以上就是关于**分布式文件存储系统,典型的分布式文件系统**的全部内容,如有需要以上系统,请在搜索框搜索商品或者咨询客服,了解更多请关注蚂蚁资源网。
内容来源于网络,如无意中有侵权,请联系客服核实,以便及时删除,谢谢支持!
  • 全部评论(3)
  • lyrhc
  • 分布式文件系统有哪些主要的类别,1、单机文件系统用于操作系统和应用程序的本地存储。2、网络文件系统(简称:NAS)基于现有以太网架构,实现不同服务器之间传统文件系统数据共享。3、集群文件系统在共享存储基础上,通过集群锁,实现不同服务器能够共用一个传统文件系统。4、分布式文件系统在传统文件系统上,通过额外模块实现数据跨服务器分布,并且自身集成raid保护功能,可以保证多台服务器同时访问、修改同一个文件系统。性能优越,扩展性很好,成本低廉。
  • 2022-01-20 03:43:28
  • lyrhc
  • 分布式文件系统意味着文件系统管理的物理存储资源管理不一定直接连接到本地节点,而是通过计算机网络连接到节点。分布式文件系统的设计基于客户端/服务器模式。典型的网络可以包括多个用户可访问的多个服务器。此外,对等功能允许某些系统播放客户端和服务器的双重作用。
  • 2022-01-20 03:43:28
  • 区块链
  • HDFS是基于流数据模式访问和处理超大文件的需求而开发的,它可以运行于廉价的商用服务器上。总的来说,可以将 HDFS的主要特点概括为以下几点:(1 )处理超大文件这里的超大文件通常是指数百 MB、甚至数百TB 大小的文件。目前在实际应用中, HDFS已经能用来存储管理PB(PeteBytes)级的数据了。在 Yahoo!,Hadoop 集群也已经扩展到了 4000个节点。(2 )流式地访问数据HDFS的设计建立在更多地响应“一次写入,多次读取”任务的基础之上。这意味着一个数据集一旦由数据源生成,就会被复制分发到不同的存储节点中,然后响应各种各样的数据分析任务请求。在多数情况下,分析任务都会涉及数据集中的大部分数据,也就是说,对HDFS 来说,请求读取整个数据集要比读取一条记录更加高效。(3 )运行于廉价的商用机器集群上Hadoop设计对硬件需求比较低,只须运行在廉价的商用硬件集群上,而无须昂贵的高可用性机器上。廉价的商用机也就意味着大型集群中出现节点故障情况的概率非常高。这就要求在设计 HDFS时要充分考虑数据的可靠性、安全性及高可用性。正是由于以上的种种考虑,我们会发现现在的 HDFS在处理一些特定问题时不但没有优势,而且有一定的局限性,主要表现在以下几个方面。(1 )不适合低延迟数据访问如果要处理一些用户要求时间比较短的低延迟应用请求,则 HDFS不适合。HDFS 是为了处理大型数据集分析任务的,主要是为达到高的数据吞吐量而设计的,这就可能要求以高延迟作为代价。目前有一些补充的方案,比如使用HBase,通过上层数据管理项目来尽可能地弥补这个不足。(2 )无法高效存储大量小文件在Hadoop 中需要用 NameNode来管理文件系统的元数据,以响应客户端请求返回文件位置等,因此文件数量大小的限制要由 NameNode来决定。例如,每个文件、索引目录及块大约占 100字节,如果有100 万个文件,每个文件占一个块,那么至少要消耗 200MB内存,这似乎还可以接受。但如果有更多文件,那么 NameNode的工作压力更大,检索处理元数据的时间就不可接受了。(3 )不支持多用户写入及任意修改文件在HDFS 的一个文件中只有一个写入者,而且写操作只能在文件末尾完成,即只能执行追加操作。目前 HDFS还不支持多个用户对同一文件的写操作,以及在文件任意位置进行修改。
  • 2022-01-20 03:44:45
最新发布的资讯信息
【简历/资料|内地女明星】 殷茹基本资料( YR个人简历介绍)(2020-12-06 15:19)
【简历/资料|内地女明星】 曹菁基本资料( CJ个人简历介绍)(2020-12-06 15:18)
【简历/资料|内地女明星】 王安妮基本资料( WAN个人简历介绍)(2020-12-06 15:18)
【简历/资料|内地女明星】 白琼基本资料( BQ个人简历介绍)(2020-12-06 15:17)
【简历/资料|内地女明星】 王世霞基本资料( WSX个人简历介绍)(2020-12-06 15:17)
【简历/资料|内地女明星】 宋煜基本资料( SY个人简历介绍)(2020-12-06 15:16)
【简历/资料|内地女明星】 钱增基本资料( QZ个人简历介绍)(2020-12-06 15:16)
【简历/资料|内地女明星】 胡晓黎基本资料( HXL个人简历介绍)(2020-12-06 15:15)
【简历/资料|内地女明星】 李佳慧基本资料( LJH个人简历介绍)(2020-12-06 15:15)
【简历/资料|内地女明星】 张洛嘉基本资料( ZLJ个人简历介绍)(2020-12-06 15:14)
联系客服
网站客服 联系客服
手机版

扫一扫进手机版
返回顶部