Breeze‘s Blog

分布式文件系统GFS

Google文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为Google云计算提供海量存储，并且与Chubby、MapReduce及Bigtable等技术结合十分紧密，处于所有核心技术的底层。

GFS的架构

数据流和控制流是分离的。

GFS是按固定大小的块存储的，每一块64MB。

GFS系统节点

Client（客户端）
GFS提供给应用程序的访问接口，以库文件的形式提供。
它是一组专用接口，不遵守POSIX规范。
应用程序直接调用这些库函数，并与该库链接在一起。

Master（主服务器）
GFS的管理节点，负责整个文件系统的管理；
它保存系统的元数据；
在逻辑上只有一个；
是GFS文件系统中的“大脑”。

Chunk Server（数据块服务器）
负责具体的存储工作；
数据以文件的形式存储在Chunk Server上；
ChunkServer的个数可以有多个，它的数目直接决定了GFS的规模。

GFS的实现机制

（1）客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流的分离；

（2）Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载；

（3）Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。

GFS的特点

采用中心服务器模式

GFS采用中心服务器模式管理整个文件系统，简化了设计，降低了实现难度。Master管理分布式文件系统中的所有元数据。文件被划分为Chunk进行存储，对于Master来说，每个Chunk Server只是一个存储空间。Client发起的所有操作都需要先通过Master才能执行。

优点：

扩展性——增加新的Chunk Server是一件十分容易的事情

Chunk Server只需要注册到Master上即可，Chunk Server之间无任何关系。如果采用完全对等的、无中心的模式，那么如何将Chunk Server的更新信息通知到每一个Chunk Server，会是设计的一个难点，而这也将在一定程度上影响系统的扩展性。

负载均衡

Master维护了一个统一的命名空间，同时掌握整个系统内Chunk Server的情况，据此可以实现整个系统范围内数据存储的负载均衡。

不存在元数据一致性的问题。

缺点：

中心服务器模式也带来一些固有的缺点，比如主服务器Matser极易成为整个系统的瓶颈等。GFS采用多种机制来避免Master成为系统性能和可靠性上的瓶颈，如尽量控制元数据的规模、对Master进行远程备份、控制信息和数据分流等。

不缓存数据

缓存（Cache）机制是提升文件系统性能的一个重要手段，通用文件系统为了提高性能，一般需要实现复杂的缓存机制。GFS文件系统根据应用的特点，没有实现缓存，这是从必要性和可行性两方面考虑的。

必要性：客户端大部分是流式顺序读写，并不存在大量的重复读写，缓存这部分数据对提高系统整体性能的作用不大；

可行性：如何维护缓存与实际数据之间的一致性，是一个极其复杂的问题。

Tips:对于存储在Master中的元数据，GFS采取了缓存策略。因为一方面Master需要频繁操作元数据，把元数据直接保存在内存中，提高了操作的效率。另一方面采用相应的压缩机制降低元数据占用空间的大小，提高内存的利用率。

在用户态下实现

文件系统是操作系统的重要组成部分，通常位于操作系统的底层（内核态）。在内核态（区分内核态和用户态的区别）实现文件系统，可以更好地和操作系统本身结合，向上提供兼容的POSIX接口。然而，GFS这种文件系统却选择在用户态下实现，主要基于以下考虑。

利用POSIX编程接口存取数据，降低了实现难度，提高通用性；

POSIX接口提供功能更丰富；

用户态下有多种调试工具；

Master和Chunk Server都以进程方式运行，单个进程不影响整个操作系统；

GFS和操作系统运行在不同的空间，两者耦合性降低。

只提供专用接口

通常的分布式文件系统一般都会提供一组与POSIX规范兼容的接口，使应用程序可以通过操作系统的统一接口透明地访问文件系统，而不需要重新编译程序。

GFS在设计之初，是完全面向Google的应用的，采用了专用的文件系统访问接口。接口以库文件的形式提供，应用程序与库文件一起编译，Google应用程序在代码中通过调用这些库文件的API，完成对GFS文件系统的访问。

优点：

降低了实现的难度。通常与POSIX兼容的接口需要在操作系统内核一级实现，而GFS是在应用层实现的。

采用专用接口可以根据应用的特点对应用提供一些特殊支持，如支持多个文件并发追加的接口等。

专用接口直接和Client、Master、Chunk Server交互，减少了操作系统之间上下文的切换，降低了复杂度，提高了效率。

GFS的容错机制

1.Master容错
Master容错主要是为了保证Master上的元数据能够保持完整。
GFS通过操作日志来提供容错功能。
为了防止Master彻底死机的情况，GFS还提供了Master的远程实时备份，这样在当前GFS Master出现故障时，另一台Master可以迅速接替其工作。

2.Chunk Server容错
GFS采用副本的方式实现Chunk Server的容错。每一个Chunk存有3个副本，存储在不同的Chunk Server上。对于每一个Chunk，必须将所有的副本全部写入成功，才视为写入成功。
当读取一个副本时，Chunk Server会将读取的数据和校验和进行比较，如果不匹配则会选择其他副本。