Lustre
Lustre,一種平行分散式檔案系統,通常用于大型計算機叢集和超級電腦。Lustre是源自Linux和Cluster的混成词。最早在1999年,由皮特·布拉姆(英語:)建立的叢集檔案系統公司(英語:)開始研發,於2003年釋出 Lustre 1.0。採用GNU GPLv2開源碼授權。
開發者 | 多方 |
---|---|
穩定版本 | |
源代码库 | |
操作系统 | Linux kernel |
类型 | 分布式文件系统 |
许可协议 | GPL v2 |
网站 | lustre lustre |
历史
Lustre文件系统架构是Peter Braam1999年开始的一个研究项目,皮特当时在卡内基梅隆大学担任教职。2001年皮特成立了自己的公司——群集文件系统。2007年9月,升阳公司收购集群文件系统公司的资产,包括其知识产权。Sun在其高性能计算硬件产品中提供Lustre,以期将Lustre引入自家的ZFS和Solaris操作系统。2008年11月,Braam离开了升阳微系统,由Eric Barton和Andreas Dilger接管Lustre项目。2010年,甲骨文公司收购Sun,开始管理和发布Lustre。
架构
Lustre文件系统包括三种主要的功能单元。
- 元数据服务器(metadata servers,MDSes)。一个Lustre文件系统通常拥有两个元数据服务器(active和standby),一个元数据服务器则拥有若干元数据目标(metadata targets,MDTs)。元数据目标存储名字空间元数据:文件名、目录、访问权限、文件结构等信息。不同于诸如GPFS和PanFS等基于块并由元数据服务器控制所有块分配的分布式文件系统,Lustre元数据服务器仅仅关心路径搜索和权限检查而不会牵涉任何的文件I/O操作。该特性避免元数据服务器成为集群扩展的瓶颈。单个文件系统拥有多个元数据目标是从2.4开始引入的新特性。
- 对象存储服务器(object storage servers,OSSes)将文件数据存储于一个或多个对象存储目标(object storage targets,OSTs)中。取决于服务器硬件,一个对象存储服务器通常有二到八个对象存储目标,每个对象存储目标管理一个本地文件系统。Lustre文件系统的空间等于所有对象存储目标的容量总和。
- 客户机(Clients)能访问并使用数据。Lustre为所有客户机提供统一的命名空间。
MDT、OST和Client可以位于同一节点(通常用于测试),但在典型的生产环境中这些功能组件安装在使用网络进行通信的不同节点。 Lustre Network(LNET)层可以使用多种类型的网络互连,包括InfiniBand、以太网等。如果远程直接内存访问(RDMA)传输可用,Lustre将利用它提高吞吐量降低CPU使用率。
参见
- Ceph
- GlusterFS
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.