姬長信(Redy)

如何限制容器可用的Docker文件系统空间


一般情况是我们有一组服务器,我们希望使用Docker在其上设置虚拟集群.

为此,我们为不同的服务(Hadoop,Spark等)创建了Dockerfiles.

但是,关于Hadoop HDFS服务,我们的情况是docker容器可用的磁盘空间等于服务器可用的磁盘空间.我们希望限制每个容器的可用磁盘空间,以便我们可以动态生成一个具有一些存储大小的额外数据节点,以便为HDFS文件系统做出贡献.

我们有想法使用用ext4格式化的环回文件,并将它们安装在我们用作docker容器中的卷的目录中.但是,这意味着大量的性能损失.

我在SO(Limit disk size and bandwidth of a Docker container)上发现了另一个问题,但答案差不多是1.5岁 – 关于Docker的发展速度 – 是古老的.

哪种方式或存储后端将允许我们

>限制每个容器的存储
>接近裸机性能
>不需要重新分区服务器驱动器