OpenVZ VPS 安装 User-mode Linux 以实现 BBR 拥塞控制
(UPDATE 20170211: See #Updates)
两个字,折腾。
前言
为啥要装 BBR?据说适合国情。主要目的还是练习 User-mode Linux (UML)。
安装 UML
先装工具链:
sudo apt-get install build-essential libncurses5-dev
因为需要 BBR, 先弄到超前版内核树 net-next
,还有对应 UML 的内核配置
cd ~
git clone git://git.kernel.org/pub/scm/linux/kernel/git/davem/net-next.git
cd net-next
make defconfig ARCH=um
也可以 export ARCH=um
,方便一些。
配置内核使用 BBR:
make menuconfig ARCH=um
进入配置菜单,进入 Networking support → Networking options → TCP: advanced congestion control
页面,移到 BBR TCP
,按两下空格直到变成 <*> BBR TCP
。下方 Default TCP congestion control
回车选 BBR
。一路 Exit,保存。
make ARCH=um vmlinux -j2
编译。
在 UML 中安装 Arch Linux
基本与在 Ubuntu 下安装新 Arch 一样。
先装一个只读的 rootfs
因为 UML 对 hostfs 的限制,hostfs 一定是只读的,而 OpenVZ 也没有 loop 设备,无法直接挂载磁盘镜像,故我们要先装个只读的 rootfs 来启动 UML, 在 UML 中挂镜像。(Ref:PeterCxy 的 Blog)
# 先下载 Arch 最新的 Bootstrap 包:
cd ~
wget http://mirror.rackspace.com/archlinux/iso/latest/archlinux-bootstrap-2016.12.01-x86_64.tar.gz
tar xzf archlinux-bootstrap-2016.12.01-x86_64.tar.gz
mv root.x86_64 root
sudo nano root/etc/resolv.conf
# 加上一行 nameserver 8.8.8.8,保存
sudo mount --rbind /proc root/proc
sudo mount --rbind /sys root/sys
sudo mount --rbind /dev root/dev
sudo mount -t tmpfs tmpfs root/tmp
sudo mount --rbind /root root/root
sudo nano root/etc/pacman.d/mirrorlist
# 搜索离你最近的国家镜像,去掉对应的注释
# 进入 chroot
sudo root/bin/arch-chroot root /bin/bash
# 此时已经进入 chroot 环境
pacman-key --init
pacman-key --populate archlinux
# 安装基础系统
pacman -Sy base
# 改控制台,也可以不改,通过 screen 连接 pts
systemctl enable getty@tty0
systemctl disable getty@tty1
# 退出 chroot
exit
# 解除 rbind
sudo umount root/{dev,proc,sys,tmp}
此时在 root
文件夹下就有了完整的 rootfs,可以启动 UML 了。
设置网络
首先在主机商的面板(SolusVM)打开 TUN/TAP 功能。一般能做 VPN(PPTP、L2TP等) 的 VPS 都有这个选项。
之后配置 TAP 设备:
sudo ip tuntap add tap0 mode tap
sudo ip addr add 10.0.0.1/24 dev tap0
sudo ip route add default via 10.0.0.1 dev venet0:0
sudo ip link set tap0 up
sudo iptables -P FORWARD ACCEPT
sudo iptables -t nat -A POSTROUTING -o venet0 -j MASQUERADE
安装 Arch 到镜像
cd ~/net-next
dd if=/dev/zero of=rootfs.img bs=1MB count=6000 # 创建一个 6GB 的镜像
mount -o remount,size=2G /dev/shm # 改一下 tmpfs 大小,防止爆内存
# 启动到 UML
sudo ./vmlinux root=/dev/root rootfstype=hostfs hostfs=./root ubd0=rootfs.img eth0=tuntap,tap0 mem=256m
mem 是内存大小,此处取 256M(可以根据你的内存情况修改)。
此时已经有 UML 的 shell,可以开始安装系统了。用户名 root,没有密码。
ip link set eth0 up
ip addr add 10.0.0.2/24 dev eth0
ip route add default via 10.0.0.1 dev eth0
# 制作文件系统
mkfs.ext4 /dev/ubda
mount /dev/ubda /mnt
mkdir -p /mnt/var/lib/pacman
pacman -Sy base -r /mnt
pacman -Sy havaged -r /mnt # entropy 生成器
mount --rbind /proc /mnt/proc
mount --rbind /sys /mnt/sys
mount --rbind /dev /mnt/dev
mount -t tmpfs tmpfs /mnt/tmp
mount --rbind /root /mnt/root
chroot /mnt /bin/bash
nano /etc/pacman.d/mirrorlist # mirrorlist
编辑网络配置:
nano /etc/systemd/network/50-static.network
加入
[Match]
Name=eth0
[Network]
Address=10.0.0.2/24
Gateway=10.0.0.1
同上,enable 各项服务,配置 时区、locale 等:
sudo nano root/etc/resolv.conf
# 加上一行 nameserver 8.8.8.8,保存
systemctl enable systemd-networkd
systemctl enable getty@tty0
systemctl disable getty@tty1
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
sed -i 's/#en_US.UTF/en_US.UTF/' /etc/locale.gen
locale-gen
echo 'LANG=en_US.UTF-8' > /etc/locale.conf
echo 'umlarch' > /etc/hostname # 配置主机名
nano /etc/hosts # 加入 127.0.1.1 umlarch.localdomain umlarch
mkinitcpio -p linux # 应该不需要,以防万一
genfstab -U /mnt >> /mnt/etc/fstab # fstab
shutdown -h 0 # 关闭 UML
现在配置已经基本完成,改变一下命令行,从新建的镜像启动:
sudo ./vmlinux root=/dev/ubda ubd0=rootfs.img eth0=tuntap,tap0 mem=256m
pacman-key --init
pacman-key --populate archlinux
搞定。
配置端口转发
先给自己留下 SSH 端口~
sudo iptables -t nat -A PREROUTING -p tcp --dport 22 -j RETURN
然后其他的端口全转发走啦:
sudo iptables -t nat -A PREROUTING -i venet0 -j DNAT --to-destination 10.0.0.2
安装 shadowsocks-go
做了 AUR 源,见 https://github.com/ProfFan/shadowsocks-go 。
Clone 后 makepkg -si
即可。
Updates
无法进入 chroot
关于unshare
问题,参见 here 。
关于 Arch 的 chroot
环境配置,请参考官方文档。
配置中无此选项
BBR 已经进入 4.9 内核树,直接 clone 官方的 master 分支(git://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git)即可。
Reference
https://vincent.bernat.im/en/blog/2011-uml-network-lab.html
http://sylphy.hatenablog.jp/entry/2016/06/23/223449
https://github.com/PeterCxy/Blog/blob/master/_posts/tech/2015-12-12-user-mode-linux-in-openvz.md
https://wiki.archlinux.org/index.php/Installation_guide#Installation
https://wiki.archlinux.org/index.php/Pacman/Package_signing#Initializing_the_keyring