Lxc.fjfi.cvut.cz

From NMS
Revision as of 12:56, 5 March 2018 by Vokacpet (Talk | contribs) (Kontejnery systemd-nspawn)

(diff) ← Older revision | Latest revision (diff) | Newer revision → (diff)
Jump to: navigation, search
Servery / Služby
Přístupné komukoliv
windows
srk
linux / unix
kmlinux
Omezený/individuální účet
linux / unix
bimbo · buon(KF) · km(KM) · lenochod(KJR) · linux · node(KM) · sunrise(KF) · unixlab(KFE) · vkstat(KM)
Služby
backup · DHCP · DNS · doména FJFI · eduroam · fileserver · IdM · forum · gitlab · lists · moodle · indico · mailgw · K4 · mailserver · NMS · openvpn · skolniftp · ssh · videokonference · VoIP · video · VPN · wififjfi · wiki · www
Učebny
e-sklipek · KFE unixlab · KFE pclab · PD1 · KM 105 · KM 115
Ostatní
Network · Blokované porty
[edit] · [view]

Základní informace lxc

Správce 
Petr Vokáč
HW 
virtuální (Xen) - paravirtualizace x86_64
OS 
CentOS7
Využití 
LXC kontejnery (gitlab, indico, vhost, ...)
Konto 
-

Instalace a konfigurace

  • standardní (minimální) instalace operačního systému
  • standardní puppet konfigurace pro server (certifikáty, logging, monitoring, ...)
  • default instalace s podporou LXC + libvirt

Kontejnery

Kontejnery libvirt-lxc

  • podporovány (a funkční) pouze v CentOS 7.0 (od 7.1 deprecated a segfaultují)
  • každý kontejner v nainstalován do LVM oddílu
lvcreate -L 50G -T lxc/thinpool
lvcreate -V1G -T lxc/thinpool -n name
  • připojen do standardního umístění pro libvirt filesystémy se symlinkem z /root/fs-name
  • informace o instalaci a konfiguraci uloženy v adresáři /root/inst-name
yum -y --installroot=/var/lib/libvirt/filesystems/name --releasever=7 --nogpg install systemd initscripts passwd yum centos-release # ...
virt-install --connect lxc:// --name name --ram 1024 --filesystem /var/lib/libvirt/filesystems/name/,/
virsh -c lxc:// shutdown name
chroot /var/lib/libvirt/filesystems/name /bin/passwd root
echo "pts/0" >> /var/lib/libvirt/filesystems/name/etc/securetty
cp /var/lib/libvirt/filesystems/indico/usr/share/zoneinfo/Europe/Prague /var/lib/libvirt/filesystems/name/etc/localtime
cp /etc/skel/.bashrc /var/lib/libvirt/filesystems/name/root
cp /etc/skel/.bash_profile /var/lib/libvirt/filesystems/name/root
# ...
virsh -c lxc:// start --console name

Kontejnery systemd-nspawn

  • podporovány v CentOS 7.0 (systemd 209, bez rozumné podpory sítí), ale pro základní rozumné použití nutný alespoň CentOS 7.2 (systemd 219)
  • na stroji, kde budou provozovány systemd-nspawn kontejnery je potřeba přidat machines.target
systemctl enable machines.target
  • každý kontejner v nainstalován do LVM oddílu
lvcreate -L 50G -T centos_nspawn/pool00
lvcreate -V1G -T centos_nspawn/pool00 -n name
mkfs.ext4  /dev/centos_nspawn/name
  • připojen do standardního umístění /var/lib/machines/name se symlinkem z /root/fs-name
mkdir /var/lib/machines/name
echo "/dev/centos_nspawn/name    /var/lib/machines/name    ext4 defaults    1 2" >> /etc/fstab
mount /dev/centos_nspawn/name
  • informace o instalaci a konfiguraci konkrétního kontejneru uloženy v adresáři /root/inst-name
yum -y --installroot=/var/lib/machines/name --releasever=7 --nogpg install \
    systemd systemd-networkd systemd-resolved initscripts passwd centos-release # ...

# allow login from console
echo "pts/0" >> /var/lib/machines/name/etc/securetty
echo "pts/1" >> /var/lib/machines/name/etc/securetty
echo "pts/2" >> /var/lib/machines/name/etc/securetty
echo "pts/3" >> /var/lib/machines/name/etc/securetty
# basic "postinstall" configuration
/bin/ln -fs ../usr/share/zoneinfo/Europe/Prague /var/lib/machines/openvpn/etc/localtime
/bin/cp /etc/skel/.bashrc /var/lib/machines/name/root
/bin/cp /etc/skel/.bash_profile /var/lib/machines/name/root
/bin/rm /var/lib/machines/name/etc/resolv.conf
/bin/ln -s /run/systemd/resolve/resolv.conf /var/lib/machines/name/etc/resolv.conf
/bin/mkdir /var/lib/machines/name/etc/systemd/network
/bin/cp 10-static-host0.network /var/lib/machines/name/etc/systemd/network/10-static-host0.network
#/bin/cp iptables /var/lib/machines/name/etc/sysconfig/iptables
#/bin/cp ip6tables /var/lib/machines/name/etc/sysconfig/ip6tables

# use network bridging for containers (changed in override.conf)
/bin/mkdir /etc/systemd/system/systemd-nspawn@name.service.d
/bin/cp override.conf /etc/systemd/system/systemd-nspawn@name.service.d/override.conf
systemctl daemon-reload

# don't allow excessive journal mem/file size
perl -p -i -e 's/^#SystemMaxUse=.*/SystemMaxUse=100M/' /var/lib/machines/name/etc/systemd/journald.conf
perl -p -i -e 's/^#SystemMaxFileSize=.*/SystemMaxFileSize=10M/' /var/lib/machines/name/etc/systemd/journald.conf
perl -p -i -e 's/^#RuntimeMaxUse=.*/RuntimeMaxUse=25M/' /var/lib/machines/name/etc/systemd/journald.conf
perl -p -i -e 's/^#RuntimeMaxFileSize=.*/RuntimeMaxFileSize=5M/' /var/lib/machines/name/etc/systemd/journald.conf

# change root password in container (doesn't work with SELinux enabled)
setenforce 0
chroot /var/lib/machines/name /bin/passwd root
# systemd-nspawn -D /var/lib/machines/name
# passwd
setenforce 1

# rename hostname in container and enable required services
chroot /var/lib/machines/name hostnamectl set-hostname name.fjfi.cvut.cz
chroot /var/lib/machines/name systemctl enable systemd-networkd
chroot /var/lib/machines/name systemctl enable systemd-resolved

# resource-control
#systemctl show systemd-nspawn@name 
systemctl set-property systemd-nspawn@name MemoryLimit=$((1024*1024*1024))
systemctl daemon-reload

# comment out last line in postlogin (btmp updates can take too much time)
#vi /var/lib/machines/name/etc/pam.d/postlogin

# I don't know why is next manual login neccessary!?
# but without first "manual" login standard `machinectl`
# commands doesn't work
systemd-nspawn -bD /var/lib/machines/name

machinectl start name
machinectl login name
# to exit container console press three times ctrl+]
machinectl status name
machinectl poweroff name
machinectl enable name
  • 10-static-host0.network
[Match]
Name=host0

#[Link]
MACAddress=00:11:22:33:44:55

[Network]
Address=192.0.2.123/24
Gateway=192.0.2.1
Address=2001:DB8::123/64
Gateway=2001:DB8::1
DNS=192.0.2.2
DNS=2001:DB8::2
  • override.conf
[Unit]
After=network-online.target
Wants=network-online.target

[Service]
ExecStart=
ExecStart=/usr/bin/systemd-nspawn --quiet --keep-unit --boot --link-journal=try-guest --network-bridge=br0 --machine=%I
grep dbus-daemon /var/log/audit/audit.log | audit2allow -M bug-machinectl-login
semodule -i bug-machinectl-login.pp

Kontejnery docker

  • odlišný přístup ke správě kontejnerů běžících z předem připravených "imagů"
  • standardně používá vlastní privátní NATovanou síť
  • pro zpřístupnění služeb lze probridgovat normální síť
    • pro více kontejnerů managovanou pres OVS
    • OVS není standardní součástí CentOS7 (a součástí jsou i jaderné moduly)

Kontejnery LXC

  • balíčky jsou součástí EPELu
  • nemájí/neměli šablony pro "nové" systemy (CentOS7)