Ik was begin deze week al door een klant op de hoogte gebracht dat er een lek was in de 32 bit emulatie bij de 64 bits kernel van Linux. Hier zouden hackers vrij makkelijk root toegang kunnen verkrijgen op de server. Ik dacht dat dit lek wel mee zou vallen, maar zondag bleek de eerste 2 machines gehackt te zijn. Dus als een gek heb ik de hele Zondag en Maandag alle 84 servers van ons lopen updaten. Per server was ik namelijk 20 minuten kwijt. Bij het updaten van de kernel heb ik direct ook op alle servers de laatste versie van alle softwarepakketten erop gezet. Na 2 dagen lang werk was het updaten klaar.
Nadat de server geupdate is moet deze ook opnieuw opgestart worden om de nieuwe kernel te kunnen booten. 84 servers rebooten is iets wat ik niet graag doe omdat er een kleine kans bestaat dat de machine niet meer online komt. Uiteindelijk zijn er 2 machines niet meer online gekomen. De eerste bleek naast het reboot commando ook nog een harde reset nodig te hebben (met de apc), en voor de laatste ben ik dinsdag naar het datacenter gegaan waar bleek dat het moederbord defect leek te zijn.
Dat waren 3 drukke dagen (en mijn weekend), maar gelukkig draait alles nu weer lekvrij :-)
