Roland Kamphuis Rotating Header Image

Posts under ‘InterRacks’

GlobalSwitch bezoek voor backupserver

Vandaag was het weer eens tijd voor een bezoek aan GlobalSwitch Amsterdam. De backupserver van IceHosting had gefaald en wou niet meer booten. Gezien de backupserver net voor het IPMI tijdperk is neergezet moest ik dus ter plekke aanwezig zijn om te bekijken wat de foutmelding was. Ik heb hier geen gras over laten groeien en heb eerlijk gezegd niet eens gekeken wat de foutmelding was. Daarentegen heb ik vliegensvlug een nieuwe backupserver aangeschaft, met een totale opslag van 12 TB (3TB meer dan de oude) maar dan direct uitgerust met IPMI. In de tussentijd had ik andere server de functie van backupserver over laten nemen. Echter wel wat problemen gehad dat 2TB backups niet op een 500GB disks passen, dus er was tijdelijk alleen backups van de dag ervoor. (en niet 7 dagen terug als normaal)

Om opstartfouten te voorkomen heb ik deze keer het OS op een USB stick gezet. Dat bleek niet een groot succes te zijn. (Het installeren van wget en nano duurde ongeveer 4 minuten (normaal neemt dat niet meer dan 5 seconde in beslag). Ik heb dan snel de keuze gemaakt om voor het eerst een SSD in een server te zetten. SSD’s worden op moment minimaal in servers toegepast omdat de writeacties van servers veel hoger ligt dan normale pc’s en daarmee een SSD een gemiddelde levensduur van 1 tot 1,5 jaar heeft. Daarmee zijn SSD’s stukken duurder dan de traditionele schijven.
Gekozen voor de Intel E3 series SSD en haalde prachtige resultaten. De lees en schrijfsnelheden vallen wel mee (320mb/sec READ/WRITE), maar het opstarten gaat razendsnel (Acces time van <0.1ms).

Als tweede heb ik ook de nieuwste series Areca raidcontroller (1880 range) in de server gestoken. Deze haalde een performance van 1.9Gbyte/sec bij schrijven en 250 mb/sec bij lezen. (bij bestanden van +- 1 gig) Ga je wat groter schrijven kom je snel uit op een gemiddelde schrijfsnelheid van 550mb/sec.

Tot slot heb ik een paar reinstalls uitgevoerd, en de vervangende server opgehangen voor de shared hosting van IceHosting. Deze wordt binnenkort in gebruik genomen.

Ipv6 Awards

Enige tijd geleden kwam ik de ipv6 awards  tegen. Een award uitgegeven door de Nederlandse ipv6 taskforce voor het bedrijf of particulier welke het meest innovatief voorloopt met de uitrol van ipv6. Aangezien ik ook ipv6 al enkele maanden geleden had uitgerold heb ik ook maar een poging gedaan om mee te doen. Mijn aanmeldformulier valt dan ook hier terug te lezen: ipv6-awards.pdf

Enkele weken later kreeg ik een mailtje dat ik niet genomineerd was. Genomineerd waren partijen zoals Breedband Arnhem etc. Logisch dat die partijen een goede kans maken omdat ze een veel groter klantenbestand bedienen. Ik had gehoopt dan dat ze verder kijken dan alleen de omvang van het project. De impact van onze implementatie is dat in 1 klap 1288 domeinen via ipv6 bereikbaar zijn geworden. Want zeg eens eerlijk, wat heb je aan ipv6 als je geen websites kan benaderen?

Afijn, de prijs is gewonnen door AVM (met hun thuis router product) en Stichting Mailserver Whitelist (met een implementatie om spam tegen te gaan). Beide partijen mijn felicitaties.

Military Boekelo

Namens relatie Trent glasvezel was ik uitgenodigd voor de cross-country bij de military te Boekelo afgelopen weekend. Trent had een eigen VIP tent staan aan de hoofdring van het cross-country parkoers.

Gezien ik recentelijk iedere dag naar mijn werk fiets ben ik ook op de fiets naar de military gegaan. Ook omdat parkeren een ramp is gezien er duizenden mensen op dit evenement afkomen. Ikzelf was nog nooit bij de military geweest, dus vond ik dat ik een keer moest kijken. Het ligt namelijk vlak bij (tussen Enschede en Haaksbergen).

Ik kwam met de fiets aan de zuid kant binnen van de military en toen viel mij direct op hoe groot eigenlijk het parkoers wel niet was. Stukken groter dan ik had verwacht. Ook was het mensenaantal gigantisch, ik denk dat er wel meer dan duizenden mensen op het spektakel afgekomen waren.
Door de modder liep ik richting het beginpunt van de crosscountry. Daar vond ik de vip tenten en ook het tentje van Trent. In de vip tent waren verse broodjes te vinden en verschillende drankjes. Na een aantal mensen gesproken te hebben ben ik het parkoers maar gaan volgen van de cross-country. Het parkoers was zeer groot met om de tiental meters een obstakels waar de paarden overheen moeten springen. Het duurde ongeveer 5 minuten voordat er opnieuw een ruiter met paard voorbij kwam.
Ik heb een zeer goede tijd gehad en was verrast dat het parkoers zo groot. Ook was het een mooi gezicht alle ruiters met hun paard over de obstakels te springen.

Tijdens mijn tocht heb ik een aantal foto’s gemaakt:

(meer…)

InterDC officieel geopend

Vandaag is het InterDC datacenter officieel geopend! De website is helemaal vernieuwd en vanochtend is tevens het persbericht eruit gegaan:

http://www.interdc.nl/nl/persberichten/

Het was nog wel een boel werk om de site te vertalen. Gelukkig heb ik wat hulp gehad van Christian. Christian begint tevens vrijdag hier met werken.

Het was toch nog best veel werk om de laatste dingen af te ronden in het datacenter. Maar het resultaat mag er zijn. Nu maar hopen dat de ruimte snel vol staat.

100e server online!

Vandaag heeft IceHosting het magische aantal van 100 servers bereikt. Precies 5 jaar geleden (14 juli 2006) bereikte we het aantal 50. Dat zou dus betekenen dat we de afgelopen 5 jaar met 10 servers zijn gegroeid. Dit is echter niet waar.
In 2008 begonnen de eerste servers (uit 2004 en 2005) op leeftijd te komen en moesten deze vervangen worden. Zodoende hebben we totaal 49 servers vervangen. En is de groei 20 servers per jaar (gemiddeld).
Voor de liefhebber zijn foto’s van de oude servers hier te vinden:

http://fotos.icehosting.nl/index.php?folder=/6%20Overige%20fotos/servers_oud

Op weg naar de 200 servers!

InterRacks 6 jaar

Vandaag werd mijn 2e bedrijf InterRacks 6 jaar. Wat natuurlijk een hele milestone is.

Met InterRacks ben ik afgelopen maanden druk bezig geweest met dochteronderneming InterDC. InterDC is een datacenter in Enschede die binnenkort haar deuren zal openen. Op mijn weblog heb ik hierover al diverse post geschreven.

InterDC bevindt zich in de afrond fase, en ik zal komende week weer een aantal artikelen plaatsen over het datacenter.

falende optic in het netwerk

Sinds zaterdag bleek dat ieder uur het netwerk voor 1-3 seconde keer offline ging. De storing was zo klein dat het bijna niet te merken was. Door een klant van streaming werd ik op de hoogte gebracht (want hij zag ieder uur de luisteraars met de helft zakken). Met veel moeite heb ik kunnen vinden dat de problemen veroorzaakt werden door een defecte laser optic in de coreswitch. Een optic is een lasermodule in de switch waarop de glasvezel aangesloten kan worden. De laser is een aparte module zodat je zelf de juiste laser kan kopen voor de gewenste afstand van de glasvezel.

Gelukkig was ik net vrijdag in Amsterdam geweest om een nieuwe coreswitch op te hangen en de verbinding weer redundant uit te voeren. (dit was tijdelijk uitgeschakeld sinds het vorige onderhoud). Met de nieuwe redundant opstelling kon ik vandaag de defecte optic uitschakelen. Door de opstelling werd het verkeer automatisch om gerouteerd. Hieronder een netwerkschema van deze wijziging.

       

KvK verwijderd per ongeluk handelsnaam

Voor een nieuw project waarmee ik al enige maanden mee bezig ben moet de handelsnaam toegevoegd worden op de kvk inschrijving van InterRacks. Ik had dus netjes het formulier gedownload van de kvk website en alles ingevuld en inclusief de bijlages opgestuurd naar de kvk.

Een week later kreeg ik bericht terug dat alles netjes was verwerkt. Ik kijk dus even in de database en valt me op dat ze de naam InterRacks verwijderd hadden en de kvk enkel op de nieuwe naam stond van dit project.

Direct met de KvK gebeld maar die konden dat niet zomaar terugveranderen. De meneer bij KvK zou eerst nakijken of het daadwerkelijk hun fout was en zou mij terugbellen als hij meer wist. Een halve dag later werd ik teruggebeld met de excuses van kvk dat het inderdaad bij hun fout is gegaan en dat ze de naam direct weer toe hebben gevoegd.

Lekker hoor, als je dus niet je KvK inschrijving na een wijziging controleert bestaat er zomaar de kans dat je originele handelsnaam verwijderd is en wellicht al ingepikt is door een ander bedrijf.

Brocade Netiron CER

Via het bedrijf Techaccess kon ik de nieuwste Brocade Router voor 1 maand uittesten. Dit was de Brocase Netiron CER 2024c.
De CER is de kleinste router in formaat en beschikt over 24 x 1gbit poorten (glas en koper mogelijk) en over 2x 10GBit glas poorten. De router heeft een flinke router capaciteit en beschikt over 2 GB intern geheugen.

Ik heb de router met plezier kunnen testen zolang hij hier was. Echter had ik geen ander 10Gbit apparatuur staan dus moest mijn test op gbit poorten houden. De tests zijn allemaal geslaagd en ik ben wel onder de indruk van dit apparaat. Wellicht gaat dit apparaat in de toekomst onze routers vervangen. Maar op dit moment is het apparaat nog te duur om erbij aan te schaffen.

Datacenter bezoek

Afgelopen donderdag ben ik naar Amsterdam Globalswitch geweest voor wat onderhoud en 5 nieuwe servers te plaatsen. Nieuw was dat we de Foundry Fastiron hebben uitgefaseerd en mee moest naar het kantoor. De Fastiron is de coreswitch in ons netwerk en beschikt over 4 glaspoorten en 156 100mbit poorten. De switch heeft 4 voedingen van 500watt en weegt daarmee een goede 30-40 kg.

Ook zijn de HP proliants servers meegegaan naar kantoor. Dit waren de servers die alle resellerpakketten aan het hosten waren. Met een leeftijd van 5 jaar waren deze ook aan vervanging toe.

Met de vervanging van de HP’s en de Fastiron switch werd er behoorlijk wat stroom bespaard. Deze stroom kan dan weer gebruikt worden om extra servers te plaatsen.
Bij Globalswitch zitten we namelijk al enige tijd tegen ons stroomlimiet, en doordat we servers blijven vervangen kunnen we nog groeien. Maar het einde van oude servers is bijna in zicht en dan zullen we toch rackruimte en energie ergens anders vandaan moeten halen.

Op zaterdag werken

Gister heb ik de hele dag (op zaterdag) gewerkt. Dit is de 2e zaterdag dat ik op kantoor was. De aanleiding was een bezoek van een klant die snel wat op kwam halen. Ik ben de rest van de dag mooi op kantoor gebleven en heb allemaal klusjes kunnen doen waar ik normaal niet aan toe kwam.

Ook scheelde dat ik niet gestoord werd door de telefoon of mede collega’s. Ik heb dus flink kunnen doorwerken.

Sidn en softwareontwikkeling

Vorige week is Sidn 15 jaar geworden en direct de dag na hun 15 jarig bestaan plannen ze onderhoud in. Als registrar weet je al van te voren dat dit uit de hand gaat lopen. En zo vorige week ook weer. Tijdens de storing van 1,5 dag was het niet mogelijk om domeinen te registreren, verhuizen of te bewerken.

Toch vind ik het knap dat sidn technisch probeert uit te leggen wat er fout is gegaan.

“Na het Onderhoudsvenster is er in verband met deze bug fix een herstelscript gestart. Dit herstelscript leidt nu tot problemen bij transacties die voorzien zijn van een timer (opheffen en verhuizen). Het script is inmiddels beëindigd, maar dit heeft het probleem met het verhuis- en opheffingsproces nog niet verholpen.”

Daar valt uit te begrijpen dat het herstelscript het systeem offline heeft gehaald. Dan vraag ik me toch af of SIDN ooit gehoord heeft van een test systeem. Waar je eerst rustig kan testen (met bijvoorbeeld dit herstelscript) voordat je de productieomgeving offline haalt.

Ook viel mij vandaag het volgende in de API documentatie van SIDN op. Ik heb het even vertaald naar begrijpbare taal:

API vraag: Staat nameserver ns1.eenwillekeurigdomein.nl in de drs?
Antwoord sidn: Ja, de nameservers is niet bekend in het systeem (true)

Ik heb het idee dat ze daar nooit gehoord hebben van een SOM of Quality-manager.

100% uptime voor 2010, 2009 & 2008

Afgelopen jaar heeft het IceHosting/InterRacks netwerk een uptime van 100% behaald. Ook in 2009 en 2008 was de 100% behaald. Echter is de 100% van 2010 niet helemaal terecht. Door een ddos aanval eind augustus waren er een aantal servers op dezelfde switch moerlijkbereikbaai gedurende 1,5 uur. Dit moeilijk bereikbaar hield in dat een website er 5 seconde over deed om te laden ipv de 0,5 sec normaal. Dus helemaal offline was het niet.

In 2007 deden we het ook al goed, met een downtime van maar 21minuten op het hele jaar.

Ik ben dan ook erg trots op de behaalde resultaten, en vooral dat we afgelopen 3 jaar 3maal 100% behaald hebben. Mogen we hopen dat we in 2011 ook de 100% uptime behalen.

Hieronder een screenshot van de officiële WHT uptime meter op icehosting.nl

Verhuizing Kantoor

Vandaag was het zover. Het kantoor van IceHosting is verhuisd naar een nieuw kantoor in Enschede. Om alles mee te krijgen hebben we met 3 auto’s 2x moeten rijden. Alles was nieuw gekocht, waardoor alles in dozen verhuisd kon worden. Dit was ideal voor bijv de bureaustoelen.
De bureaus zelf had ik 2 weken daarvoor al in elkaar gezet in het nieuwe pand.

Het kantoorpand is nog niet helemaal af, zo moeten de plintjes nog gelegd worden en een aantal waterleidingen nog aangelegd worden. Daarom was alleen de bovenruimte beschikbaar om te starten. De overige werkzaamheden worden binnen 2 weken afgerond. Dan kunnen we alles naar de juiste verdieping verplaatsen.

Hieronder een foto van de eerste werkplek (incl HP computer nog in doos).

Ddos aanval

Vandaag had het netwerk een Ddos aanval te verduren op een server van een klant.  De aanval was best zwaar, maar toch hadden de andere servers en het netwerk geen overlast eraan. Wel had de switch het zwaar waarop de aanval werd afgeleverd. Daar moest een GBIT aan ddos verkeer doorgestuurd worden op een 100mbit lijn naar de server toe. Daardoor hadden de overige servers op de zelfde switch last dat de verbinding traag werd. Dit kwam doordat de switch (CPU) te druk was met die aanval op een 100mbit lijntje te proppen. De aanval was na 1,5 uur geblokkeerd.

Mooi te zien was aan de aanval dat buiten deze switch alles keurig en snel nog online is gebleven. De zwakkere switch was al gepland om te vervangen worden eind dit jaar. Dit zullen we gaan vervroegen.
Tevens bizar dat de uplink provider Jointtransit direct de internetpoort uit zette toen de aanval begon. Blijkbaar kon hun netwerk niet deze aanval aan(?).

Hieronder een screenshot van linkbelasting op moment van de aanval.