Totale uptime in januari 2012 op Content Delivery Platform: 100%

Totale uptime in januari 2012 op Ad Management Platform: 100%

Totale uptime in december 2011 op Content Delivery Platform: 100%

Totale uptime in december 2011 op Ad Management Platform: 100%

Op 22 december 2011, tussen 01:19u en 01:40u, veroorzaakte een gebroken fiber optic kabel die wordt verzorgd door een externe netwerkleverancier voor meerdere korte onderbrekeningen van de verbindingen. Deze verbinding, die redudant is aangelegd, is toen tijdelijk afgekoppeld terwijl een reserve-verbinding werd gebruikt. Nadat de primaire kabel hersteld was, is deze weer bijgeschakeld rond 04:30u. Gedurende dit incident bleef ons platform normaal functioneren maar sommige gebruikers kunnen hebben bemerkt dat ze geen verbinding konden krijgen met ons platform vanaf sommige locaties.

Totale uptime in november 2011 op Content Delivery Platform: 100%

Totale uptime in november 2011 op Ad Management Platform: 100%

Sinds 11 november 2011, 0m 11.11u, zijn de voorheen gescheiden Ad Delivery Platforms 1 en 2 samengevoegd tot 1 groot platform. Hierdoor is er meer flexibiliteit in de beschikbare verwerkingscapaciteit ontstaan, en is ook het beheer van de delivery servers eenvoudiger geworden voor onze technici.

Totale uptime in november 2011 op Ad Delivery Platform 1: 100% (tot 11 november 2011)

Totale uptime in november 2011 op Ad Delivery Platform 2: 100% (tot 11 november 2011)

It is highly recommended to install this update as soon as possible, because it contains a number of security fixes.

Vertaald in het Nederlands:

Het wordt sterk aangeraden om deze update zo snel mogelijk te installeren, omdat er een aantal beveilingsoplossingen in zitten.

Er is nog geen nieuws over deze nieuwe release op het OpenX community forum of op hun weblog. De readme file die in het downloadbare bestand zit bevat geen specifieke informatie over de aard van de veiligheidsproblemen die nu zijn opgelost. Een snelle vergelijking van de source code brengt aan het licht dat er vele wijzigingen zijn in de API, en dat lijkt overeen te stemmen met de berichten over de oorsprong van vele hacking incidenten die in de afgelopen maanden zijn voorgekomen.

U kunt de nieuwe versie van OpenX Source version 2.8.8 downloaden van de OpenX website.

Update 8 november 2011: Aangezien veel mensen ons vragen stellen over de beste manier om de OpenX Source software te actualiseren, willen we graag nog even het artikel How to upgrade OpenX Source Ad Server software uit november 2010 onder de aandacht brengen.

Update 2 december 2011: Gisteren is er een bericht geplaatst op het officiële weblog van OpenX, waarmee deze security fix release formeel wordt bevestigd. Er wordt ook specifiek vermeld dat de security fixes betrekking hebben op problemen die zijn gevonden in OpenX Source version 2.8.7, waaruit misschien kan worden opgemaakt dat versie 2.8.6 en eerder niet kwetsbaar zijn. Het is echter toch altijd een goed idee om te upgraden naar de meest recente versie die beschikbaar is. In het bericht “Security matters” op het OpenX blog is meer informatie te vinden.

Totale uptime in oktober 2011 op Ad Delivery Platform 2: 99,991% (4 minuten downtime)

Totale uptime in oktober 2011 op Content Delivery Platform: 99,991% (4 minuten downtime)

Op 19 oktober om 19.23u trad er een storing op in een van de core switches. Dit leidde tot een netwerkprobleem toen de automatische omschakeling naar de reserve switch niet goed verliep. Technici zijn er in geslaagd om de volledige netwerkfunctionaliteit in 4 minuten te herstellen.

We hebben op dit moment twee afzonderlijke ad delivery platformen, die elk bestaan uit een groot aantal virtuele delivery servers, en een content delivery platform dat ook uit meerdere virtuele servers bestaat. We zijn bezig om de twee ad delivery platformen samen te voegen. Het doel hiervan is om de flexibiliteit en schaalhaarheid te vergroten, en tegelijkertijd de complexiteit van het beheer van de platformen te verminderen.

Update 16 oktober, 13.00u: de werkzaamheden zijn afgerond.

Total uptime in september 2011 op Ad Delivery Platform 2: 99,78% (94 minuten downtime)

Total uptime in september 2011 op Content Delivery Platform: 99,78% (94 minuten downtime)

Op 8 september om 16.19u trad een fout op in de core netwerk switches die onze platforms verbinden met het internet, waardoor het gehele netwerk down ging. Omdat de technici niet meer van afstand bij de switches konden (om diezelfde reden), moesten er technici naar het data center gestuurd worden. De SLA met de upstream provider schrijft voor dat een prio 1 incident zoals dit voorval binnen 2 uur verholpen moet worden. In de praktijd was het netwerk na 94 minuten weer operationeel. Uit de post-incident analyse blijkt dat een software bug in de switches de uitval heeft veroorzaakt, en niet zoals eerst gemeld een stroomstoring.

We hebben een online status dashboard van onze platforms en services, verzorgd door Pingdom. Helaas is deze externe monitoring dienst niet altijd volledig betrouwbaar, we zien af en toe ‘false positives’ , wat inhoudt dat er een ‘down’ status wordt gerapporteerd terwijl op dat moment al onze systemen perfect functioneren. Het status dashboard wordt extern gehost, zodat het ook beschikbaar is als er technische probleme zouden zijn met onze eigen systemen. We gebruiken ook Twitter om snel updates te verspreiden als er incidenten zijn.

Naast deze externe monitoring gebruiken we natuurlijk ook een intern monitoring systeem met tools zoals Cacti and Nagios. Als er een technisch incident is worden technici gealarmeerd per e-mail en SMS. Wij hebben daarvoor een 24/7 bezetting.

Totale uptime in augustus 2011 op Ad Delivery Platform 2: 99,879% (54 minuten downtime)

Totale uptime in augustus 2011 op Content Delivery Platform: 99,946% (24 minuten downtime)

In de nacht van 17 op 18 augustus deden zich rond middernacht enkele korte storingen voor aan de core switches die onze servers verbinden met het internet. Op advies van de leverancier is tussen 00:00 en 03:00 bij de betreffende switches een software downgrade uitgevoerd, wat wederom leidde tot diverse korte periodes van downtime. Deze verstoringen duurden op platform 1 in totaal 21 minuten, op platform 2 in totaal 24 minuten en op het content delivery platform in totaal 19 minuten. Tevens is van het niet-geplande urgente onderhoud gebruik gemaakt om een deel van de nieuwe 20 Gbps core switches in gebruik te nemen.

Op 19 augustus heeft zich op ad delivery platform 1 een verstoring van 1 minuut voorgedaan, net als op het content delivery platform.

Op 24 augustus heeft zich op ad delivery platform 2 een netwerkstoring van 1 minuut voorgedaan.

Op 26 augustus ontstond er om 13:51u een hardwarestoring aan de primaire loadbalancer. Nadat het netwerkverkeer automatisch was overgenomen door de secundaire loadbalancer ontstonden na enige tijd problemen met de DNS functie die op dat moment draaide op dezelfde hardware. Onze technici hebben direct een dedicated DNS server aangemaakt, inclusief een redundante secundaire DNS server. Nadat om 14.48u de primaire loadbalancer weer online was gekomen was ook de volledige netwerkcapaciteit weer bechikbaar. Gedurende de hele periode waren alle platformen trager dan gebruikelijk, en daarnaast was er op ad delivey platform 1 een aantal korte onderbrekingen van in totaal 9 minuten, op ad delivery platform 2 in totaal 29 minuten en op het content delivery platform in totaal 4 minuten.

Op dinsdag 2 augustus heeft zich kort na het middaguur een ernstig hacking-incident voorgedaan. Alhoewel dit in technische zin geen hosting-downtime heeft veroorzaakt is er toch sprake geweest van ernstige overlast voor de getroffen accounts. We hebben hier kort na het incident al een uitgebreid rapport gepubliceerd.

Eerste meldingen

Om 14.15u kwamen de eerste melding binnen over problemen met het laden van websites waarop advertenties stonden die via OpenX Source worden vertoond. Binnen enkele minuten was duidelijk dat er bij diverse systemen met elke banner een stukje onveilige html code mee kwam. Vrij snel daarna wisten we deze html code op te sporen in de onderliggende databases en begonnen we deze op te ruimen.

Protocol voor reactie

Ondanks het feit dat we zelf nog niet eerder met een dergelijk incident waren geconfronteerd hadden we toch al een protocol klaar liggen waarin wordt beschreven hoe we zouden handelen als het zich onverhoopt zou voordoen. Dit type hacks van OpenX Source is namelijk (helaas) niet ongebruikelijk, maar we waren er nog niet eerder zelf mee in aanraking gekomen. Wat we niet verwacht hadden was dat de tabellen in de database die net waren opgeschoond enkele minuten later weer vervuild bleken te zijn. Het was in feite dweilen met de kraan open.

Bron van de aanval

Al snel werd duidelijk dat er een klein programma op een van de servers stond dat steeds vanaf een IP adres in Roemenië werd aangeroepen. Elke keer als dat gebeurde werd er een stukje onveilige HTML code in een database geplaatst. Door dit IP adres te blokkeren waren we in staat om vanaf dat moment nieuwe besmettingen te voorkomen.

Update 3 augustus: we hebben ontdekt dat de daadwerkelijke hack al meer dan 1 jaar geleden heeft plaatsgevonden, toen iemand misbruik maakte van een security lek in een oudere versie van de OpenX software om een kwaadaardig programma te uploaden naar onze server. De hacker heeft daarna dit programma gebruikt om zijn eigen administrator username en password aan te maken. Alhoewel dit kwaadaardige programma niet meer op onze servers aanwezig is aangezien we enkele maanden geleden een upgrade hebben gedaan naar de meest recente versie van de OpenX software, had de hacker toch nog een administrator user name, zonder dat wij dat wisten. Gisteren heeft hij deze user name weer gebruikt om in te loggen en om een bewerkte versie van een plugin te installeren. Door deze bewerkte plugin aan te roepen was hij in staat om de onveilige code aan de banners toe te voegen. Uit het feit dat er meer dan 1 jaar zit tussen de daadwerkelijke hack en het misbruiken van de illegaal verkregen toegang blijkt duidelijk dat er sprake is van een criminele actie die zorgvuldig en doelgericht is uitgevoerd. We hebben hiervan aangifte gedaan.

Oorzaak in software van derden

Het programma dat in de vorige alinea wordt genoemd was op de server gezet door middel van een beveiligingsprobleem in een stukje software dat in de OpenX Source ad server software zit. Het is echter niet door de programmeurs van OpenX gemaakt maar door een derde persoon die het als open source op internet aanbiedt. Dit stukje software, OFC2 genaamd, wordt gebruikt om statistieken te kunnen weergeven in de vorm van grafiekjes in plaats van lijsten met droge cijfertjes. De maker van OFC2 had in zijn broncode een functie gemaakt waarmee bestandjes op een server kunnen worden geupload, waarschijnlijk voor testdoeleinden. Helaas is deze functie echter ook in de eindversie terecht gekomen. Kwaadwillenden hebben dit ontdekt en er misbruik van gemaakt om op de hiervoor beschreven manier een aanval op enkele door ons gehoste OpenX Source systemen uit te voeren en de al genoemde onveilige HTML code aan een flink aantal banners toe te voegen.

Mogelijke gevolgen: malware

Wanneer een bezoeker van een website een banner te zien krijgt met daarbij de eerder genoemde onveilige code, dan probeert de browser om contact te maken met een website die in dit geval draait in Rusland. Op deze website zouden de hackers kwaadaardige software of virussen kunnen plaatsen. We kunnen op het moment van schrijven van dit verslag helaas niet meer vaststellen wat dit geweest zou kunnen zijn, want de bewuste site is nu niet meer online. In bijna alle gevallen zal een goed werkende virusscanner op de computer van de bezoeker echter detecteren dat de browser probeert om zo’n kwaadaardige site te benaderen en dit blokkeren.

Complexe schoonmaakactie

Het heeft vrij lang geduurd, langer dan we zelf hadden gewild, om alle databases te controleren en waar nodig op te schonen. We hebben namelijk meerdere tientallen van dergelijke systemen onder onze hoede, en we wilden zeer zorgvuldig en grondig de controles uitvoeren. We hebben alle systemen stuk voor stuk ‘met de hand’ gecontroleerd, ook de systemen waar we geen meldingen van problemen over hadden ontvangen.

Beschadigd vertrouwen

Net als de klanten die hierdoor geraakt zijn, zijn wij erg geschrokken van dit incident, en vooral van de impact die dit had op een groot aantal websites en de mensen die die websites graag willen bezoeken. We begrijpen dat het vertrouwen in onze dienstverlening hierdoor een ernstige deuk heeft opgelopen. Uit een gesprek met een beveiligingsexpert in de VS dat we deze avond gevoerd hebben blijkt dat dit type aanval op dit moment zeer frequent voorkomt. Net als in bijna alle software (MS Windows is daarvan een bekend voorbeeld, een ander voorbeeld deze week bij WordPress) zat er dus ook in de OpenX Source software een beveiligingsprobleem. Helaas bestaan er kwaadwillenden die daar misbruik van maken.

Was dit te voorkomen?

Dit type incident is vrijwel niet te voorkomen, eenvoudig omdat het niet bekend is welke beveiligingsproblemen er in software aanwezig zijn tot iemand dat ontdekt en er misbruik van gaat maken. Wat we wel kunnen doen is leren van dit incident, om aldus te proberen om vergelijkbare incidenten in de toekomst te voorkomen. Helaas is het de realiteit dat dit soort incidenten bijna dagelijks voorkomt, maar dat er zelden over geschreven wordt door de direct betrokkenen. Ook software die tot nu toe veilig lijkt omdat er nog niet eerder een incident mee is geweest kan ineens ‘lek’ blijken te zijn.

Tot slot

We betreuren dit incident ten zeerste. In de komende dagen zullen we al onze klanten persoonlijk benaderen om dit incident toe te lichten en te overleggen of er nog aanvullende maatregelen van onze kant nodig zijn.

Update 3 augustus

Een onafhankelijke beveiligingsanalist die ons platform heeft gecontroleerd en onze aanpak van het incident heeft beoordeeld, gaf de volgende reactie (onze vertaling uit het Engels):

De reactie van het team was snel, en het lijkt er op dat alles wat moest worden gedaan ook gedaan is. Het is een feit dat een vastberaden aanvaller elk systeem dat hij/zij wil uiteindelijk zal kunnen binnendringen.

Er was een periode van ongeveer 4 uur waarin dit probleem optrad, en op basis van mijn informatie had de aanvaller niet genoeg tijd om het tweede deel van de aanval werkend te krijgen. Alle requests naar het “payload” webadres werden beantwoord met vrijwel geen content en een HTTP 403 response code. Die content is inmiddels vervangen door een “discussie forum”, wat past bij de vaste werkwijze van de persoon van wie we vermoeden dat hij de aanvaller is. Het toevoegen van nieuwe kwaadaardige content aan een public forum is eenvoudig.

Totale uptime in juli 2011 op Ad Delivery Platform 2: 99,991% (4 minuten downtime)

Totale uptime in juli 2011 op Content Delivery Platform: 99,996% (2 minuten downtime)

Op 21 juli om 11:07:38 ontstond door een menselijke fout van een medewerker van een netwerkbedrijf op de Amsterdam Internet Exchange (AMS-IX) een landelijke netwerkstoring. Hierdoor was geen netwerkverkeer mogelijk van en naar een groot aantal data centers in Nederland, wat ook effect had op onze dienstverlening. Door snel over te schakelen naar de secundaire netwerkleverancier bleven de gevolgen voor onze platformen beperkt tot 2 minuten. In de daarop volgende nacht is rond 04:45 de primaire netwerkleverancier weer aangesloten, hierdoor ontstonden 2 korte onderbrekingen van elk 1 minuut.