Incident report for outages 16th of April to 18th of April 2013.

april 23rd, 2013

Included is the full incident report for network problems and outages
from 16th to 18th of april.

OUTAGE/PROBLEM START 2013-04-16 00:20
OUTAGE/PROBLEM END 2013-04-18 20:00

PROBLEM
A core router at our network provider in Digiplex, Oslo suffered a
hardware fault. The fault forced the router to reboot every 5 minutes,
after successfully building neighborships with the network. Thus
resulting in accepting traffic, forwarding some traffic and then
rebooting while the rest of the network «thought» it was still
forwarding traffic, thus forcing some traffic to be dropped.

IMPACT
Our redundant network suffered some short drops in network due to the
problems with the core router at the network provider while the provider
replaced core equipment.

SOLUTION
Hardware and software were replaced, and traffic was re-routed through
other paths in the network. There has also been made some changes in the
infrastructure to ensure higher uptime in case of a new outage on the
core router.

In addition to this we have been ensured that steps are being taken to
improve the resiliency of the network, upgrades will be implemented the
next week.

Tofaktor-autentifisering tilgjengelig i kundepanelet.

april 21st, 2013

Det er mange vanlige årsaker til at det i dag er mye enklere enn du tror å stjele passordet ditt for så å bryte seg inn på dine forskjellige kontoer. Følgende punkter er noen av disse:

  • Bruk av samme passord på mer enn ett nettsted
  • Nedlasting av skadelig programvare fra Internett
  • Klikking på koblinger i uønskede e-poster

 

Fra og med i dag er det mulighet for å skru på tofaktor-autentisering på kontoer i Host1 sitt kundepanel. Dette gir deg et ekstra lag med sikkerhet ved å kreve engangskoder ved innlogging. Tofaktor autentifisering kan hjelpe deg med holde kontoen din trygg for uønskede individer, selv når de eventuelt har passordet ditt.

Du kan skru på tofaktor-autentifisering her: https://host1.no/client/clientarea.php?action=changesq

Trykk så at du ønsker å aktivere tofaktotor-autentifisering, last deretter ned appen «Google Authenticator» til din Android/iOS/Windows Phone telefon. (Appen ligger i de respektive app stores/appbutikker.) Følg så de videre oppgitte instruksene.

Merk at det kan være lurt å skrive ned backup-koden du får oppgitt i kundepanelet. Dette er i tilfelle du skulle miste enheten du har aktivert tofaktor-autentifisiering med.

Vi anbefaler av overnevnte sikkerhetsmessige årsaker at dette benyttes.

Nytt system for driftsmeldinger.

februar 20th, 2013

Dette har blitt sendt i mail til alle våre kunder.

Host1 vil gjerne informere om at vi har gjort om på vårt system for driftsmeldinger. For å sikre at våre kunder alltid har tilgang til oppdaterte driftsmeldinger har vi nå opprettet en dedikert twitter-konto som vi vil bruke til å informere våre kunder om eventuelle problemer med våre tjenester. Vi benytter oss av twitter og ekstern hosting til dette for å sikre at alle våre kunder alltid vil ha tilgang til oppdaterte driftsmeldinger uavhengig av status på våre tjenester.

Iløpet av 1-2 uker vil http://www.serverstatus.no inneholde en webside som henter oppdaterte driftsmeldinger fra twitter for å presentere dette på en mer oversiktlig måte, i mellomtiden redirecter domenet til twitter-kontoen http://twitter.com/h1status . Anbefaler at alle kunder som bruker twitter følger denne twitter-kontoen for å få oppdaterte driftsmeldinger.

Ta kontakt med support@host1.no hvis du har spørsmål rundt denne tjenesten.

Mvh
Host1.no

————-
English version:

Host1 wants to inform you that we have done some changes to the system we use to inform you about the status of our services. We have created a twitter-account to ensure that our clients always have access to the latest updates about the status of Host1’s services. We will use this and external hosting to ensure that we are able to provide you with updated information regardless of the status of our services.

In 1-2 weeks we will have a website ready on http://www.serverstatus.no that will fetch the latest updates from the twitter-account, in the meantime this site will redirect to http://twitter.com/h1status . We recommend that all our clients that use twitter follows this account to get the latest updates.

Please contact support@host1.no if you have any questions regarding this service.

Regards,
Host1.no

#Host1 på IRC

februar 14th, 2013

 

Som ansatt hos Host1 treffer du på en rekke forskjellige utfordringer i løpet av hverdagen, alle som en som kan løses på forskjellige måter. Her kan du støte bort i alt fra klassiske problemer som «Jeg har glemt passordet mitt», «Nettsiden min virker ikke» til mer komplekse situasjoner der kunder skal ha satt opp avanserte løsninger.

For å på en god måte kunne bistå i slike situasjoner tilbyr Host1 support igjennom både kundepanelet, livechat, telefon, samt en noe mer sosialt beregnet kanal på IRC. I løpet av dagen får vi en rekke henvendelser igjennom de forskjellige mediene, – alle like hyggelig. Personlig må jeg si at jeg foretrekker IRC kanalen til Host1, der en kan treffe på både andre kunder samt ansatte i Host1. I skrivende stundt befinner det seg 55 personer i kanalen der 12 stk har en stilling relatert til Host1/Copyleft. For de som ikke har kjennskap til hva IRC er, så fungerer IRC som et åpent chattenettverk med såkalte kanaler/chatterom beregnet på forskjellige interesser. Anbefaler alle å ta turen innom, det prates om alt fra datamaskiner, til domener, servere, webdesign ++, – og alle er velkommen.

irc

For å bli med i IRC rommet kan du laste ned en klient til din maskin, og koble til irc.underworld.no (Eller en annen EFNet server), for så å bli med i kanalen #Host1.

Under følger et kort utdrag av forslag til klienter for å koble til IRC, jeg anbefaler IRSSI over alle de undernevnte, – men denne kan være noe forvirrende for de som bare ønsker å enkelt besøke en kanal.

For Windows:

mIRC – http://www.mirc.com/ (gratis)

For OSX/Mac:

http://conceitedsoftware.com/products/linkinus

http://www.codeux.com/textual/

http://colloquy.info/ (gratis)

For Linux:

http://xchat.org/ (gratis)

Har du andre anbefalinger, post de gjerne i kommentarfeltet. Eventuelt er det også mulig å benytte en webklient, sjekk da ut eksempelvis denne: http://host1.no/no/irc

– Jonathan // RareJonna

 

Tilbake hos Host1

februar 12th, 2013

En del fikk sikkert med seg at jeg tidligere før jul var utplassert i arbeid hos Host1 en uke. Nå er jeg tilbake på kontoret for enda litt mer av den artige hverdagen som forløper på Host1 kontoret. Denne gangen er planen å fortsette videre i Host1 etter endt uke, så dere vil antakeligvis se mer til av innleggene mine fremover i tiden som går.

Som dere sikkert har oppdaget selv trenger en litt bevegelse i løpet av en arbeidsdag, derfor er det populært når det blir innkjøpt et nytt bordtennis bord. Selv følte jeg meg ikke skikket til å utfordre de allerede eksisterende kontormesterene, men det virker som en aktivitet flere setter pris på som et avbrekk i hverdagen.

WP_20130211_002

 

 

 

 

 

 

 

 

Da flere tidligere har kommentert at de ønsker å vite mer om både det som skjer på kontoret, og personene som jobber her vil jeg de neste dagene presentere litt intervjuer/samtaler med enkelte ansatte fra kontoret.

Først ut er Daniel M, daglig leder i Copyleft. (Copyleft er som tidligere nevnt søsterselskapet til Host1, og deltar i stor grad i den daglige driften til Host1)

Daniel M.

portrait_small

Det første jeg ønsker å spørre Daniel om, er hvordan han trives som daglig leder i Copyleft.

– Det å være daglig leder gir mye frihet, og spesielt handlefrihet – men det er
også en tung jobb.

Jeg sier til de ansatte at jeg ønsker å vite minst mulig om problemene de står
overfor, fram til de når en viss størrelse og da vil jeg høre alt om dem så
fort som mulig. Dermed består dagene av en endeløs rekke med mellomstore og
store problemer som pr. definisjon ikke har enkle løsninger.

Men opplevelsen av å ha endelig ansvar for problemene, og muligheten til å øve
akkurat den inflytelsen jeg mener trengs – gjør at dette aldri blir
frustrerende. Og når puslespillene går opp, da er det rett ut givende og gøy.

Hvordan ser en hverdag på jobb ut for deg?

Jeg begynner dagen med å oppdatere meg på mail, issues, overvåkningssystemer,
osv. – og dernest oppdatere todo-listen min for dagen og uka. Dette kan ta så
mye som en time, men gjør at jeg kan legge kompleksiteten i arbeidet til side
resten av dagen, og bare gjøre én og én ting fram til jeg er ferdig (eller
dagen tar slutt).

Så er det typisk 2.5 møter pr. dag i snitt, noen interne, noen med kunder, noen
er salgsmøte.

Jeg pleier å ta ett eller to store problem/krise-saker pr. dag, tidlig på dagen
mens jeg fortsatt har energi. Det pleier også å gå med ca 1 til 1.5 time pr.
dag med regnskap og ansatt-oppfølging.

Regelmessig, ca. en gang i timen, går jeg gjennom mail og issues og sorterer ut
nye hendelser og følger opp ting direkte som ser ut til å haste.

Rundt kl. 16 starter arbeidsdagen i Mexico, og da begynner jeg å koordinere med
lederen der nede (Leo U.). Fra 16 og utover gjør jeg gjerne egne
prosjekter, dokumentasjon, skriver rapporter, osv.

Mellom 22 og 24 tar jeg en oppsummering av dagen, oppdaterer planer, og
håndterer saker som ikke kan vente til dagen etter.

På spørsmål om Daniels motivasjon for å starte et eget selskap forteller han om hvordan han helt fra ung alder visste at han ville ende opp i IT, og om hvordan et firmas hverdag konstant drives fremover av ansatte og kunder, – noe som igjen fører til at han har et helt nettverk som passer på han og lar høre fra seg ganske fort om noe skulle stoppe opp. En løsning som fungerer bra.

WP_20130211_006

 

 

 

 

 

 

 

 

 

 

 

 

 

Mot slutten av praten gir han meg også boken «The Checklist» med beskjed om at denne må leses. På spørsmål om hvorfor svarer han meg at utviklere og dyktige sysadmins er preget av nykker, og på mange måter kan sammenlignes med leger mhp småkongeri. Boken beskriver hvordan sjekklister kan gi overraskende dramatiske resultater på områder der man skulle tro at ekstrem kompetanse allerede hadde filt ned alle marginer. Boken er altså en apell til fornuftig bruk av rutiner og systemer.

P.S For de som ikke fikk det med seg, jeg er altså Jonathan. På IRC  kanalen til Host1 kjent som RareJonna.

Host1 Wallpapers

januar 14th, 2013

Host1 wallpapers i full oppløsning.
Wallpaper2

Wallpaper1

En oppsummering fra utplassering hos Host1

november 30th, 2012

Da var jeg på plass klar til siste dag hos Host1. Dette har vært en særdeles spennende uke hvor jeg har fått anledningen til å treffe mange folk jeg vanligvis bare omgås med under nick på IRC eller epost. Håper på å kunne returnere hit ved en senere anledning! Kommer i hvertfall uten tvil til å fortsette som kunde.

Noen av høydepunktene som kan nevnes er blant annet hvor hyggelig det er med felles lunsj. Her på kontoret dekkes det på ett felles langbord med brødmat, og alle spiser samlet. Det skal ikke undervurderes.

Dessuten, som du kan se på bildet under, så er ikke nerder bare kjedelige stillesittende folk men kan også være kreative utenom dataskjermen. (Bilde tatt fra resultatet av juleverksted.)

 

Bilde tatt fra utvikleravdelingen en tidlig morgen, som dere vet fungerer de fleste nerder best på kvelden og er derfor heller ikke de første på jobb.

Glad jeg slipper å nøste opp i disse kablene. Her ser dere blant annet noe av nettverket.

Under ser du enda mer serverutstyr.

Rack skap oppstilt.

Kom på at jeg hadde glemt å fortelle historien bak denne som jeg la ved bilde av tidligere.. Den indikerer faktisk hvor mye kaffe som er igjen i kannene/hvor mange kopper som kan fylles. Skulle du ønske å selv sjekke hvor mye kaffe Copyleft/Host1 har igjen kan du forresten forsøke å kjøre «telnet graph.no».

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Her er forresten plassen jeg har arbeidet fra de siste dagene. Legg merke til de deilige sofaene bak i bildet.

Da var dette mitt siste innlegg for denne gang, takk for at du har tatt deg tid til å lese! Skulle det være noen spørsmål eller lignende kan jeg kontaktes på epost jonathan@host1.no.

Takk for nå Host1!

Utplassert hos Host1 [Dag 4]

november 30th, 2012

Var på plass på kontoret klokken 8:45 klar for en ny spennende dag hos Host1. Allerede en liten halvtime etterpå ringte det på døren, og tidligere bestilt erstatningsdisk ble levert fra Dell. Imponert over en så kort leveringstid og ønsker meg en noe lignendes supportavtale hjemme. Host1 deler lokaler med sitt søsterselskap Copyleft Solutions, Copyleft har flere internasjonale kontorer og en viktig ting er da å ha korrekte klokker for de forskjellige tidssonene.. kanskje ikke så populært å vekke sjefen midt på natten?

For Copyleft Mexico har jeg hatt i oppgave å kode et design for en app en av deres samarbeidspartnere har under utvikling.

Var også så heldig å få ta turen opp på Digiplex, der Host1 har sine tjenester/servere stående. Her dro jeg med Eivind/Forconin (Daglig leder i Host1) for å både titte, samt ta bilder til internt bruk. Var en utrolig spennende opplevelse, og å besøke ett datasenter anbefales alle som en i løpet av livet.

Her ser du Digiplex Ulven bygget.. Ikke mye som tilsier at det på innsiden her kjøres mengder med viktige servere/tjenester? Første som møtte meg var masse sikkerhetsprosedyrer, kodelås på kodelås, dører som ikke kunne lukkes før andre var igjen og registrering av besøket. Vel inne i ett av Host1 sine rom fikk jeg knipset en del bilder fra blant annet rack skapene. Var også med ett lite smil jeg lokaliserte en av mine egne maskiner kjørendes. (Se bilde under)

Under ser du ett bilde av noen av serverne som daglig trofast serverer deler av Host1 sine tjenester.

Rack skap med servere pyntelig oppstilt på rekke og rad. Tar nå kvelden etter å tidligere i dag ha tilbringt enden av dagen på Digiplex. Kommer derimot i morgen til å poste en stor gjennomgang av hele uken samt noen flere bilder av Host1 sitt utstyr på Digiplex.

Utplassert hos Host1 [Dag 3]

november 28th, 2012

Klokken passerer nå 14:21 og i ett ledig øyeblikk har jeg satt meg ned for å oppdatere dere om dag 3 som utplassert hos Host1.

I dag har jeg blant annet vært med på å behandle en defekt disk fra en av backup serverne. Varslingen om en defekt disk fikk vi igjennom Nagios, som overvåker SANet diskene kjører i. Dette medførte å fysisk finne den defekte disken, samt komme seg igjennom flere nivåer med telefonsupport hos Dell før ny disk til slutt var bestilt.

NB: Bildene under er fra en ekstern backuplokasjon, og har ingen kjørende produksjonstjenester/sites på seg.

På bildet over ser du en backupserver lagret trygt på en ekstern lokasjon. For å sikre seg mot eventuelle feilsituasjoner står backupserverne ikke på Digiplex med de andre serverne.

I bildet over ser du ett av de SAN’ene som brukes til backuplagring.

Over kan du se den defekte disken, som merkes for så å sendes tilbake til Dell.

NB: Bildene over er fra en ekstern backuplokasjon, og har ingen kjørende produksjonstjenester/sites på seg.

Har som tidligere dager også overvåket livechatten og besvart supporthenvendelser samt oppdatert diverse innhold på wikien. Allerede nå har jeg begynt å føle meg som en del av kontoret, og ettersom at klokken har blitt 16:38 vandrer jeg av sted etter at dag 3 av 5 er over.

Utplassert hos Host1 [Dag 2]

november 27th, 2012

Dag to som utplassert hos Host1 har føket fra meg i en forrykende fart.

Min noe nye erfaring er at når en på kontoret reiser seg og bruker ordet «butikken», så innebærer det for de ledige en tur bort på Kiwi for en oppfriskning i form av enten frukt eller sjokolade. Noe uvant, men en ganske så grei «kontor-skikk».

Personene på kontoret er hyggelige, men har for det meste nesene vendt mot hver sin skjerm der de med hurtige tastetrykk utfører sitt arbeid. Ellers har dagen bestått av å bistå med å overvåke supporthenvendelser, hjelpe på livechat og diverse programmering. Har også fått være delaktig rundt prossesen med å opprette domenenavn, feilsøke eventuelle problemer og generelt sett fått ett dypere innblikk i hverdagen hos Host1.

Er spent på hva morgendagen bringer.