Noen måneder før invasjonen var norske marinesoldater stasjonert på Hidra for å holde nøytralitetsvakt. Et gammelt styrehus fra en skøyte ble fraktet opp til den høyeste toppen på Hågåsen. Her satt vaktposten og overvåket kystlinjen mellom Sokndal og Lista. Den 9. april ble nøytraliteten brutt og marinegastene måtte forlate øya. Kort tid etterpå var Hågåsen inntatt av tyske militære som startet byggingen av kystfortet Hitterøy, og fortsatte vaktholdet av kyststripen og de tyske konvoiene som passerte. 

Etter hvert vokste det til en hel liten by oppe i utmarka med kommandosentral, sjefsbolig, offisers- og mannskapsforlegning, messe, lasarett, ammunisjonslagre, underjordiske ganger kanonstillinger, luftskyts med mer. Det var ingen biler på øya, veiene var bratte og smale. Hester ble brukt til transport inntil det ble anlagt vei for lastebiler og andre kjøretøyer. Ca. 100 mann var forlagt på Hågåsen, eller "toppen" som lokalbefolkningen sa. 

Soldatene ble holdt under streng disiplin, og det var lite konfrontasjoner med befolkningen. Likevel var det vanskelig å ha fortet så nær. Kommandorop hørtes, vaktsoldater patruljerte, øya skulle være mørklagt, blendingsgardiner var påbudt, en stripe lys og soldatene kom på døren, "blendung, blendung". Husundersøkelser ble foretatt. Fiskebåtene måtte være inne før mørkets frambrudd, ellers kunne mannskapet bli skutt. Store lyskastere sveipet over havnen. Øvelsesskyting foregikk på store skyteskiver på småøyene utenfor. Drivende miner langs kysten var vanlig, noen båter gikk på og ble borte. På klare dager eller stjerneklare netter hørtes "tommyene"(engelske fly), det ble skutt med luftskyts, som ikke rakk langt nok. Beboerne under fortet hadde evakueringsteder i tilfelle det kom til trefninger med konvoyer. Fly gikk i "spennet" (strømkablene fra fastlandet), og strømmen var borte i perioder. 

Men livet gikk sin gang. Mange sjøfolk rakk ikke hjem før krigen kom, og livet var vanskelig for dem og familien. Det var mangel på det meste. Klær ble sprettet opp og omsydd. Sko ble sålt og gikk i arv. Hver liten jordlapp ble dyrket og utnyttet, de fleste hadde husdyr, og i sjøen var det fisk. Byttehandel var vanlig. Noen dyrket tobakk. Vintrene var kalde med islagte fjorder, og det ble fyrt med koks. Somrene var varme, ungene gikk barbeint, de badet og lekte, men hadde også mange plikter. For å tjene penger jobbet guttene i fiskemottak, mens jentene plukket kusymre og nyper som de solgte.