Källskär består av tre öar: Stora Källskär där bostadshusen står, Alskär där de flesta sjöbodarna finns idag och som har broförbindelse med Stora Källskär samt Lilla Källskär. Sammanlagt omfattar de 12 hektar landareal.
Den första bofasta befolkningen var antagligen ålänningar eller flyktande finnar. Innan kan det ha varit säsongsfiskare som bodde här. Arvid Horn på Fogelviks gods, anlade här ett fiskeläge 1742. Fogelvik ägde under lång tid hela Valdemarsviks södra skärgård och hade fiskelägen sedan tidigare bl a på Väderskär och Björkskär. Nu flyttade hamnfogden Nils Benktsson på Björkskär och hans bror Jon hit. Fler flyttade hit och arrendatorerna blev frälsebönder som fick erlägga skatt i form av fisk till Fogelvik. 1772 lämnade nio hushåll sammanlagt 4,5 tunnor strömming till godset.
Bytrumma
Hamnfogden hade rätt till dubbel lott vid gemensam fiskefångst. Han skulle ha uppsikt över byborna så de följde reglerna som enligt 1771 års hamnordning innebar bl a skyldigheten att lyssna på Guds ord, inte svära och inte ro ut till fiske "förrän i horn blåsit är". Istället för horn använde han säkert bytrumman som skänkts av Fogelvik. Varje afton klockan sex ställde han sig på öns högsta punkt, Kikarbergets topp, och slog på trumman och då skulle alla avsluta dagens arbete. Den användes också för sammankallande till bystämmor, gudstjänster och andra viktiga möten. En tradition som levde kvar länge var trummandet på julafton. Klockan tolv på dagen slog hamnfogden på trumman och då skulle helgens förberedelser vara klara och firandet börja. Klockan tolv samma natt och sen varje hel timme ett par gånger gick han runt i byn och slog på trumman så folk hann förbereda sig inför färden till julottan i kyrkan på Fogelvik och senare till Östra Eds kyrka.
Liknande trumma fanns antagligen på andra fiskelägen och med all säkerhet även på Väderskär. Bytrumman på Källskär är dock den enda kvarvarande.
Källskär tillhörde Kvädö gård. 1813 skildes Kvädö gård från Fogelvik genom storskiftet och 1959-1964 friköptes Källskär från Kvädö gård av öborna. Som mest bodde här 53 personer år 1900. Idag är de flesta hus sommarstugor.
Fiske
Fiske var från början huvudnäringen på ön och då framför allt strömmingsfisket. Då Källskär tillhörde Fogelvik fiskade man för godset räkning, vilket gav det god ekonomi. Senare, i självhushållningens tid, kunde fisket bli en binäring för en del. Man hade lite djur som en ko, en gris och hönor. Man odlade lite grönsaker och djuren gav gödsel till odlingarna. Fisket gav, förutom mat, lite extra pengar vid försäljning. Man skeppade fisken själv till olika marknader, till och med så långt bort som till Linköping. Storökor användes då och rodden gick via Söderköping och Göta Kanal. Förutom strömming var ålen och gäddan viktiga inkomstkällor. Fjällfisk som abborre gav aldrig några större inkomster, men fram till 1920-talet fanns en uppköpare som åkte runt i båt och köpte fisken.
Man klarade sig säkert ganska bra på det lilla jordbruket och fisket. Kosten varierades med sjöfågel som ejder, skrak och vigg. När självhushållningen gick över till penningekonomi, blev det kärvare ekonomiskt. Fiskfångsterna behövde bli större och till det behövdes andra fiskredskap och större båtar som drevs med bränsle. Östergötlands Fiskeriförening bildades 1934 och var en kooperativt ägd försäljningsorganisation. Lokala föreningar bildades och Källskärs fiskare ingick i Valdemarsviks Fiskelag. Under 1940-1950-talen var tillgången på strömming god. Nu övergick man från skötar och not till trålare. Hamnen i Fyrudden byggdes ut och fisken lämnades där till fiskeriföreningen för vidare transport. Under början av 1980-talet fanns det gott om torsk. I mitten av samma årtionde försvann strömmingen och samtidigt den viktiga länken mellan fiskarna och konsumenterna, fiskeriföreningarna. Nu måste fisken fraktas ända till Göteborg för att sedan komma ut till affärerna. Numera är det ålen som ger de största inkomsterna. Än idag åker en tankbil runt och hämtar levande ål, ända ut till Ekudden, någon kilometer från Källskär.
Förutom fisket har skeppsfrakten varit en viktig inkomstkälla. En tullstation fanns här 1856-1927 med en kustroddare, en slags tulltjänsteman som hade uppsikt över skärgården. 1936 fick Källskär telefonförbindelse med 4 abonnenter och så sent som 1963 kom elen till ön.
Från 1917 till i början av 1940-talet fanns det skola på Kvädö. Barnen på Källskär hade då bara några kilometer till skolan. Efter det var de hänvisade till Tryserum eller skolan på Bokö som byggdes 1911. Det sista året, det sjunde, fick de dock gå i Tryserum. Då de båda skolorna låg långt från Källskär innebar det att barnen var inackorderade vid skolorten.
