Tvrtku su osnovali David T. Abercrombie i Ezra Fitch, inače po profesijama vrlo daleko od svijeta mode. Naime, Fitch je bio odvjetnik, a Abercrombie geodet. Prvu trgovinu otvorili su na Manhattanu, a odjeća koju su prodavali bila je, po njihovim riječima, originalno namijenjena gospodi iz više srednje klase.

Kako se poslovanje širilo, tako su se dvojica partnera polako udaljavali po vizijama budućeg poslovanja tvrtke. 1907. Abercrombie je napokon svoj udio u tvrtki prodao svom partneru, no brend je zadržao prezimena obojice do današnjih dana, kada svoju odjeću prodaje na preko 1000 prodajnih mjesta širom svijeta.

Pod sloganom ''casual luxury'' Abercrombie & Fitch danas podrazumijeva pojam moderne, komotne mladenačke odjeće vrhunske kvalitete i dizajna.

Tvrtka je podijeljena u 4 brenda, od kojih je svakako najpoznatiji Hollister, koji je, prema anketama, najpopularniji brend američkih tinjedžera. Uz Hollister, tu su Abercrombie kids, namijenjen najmlađima; Gilly Hicks, namijenjen ženskom donjem rublju te Ruehl 925, koji se bavi modnim dodacima i kožnim proizvodima.

Kako u SAD-u, tako i u Europi, najpoznatiji Abercrombie & Fitch artikli su svakako oni najšire potrošnje poput traperica, majica i jakni čiji dizajn uvijek pomalo koketira s vojničkim stilom.

Svoju popularnost ovaj brend duguje i vrlo uspješnim reklamnim kampanjama i besprijekornom imidžu ''zdrave odjeće'' za koju je uvelike zaslužan i njihov službeni fotograf Bruce Webber, poznat po svom radu za Calvina Kleina i Vogue. Webber svojim crno bijelim fotografijama modela i američkih krajolika jasno naglašava stil i imidž američkog casuala.

Zanimljivo je da je 2002. tvrtka podigla veliku medijsku prašinu tužbom protiv jedne druge, vrlo srodne, modne kuće, American Eaglea, zbog navodnih plagijata njihovih kolekcija. Tu su tužbu izgubili zbog nedostatka dokaza, ali su zato dvije godine kasnije i sami bili tuženi zbog navodne rasne diskriminacije prilikom zapošljavanja i favoriziranja bijelih kandidata. Na kraju spora morali su platiti 45 milijuna dolara svojim nesuđenim zaposlenicima.