Narodil se 2. května 1929 ve městě Dunn v Severní Karolíně jako syn Freda Lincolna Wraye staršího a jeho manželky Lillian M. Coatsové. Ze tří čtvrtin je původem indián Shawnee. V dětství se s rodiči přestěhoval do Portsmouthu ve Virginii, kde jeho otec dostal práci v loděnici. Podle jeho vlastních slov se naučil hrát na kytaru ve svých osmi letech, kdy cestoval s artistickým představením Hambone. Jeho první skupina byla rozpuštěna poté, co byl Wray počátkem padesátých let povolán do Korejské války. Zde onemocněl tuberkulózou a strávil více než rok v nemocnici. Jeho pobyt v nemocnici skončil odstraněním plíce, což podle lékařů znamenalo, že už nikdy nebude schopen zpívat. Později spolu se svými bratry Vernonem (přezdívaný Lucky) a Dougem, doplněni o bratrance Shortyho Hortona a kamaráda Dixieho Neala, založili skupinu nazvanou Lucky Wray and the Lazy Pine Wranglers, která se brzy poté přejmenovala na Lucky Wray and the Palomino Ranch Hands. Skupina se specializovala na country hudbu a svou první nahrávku vydala v roce 1956 pro vydavatelství Starday Records

V roce 1958 vedl Wray vlastní skupinu nazvanou Link Wray & His Ray Men a v dubnu 1958 vydal u vydavatelství Cadence Records svůj první hit nazvaný „Rumble“. Píseň byla zakázána v rádiích, přesto se dostala na šestnáctou příčku amerického singlového žebříčku. Později měl ještě několik hitů, jako například „Rawhide“ (1959) a „Jack the Ripper“ (1961), ale žádný z nich již na velký úspěch „Rumble“ nenavázal. Píseň „Jack the Ripper“ vyšla u vydavatelství Rumble Records, které založil Link Wray spolu se svým bratrem Dougem. Po vydání řady dalších neúspěšných singlů se přestal věnovat hudbě a začal farmařit. K hudbě se však nedlouho poté vrátil a v improvizovaném studiu na své farmě v Accokeek v Marylandu nahrál základy pro své první studiové album nazvané Link Wray. Album vyšlo v roce 1971. V roce 1969 rovněž nahrál album spolu s klavíristou a zpěvákem Joeyem Welzem nazvané Listen to the Voices That Want to Be Free. Album vyšlo v roce 1970.

Po vydání eponymního alba následovala série dalších Mordicai Jones (1971), Be What You Want To (1972), Beans and Fatback (1973) a Stuck in Gear (1975). Během sedmdesátých let rovněž vystupoval s kytaristou Johnem Cipollinou ze skupiny Quicksilver Messenger Service. Koncem sedmdesátých let Wray koncertoval a nahrál dvě alba s rockabilly hudebníkem Robertem Gordonem nazvaná Robert Gordon with Link Wray (1977) a Fresh Fish Special(1978). V roce 1979 vydal na jedenáct let poslední studiové album Bullshot. Během osmdesátých let se usadil v Dánsku a více než deset let koncertoval pouze v Evropě a do rodných Spojených států amerických nejezdil.

V roce 1989 se opět vrátil k nahrávání studiových alb: v říjnu toho roku stihl nahrát dvě, konkrétně Apache a Wild Side of the City Lights; každé z nich vyšlo samostatně na LP deskách a později i dohromady na jednom CD. Další album nazvané Indian Child vydal v roce 1993. O čtyři roky poté vyšlo Shadowman a jeho poslední album nazvané Barbed Wire vyšlo v roce 2000.

Link Wray zemřel v Kodani ve věku sedmdesáti šesti let na selhání srdce. Pohřeb proběhl za účasti nejbližších rodinných příslušníků. Své poslední vystoupení odehrál v červenci toho roku v Glendale v Kalifornii. Byl celkem čtyřikrát ženatý a měl devět dětí.