祖沖之的原籍是范陽郡遒縣(今河北淶水縣)。在西晉末年，祖家由于故鄉(xiāng)遭到戰(zhàn)爭的破壞，遷到江南居住。祖沖之的祖父祖昌，曾在宋朝政府里擔(dān)任過大匠卿，負責(zé)主持建筑工程，是掌握了一些科學(xué)技術(shù)知識的;同時，祖家歷代對于天文歷法都很有研究。因此祖沖之從小就有接觸科學(xué)技術(shù)的機會。

祖沖之對于自然科學(xué)和文學(xué)、哲學(xué)都有廣泛的興趣，特別是對天文、數(shù)學(xué)和機械制造，更有強烈的愛好和深入的鉆研。

早在青年時期，他就有了博學(xué)多才的名聲，并且被政府派到當(dāng)時的一個學(xué)術(shù)研究機關(guān)——華林學(xué)省，去做研究工作。后來他又擔(dān)任過地方官職。公元461年，他任南徐州(今江蘇鎮(zhèn)江)刺史府里的從事。464年，宋朝政府調(diào)他到婁縣(今江蘇昆山縣東北)作縣令。

祖沖之在這一段期間，雖然生活很不安定，但是仍然繼續(xù)堅持學(xué)術(shù)研究，并且取得了很大的成就。他研究學(xué)術(shù)的態(tài)度非常嚴謹。他十分重視古人研究的成果，但又決不迷信，完全聽從于古人。用他自己的話來說，就是：決不“虛推(盲目崇拜)古人”，而要“搜煉古今(從大量的古今著作中吸取精華)”。一方面，他對于古代科學(xué)家劉歆〔xin欣〕、張衡、闞[kan看]澤、劉徽、劉洪等人的著述都作了深入的研究，充分吸取其中一切有用的東西。另一方面，他又敢于大膽懷疑前人在科學(xué)研究方面的結(jié)論，并通過實際觀察和研究，加以修正補充，從而取得許多極有價值的科學(xué)成果。在天文歷法方面，他所編制的《大明歷》，是當(dāng)時最精密的歷法。在數(shù)學(xué)方面，他推算出準確到六位小數(shù)的圓周率，取得了當(dāng)時世界上最優(yōu)秀的成績。

宋朝末年，祖沖之回到建康(今南京)，擔(dān)任謁者仆射的官職。從這時起，一直到齊朝初年，他花了較大的精力來研究機械制造，重造指南車，發(fā)明千里船、水碓磨等等，作出了出色的貢獻。

當(dāng)祖沖之晚年的時候，齊朝統(tǒng)治集團發(fā)生了內(nèi)亂，政治腐敗黑暗，人民生活非常痛苦。北朝的魏乘機發(fā)大兵向南進攻。

從公元494年到500年間，江南一帶又陷入戰(zhàn)火。對于這種內(nèi)憂外患重重逼迫的政治局面，祖沖之非常關(guān)心。大約在公元494年到498年之間，他擔(dān)任長水校尉的官職。當(dāng)時他寫了一篇《安邊論》，建議政府開墾荒地，發(fā)展農(nóng)業(yè)，增強國力，安定民生，鞏固國防。齊明帝看到了這篇文章，打算派祖沖之巡行四方，興辦一些有利于國計民生的事業(yè)。但是由于連年戰(zhàn)爭，他的建議始終沒有能夠?qū)崿F(xiàn)。過不多久，這位卓越的大科學(xué)家活到七十二歲，就在公元500年的時候去世了。