發行奧運郵票并非奧運會主辦國家的專利,在1924年烏拉圭(Uruguay)就作為非主辦國家首次發行了一套3枚的奧運郵票,以紀念第八屆法國巴黎奧運會。
1936年,德國首次利用“+”號標明該郵票為附捐郵票。這些附捐郵票內容包含單杠、跳水、足球、標槍等項目的運動員在比賽中的場面,奧林匹克五環標志也第一次出現在了運動員的衣服上。在所有發行附捐郵票的國家中,1948年奧地利為紀念第14屆奧運會發行的郵票上附捐金額最少。
在主辦國中發行奧運郵票最多的是前蘇聯。為舉辦1980年第22屆莫斯科奧運會,前蘇聯從1976年起就開始發行該屆奧運會郵票。最后他們為這屆奧運會共發行了七十四枚郵票,七枚小型張,十三枚郵資明信片和大量的紀念郵資信封,是現代奧運會發行郵票最多的國家。這些郵票圖案以摔跤、體操、擊劍、劃船、球類、柔道、田徑、馬術、舉重、自行車等競技項目為主,同時還包括一些旅游題材。
奧運會郵票的發行,是郵票與奧林匹克運動的完美結合,也為奧林匹克文化的宣傳開辟了一條道路。從1896年第一屆雅典奧運會首次發行郵票開始,到現在世界各國已經累計發行了幾千種不同的奧運會紀念郵票。