Sarıyer'in bir köyü olan Rumeli Kavağı, hem Bizans döneminde hem de Osmanlı döneminde askeri statüsünü korumuş çok önemli bir yerdi. İstanbul'da çeşitli halkları ağırlamış olan Rumeli Kavağı'nın ismiyle ilgili farklı rivayetler yer alır. Bizanslılar döneminde buraya bir mabet yapıldığı ve mabedin adının Hieoron Romelias olduğu, Rumeli Kavağı isminin de buradan geldiği
rivayetlerden ilkidir.
Bir diğer hikaye ise şöyle: Rumeli Kavağı'nda çarşı içinde çok sayıda, yıllardır ayakta kalan çınar ağaçları vardır. Çınarlara halk arasında kavak ağacı da denir. Bu nedenle buranın isminin Rumeli Kavağı olarak günümüze ulaştığı tahmin edilmektedir.
Osmanlılar döneminde deniz geçişlerini kontrol etmek amacıyla çarşıya kaleler yapılmış ve bu kalelere kavak hisarı ismi verilmişti. Rumeli yakasında olduğu için ise buranın Rumeli Kavağı olarak anılmaya başlandığı söylenir.
