过去旧日本海军联合舰队的总司令将司令部设置于旗舰上，并亲自统辖第一舰队。由于二战成为战败国，日本海军被削减到只能进行护卫和扫雷等任务，因此到了海上自卫队时代，护卫舰队在超过半个世纪的时间也设有一艘专职的旗舰。

而在1961年9月1日，日本海自将刚服役未久的第二艘秋月级驱逐舰照月（DD-162）作为旗舰，这是海上自卫队的第一艘正式旗舰，隶属于自卫舰队司令部直接管辖。从1963年3月起，海上自卫舰队司令部就转移到了横须贺的陆地基地内，不过照月号仍继续作为护卫舰队旗舰，作为护卫舰队司令与其幕僚的座舰。作为象征性质，海上自卫队的舰队司令官在执勤时都居住于旗舰上；如果旗舰出航而司令官未随行，则横须贺基地就会指派一艘停泊的护卫舰（可能因维修整补等因素而没有在航）升起自卫舰队司令官旗帜，作为自卫舰队司令官居住之处。一开始，在横须贺船越基地内，海自将一栋老建筑作为自卫舰队司令部的岸上事务室。随着海自日渐经营发展、规模与质量不断扩充，无论是参谋人员、电话线路、图书文档都日渐增多，旧有的岸上事务室空坚不敷使用，因此又在横须贺基地内建造一栋新的建筑供自卫舰队司令部使用。

与日本帝国海军时代的联合舰队旗舰相较，海上自卫队的旗舰在与舰队一同行动时，通常位于舰队最前方，而前者除了在观舰式之外，不太可能出现在舰队最前面。此外，护卫舰队旗舰也经常参与海自训练舰队的远洋敦睦航行（在昭和50年代以降日渐频繁），以展现海上自卫队威严风貌以及增进外国对海上自卫队的印象观感。而在护卫舰队旗舰参与远航时，海自往往会指派另一艘舰艇担任临时旗舰；例如海自草创时期从美国租借的楠型护航驱逐舰椎号（PF-297），直到昭和41年（1966年）都还作为海自的临时旗舰。

日本海自前两艘旗舰，是1960年成军的两艘秋月级，两舰从1961年到1985年先后担任海自旗舰。秋月级再原始设计阶段就预定作为旗舰，在当时是日本海自最新锐的舰艇；然而到了1985年3月担任海自第三代旗舰的丛云号（DD-118）开始，日本海自旗舰就由除役在即的高龄一线护卫舰来改装担任，属于「发挥剩余价值」的性质；这是因为随着科技与时代演进，舰队透过无线电资料链乃至卫星通信的传输系统传输情资，各护卫队群实际上都由各自的旗舰来指挥，而设置于横须贺的护卫舰队司令部也透过指管通情系统指挥整个舰队作战；到了1985年，海自四个护卫队群都以榛名级和白根级直升机驱逐舰（DDH）作为旗舰，两型舰都有充足的指挥设施，而白根级更是海自第一种将战术资料链纳入原始设计的舰艇，而且当时护卫队群的DDH与防空驱逐舰（DDG）都设置美制卫星通信、资料链与情报处理装置。在这种情况下，护卫舰队司令官不需要出海指挥作战，因此传统的自卫舰队旗舰的实际作战功能就变得微乎其微，只有在非常状况下，自卫舰队司令部才会上舰；在这种情况下，自卫舰队旗舰的象征性意义已经大于实质功能，自然只要用高龄舰艇改装充数即可。值得一提的是，护卫舰队旗舰都与驻防在横须贺的美国海军第七舰队旗舰保持友好姊妹舰的关系，两舰有固定的交谊活动。

依照平成16年（2004年）通过、2008年3月开始实施的修改版防务大纲（见下文），海上自卫队终于取消了实质作用不大的旗舰；而海自最后一艘旗舰（第四代），是2007年1月15日上任的太刀风级导弹驱逐舰泽风号（DDG-170），该舰在2010年6月25日解除旗舰任务除役。

因此自卫队的旗舰和其他国家不同，他并不是由专业的指挥舰或者两栖指挥舰，或者大型舰担任的，而通常是由规定指定的一艘较老的军舰担任，因此自卫队的旗舰并非传统意义上的作战任务，更多的是一种海军文化的传承。