陆军总司令部前身为「同盟国中国战区陆军总司令部」，成立於民国三十三年（1944）冬，时对日抗战方殷，为配合盟军作战，为牵制日本主力於中国及东南亚战场，於是成立中国战区陆军总司令部，总部设於云南昆明，负责西南战区陆军部队之指挥及整训责任，民国三十五年（1946）六月一日，军事委员会改组编成国防部，同时将同盟国中国战区陆军总司令部於南京改编为「陆军总司令部」，当时编制包含总司令办公室、第一至六署，以及总务、军械、军医等处，军乐队隶属於总务处，民国三十八年（1949）七月因戡乱移驻广东，同年九月奉命前进云贵一带剿共，十月总司令部遭中共袭击，至此总部组织暂不复存。
民国三十九年（1950）四月十六日陆军总司令部奉命恢复，於高雄凤山（现陆军官校）以台湾防卫司令部改组编成，同年九月，迁驻台北市上海路二段一号营房（现中正纪念堂），军乐队正式纳入编制，此军乐队为一排级编制军乐队，以创设於民国三十四年（1945）春天对日抗战之际，驻地位於贵州修文青年远征军第二○五师所属之军乐队编成 ，民国三十五年（1946）七月，政府为实行精兵主义政策，将全国陆军予以整编，九月青年远征军第二○五师与青年远征军第二○四师奉命改编为陆军整编师第二○五师，两个师的军乐队合并成一支军乐队，随师部移驻湖南来阳 ，民国三十六年（1947）移驻台湾，民国三十七年（1948）十月部队开赴华北，接替北平防务，在与中共激烈战斗後，全师损失惨重，突围来台者仅有千余人，民国三十八年（1949）奉东南军政长官公署指示准予重建第二○五师，拟恢复师之编制，不幸因大陆局势逆转，大部份官兵拨编陆军第八十军，军乐队至迟已於民国三十九年（1950）编入陆军总部军乐排。
民国四十年（1951）六月二十日，美军军援顾问团陆军组组长魏雷上校在参加陆军独立第三十二师在湖口实施的检阅和阅兵式典礼後，提出四项建议，「陆军总司令部应组织一陆军军乐队，在各师演习完峻时应举行部队阅兵式及分列式检阅，应设法获得由八十名至一百名军乐队之乐器，在美国军援顾问团中应编有乐队指挥顾问一人」，国防部在七月十四日发出的（40）纲经字第五○八号代电中，提到陆军总部当时有军乐排编制，经国防部第五厅及陆总部研商检讨後，於八月奉国防部之令编成甲种军乐队。
民国六十一年（1972）五月实施「北碇」演习，迁至桃园龙潭。
民国九十四年（2005）一月一日，该队由营级部队降编为连级部队，改编为陆军总部勤务指挥部下辖单位，并改称为军乐连。
二、编制沿革
民国三十五年（1946）六月一日，陆军乐队成立时，全队编制六十六员。
在民国四十二年（1953）十二月三十一日的国防部（42）编缮字第六九九号令修订的「陆军总司令部编制表」中 ，陆军总司令部军乐队全队编制共计七十三员。
民国四十九年（1960），在国防部（49）严咨字第三五九号令核准於六月十六日生效的「陆军总司令部军乐队编制装备表」 ，全队合计七十五员。
这样的编制一直到民国五十四年（1965）九月都没有变动，陆军乐队之後的编制都是在此基础上逐续增编，至民 国八十七年（1998）左右，编制已达八十余员。
民国八十七年（1998）七月一日，陆军第六、第八、第十军团司令部三支军乐队因国军精实案奉令裁撤，军团乐队所辖两个分队，每个分队编制十二员，其中一个分队员额纳入军团本部连新成立的军乐分队，另外一个分队员额纳入陆军乐队，三个军团乐队各十二员，共计三十六员增编陆军乐队，全队编制增至一百二十员至今。
民国九十四年（2005）一月一日该队因国军实施「精进案」，奉命由营级部队降编为连级部队，队长降编为少校。
三、重要演出
该队任务主要有负责陆军总司令部各项军事集会典礼军乐演奏，以及参加各种康乐活动演出等，为国内有名的管乐团之一，在民国四十五年（1956）七月二十五日，美军驻总政治部中校顾问巴鲁士（Russell D. Barros）在一份事由为「军乐队之运用」书函，转述音乐顾问艾理生的意见，艾理生认为陆军乐队与空军乐队及示范乐队为当时演奏技术较好的三支军中乐队，建议上述三支军乐队可轮流於每星期六晚上於新公园举办露天音乐会，开放民众自由参观，以增进军民感情交流，国防部随後依据艾理生建议签订办法实施，可见陆军乐队在当时属於演奏能力较好的军乐队，该队除各项军典礼勤务外，近年重要演出有：
民国八十七年（1998）九月十二日於中正纪念堂广场参加管乐马拉松活动。
民国八十八年（1999）四月於国家音乐厅举办大汉之声音乐会。
民国八十九年（2000）於国家音乐厅举办大汉之声音乐会。
民国九十二年（2003）九月二日於国家音乐厅举办英雄礼赞音乐会。
民国九十三年（2004）於国家音乐厅演出。
四、历任队长
曾担任该队队长的有苍荣俊、谢文彬、卢建新、陈俊铭、樊建成、张鸿宇等人。