青年广场前身为柴湾社区中心、环翠里休憩处及柴湾道回旋处行人天桥的柴湾道(楼梯)和环翠道(缓陂楼梯)出口之所在地。在1998年，前任行政长官董建华于施政报告提出对青少年服务加强重视，宣布耗资9亿元将柴湾社区中心重建为青年发展中心。原计划楼高24层，总面积为35,000平方米。中心设青少年发展活动使用的场地、由青年实业家以及有意推动青年发展的商业机构经营的咖啡室和商店、以至150间旅舍房间。不过该建议公布后，引起各界哗然。单是建筑费便预计要花8亿5,630万元。另加顾问费5,200万元。不少议员皆批评此计划太过昂贵，是浪费资源。此外，当时市政局(今康乐及文化事务署)辖下的很多场地租用率欠佳，并没有增加的必要。
 

2000年12月，政府开始进行柴湾社区中心清拆工程，于2001年5月完成。到了2001年，政府向立法会申请5.5亿元，在柴湾兴建青年发展中心，预期在2005年年底落成。并以自负盈亏模式运作，政府透过贷款或资助形式，设立一项营运基金作开办费，毋须倚靠政府的经常资助，政府将成立有限公司专责管理并委任董事会成员。同年6月，开始进行地基暨兴建主座大楼地库工程，至2003年12月完成。不过，香港当时经济环境欠佳，在2003年政府发现中心首10年营运，将有9,000万的赤字。同年年底，青年发展中心的地基和地库工程完工，由于未能确定中心的营运模式，当局将中心的上盖建筑工程延至2005年年中才兴建。工程延误18个月，每个月还要付出20万，合共360万的保养地盘费用。直到2005年7月，主座及旅舍两座大楼建筑工程正式开始恢复。
 

柴湾青年广场是为凝聚青年人的力量，特意结聚全港的青年发展活动，并矢志将之成为本地青年人的活动中心。