1935年5月，郁达夫在给林语堂的一封信中说：
“我去扬州，这时候还是第一次，梦想着扬州的名字，在声调上，在历史的意义上，真是如何的艳丽，如何地使人魂销而魄荡！”
郁达夫对这趟旅游的期望值太高了，到了扬州，见到那一座新修的城楼，便“觉得兴趣索然”，走进狭窄的街道和低矮的市廛，更觉得乏味。第二天去逛平山堂、天宁寺、观音山等处，感觉也不妙。只有瘦西湖一带荒废得不十分厉害，四面临水的小金山以及五亭桥与白塔，给他留下些好印象。
这样的情形并非郁达夫一人的感受，叶灵风在《瘦西湖旧梦》一文中，回忆起少年时代去瘦西湖的情景也有同感。
“那时候的扬州，早已是一个破落户，瘦西湖也像是一座旧家池馆，朱栏已经褪了色，石阶的缝里已经长了青草，到处都显得荒凉和遗忘。可是，到处又还留下一点前代风流繁华的影子。”
从他和郁达夫的笔下都可以看出，“绿扬城郭”已经不是扬州了，没有了柳色青青，留下的只是悬在老城墙上的那一根根枯藤。
那时的扬州，像个风烛残年的老人。
乾隆三十五年十二月乙卯，仪征盐船火，坏船百有三十，焚及溺死者千有四百。是时盐纲皆直达，东自泰州，西极于汉阳，转运半天下焉，惟仪征绾其口。列樯蔽空。束江而立，望之隐若城郭。一夕并命，郁为枯腊，烈烈厄运，可不悲邪！
这是清朝汪中《哀盐船文》所记录的一段文字。这似乎是一个不祥的预兆：以盐业起家的徽商走向了衰落？以徽商雄厚资本支撑的扬州开始走向衰败？
“荣枯有数”、“盛衰有常”本是事物发展的法则，但任何事物，其盛也决非无由，其衰也自必有因。
丁家湾88号，徽州盐商许氏旧宅，扬州的一幢老宅子。里弄悠长而寂寞，空气中散发出一种霉变的气息，似乎让人忆起了什么。许氏盐商祖籍徽州歙县，清初由许村移民至扬州。第一代祖先许仁寿来扬州时几乎身无分文，以卖徽州饼为生。待到稍有积蓄以后，便做起了盐业生意，旗号叫做“谦益永”。许家真正兴旺起来，是在来扬州后的第三代。据说，当时许家利用清廷珍妃的关系，得到在兴化、泰州、东台三地经营盐业的专利，因而迅速发家。扬州人曾以“东宫”、“西宫”来戏称许家宅子，可见一时显赫。
如今的许家老宅子住了“七十二家房客”，茶余饭后，老宅子里的人们经常说起许家一段“英雄”般的往事。那是在日本人侵略中国，攻占扬州后，许家一家老小避难上海。当时，有亲日分子在扬州兴办“裕华”盐号，想借许家的名望打开局面，多次派人到上海邀请许氏第六代传人许少甫出山。面对重金诱惑，许少甫不为所动，铿锵有力地回应：“如果将气节都出卖了，卖出的盐也不会咸。”从此，“谦益永”号就此成了历史的记忆。
盐业是徽商的主要产业，由明至清，徽州盐商通过对两淮盐业的垄断经营，积累起了千百万的雄厚资本，但随着盐商资本的发达，清王朝对盐业的正杂课税也日益加重。
歙县棠樾鲍氏祠堂内的三道嘉庆“上谕”碑文，记载了发生于嘉庆九年的一起盐务公案。
1804年，徽州大盐商鲍启运被佥派办理淮北盐运，鲍启运受命之后，称病告退，被当时巡盐使御史佶山告以“抗佥误课”之罪，请旨“革去道衔，严行审办”。嘉庆皇帝连发三道圣谕，责成两江总督陈大文办理此案。结果鲍启运被迫输银5万两，这一风波才算了结。
像鲍氏这样的盐商世家，与官府上层人物又有盘根错节的关系，尚且受到勒索，一般的徽州盐商，更是不在话下。
诚如时人所称：“官无论大小，职无论文武，皆视盐业为利薮，照引分肥”。
嘉庆年间，以徽州盐商居主导地位的两淮盐场，苛捐杂税达到92种之多。据嘉庆《两淮盐法志》统计，从康熙十年到嘉庆九年的100多年中，两淮盐商前后所捐输的财物共有：白银3930余万两，米2万余石，谷33万石。商人每次捐输，多则数百万两，少则十数万两，其余寻常捐输则难以枚举。两淮盐商中，徽州盐商占据优势，因此，捐输的负担大多落在了徽商头上。曾任两淮总商之一的歙县大盐商江春，每遇捐输，“百万之费，指顾立办”。江春也因此陷入“家屡空”的困境。
“旧时翠华临幸之地，今亭馆朽坏，荆棘遍地，游人限足不到”，说的就是江春喧闹一时的康山别业。
清代中叶的扬州，主要靠盐商支撑。当一个个大老板的腰包瘪了，这座消费城市也就日渐现出苍老衰败的景象，“楼台也似佳人老，剩粉残脂倍可怜”，昔日建立在盐堆之上的豪宅庭园，似乎在一夜之间化作烟云，随风而去。
鲍漱芳，堂樾盐商，在他的家乡有七座气势庞大的牌坊，其中“乐善好施”坊尤引人注目。这座牌坊是表彰鲍漱芳在捐输、赈济时的突出表现。嘉庆十年夏洪泽湖涨决之时，鲍漱芳捐米六万石助赈；淮黄大水，鲍漱芳设厂赈济，捐麦四万石，救济灾民不下数十万人；抢修坝堰，鲍漱芳“集众输银三百万两以佐公需”。鲍漱芳因此赢得了“乐善好施”的圣谕。
汪应庚，潜口盐商，大明寺、平山堂，还有蜀冈之上万松岭，均由汪应庚捐资修建。至今尚能见到汪应庚亲笔题写的“淮东第一观”、“天下第五泉”字迹。雍正九年，海啸、洪灾不断，灾后又流行疫病，汪应庚设药局施医药，救治灾民九万余人；乾隆三年，两淮大旱，汪应庚捐赈银4万余两，又设八个粥厂，救济一个月，接济灾民十万人。乾隆五年，淮南水灾，汪应庚赈银6万两，再设粥厂，救济灾民十万余人。
助赈之外是助饷。所谓助饷，是指商人捐款以助朝廷军费的活动。乾隆三十八年，因平定大小金川，以徽商为首的两淮盐商一次就助饷银400万两。五十三年，又因用兵台湾，徽商捐银200万两以备犒赏之需。六十年，协助朝廷镇压湖南石三保苗民起义，捐银200万两。
嘉庆元年爆发了波及5省、历时9年的白莲教起义，在清政府镇压这次起义过程中，以徽商为中坚的两淮盐商连续6次捐输，共计耗银700万两。
如此巨额的助饷，即使是挟资千万的徽州盐商也难以应付。
扬州九峰园的闻名是因为主人、徽州盐商汪玉枢花费巨资收集而来的九座巨型太湖石。乾隆下江南的时候，临幸九峰园，一片叫好之后，竟然提出：挑选两座假山石带回皇宫里去。
皇帝满心欢喜，盐商却是有苦难言。
频繁地捐输、赈灾、助饷、接驾，此时的徽商已经是外腴中空。
为摆脱困境，盐商们竞相压低收购价格，并竭力抬高销售价格。有的商人甚至缺斤少两，掺和泥沙，以致“盐色掺杂不可食”。然而，他们这样做，不但没有捞回利润，反而造成私盐的泛滥。尽管《大清律》明文规定：“凡贩私盐者，杖一百，徒三年”，清政府也对私盐严加查禁，但收效甚微。原先由两淮盐商垄断的销盐市场，因私盐泛滥而丧失殆尽。一些地方“无论城市村庄，食私盐者什七八”。
嘉庆末、道光初，徽州盐商已经和其他盐商一样，市场丢失，资本蚀空，财源枯竭，濒于崩溃的边缘。
随之而来的盐法改革，又最后将徽州盐商推上了绝路。
道光十二年七月，为整顿盐业，两江总督兼管两淮盐政陶澍，在淮北废除纲引制改行票盐法。道光三十年，陆建瀛又在淮南仿效实行，于是两淮盐法为之一变。
所谓票盐法，就是商人不必再购买盐引，只要向盐政设立的机构纳税，就可以领票经营。新法打破了以往徽商垄断经营的局面，商人“不论资本多寡，皆可量力运行，去来自便”。
废引改票的结果，使徽州盐商失去了垄断盐业的特权，徽州商帮遭受致命一击。
徽商大户的金饭碗被砸了，大家自然对陶澍恨之入骨。可陶澍是道光皇帝的大红人，谁也奈何不了他。于是，背地里，徽商们只能在一起玩一种叫“叶子牌”的纸牌时，做点手脚，出出心头的怒气。他们在叶子牌里增加了两张牌，一张牌上画了一株桃树，一张牌上画了个美女陶小姐，在游戏时凡拈到桃树牌的就算输家，凡拈到美女牌的就算赢家，嘴里还夹着一些污言秽语对“桃树”进行嘲弄。
至此，徽商在两淮盐业市场里彻底衰落。
陈去病在《五石脂》中指出：“自陶澍改盐纲，而盐商一败涂地。”
一场战争爆发了。
1851年1月11日，太平天国运动在广西金田地区爆发，战场一路北上，两年之后，太平军攻克武汉三镇，其后主战场又折而东移，太平军占领了有“虎踞龙盘”之称的六朝古都南京，天王洪秀全宣布太平天国定都于此。此后，在西至武汉、东到上海的长江一线及其腹地，太平军与清军展开了你死我活的拉锯战斗。因此，包括鄂、赣、皖、苏、浙在内的长江中下游地区，成为19世纪50年代至60年代中国社会战乱最严重的地区。
战争汹涌而至，依靠长江水运进行“吴楚贸易”的徽商在这场战争中，再一次遭受重创，商业贸易几乎中止。
所谓吴楚贸易，是指徽商借助长江航运水系，往返于湖广与苏浙之间的商品长途贩运活动。徽州商帮在长江中下游地区的商业经营活动中，吴楚贸易占领的市场份额相当之大。比如盐，盐的行销路线是两淮盐场至湖广，而粮食的贩运路线是从湖广到苏、浙、闽等地，棉布则由苏杭至长江中下游地区，木材由川、鄂、赣等地顺流而下，经过南京上新河，然后到达苏浙及北方地区。
然而，在长达十余年的太平天国运动期间，战争实际上切断了长江航运，于是依赖长江航运而发展起来的徽州商帮吴楚贸易活动被迫中止了。
吴楚贸易是徽州商帮赖以生存和发展的最重要的商业活动之一，这方面商业活动一旦中止，徽州商帮就失去了生存和发展的重要基础。
徽州盐商的大本营是扬州，太平天国运动期间，清军屯兵扬州城外，扬州为“江北大营”，切断了扬州城内外的交通及商业贸易，出现了“盐引停运”的情况。
徽州木商最重要的贸易基地是长江重镇南京。该城被太平军攻克后，即成为太平天国的都城——天京。太平天国实行“禁商”的政策：“天下农民米谷，商贾资本，皆天父所有，全应解归圣库。”因此，南京的商贸活动几乎停止，徽州木商首当其冲。
徽州茶商和典当商以长江中下游地区的城市为主要活动场所，而这些城市的商业环境已经恶劣到令徽州茶商和典当商纷纷歇业的程度。
“恐遭劫数，囊金回乡”，徽商的本土——徽州，历来“未婴兵祸”，是人们逃避战乱的“世外桃源”，然而战争的烟火也烧到了徽商的故土，徽州在当时并非“世外桃源”。
流传至今的《徽州义民歌》中有一段词描述了包括徽商在内的徽州人在当时流离颠连的惨状。
位于祁门敦仁里的洪家大屋是曾国藩驻节祁门的总督衙门，在这些建筑的墙壁上，隐约看见当年太平军攻占祁门之后留下的题字，对这场延续到徽州本土的战争，曾国藩后来提及在徽州的战事，总心有余悸，在他的信中自认与太平军作战，“无日不在惊涛骇浪之中，无日不战，无战不梗。”
“乱后返乡园，蹂躏不堪述。”尽管许多人因伤心而“不堪述”其凋零之状，然而还是有相当多的文献记载了徽州战乱后的情形。
《徽难哀音》收录一首《重有感诗》，其中嗟叹：“‘贼’势乘虚来，据城仅六日。如鹊得深巢，如蚊赴荒垤。掳掠尽家有，不复遗余粒。逢人便搜囊，勒索金银亟。或以刀背敲，或以长绳絷。嗟哉彼何辜！惊魄时战栗。”
如果说道光三十年以前，盐商是徽商的中坚，那么，道光以后，则是茶商支撑着徽商的残局。
茶叶贸易是徽商仅次于盐业的大宗商品，在太平天国运动之前，徽州茶业出山，其税每引不过分厘。徽州茶商在清中叶以前得以迅速发展，同清政府这种相对低平的茶业税收政策有关。然而战争爆发后，从咸丰三年筹办“徽防”开始，至同治五年，清政府为筹措军饷，徽州茶税历年递增，增加了数倍。大幅度提高的茶业税大量分流了茶商的商业利润，予徽州茶商以沉重打击。
道光二年，广州发生一场火灾，许多徽商的茶叶化为灰烬。为了资助受灾者还乡的路费，茶商詹世鸾花费了近万两白银，这使得每况愈下的生意更加艰难。詹世鸾，中国著名铁路专家詹天佑的祖父。詹氏祖籍徽州婺源，詹天佑的曾祖父詹万榜是乾隆时人，因为经销茶叶，由婺源南下广东。其祖父詹世鸾子承父业，迁居广州。只是到了詹天佑的父亲詹兴洪手中的时候，茶行倒闭，詹家迁居南海，以耕读为生。在今天看来，徽州虽然少了一名茶商，中国却因此多了一位杰出的铁路专家，这是中国的光荣，更是徽州的光荣。
如果说提高茶业税率仅仅是对徽州商帮中茶商以沉重打击的话，那么清政府厘金的开征，则将打击面扩大到整个徽州商帮。厘金原来是清地方官员为募集镇压太平军军费而于咸丰三年（1853年）九月开征的一种新税，首创者为刑部侍郎帮办军务雷以鍼。
据雷氏称，此法“既不扰民，又不累商……商民两便，且细水长流，源远不竭，予军事实有裨益”，因此在咸丰四年三月经过咸丰帝上谕批准后，厘金由一个地方性的筹饷方法逐渐变为全国性的税种。
无论是行商，还是坐贾，都要捐助厘金。无论是手工业品，还是农产品，都在纳税范围之内。
清政府厘金的征收，果真如雷以鍼所称的“既不扰民，也不累商”吗？
其实不然。
清廷官员尹耕云在一份奏折中指出：“抽厘之弊，尤不忍言。一石之粮，一担之薪，入市则卖户抽几文，买户抽几文。其船装而车运者，五里一卡，十里一局，层层剥削，亏折已多，商民焉得不裹足！百物焉得不踊贵乎！”
厘金造成的恶劣后果，令商民由富而贫，由贫而至于赤贫。根据史料记载，江浙地区的厘金“半出于徽商”，可见，厘金之累，在江浙一带，多半摊在徽商身上。
1843年上海开埠后，近代机器工业迅速发展，使上海成为新兴的工商业中心和进出口基地，并且辐射到整个长江三角洲和周围地区。但与此同时，周围的传统工商业城市相继衰落，有的完全丧失了地区中心城市的地位，一落千丈。大批官僚、富商、名流从这些城市和附近乡村迁往上海，带去了大量资金，也带走了原居地的市场。
随着机器工业的出现，随着津浦铁路的开通，面对着新的商业模式、新的产品的冲击，徽商不可避免的衰落了，他们渐渐地退出了历史舞台。
1881年，胡雪岩集所有资金，囤积蚕丝，准备与洋商决一高低。胡雪岩邀同行共同完成此项颇有民族气节的壮举，然而，竟无人响应。胡雪岩“欲举一人之力与之旗鼓相当”的愿望终于失败。
至此，胡氏庞大的集团开始崩溃。
1883年，胡雪岩事业的基础——杭州泰来钱庄先行倒闭。随后，建立在上海、北京、杭州、宁波、福州、镇江以及湖北、湖南等地的阜康字号相继倒闭，宣告破产。
1885年7月，左宗棠在福州病逝，胡雪岩失去了政治靠山。
1885年11月，胡雪岩去世。胡庆馀堂归刑部尚书文煜所有，“胡雪记”字号沿用至今。