四川各州府的科考何绍基都会亲自前往监督，从不懈怠。除去主持科试工作外，也严格督查各州府的学官。在巡察各地考试期间，何绍基就发现了许多教育方面的漏洞，建议整顿各地提调官及考场舞弊不正之风。工作热情高涨的何绍基除去主抓教育的工作，就连不属于学政职务范围内的民事、刑事案件也兼有处理，也明显触及了官僚的忌讳与一些人的利益。何绍基于十一月所作《敬陈地方情形折》，对此奏折咸丰帝更是未作任何回复。
咸丰五年四月五日，何绍基因屡陈时务十二事，被皇帝责以肆意妄言。十四日得降调三级之处分，被免去四川学政一职。被免职后的何心灰意冷，于八、九月间决计离开四川，士民送匾送万民伞，建祠立碑，皆呼“好大人”。
他的“横平竖直”终究害了他
回顾何绍基三年的学政生涯和最终的免官戏码，仿佛成为一场“以怨报德”的闹剧。不是所有善始，都能善终。何绍基的直言、多言最终触怒皇帝，成为“死于话多”的正派；他秉公执法、刚正不阿本的态度也没毛病，却不想触及了一些官员的利益，招致私愤，在职场中树敌太多；他身在四川学政之职，但民事、刑事也皆有涉及……种种原因的叠加导致了最后的结果。
在任四川学政的这段时期毫无疑问是何绍基职场生涯中的巅峰时刻，虽然任期不长但却意义深刻。交印后何绍基曾游峨眉山，作诗“使节三年圆一梦，奇峰万点洗双眸。谪官愈识君恩重，许到峨眉顶上游”。透露出满满的无奈。到此，何绍基的职场生涯也正式走向终结。他四处游历， 同治十二年秋，病故于苏州寓所，享年75岁。
何绍基幼时学书，父亲何凌汉便常以“横平竖直”来教导他，这一观念既成为何所秉持的重要书法理念，又是他人生态度的一种写照。官场失意，幸而书坛得意，何绍基最终以另一种方式垂名晚清史。
