胡文光刺史坊与徽州各地的牌坊式样不同，如歙县的牌坊大都是4根大柱直冲云霄，叫“冲天柱式”；而胡文光刺史坊则有5个层次分明的楼阁，叫“楼阁式”，所以准确些该称之牌楼。高12.3米，宽9.95米，石雕古朴精湛，造型富丽堂皇。
通体为质地坚实细腻的“黟县青”石料构成。全坊以4根60厘米见方抹角石柱为整体支柱，上雕菱花图案。柱下有长方形柱墩4个，各高1.6米，东西长2.8米，宽0.8米。
中间两柱前后饰有两对高达2.5米的倒匍石狮，为支柱支脚，造型逼真，威猛传神。一楼月梁粗壮，刻以浮雕，精美古朴，柱梁间均用石拱承托，两侧嵌以石雕漏窗。中间横梁前后分别刻有“登嘉靖乙卯科奉直大夫朝列大夫胡文光”字样。
二楼中间西面为“胶州刺史”、东面为“荆藩首相”斗大双钩楷字，书体遒劲，三楼中轴线上镌有“恩荣”两字，两旁衬以盘龙浮雕。
二楼至四楼左右两侧和端点均流檐翘角，脊头吻兽雕为鳌鱼。檐下斗拱两侧饰有44个圆形凌空花翅，4根石柱的东西两面托着12块八仙、文臣武士人物雕塑，精美异常。文官和武将，喻为安邦定国。
最下边的正楼所刻图案叫“五狮戏球”，东西边是“麒麟吐书”。石柱两侧是栩栩如生的狮子，这两只狮子前爪朝下倒伏着，爪下有只小狮子，既精致又增加了牌坊的稳定性。