最早關於獬豸的記載，是在《墨子·明鬼下》中。書中說：“見人鬥則不直者，聞人論則咋不正者。”意思是說獬豸看到人手打架，就會用角去頂理虧的那一方；聽到人開口爭論，就會去咬說話不公的那一方。
書中沒有描寫獬豸的外形，只把它描述一種能分辨對錯的“忠直之”，與堯、舜、禹這些聖君並列，被視作“鬼神顯靈、主持公正”的現。或許在古人眼裡，人間的是非有時難斷，便寄於這樣一隻神，能越過人的偏見，直抵對錯的本質。
到了漢代，獬豸的形象漸漸清晰，許慎在《說文解字·豸部》裡寫道：“獬豸，也，似山羊而一角。古者決訟，令不直者。”就是說獬豸是一種野，外形像山羊，長著一隻角。古代人審理司時，會讓它去理虧的人。
山東嘉祥的武氏祠裡，留存著一方漢代畫像石，上面刻著“皋陶治獄”的場景。畫面中央，皋陶頭戴高冠，端坐在案前，手裡握著一卷竹簡，神莊重。他旁立著一隻羊，羊的頭頂豎著一獨角，昂首，正對著面前跪伏的人——那人雙手被綁，低垂著頭，像是認罪的模樣。這隻獨角羊，就是典籍裡的獬豸。
《後漢書·輿服志下》裡記載：“法冠，一曰柱後，高五寸，以纚為展筒，鐵柱卷，執法者服之，侍史、廷尉正監平也。或謂之獬豸冠。獬豸，神羊，能別曲直，楚王嘗獲之，故以為冠。”
法冠，又柱后冠，高五寸，用細麻布做帽筒，裡面有鐵柱支撐，負責執法的員會戴這種冠，比如侍史、廷尉正監平這類職。有人也把它做獬豸冠。獬豸是能分辨是非的神羊，楚王曾經遇見過獬豸，所以用它的樣子來製作冠冕。
後來秦滅了楚，把這頂冠賜給了執法的員。那時的員戴著獬豸冠上朝、斷案，冠上的獨角彷彿是一種提醒，也像是一種象徵。
應劭在《風俗通義·祀典》裡還提過：“能邪佞，辨曲直。”獬豸能品行不端的小人，分辨是非對錯。
《瑞應圖》則首次提出了不同的形態描述：“獬豸者，仁也，狀如鹿而一角，音如人啼，知人有罪，能不直。”意思是說獬豸是一種有仁德的野，外形像鹿，長著一隻角，聲像人的啼哭，能知道人是否有罪，會用角去理虧的人。
唐代的獬豸，漸漸有了麒麟的影子。陝西西安出土過一塊唐代獬豸紋磚雕，磚上的獬豸頭部像麒麟，獨角壯，軀上覆著細小的鱗片，四肢如，尾帶著鰭狀的紋路。它不再是溫順的羊或鹿的形象，多了幾分威嚴。
宋代的獬豸，在方和民間有了不同的模樣。《宋史·輿服志》記載，史臺員的補服上，獬豸“獨角直立，雙目炯炯，似獅而有鱗”。員補服上的獬豸一隻角直立著，雙眼明亮有神，像獅子，上覆蓋著鱗片。
而在民間的話本里，獬豸開始和“清”綁在一起。元代的《三遂平妖傳》裡，有個這樣的故事：
楚州有個徐能的知府，為十年，清正廉明，百姓都他“徐青天”。當時楚州有個張謙的糧商，慣會囤積糧食哄抬市價，徐能便查封了他的糧倉，罰他把糧食分給災的百姓，張謙自此便懷恨在心。
這年春天，張謙買通了徐能邊一個貪財的小吏，走了府衙印，又讓他把一枚刻著徐能名字的私章與印一起，藏進了城外的廢廟裡。接著，張謙又拉上幾個與他同流合汙的鄉紳，一起到巡按衙門告狀，說徐能“監守自盜”，把印藏起來，是想私吞府的庫銀。
巡按是個剛到任的員，沒細查就派人把徐能抓了起來。大堂上，徐能反覆說自己沒印，可小吏抱著從廢廟搜出的私章和印作證，鄉紳們也一口咬定“親眼見徐知府和陌生人在廢廟私會”。徐能想找百姓來作證，可張謙早放出話，說誰替徐能說話，就斷了誰的糧。徐能心裡知道自己這是被人陷害了。
沒過多久，巡按就判了徐能“通賊盜印”的罪名，押到菜市場問斬。行刑那天，徐能穿著囚服，頭髮散，可正步端，路過張謙站的地方時，他停下來，盯著張謙說：“我徐能沒做虧心事，老天會睜眼的。”張謙嚇得往後退了一步，強裝鎮定地罵了句“死到臨頭還”。
徐能死後，他的妻子在自家院裡設了靈堂，每天都有百姓自發來弔唁，有的放下一捆柴，到了第七天晚上，靈堂裡的燭火忽明忽暗，徐能的妻子正對著靈位哭，忽然聽見院門外有“噠噠”的腳步聲，是蹄踩在石板上的聲音。
抬頭一看，只見一隻渾雪白的，從門外慢慢走進來。那形像鹿，卻比鹿更加威猛，頭頂豎著一烏黑的獨角，雙目亮得像黑暗裡的燭火，徑直走到靈堂中央，對著徐能的靈位站定。
就在這時，院門外傳來了腳步聲——是張謙來了。他本來喝完酒回家，卻不由己的來到這裡。剛進院門，張謙就看見靈堂裡的獨角，嚇得一，差點摔倒。
獨角突然轉過，朝著張謙快步走過去。張謙想跑，可腳像被釘在地上似的，挪不半步。獨角走到他面前，用頭頂的獨角，輕輕了他的口。張謙只覺得一陣發麻，可還是：“你這怪，快滾開！”
獨角用獨角猛地往前一頂，張謙“哎喲”了一聲，往後倒在地上。他剛想爬起來，獨角又湊過去，用獨角抵住他的嚨，眼神里帶著怒氣。張謙這才慌了，聲音發地喊：“別頂了！別頂了！我招！我都招！”
靈堂外的百姓聽見靜，都跑了進來。張謙躺在地上，臉慘白，一五一十地說了實話。
百姓們把張謙綁到了巡按衙門，巡按這才知道自己錯判了案，連忙上書朝廷，為徐能平反。朝廷下了旨意，追封徐能為“忠烈知府”，還賞了他的家人良田百畝。
如今，獬豸是法院門口最常見的雕像。它既提醒每一個從門口經過的當事人要守法正直，也提醒斷案的法們要依法辦案，秉公執法，莫被權錢汙染了靈魂，曲解了法律。
