乾隆南巡到杭州，杭世駿也參與迎駕，乾隆見了他問道：“你靠什么生活？”杭答：“臣世駿開舊貨攤。”皇帝不懂，問道：“什么叫開舊貨攤？”杭解釋道：“把買來的破銅爛鐵陳列在地上賣掉?！被实勐犃舜笮?，寫了“買賣破銅爛鐵”六個(gè)大字賜他。

　　據(jù)傳杭世駿為人耿介，敢于直言。時(shí)值天下大旱，乾隆特開“陽城馬周科”，測(cè)驗(yàn)翰林院官。意在選拔人才，幫他治理國(guó)家。杭世駿在這次試卷中直言不諱，條陳建議，提出“朝廷用人”不要以滿漢劃線，應(yīng)該泯滅“滿漢之見”。“滿州賢才雖多，較之漢人十之三四。天下巡撫常滿漢參半，總督則漢人無一也。何內(nèi)滿而外漢也？”還說：“三江兩浙，天下人才淵藪，邊隅之士，間出者無幾。今則果于用邊之人，不計(jì)其才，不計(jì)其操履，不計(jì)其資俸，而十年不調(diào)者，皆江浙之人，豈非有意見畛域？”話說得懇切。

　　實(shí)際乾隆開科，取治國(guó)干才，卻是葉公好龍，一旦真的聽到“直言”，就怒不可遏：“怒抵其卷于地者再，復(fù)取視之”。傳說人家?guī)退f話：他是狂士。乾隆便說：“這種狂士，只能收賣廢銅爛鐵！”杭世駿由是罷歸田里。他回到杭州，在鬧市擺了一個(gè)地?cái)?，布招大書?/p>

　　“奉旨收賣廢銅爛鐵”。一時(shí)觀者如堵。

　　記載，乾隆問杭世駿說：“你性情改過么？”世駿回答：“臣老矣，不能改也?！鼻枺骸昂我岳隙凰溃俊被卮鹫f：“臣尚要歌詠太平?！毙α诵?。龔自珍《杭大宗逸事狀》中則說：“癸已歲，純皇帝南巡，大宗迎駕湖上，上顧左右曰：‘杭世駿尚未死么？’大宗返舍，是夕卒?！辈恢钦媸羌?。

　　早年升遷

　　杭世駿自幼家境貧寒，勤奮好學(xué)，年輕時(shí)偶爾過訪友人館舍，見異文秘冊(cè)，即端坐那里默默記下其中要點(diǎn)，用功之勤，可見一斑。王瞿序《道古堂集》曰：“堇浦於學(xué)無所不貫，所藏書擁榻積幾，不下十萬卷。堇浦枕藉其中，目睇手纂，幾忘晷夕?！焙际莉E經(jīng)常向他人借書閱讀，并與同鄉(xiāng)梁詩正、孫灝、嚴(yán)在昌等人組織讀書會(huì)，互相討論學(xué)術(shù)。雍正二年(1724）考中舉人，屢次赴考進(jìn)士不中。雍正九年(1731年)，杭世駿在主持纂修《浙江通志·經(jīng)籍志》時(shí)，堅(jiān)持按事實(shí)修志，然而當(dāng)時(shí)文網(wǎng)頗密，官府修志，要?jiǎng)h除違礙字句，因此他的要求遭到拒絕。后曾受聘擔(dān)任福建鄉(xiāng)試的同考官。鄉(xiāng)試的考官一般都由進(jìn)士出身的官員擔(dān)任。而杭世駿能以舉人的身份擔(dān)任考官，足以說明他在當(dāng)時(shí)影響之大。 乾隆元年(1736），杭世駿應(yīng)浙江總督程元章之薦考取了丙辰博學(xué)鴻詞科，名列一等第五，授翰林院編修之職，?？蔽溆⒌睢妒?jīng)》、《二十四史》，纂修《三禮義疏》。

　　直言賈禍

　　乾隆八年，久旱無雨，乾隆帝循例下詔求直言，開御史試。杭世駿以為當(dāng)今皇上納諫入流，于是貿(mào)然上了一篇洋洋灑灑數(shù)千字的《時(shí)務(wù)策》，言“意見不可先設(shè)，軫域不可太分，滿洲才賢號(hào)多，較之漢人，僅什之三四，天下巡撫尚滿漢參半，總督則漢人無一焉，何內(nèi)滿而外漢也？三江兩浙天下人才淵藪，邊隅之士間出者無幾。今則果于用邊省之人，不計(jì)其才，不計(jì)其操履，不計(jì)其資俸。而十年不調(diào)者，皆江浙之人，豈非意見軫域？”主要內(nèi)容是指責(zé)朝廷用人存在偏見。他認(rèn)為天下滿洲人少、漢人多，而各地總督卻沒有一個(gè)漢人；江浙人才輩出，但在政府中多年沒有人升調(diào)。雖然，他所寫的內(nèi)容都能切中時(shí)弊，但清朝由滿洲貴族統(tǒng)治，一直存在著防范漢人的心理，杭世駿恰恰是觸及了“滿漢畛域”這個(gè)最忌諱的問題。乾隆皇帝一見之下，勃然大怒說：“滿漢遠(yuǎn)邇，皆朕臣工，朕從無歧視。國(guó)家教養(yǎng)百年，滿洲人才輩出，何事不及漢人？”杭世駿被斥“懷私妄奏”，刑部議處死刑。刑部尚書徐本極力為杭世駿求情，稱“是狂生，當(dāng)其為諸生時(shí)，放言高論久矣”，并不停叩頭，一直把額頭都叩腫了。最后，杭世駿免死革職回鄉(xiāng)。

　　剛開始得知“罪且不測(cè)”的消息時(shí)，杭世駿正在參加同僚的宴會(huì)，還沒等杭世駿從震愕中回過神來，東道主已先一步作出反應(yīng)，要趕杭世駿出門，免得連累自己。此后，那些所謂的同僚如同躲避瘟神一樣地躲著他，“杭往話別，輒預(yù)戒閽者拒之?！蔽í?dú)鄭板橋?qū)懶盼繂枴杜c杭世駿書》：“君由鴻博，地處清華，當(dāng)如歐陽永叔在翰苑時(shí)，一洗文章浮靡積習(xí)，慎勿因循茍且，隨聲附和，以投時(shí)好也。數(shù)載相知，於朋友有責(zé)善之道，勿以冒瀆為罪，是所冀於同調(diào)者。堇浦詞兄，燮頓首。”罷歸之初，杭世駿要么閉門不出、避人如仇，要么踟躇在距家很近的吳山幽徑中。但有時(shí)他又會(huì)倒載而行，招搖過市，目無旁人地大聲吟唱詩句。

　　家居著學(xué)

　　杭世駿性格伉直，恃才傲物。他甚至與禮部侍郎方苞發(fā)生辯論，引經(jīng)據(jù)典，將一向以經(jīng)學(xué)自負(fù)的方苞駁得無言以對(duì)。生活上也不拘細(xì)節(jié)，不喜歡看當(dāng)時(shí)的邸報(bào)（邸報(bào)是當(dāng)時(shí)政府的內(nèi)部文告，只有一定地位的人才能看到）。他家居著書或講學(xué)，閑居二十年，連當(dāng)?shù)嘏c他年齡相仿的人做到了大學(xué)士、尚書、總督等政府高官，他全然不知道。一次，吏部尚書兼協(xié)辦大學(xué)士劉綸去揚(yáng)州安定書院看望他。他問劉綸：“現(xiàn)在做什么官?”劉綸回答說：“實(shí)不相瞞，已經(jīng)做了很多年大學(xué)士了?！焙际莉E感到非常驚訝。事實(shí)上，杭世駿除了平時(shí)講學(xué)以外，把其他的時(shí)間都用于著書立說上了。盡管與他同一年考中“博學(xué)鴻詞科”的許多人都做了高官，惟獨(dú)他一人被遣放回家，但是他著的書卻是這些人當(dāng)中最多的。他較著名的書就有《兩浙經(jīng)籍志》、《經(jīng)籍志》、《榕城詩話》、《詞科掌錄》等。杭世駿的詩在當(dāng)時(shí)更是與厲鶚齊名，嘗賦《方鏡詩》二十四首，在京城被傳誦一時(shí)。

　　乾隆十六年（1751）得以平反，官?gòu)?fù)原職。晚年主講廣東粵秀和江蘇揚(yáng)州兩書院。