蟄居中の崋山一家の生活を助けるため、門人福田半香らは崋山の絵を売る義会を始めました。崋山は作画に専念し、「于公高門図」「千山万水図」「月下鳴機図」「虫魚帖」「黄粱一炊図」など次々と名作を描きました。しかし、その活動により、天保12年(1841)夏の頃から「罪人身を慎まず」と悪評が起こり、藩主に災いの及ぶ事をおそれた崋山は死を決意しました。「不忠不孝渡邉登」と大書し、長男立へ「餓死るとも二君に仕ふべからず」と遺書して切腹し、49年の生涯を終えました。
愛弟子の椿椿山(つばきちんざん)への遺書に「数年の後悲しんでくれる人もありましょうか」と言った崋山。安政元年(1854)、幕府は米、英、露の三国と和親条約を結びました。崋山が没してから13年目のことでした。
明治元年(1868)には罪科赦免、明治24年(1891)には功臣として正四位を贈られました。