一切是從小說家「我」向讀者募集怪談而收到的來信開始的。讀者久保小姐提到自己住的公寓出現的些微異象——榻榻米上不時會傳來某種磨擦聲。找不到來源，看不到任何東西，一專注便會消失，試圖轉移注意力時又會出現。「我」想起了幾年前另一封類似內容的來信，一追查一下，發現兩者似乎有相關....久保小姐和「我」魚雁往返之下，開始共同追查起這個現象的來源，卻發現宛如出芽生殖般地，一個事件又連到另一個事件。
開始讀之前，其實我已看過網路上出版社募集「穢」的照片的活動；但看到的當下，即使讀過解說，仍很難理解從未聽過的這個「穢」是什麼概念。頂多只能照字面理解為中文的「髒東西」，看起來像會發生靈異事件的所在。事實上，即使讀完了整本書，我仍覺得不太能理解「穢」的概念。依照「我」的解釋，「穢」是應該避諱的對象，災害、罪惡等「罪」會產生「穢」，異常的生理狀態，尤其是死亡也會產生「穢」，又與佛教中「不淨」的概念結合成類似罪業的東西；但差別在於「穢」是會傳染的，因此也可以透過特定的隔離方式、經過一段時間來淨化、消散。有點類似傳統「避忌」的觀念吧？似乎不求甚解地理解成字面意義的「髒東西」也不算差太遠。
而「我」和久保小姐一開始的不安與好奇心，轉變為曠日持久的調查，不只從久保小姐所住的岡谷公寓為起點拓展，橫向牽連鄰近其他地帶，也縱向牽連到更久遠以前的歷史。《殘穢》與其說是小說，我覺得更像是一部紀錄片。如果要我為本書起個副標，大概是《我和久保小姐的七年怪談田野調查史》（雖然不是全職，但兩人從 2001 年堅持不懈地一路調查到 2008 年），或者是模仿某動畫來個「感染擴大」之類的吧。
如果問我《殘穢》到底恐不恐怖，我的回答是不——至少沒有宣傳文案看起來那麼恐怖。與長年來浸淫的許多要從指縫中瞇著眼睛看的鬼故事相比，可以說本書中一個串一個的故事都不是非常恐怖；它恐怖的地方在於串起故事的那條絲線。照理說如果是偵探小說，應該抽絲剝繭之後會慢慢揭露出事情的全貌——我本來也是如此期待。但從久保小姐而起的一端絲線頭，拉到最後，卻發現後面是一整張蠶絲被，有疏有密，但既薄且廣。
