小说描写女主人公海丝特·白兰跟丈夫从英国移居当时尚属英殖民地的美国波士顿。中途丈夫被印第安人俘虏。海丝特只身到美后，迫于生活，被一青年牧师诱骗怀孕。此事，被当地虚伪的清教徒社会视为大逆不道。当局把海丝特抓起来投入监狱，游街示众，还要终生佩带象征耻辱的红色的A字（Adultery：通奸女犯）和站在示众台上受审。州长亲自主持了对海丝特的审讯，她所属教区的牧师丁梅斯代尔——一个被公众视为最高道德典范的诱骗海丝特的奸夫，也假惺惺地劝说她招出奸夫的姓名。但海丝特宁愿一人受辱，誓死也不招供。在远离社会，远离人群，受尽屈辱的处境中，海丝特孤苦顽强地生活着，全仗刺绣为生。她生活中的惟一支柱是抚养掌上明珠般的女儿珠儿。海丝特这种忍辱负重、代人受过和不屈不挠的精神，使丁梅斯代尔大为感动，也大受刺激，不久他便心力交瘁地病倒了。而获释归来，一直在暗中侦察底细的海丝特的丈夫罗杰·奇林渥斯医生，在给丁梅斯代尔治病中，已基本了解到了真情，并欲置丁梅斯代尔于死地。为了逃脱，海丝特跟丁梅斯代尔议定在新市长就职那天，带上孩于一同乘船到“看不到白人足迹”的地方去。但此事也被奇林渥斯 识破，逃脱不成。于是，丁梅斯代尔在新市长就职那天，携海丝特和珠儿走上示众台，当丛宣布了自己诱骗海丝特的事实，并死 在海丝特怀抱中。海丝特也从此得到了解放，带着珠儿远走他方。若干年后，珠儿长大成人，安了家立了业，而海丝特却一人 再回到波士顿，仍带着那个红色的A字，用自己的“崇高的道德和助人精神”，把耻辱的红字变成了道德与光荣的象征，直到老死。