Die Handlung des Romans spielt in einer strenggläubigen Siedlung in Neuengland zu Zeiten des amerikanischen Puritanismus, also gegen Ende des 17. Jahrhunderts. Hawthorne erzählt die Geschichte der Ehebrecherin Hester Prynne, die trotz öffentlicher Anprangerung den Vater ihres illegitimen Kindes nicht nennen will (ihr Ehemann gilt zunächst als auf See verschollen). Zur Strafe muss sie jederzeit ein scharlachrotes "A" auf ihrer Brust tragen. Der Leser erfährt bald, dass es sich beim Vater des Kindes, einer Tochter namens Pearl, um Arthur Dimmesdale, den Pfarrer des Dorfes, handelt. Der zentrale Konflikt des Romans spielt sich zwischen Dimmesdale und Hesters Ehemann, dem Dorfarzt Roger Chillingworth, ab, der den Pfarrer mit subtiler psychischer Folter in den Wahnsinn treibt. Neben einer mysteriösen Herzschwäche leidet der Dorfpfarrer an Versündigungsgedanken, denen er mit Selbstkasteiung zu begegnen versucht. Hester hingegen gelingt es mit der Zeit, durch makelloses Betragen die Achtung ihrer Mitmenschen wiederzuerlangen; sie legt das "A" aber nie wieder ab. Am Ende bekennt sich Dimmesdale öffentlich zu seiner Beziehung mit Hester, indem er vor seinen Mitbürgern seine Brust entblößt, auf der sich ebenfalls ein Mal ähnlich Hesters "A" befindet, um dann in Frieden zu sterben. Chillingworth, seiner Macht über ihn und Hester beraubt, findet innerhalb Jahresfrist ebenfalls den Tod.