I slutningen af det 19. århundredes England stræber Jude efter at være akademiker, men er hæmmet af sin blåkravebaggrund. I stedet arbejder han som stenhugger og er fanget i et ukærligt ægteskab med en bondedatter ved navn Arabella. Men da hans kone forlader ham, ser Jude en mulighed for at forbedre sig. Han flytter til byen og indleder en affære med sin gifte kusine, Sue, og bejler til tragedier hvert skridt på vejen.
