La novela comienza cuando Watson se instala en Londres para recuperarse de una herida que sufrió mientras trabajaba como médico militar en la Segunda Guerra Anglo-Afgana y de una enfermedad que contrae posteriormente. Un día se encuentra en un bar con un conocido, Stamford. Watson le dice que necesita mudarse, ya que el hotel donde se aloja le resulta demasiado caro. Stamford responde que otra persona le ha expresado ese día el mismo deseo y lleva a Watson al laboratorio de la universidad donde trabaja Sherlock Holmes, para presentárselo.
Rumbo al laboratorio, Stamford le revela a Watson algunas peculiaridades de Holmes, como el hecho de que se desconoce su verdadera profesión, que es excéntrico y apasionado, y que sus conocimientos son especializados pero diversos. Estos hombres se conocen y deciden vivir juntos. Watson observa al enigmático Holmes y trata de descifrar las razones de su extraño comportamiento e intereses. La convivencia resulta agradable para ambos.
Una mañana a Watson le llama la atención un artículo del periódico sobre el arte de la deducción basado en la observación. El artículo explica que el más mínimo detalle puede ofrecer múltiples informaciones. Watson se burla de esta teoría, y luego se sorprende al enterarse de que Holmes es el autor del artículo. Holmes le explica que es un detective consultor. Sus habilidades de observación y deducción racional le permiten ayudar a los clientes e incluso resolver delitos. Holmes lamenta que haya habido muy pocos casos buenos últimamente.
Sin embargo, pronto aparece un caso atractivo. El detective Gregson de Scotland Yard le pide a Holmes que lo ayude a resolver un crimen cometido recientemente. Holmes le pide a Watson que lo acompañe, y juntos viajan a una casa vacía en un barrio de Londres. Allí observan la escena del crimen que incluye huellas en la calle y en la entrada de la casa, un muerto que ha sido envenenado, la palabra “Rache” escrita con sangre en la pared y un anillo de bodas de una mujer. El nombre del muerto es Enoch Drebber, y es originario de Cleveland, Estados Unidos. En su bolsillo han encontrado entre otras cosas, dos cartas, una dirigida a él y otra a su secretario, Joseph Stangerson.
Durante los dos días siguientes, Watson observa cómo las piezas del rompecabezas encajan en su lugar para Holmes. Él le informa a Watson cómo determinó la edad, la altura y los rasgos faciales del asesino a partir de sus observaciones. Una entrevista con el policía que estaba de guardia la noche del asesinato le revela a Holmes que el asesino regresó por el anillo. En medio de la investigación, otro detective de Scotland Yard, Lestrade, irrumpe en el departamento de Holmes y Watson anunciando que Stangerson también ha sido asesinado. El hombre había sido apuñalado. En la habitación de Stangerson el detective había hallado una caja de píldoras. Holmes se da cuenta de que esas píldoras son el veneno con que el que había muerto Drebber. Con esta información, Holmes anuncia con entusiasmo que su investigación está completa. Momentos después, llega un cochero al que llamó Holmes. Holmes esposa a este hombre llamado Jefferson Hope y sorprende a los detectives Gregson y Lestrade, que están en su departamento, diciéndoles que es el asesino de Drebber y Stangerson. Con la ayuda de Watson y los detectives, consiguen inmovilizar al asesino. Este es el final de la primera parte.
La segunda parte comienza con una vívida descripción de un desierto estadounidense. Hay dos viajeros luchando por sobrevivir, John Ferrier y su hija adoptiva, Lucy. Son rescatados por una caravana multitudinaria: los miembros de la comunidad de Los Santos de los Últimos Días, quienes atraviesan el desierto en su éxodo. Su líder, Brigham Young, permite a Ferrier unirse a ellos con la condición de que se convierta a su religión. Él está de acuerdo y junto con Lucy se unen a la caravana que se dirige a Utah.
En los años siguientes crece la riqueza del sitio elegido por los mormones, Salt Lake City. Ferrier se hace rico, pero se niega a casarse y a tener varias esposas como es usual entre los mormones. Lucy crece y se convierte en una mujer hermosa. Un día, el apuesto cazador Jefferson Hope la salva de la muerte cuando ella queda atrapada en medio de un rebaño de ganado. Los dos se enamoran y Ferrier les da su consentimiento para casarse cuando Hope regrese de un viaje laboral de unos meses.
Esto es inaceptable para Brigham Young, quien visita personalmente a Ferrier y le ordena que Lucy se case con uno de los hijos de los Ancianos, Enoch Drebber o Joseph Stangerson. Le da a Ferrier un mes para que su hija tome la decisión. Ese comportamiento de Young era habitual entre los mormones. Antes habían sido perseguidos, pero ahora se habían convertido en perseguidores. La comunidad se ha vuelto violenta y controladora. Ferrier odia a los mormones desde hace un tiempo y le promete a su hija que no tendrá que casarse con ninguno de los hijos de los Ancianos y que ambos escaparán.
Drebber y Stangerson visitan arrogantemente a Ferrier y le hablan sobre Lucy, pero él los echa. Este atroz acto de falta de respeto aumenta la vigilancia y las amenazas hacia Ferrier y su hija. Finalmente, una noche antes de que se termine el plazo, Jefferson Hope llega a la casa de Ferrier y los tres escapan a las montañas. Desafortunadamente, cuando Hope se va a cazar para alimentar a los fugitivos, una comitiva de hombres toman por asalto a Ferrier y a su hija. A éste lo asesinan y secuestran a Lucy para que se case con Drebber.
Hope regresa a Salt Lake City y se entera de que Lucy se ha casado con Drebber. Ella muere de tristeza al mes siguiente. Hope entonces jura que vengará esas muertes. Hope quita el anillo de bodas del dedo de Lucy antes de que la entierren. Hope pasa cinco años fuera de Utah, pero sigue con el propósito de vengarse de los criminales.
Drebber y Stangerson huyen de Utah un tiempo después y Hope los rastrea por Estados Unidos y Europa. Los dos hombres habían sido parte de un grupo de mormones que se había separado de la comunidad. Ellos son conscientes de que Hope los está siguiendo y siempre se las arreglan para escabullirse. Hope finalmente encuentra el lugar donde residen en Londres y pone en marcha su plan para asesinarlos.
En este punto, la narración vuelve al momento en que concluyó la parte 1. Los detectives llevan a Hope a la comisaría, y allí él pide contar su historia, porque a causa de un aneurisma que sufre es posible que muera antes del juicio.
Hope explica cómo consiguió un trabajo de cochero y rastreó a Drebber y Stangerson. Encontró a Drebber borracho una noche y lo mató con veneno. Trató de hacer lo mismo con Stangerson, pero terminó apuñalándolo cuando este intentó atacarlo. Un día después del arresto, encuentran a Hope muerto a causa de su aneurisma, con una sonrisa pacífica y de satisfacción en el rostro.
Holmes habla con Watson sobre su capacidad para razonar “hacia atrás”. Este método lo ayuda a resolver casos. La novela termina con Holmes y Watson leyendo un artículo del periódico sobre la investigación ya cerrada. Allí se menciona superficialmente a Holmes, como un detective aficionado que ayudó en el caso, pero el diario atribuye la mayor parte del mérito a Lestrade y Gregson. Watson lo consuela a Holmes diciéndole que va a escribir un relato sobre el caso y le sugiere que, mientras tanto, se conforme con saber para sus adentros lo valiosa que es su habilidad detectivesca.
