Vincent voelt zich al meteen niet welkom in de pastorie. Daar wonen behalve zijn ouders zijn lievelingszus Wil en zijn jongste broer Cor. Al snel schrijft hij zijn broer Theo in Parijs, dat hij ontvangen is als een ‘ruige hond met natte poten die iedereen in de weg loopt’. Toch maakt Vincent twee zeer productieve jaren door in Nuenen. Van de 2203 erkende werken heeft hij er 551 in Nuenen gemaakt, dus meer dan een kwart van zijn totale oeuvre: 313 tekeningen, 193 schilderijen, 19 briefschetsen, 25 aquarellen en 1 litho. Over wat hem in zijn Nuenense tijd bezighoudt schrijft hij ook aan Theo: gemiddeld twee brieven per week.
Vincent woont en werkt aanvankelijk in de mangelkamer achter de pastorie, tot mei 1884. Daarna huurt hij een kamer als atelier bij koster Schafrat(h) naast de H. Clemenskerk en daar neemt hij vanaf mei 1885 helemaal zijn intrek. De domineeswoning met haar mooie tuin, zicht op de akkers en de oude toren was voor Vincent een geliefd artistiek onderwerp.
Vincent laat zich verder vooral inspireren door het Nuenense landschap, de arme bewoners, wevers en boeren. Hij ziet zichzelf als ‘boerenschilder’. In 1885 maakt hij zijn beroemde schilderij ‘De aardappeleters’, dat hij ook zelf als zijn meesterwerk beschouwt.
Enkele gebeurtenissen maken het Vincent echter moeilijk om nog langer in Nuenen te blijven. Zo is er de zelfmoordpoging in augustus 1884 van zijn geliefde Margot Begemann, vanwege hun onmogelijke liefde. Maar vooral het verbod van pastoor Andreas Pauwels aan zijn parochianen om nog langer voor de schilder te poseren. Vincent zou volgens hem de jonge Sien de Groot, afgebeeld op zijn ‘Aardappeleters’, zwanger hebben gemaakt.
Op 24 november 1885 verlaat Vincent Nuenen, om er nooit meer terug te keren …