Vóór zijn vertrek bezocht hij de Amsterdammer Roemer Visscher (1547-1620). Visscher was van beroep graanhandelaar, maar daarnaast ook amateur-letterkundige, zeg maar schrijver en dichter, die regelmatig beroemde schrijvers uitnodigde. Brinck hield een soort dagboek bij, Memorabilia genoemd. Daarin vermeldde hij ook dit bezoek: 'Roemer Visscher heeft drie dogters die alle in seer fraye exercitien sijn opgetoogen, connen seer fray musiceren, schilderen, in glas snijden, ofte graveren, refereyn maken, emblemata uitvinden, alderley manufacturen van borduren, ook goet swemmen, en het sich geleert hebben in haer vaders tuyn, alwaer een grachte met water was.' Het zeventiende-eeuws Nederlands is nog goed te lezen. Emblemata zijn afbeeldingen met onderschriften die abstracte begrippen als liefde of haat uitbeelden.
Brinck was in Harderwijk bibliothecaris van het gymnasium en de Gelderse Universiteit. Er is een rekening bewaard gebleven uit 1609 waaruit blijkt dat er toen 107 gulden werd betaald voor boeken geschonken aan Ernst Brinck, bedoeld voor de librij, de bibliotheek. Daarnaast treffen we hem in de archiefstukken regelmatig als burgemeester aan.
Brinck werd vooral bekend als liefhebber van het album amicorum, ofwel het vriendenboek. In zo'n boekje schreven hoogleraren, vrienden en mensen die men ontmoette korte teksten. Ernst Brinck was zo'n fanatiek verzamelaar dat hij aan één album niet genoeg had, maar er uiteindelijk zelfs drie op nahield. Het spectaculairste is het tweede album, waarin hij voorbeelden van ruim tweehonderd talen en dialecten bijeenbracht. Zijn verblijf in Constantinopel leverde een stortvloed aan exotische Turkse en Arabische inscripties op.
In 1614, op terugreis uit Constantinopel, had Ernst Brinck in Florence een ontmoeting met de beroemde astronoom en mathematicus Galileo Galilei (1564-1642). Galilei schreef niet alleen een vriendschappelijke tekst in Brincks album amicorum, maar voegde er bovendien een schetsje aan toe van de door hem op 7 januari 1610 ontdekte vier manen van Jupiter. Heel bijzonder.
In de perioden dat hij in Harderwijk verbleef, lagen zijn alba echter allerminst ongebruikt in de kast. Zo wist hij van vele Gelderse edelen bijdragen los te krijgen, vaak vergezeld van fraai geschilderde familiewapens. Maar ook Nederlandse geleerden vulden zijn boekjes, onder wie plaatsgenoten als de professor in de theologie Antonius Thysius en de geschiedschrijver Johannes Pontanus.
Een heel bijzondere bijdrage sleepte Brinck op 24 maart 1608 in de wacht toen Jan Pieterszoon Sweelinck een bezoek aan Harderwijk bracht. Sweelinck was organist en een van de beroemdste Nederlandse componisten. Hij schreef in Brincks vriendenboek het bekende Vanitas vanitatum et omnia vanitas (IJdelheid der ijdelheden, alles is ijdelheid) in de vorm van een canon. In dit geval betekent canon iets anders dan een canon van de geschiedenis. Een canon is ook een lied dat twee- of meerstemmig gezongen kan worden en waarbij de ene partij na de andere invalt.
