Estudou no Conservatório Real de Haia com René van Ast, Lidewij Scheifes e Anner Bijlsma. Durante e após os seus estudos, especializou-se na música de câmara.

Com o seu grupo barroco Musica ad Rhenum gravou um grande número de CDs, que se distinguem pelo uso de tempi e rubato históricos. Nos últimos anos, aprofundou o estilo clássico e romântico, com grupos como a Van Swieten Society, o Hortus Ensemble e o Archduke Ensemble.

Acima de tudo, o seu interesse é a utilização de ferramentas expressivas do início do século XIX. Para além da sua carreira de intérprete, Job ter Haar é professor de investigação no Codarts Rotterdam. Em 2019, concluiu o seu doutoramento na Royal Academy of Music em Londres, sobre o estilo de tocar do virtuoso violoncelo do século XIX Alfredo Piatti.