Initialement résidence du seigneur Kanamori, du château Takayama, le bâtiment est passé sous le contrôle direct des shoguns Tokugawa à l’extinction de la lignée Kanamori. Il servait de bureaux aux gouverneurs de la préfecture et des districts de Hida. Connu alors sous le nom de Takayama Jinya, c’est là qu’étaient émises les réclamations officielles et que se faisait la collecte des taxes. Avec l’avènement de l’ère Meiji (1868-1912) le bâtiment fut affecté comme antenne préfectorale, nationale et régionale. Takayama Jinya est le seul bâtiment de ce type conservé dans tout le Japon.