関所の一番主要な建物です。二棟が継がれている建物で、街道側が大番所、湖側が上番休息所と呼ばれています。共に栩葺（とちぶき）と言われるうすく割いた杉板を重ねた屋根を持ち、また外観は、渋墨で塗られた黒い建物です｡