黒田官兵衛の自分が使えていた小寺家を没落しても黒田藩で養っていたって話好き

今川氏が滅亡すると、徳川家康に仕えるが、天正2年（1574年）の第1次高天神城の戦いにおいて籠城して武田氏と戦うも、のちに降伏した。すると、織田氏家臣で長浜城主になっていた秀吉によって、之綱は家臣として召し出されたとみられる。天正3年（1575年）の長篠の戦いの際には秀吉の前備として兵100を預けられた。

天正10年（1582年）の本能寺の変から天正11年（1583年）の賤ヶ岳の戦いを経て、同年丹波国・河内国・伊勢国などの内に秀吉から3,000石の所領を与えられた。之綱が丹波に所領を与えられたのは、大坂城築城のための用材を淀川水系を利用して流下させたからであろうと考えられる。天正15年（1587年）3月には、秀吉の九州遠征にも前備の直属部隊として兵150を率いて従軍、秀吉が4月9日付けでその前備17名に宛てた朱印状で、「松下加兵衛事、（秀吉が）御牢人の時、忠節の仁（人）に候間、右儀に、おのおのと同然とはこれあるまじく候」と述べ、松下加兵衛との旧縁に言及、格別の計らいを指示している。この年、従五位下・石見守に叙位・任官され、同年に丹波3,000石を加増され6,000石となった。

天正18年（1590年）の小田原征伐後、徳川家康が関東に移封されると、10月3日に遠江で1万石追加され、遠江久野（袋井市久能）1万6,000石の所領を秀吉から与えられた。この時の居城である久野城は城の規模は小さいが、瓦の格式が高く立派な作りであったことが発掘調査の結果から明らかになっている。