俺が何かの漫画で得た知識では
土方はもともとは腕っぷしに自信があるだけの薬売りで
剣の腕はガチ剣士と比べると雑魚だったはず