遠藤左太夫を始祖とする遠藤宗家（旗本家）は、徳川家康公が天正十八年(１５９０年)に江戸に入府し、慶長八年（１６０３年）に同地に幕府をひらき、爾後２６０年余、徳川将軍家 直参御目見得として日本の統治及び警備を行いました。
その後、明治元年（１８６８年）の明治維新以降、華族令の制定により明治十七年（１８８４年）に士族となり、十五代当主遠藤榮（大正天皇 宮内庁 東宮侍従）を経、現在（十八代当主輝）に至っております。