O senhor de engenho era a figura central do seu grupo familiar. Determinava as funções que cada grupo da casa-grande devia desempenhar.
A esposa do senhor de engenho era totalmente submissa ao marido. Viva para ter filhos, fazer doces, cozinhar e bordar. Sua vida social limitava-se a ir à igreja e a conversar com escravas.
Os filhos homens costumavam passar uns tempos em casas de amigos ou parentes que lhes pudessem transmitir alguns ensinamentos fundamentais. O filho mais velho era orientado para suceder o pai na chefia do engenho. Dentre os demais filhos, um geralmente se tornava padre, outro se formava em Direito pela Universidade de Coimbra em Portugal. O advogado ajudava a transformar em poder político o prestigio da família.
Nessa época, era comum o casamento de moçinhas de quinze anos com homens de cinqüenta e até mais idade. Os namoros e casamentos precisavam da autorização do pai.
Havia casos de escravas que delatavam namoros e encontros das sinhás-moças (filhas) ou sinhás-donas (esposas). Por vezes, essas histórias levavam o senhor a ordenar o assassinato da esposa ou de uma filha.