Ada Lovelace fue la única hija legítima de Anna Isabella y del poeta lord Byron,12 quien esperaba que su hijo fuera un niño y se sintió decepcionado cuando su esposa dio a luz a una niña. Nació el domingo 10 de diciembre de 1815. La niña lleva el nombre de la media hermana de Byron, Augusta Leigh, y fue llamada Ada por el propio Byron. El 16 de enero de 1816, por orden de lord Byron, lady Byron se fue a la casa de sus padres en Kirkby Mallory (Leicestershire) llevando a su hija de cinco semanas con ella. Aunque la ley inglesa en ese momento otorgaba la custodia total de los hijos al padre en casos de separación, lord Byron no intentó reclamar sus derechos parentales, pero solicitó que su hermana lo mantuviera informado sobre el bienestar de Ada. En abril de 1816 su padre abandonó Inglaterra huyendo de sus acreedores y del escándalo que se cernía sobre él por los rumores de incesto. Meses más tarde, Annabella presentó una demanda de separación. Durante los ocho años que lord Byron estuvo fuera de su país hasta su muerte escribía con frecuencia a Augusta y preguntaba por la hija de ambos. A Lovelace no se le mostró el retrato familiar de su padre hasta que cumplió 20 años.
Lovelace no tuvo una relación cercana con su madre. A menudo la dejaban al cuidado de su abuela materna Judith, Hon. Lady Milbanke, que la adoraba. Sin embargo, debido a las actitudes sociales de la época, que favorecían al marido en cualquier separación, con el bienestar de cualquier niño que actuara como mitigante, lady Byron tuvo que presentarse como una madre amorosa para el resto de la sociedad. Esto incluía escribir cartas de ansiedad a lady Milbanke sobre el bienestar de su hija, con una nota de presentación que decía que debía retener las cartas en caso de que tuviera que usarlas para mostrar preocupación materna.