Ada Lovelace fue la única hija legítima de Anna Isabella y del poeta Byron, quien esperaba que su hijo fuera un niño y se sintió decepcionado cuando su esposa dio a luz a una niña. Nació el domingo 10 de diciembre de 1815. La niña lleva el nombre de la hermana de Byron, Augusta Leigh, y fue llamada Ada por el propio Byron. El 16 de enero de 1816, por orden de Byron, lady Byron se fue a la casa de sus padres en Kirkby Mallory (Leicestershire) llevando a su hija de cinco semanas con ella. Aunque la ley inglesa en ese momento otorgaba la custodia total de los hijos al padre en casos de separación, Byron no intentó reclamar sus derechos parentales, pero solicitó que su hermana lo mantuviera informado sobre el bienestar de Ada. En abril de 1816 su padre abandonó Inglaterra huyendo de sus acreedores y del escándalo que se cernía sobre él por los rumores de incesto. Meses más tarde, Annabella presentó una demanda de separación. Durante los ocho años que Byron estuvo fuera de su país hasta su muerte escribía con frecuencia a Augusta y preguntaba por la hija de ambos. A Lovelace no se le mostró el retrato familiar de su padre hasta que cumplió 20 años.
Lovelace no tuvo una relación cercana con su madre. A menudo la dejaban al cuidado de su abuela materna Judith. Lady Milbanke, que la adoraba. Sin embargo, debido a las actitudes sociales de la época, que favorecían al marido en cualquier separación, con el bienestar de cualquier niño que actuara como mitigante, lady Byron tuvo que presentarse como una madre amorosa para el resto de la sociedad. Esto incluía escribir cartas de ansiedad a lady Milbanke sobre el bienestar de su hija, con una nota de presentación que decía que debía retener las cartas en caso de que tuviera que usarlas para mostrar preocupación materna.
Desde niña Ada despertó el interés de una sociedad en la que se vivían continuos escándalos. Su madre puso mucho empeño en protegerla, pero solo lo consiguió hasta cierto punto.
Lady Byron quería darle una educación esmerada a su hija, muy parecida a la que ella misma había recibido, pero más exigente. Ada no se podía relacionar con otros niños sin la previa aprobación de su madre, por lo que la mayor parte de su infancia la pasó sola o con adultos. Su educación empezó cuando era pequeña; a los cuatro años ya tenía preceptores e institutrices. A los ocho años en 1824 la jornada de Ada comenzaba con clase de música a las 10 de la mañana, a las 11:15 tocaba lectura de francés, a las 11:30 clase de aritmética, a las 13:30 hacía deberes, a las 15:15 música otra vez y a las 16:30 finalizaba con ejercicios de francés. Lady Byron le impuso una disciplina estricta basada en un sistema de recompensas y castigos, también buscando el estímulo intelectual con lecturas y relaciones con intelectuales. Puso mucho empeño en que su hija aprendiera matemáticas, disciplina que ella misma practicaba. En este contexto, Ada conoce a la matemática y científicos. Valoraba la metafísica como las matemáticas.