La forma correcta del verbo "estar" en este contexto es "estaba". La oración completa sería:
"Marta estaba leyendo un libro cuando se quedó dormida."
Esto indica que la acción de leer estaba en progreso en el pasado cuando ocurrió el evento de quedarse dormida.