En 1870 durante la presidencia de Domingo Faustino Sarmiento y la actuación del ministro de Justicia e Instrucción Pública, Nicolás Avellaneda, se da a conocer el decreto Nº 7.779, por el cual se procede: "a la formación de una nueva oficina que la Ley de Presupuesto ha establecido en el Departamento de Instrucción Pública, con la designación de Biblioteca y Reparto de Libros". Mediante este decreto se designó como director a Clodomiro Quiroga y la Biblioteca se instaló en una dependencia del Ministerio de Justicia e Instrucción Pública, en la Casa de Gobierno.

En esa época, la Biblioteca sólo se ocupaba de tramitar el canje y el despacho de suscripciones y publicaciones oficiales. A los pocos años su director fue ascendido a subsecretario del Ministerio de Obras Públicas y reemplazado por Miguel Sorondo. Durante estos años la institución se traslada a los altos de la casa que forma la esquina de Defensa y Alsina y un nuevo director, Julio Belín, nieto de Domingo F. Sarmiento, realiza la primera mudanza de la Biblioteca.

Escritos de la época reflejan las impresiones del ministro de Instrucción Pública sobre la Biblioteca, quien destacaba que "el establecimiento sirve a las necesidades del interés público, por haber aumentado considerablemente el número de sus obras, mediante canjes ventajosos, y por estar abierta en todo tiempo, durante algunas horas de la noche, llenando así un vacío que dejan las demás bibliotecas públicas".

Con la idea de mejorar su organización, se instala en la calle Bolívar 90. Su nuevo director fue Augusto Belín, hermano del anterior. Por esa razón su nombramiento nunca llegó a oficializarse, ya que el escrupuloso ministro Leguizamón temía que el vínculo fraternal enturbiara el control de la gestión pública. Se efectúa la renuncia de Belín y el nombramiento interino de José A. Olmos, quien muy compenetrado con su labor, recorría asiduamente la sala de lectura para supervisar al personal y observar al público que concurría.

Un decreto dio por tierra todos los proyectos de la Biblioteca, quedando reducida a ocuparse del canje, distribución y compra de publicaciones y libros solicitados por las Bibliotecas Populares. A los pocos días Olmos renunció e inmediatamente la Biblioteca fue cerrada. Después de la clausura, fue nombrado director Felipe y Patricio Basavilbaso, sucesivamente. Durante estas gestiones no se modificaron las funciones ni las competencias de la institución.

Hacia 1881, el Consejo Nacional de Educación resolvió por decreto depositar los libros existentes en la Biblioteca de San Nicolás. Pedro Quiroga fue director sólo por unos meses y lo sucedió Enrique Navarro Viola. Benjamín Zorrilla, al asumir la presidencia de la Comisión Nacional de Educación, decidió restablecer la actividad de la Biblioteca y Navarro Viola procedió a inventariar sus existencias.

Dos años después, fue elegido un nuevo director, Mariano Olivares. Durante este período Benjamín Zorrilla comenzó a instrumentar la formación de la Biblioteca Pedagógica con los libros de la malograda Biblioteca Sarmientina.

En Julio de 1884 se sancionó la Ley de Educación Común 1420, que estipulaba la creación de una Biblioteca Pedagógica y la publicación de una revista, “El Monitor de la Educación Común”, destinada a los maestros. El nuevo director fue Rodolfo Araujo Muñoz y al año siguiente Felipe Moreira fue nombrado director por pocos meses y reemplazado por Baldman F. Dobranich. El edificio de la esquina de Talcahuano y Viamonte, hoy escuela Nicolás Avellaneda, albergó a la nueva Biblioteca a la que se le agregaron el Museo Pedagógico y la distribución de “El Monitor de la Educación Común”.

En 1888, durante la dirección de Fernando D. Guerrico, se produce la apertura al público, anunciando que se invitaba a todos los docentes a frecuentarla. Un año después, Guerrico realiza un catálogo alfabético de autores, que se distribuye con "El Monitor" a todos los educadores. La Biblioteca continuaba siendo una dependencia algo precaria, la contabilidad se llevaba en una simple libreta y los libros se acumulaban sin un orden sostenido en un depósito. En esta situación asume como director Tomás A. Guido.

Ya hacia fines del siglo XIX, Juan M. de Vedia se hace cargo de la dirección de la Biblioteca y de “El Monitor de la Educación Común”. Tres años más tarde, bajo su gestión, se lleva a cabo la mudanza definitiva al anhelado edificio de Rodríguez Peña 935 ocupado por Tribunales desde 1889. Los inventarios realizados durante este período fueron criticados posteriormente ya que no se aplicaron las normas bibliotecológicas vigentes. No se llevó un registro de usuarios hasta 1892 y, por tanto, no es posible conocer la repercusión de la Biblioteca en el ámbito educativo.