Cuando Olmedo zarpó de Guayaquil el 29 de julio de 1822, rumbo a Lima, ¿Conocía cuál sería su futuro? ¿Planificó su exilio o fue al calor de las ofensas recibidas de Bolívar? Este no mostró interés en averiguar quién era Olmedo para darle un caluroso abrazo; su actitud fue fría y ofensiva. Olmedo fue el último de los miembros de la Junta de Gobierno en abandonar el puerto; lo comentó Bolívar a Santander el 3 de agosto: “…todos quienes querían Independencia o anexarse al Perú han huido, buscando refugio en el escuadrón peruano. Olmedo fue el último en irse”. Le informó que los que huyeron fueron tratados generosamente. ¿Qué habrá querido decir, que gracias a ser magnánimo no los apresó?
Olmedo no era un desconocido en Perú, tenía familiares, vivió más de 10 años de estudiante y luego como profesor. En Cádiz había hecho amistad con los representantes de Perú en las Cortes; volvió a ver a Francisco Salazar en Guayaquil, cuando llegó representando a San Martín. De regresó a Lima, Salazar fue electo a la Asamblea Constituyente.
Olmedo no fue un diputado más, se destacó en las comisiones en que participó, la de la Constitución donde se preparó el proyecto que se convirtió en ley a 1823, fue la más importante; también en la Diplomática y la de Imprenta. El historiador peruano Jorge Paredes agrega: “…formó parte del núcleo más duro del ala liberal y republicana y estuvo en favor de la tolerancia religiosa -hubo un gran debate ahí- ; […] estuvo del lado de Riva Agüero en la guerra civil de 1823”. En la elaboración de las bases de la Constitución de 1823, el autor José Pareja lo nombra como uno de los diputados más destacados.
Olmedo llegó a Perú, país en caos que no estaba totalmente independizado. A diferencia de Ecuador que entre la Independencia de Guayaquil, 1820, y la del resto de la Audiencia de Quito (ADQ) a 1822, le tomó menos de 2 años sacar a los españoles. en Perú duró 5 años, de 1821 a 1826. Lograr la libertad de todo el territorio fue difícil hazaña. Siendo el asiento del Virreinato donde funcionaba el virrey, había 20.000 soldados realistas, muchos más que los a disposición de Melchor Aymerich, último presidente de la ADQ. La Independencia de 1821 fue simbólica, habría otra en 1824 con el triunfo de las batallas de Junín y Ayacucho, y finalmente la de 1826 en la que los patriotas recuperaron el Callao. El primer período se conoce como Protectorado, son los tiempos de San Martín. El segundo período es el de Riva Agüero y el tercero el de La Mar, Torre Tagle y finalmente la Dictadura de Bolívar
A dos meses de haber llegado, fue electo diputado al Congreso por la provincia de Puno, se trataba del primer congreso constituyente. La principal finalidad fue establecer la forma de Gobierno y dictar la Constitución que más convenían a Perú. En cuanto al primer tema, hubo partidarios por la forma monárquica que había impulsado San Martín, pero con su ausencia definitiva, perdió importancia. También fueron electos Francisco Salazar y José La Mar. Olmedo fue el quinto más votado, menos que La Mar (cuencano y cuñado de Rocafuerte) y más que Salazar.
Cuando Olmedo ingresó al Congreso Constituyente de Perú, sus cinco años como diputado en las Cortes de Cádiz y Presidente de la Junta de Gobierno de Guayaquil, lo ubicaba como uno de los de mayor experiencia; había aprendido a debatir, tomar difíciles decisiones y pelear por sus principios. Intervino en los temas más importantes y propuso algunas resoluciones. Su desempeño fue diferente al de los debates en Cádiz donde tuvo pocas intervenciones. Numerosos legisladores e historiadores peruanos lo elogian por sus luces y ética, por ser muy versado en leyes, etc.
En el tercer día de sesiones, la Asamblea procedió a crear el reglamento de la Junta Gubernativa; en la discusión de este, Olmedo estuvo en desacuerdo con la redacción de uno de los artículos que establecía que para tener el control y dirección de las fuerzas armadas, la Junta Gubernativa debía recibir la aprobación del Congreso. Su propuesta estableció que “La Junta Gubernativa tenía el mando supremo de ellas, […] dispondrá de ellas como convenga…”, es decir, no tenía que consultar, pero el Congreso debía estar informado. Su propuesta fue aceptada. Olmedo había sentido en carne propia lo que era un Ejecutivo sin poder dar órdenes a los militares. Como Jefe de Gobierno en Guayaquil, tuvo la experiencia de sus desencuentros con Sucre. El 14 de octubre de 1822 el presidente de la Asamblea Constituyente creó la Comisión de Bases de la Constitución. La responsabilidad recayó en Luna Pizarro, Hipólito Unanue, José Joaquín Olmedo, Manuel Pérez Tudela y Justo Figueroa. Unanue luego sería Ministro de Relaciones Exteriores y con quién Olmedo tendría frecuente cruce de cartas cuando se encontraba en Londres representando a Perú.
Olmedo continuó como legislador hasta junio de 1823, cuando viajó a Ecuador encabezando una misión. No regresó a Perú, renunció al cargo del Congreso. En 1825 representó a Perú en el Reino Unido.
