Inicialmente, la Katana era conocida como Tsurugi, y su forma y material se basaba en las espadas chinas, constando de hoja de doble filo recta. Además, si en origen se importaban a Japón desde el gigante asiático, pronto fueron herreros coreanos y chinos residentes de el Imperio del Sol Naciente quienes las fabricaban.
Años después, especialmente durante el periodo Nara, del 711 al 794, los japoneses comenzaron a desarrollar su estilo único que se basaba en la hoja curvada de un solo filo. En esta época fue cuando Amakuni, el célebre herrero, según la tradición, se adelantó a implementar el Sori, es decir, la curva, en las espadas.
Más tarde, en el periodo Heian, del 794 al 1185, las espadas ampliaron su Sori para las batallas a caballo, ya que necesitaban mayor longitud para ser efectivas. Recibieron el nombre de Tachi.
Entre el 1192 y el 1336, durante el periodo Kamakura, la producción de espadas se amplió bastante. Así pues, dado que fue un tiempo de muchas guerras, estas armas se perfeccionaron. Célebres son los filos que se usaban en las batallas entre los clanes Minamoto y Taira.
Con los avances metalúrgicos y tecnológicos, el temple y la fragua de las espadas mejoró considerablemente. También la evolución de las estrategias militares tuvieron que ver en la evolución de estas armas. Así pues, fue un tiempo en que cobró gran importancia la espada de golpeo o Uchi-gatana, de cuyo uso nación el battojutsu.
Entre 1336 y 1573, conocido como periodo Muromachi, las espadas japonesas comenzaron a parecerse mucho más a la Katana que hoy conocemos. Así pues, de la Uchi-gatana nació el Daito y la Wakizashi o Shoto, espadas más cortas. Ambas eran conocidas como Daisho en conjunto.
Llegados a este punto, el factor básico que dio pie a la Katana fue el traslado de la capital imperial a Kamakura. Allí se innovaron las técnicas de forja gracias al contacto comercial con China, y surgieron maestros como Masamune o Goro Nyudo, quien introdujo la técnica Shosu. Al combinar acero blando y duro, lograba un filo fuerte que son se dobla y capaz de traspasar armaduras.