Aufgrund archäologischer Funde wurde postuliert, dass die Hominidenaktivität in Japan bereits 200.000 v.Chr. als die Inseln mit dem asiatischen Festland verbunden waren. Obwohl einige Wissenschaftler diesen frühen Zeitpunkt für die Besiedlung bezweifeln, stimmen die meisten darin überein, dass um 40.000 v.Chr. Die Vereisung hatte die Inseln wieder mit dem Festland verbunden.
Aufgrund archäologischer Beweise stimmen sie auch darin überein, dass zwischen 35.000 und 30.000 v. Homo sapiens war aus Ost- und Südostasien auf die Inseln gewandert und hatte sich als Jagd- und Sammlerland sowie als Werkzeugmacher etabliert. Auf allen japanischen Inseln wurden Steinwerkzeuge, Siedlungsstätten und menschliche Fossilien aus dieser Zeit gefunden.
Stabilere Lebensmuster führten zu etwa 10.000 v.Chr. zur neolithischen oder, wie einige Gelehrte behaupten, mesolithischen Kultur. Möglicherweise entfernte Vorfahren der Ureinwohner der Ainu im modernen Japan, Mitglieder der heterogenen Jomon-Kultur (ca. 10.000-300 v. Chr.), Hinterließen die deutlichsten archäologischen Aufzeichnungen. Um 3.000 v. Chr. Fertigten die Jomon Tonfiguren und Gefäße, die mit Mustern verziert waren, indem sie den feuchten Ton mit geflochtenen oder nicht geflochtenen Schnüren und Stöcken (Jomon bedeutet „Muster aus geflochtenen Schnüren“) mit wachsender Raffinesse einprägten. Diese Leute benutzten auch angeschlagene Steinwerkzeuge, Fallen und Bögen und waren Jäger, Sammler und geschickte Küsten- und Tiefwasserfischer. Sie übten eine rudimentäre Form der Landwirtschaft aus und lebten in Höhlen und später in Gruppen von temporären flachen Grubenwohnungen oder oberirdischen Häusern, so dass reichhaltige Küchenmitten für moderne anthropologische Studien übrig blieben.
Bis zur späten Jomon-Zeit hatte laut archäologischen Studien eine dramatische Verschiebung stattgefunden. Der beginnende Anbau hatte sich zu einem ausgeklügelten Reisfeldbau und staatlicher Kontrolle entwickelt. Viele andere Elemente der japanischen Kultur stammen möglicherweise ebenfalls aus dieser Zeit und spiegeln eine vermischte Migration vom nordasiatischen Kontinent und dem südpazifischen Raum wider. Zu diesen Elementen gehören die shintoistische Mythologie, die Bräuche der Ehe, architektonische Stile und technologische Entwicklungen wie Lackwaren, Textilien, Metallverarbeitung und Glasherstellung.
Die nächste Kulturperiode, die Yayoi (benannt nach dem Abschnitt von Tokio, in dem archäologische Untersuchungen ihre Spuren entdeckten), blühte zwischen etwa 300 v. und 250 n. Chr. von Süd-Kyushu nach Nord-Honshu. Die frühesten dieser Leute, von denen angenommen wird, dass sie von Korea nach Nord-Kyushu ausgewandert sind und sich mit dem Jomon vermischt haben, verwendeten ebenfalls Steinhackschnitzel. Obwohl die Keramik der Yayoi technologisch weiter fortgeschritten war, war sie schlichter dekoriert als Jomon-Ware.
Die Yayoi stellten nicht funktionierende Bronzeglocken, -spiegel und -waffen her und im ersten Jahrhundert v. Chr. Bauten sie landwirtschaftliche Werkzeuge und Waffen aus Eisen. Als die Bevölkerung zunahm und die Gesellschaft komplexer wurde, webten sie Stoffe, lebten in dauerhaften Bauerndörfern, errichteten Gebäude aus Holz und Stein, sammelten Reichtum durch Landbesitz und Getreidelagerung und entwickelten unterschiedliche soziale Schichten. Ihre bewässerte Nassreiskultur ähnelte der in Zentral- und Südchina und erforderte einen hohen Einsatz menschlicher Arbeitskraft, was zur Entwicklung und letztendlich zum Wachstum einer stark sesshaften Agrargesellschaft führte.
Im Gegensatz zu China, das massive öffentliche Bau- und Wasserkontrollprojekte durchführen musste, was zu einer stark zentralisierten Regierung führte, verfügte Japan über reichlich Wasser. In Japan waren lokale politische und soziale Entwicklungen daher relativ wichtiger als die Aktivitäten der Zentralbehörde und einer geschichteten Gesellschaft.
Die frühesten schriftlichen Aufzeichnungen über Japan stammen aus chinesischen Quellen aus dieser Zeit. Wa (die japanische Aussprache eines frühen chinesischen Namens für Japan) wurde 57 n. Chr. Zum ersten Mal erwähnt. Frühe chinesische Historiker beschrieben Wa als ein Land mit Hunderten von verstreuten Stammesgemeinschaften, nicht als das vereinte Land mit einer 700-jährigen Tradition, wie es in der Nihongi, das um 660 v. Chr. Die Gründung Japans begründet.
Chinesische Quellen aus dem dritten Jahrhundert berichteten, dass die Wa von rohem Gemüse, Reis und Fisch lebten, der auf Bambus- und Holzschalen serviert wurde, Vasallen-Meister-Beziehungen unterhielten, Steuern einbrachten, Getreidespeicher und Märkte besaßen und sich in die Hände klatschten (was immer noch geschah) in shintoistischen Heiligtümern) heftige Nachfolgekämpfe geführt, irdene Grabhügel errichtet und Trauer beobachtet. Himiko, eine Herrscherin einer frühen politischen Föderation namens Yamatai, blühte im dritten Jahrhundert auf. Während Himiko als geistlicher Führer regierte, führte ihr jüngerer Bruder Staatsgeschäfte durch, zu denen auch diplomatische Beziehungen zum Hof der chinesischen Wei-Dynastie gehörten (220 bis 65 n. Chr.)..