일본의 구석기는 인류가 일본열도에 거주하기 시작한 것으로 추정되는 기원전 약 9만~8만 년 전부터 기원전 1만 6천 년 전까지로 본다. 이 시기는 아직 일본열도가 아시아대륙과 연결되어 있을 때로 사냥감을 따라 이동해 온 것으로 해석된다. 일본열도에서 발견된 출토품으로 보아 이들은 타제석기를 사용하며，수렵，어로， 채집 생활을 하는 단계였다. 이 시기의 토기 사용에 대해서는 일본 학계에서도 의견이 분분하다.
일본열도는 약 만 2천 년 전경에 빙하기가 끝나고 지구가 온난해지면서 해수면이 상승하면서 아시아대륙에서 분리되었다.
기원전 약 1만 년 전부터 기원전 3세기경까지의 약 8천 년간을 縄文時代라고 부른다. 새끼줄 무늬의 토기가 발견된 것에서 명명된 이 시기는，타제석기와 더불어 마제석기와 골각기가 사용되고，움집을 짓고 공동생활을 했다. 일본 각지에 주거지 주위에 쌓여 만들어진 패총(貝塚)이 남아 있으며，패총에서는 석기가 출토되었다. 縄文人은 나무 활을 이용한 수렵과 어로，채집 생활을 했는데，유적지를 조사한 결과 원시적 형태의 농사도 행해진 것으로 보인다.
기원전 3세기부터 기원후 3세기까지 약 600년간 지속된 弥生時代는 도쿄(東京)의 弥生町에서 발견된 弥生式土器에서 명칭이 유래했다.
弥生式土器는 縄文土器보다 튼튼하고 세련된 형태를 보인다. 이 시기에는 청동기와 철기가 시용되고，벼농사를 중심으로 한 농경사회가 발전하면서 정착생활을 하게 되고，이것이 집단 촌락(村落)의 형태에서 확대되어 나라(国)가 생겨났다 이 시기에 많이 만들어진 墳丘墓는 집단 수장의 것으로 보이며，이것으로 이때부터 신분의 차가 생겨나기 시작한 것을 알 수 있다.
당시의 일본은 중국의 後漢書에 1세기경 倭人의 나라에서 使者가 와 後漢의 황제가 金印을 하사했다 라는 기록에서 알 수 있듯이 倭라고 불렸다. 또한 중국 魏志의 「倭人伝」에는 왜인의 나라는 30여 개의 소국으로 나뉘어져 있으며，그 중에서 여왕 卑弥呼의 耶馬台国이 제일 강한 나라라고 기록되어 있다.
3세기 중후 반부터 6세기 후반까지를 古墳時代라고 한다.3세기 중반 왕을 중심으로 한 호족의 연합정치 형태를 띤 大和朝廷이 국내를 통일하였다. 4세기 후반에 들어서 한반도와 중국에서 건너간 많은 사람들이 선진 문물과 기술을 전하고 직접 일을 담당하기도 했는데，이들을 渡来人이라고 한다.6세기 중엽에는 백제에서 불교가 전해졌다. 이러한 도래문화들은 일본의 학문，사상，종교，예술 등의 기초가 되었다 또한 3세기 중반부터 畿内 를 중심으로 자신의 힘을 과시하려는 豪族들의 古墳들이 일본 각지에 만들어지기 시작했다. 大阪地方에 있는 일본에서 가장 큰 大山陵古墳은 길이가 486m，높이가 35m에 이른다.