刘邦为人仁厚而爱护他人，乐善好施，个性洒脱豁达、不拘小节，颇有度量。但他不喜欢跟家人一样从事农作生产，所以常被父亲训斥。早年也曾因时常带人寄食，与其嫂发生过矛盾。
丰邑和沛县曾隶属魏、楚，刘邦的青少年时代成长在魏楚交界地带，受到两国文化氛围的熏陶，其人熟习楚歌，又仰慕魏国英雄信陵君魏无忌的德行。后来有能力西行至魏国各地时，信陵君已故去多年，曾是信陵君门客的张耳在魏国担任外黄县令，招致四方门客。当时秦国已展开攻灭魏都大梁的战役，刘邦到外黄多次随同张耳交游，以宾客身份相处数月之久。
秦始皇二十二年（前225年），秦灭魏之后，张耳成为秦廷通缉犯，门客皆散去。刘邦回到家乡沛县。
秦始皇二十四年（前223年），秦灭楚，沿袭楚旧郡设立泗水郡。进入壮年后的刘邦通过试补成为秦吏，做了泗水的亭长。在任上，他和县廷的每个官吏都能亲昵地调笑，又喜欢喝酒，爱好美色。
刘邦曾经到秦朝首都咸阳参加徭役，其间任意观览，望见了秦始皇，非常地感叹说：“哎呀，大丈夫就应当像这样啊！”
当时，单父县人吕公因为和沛令是好友，躲避仇家搬到沛县定居。沛县的豪杰官吏听说县令有贵客，都去拜访祝贺。当时主持接待的是在沛县担任主吏的萧何，他规定说：凡是贺礼不到一千钱的人，一律坐到堂下。刘邦时任亭长，向来看不上那些官吏，就在名帖上假称：“贺钱一万！”实际没带一个钱。名帖递入后，吕公大惊，起身到门口来迎接他。
吕公喜欢相人，看见刘邦的形态样貌，就非常敬重他，领着他入席就坐。萧何说：“刘季一向满口说大话，很少做成什么事。”刘邦趁机亲近地戏弄席间诸位宾客，干脆就坐到首席去，丝毫不畏缩。饮酒到尽兴时，吕公向刘邦递眼色，让他一定留下来，刘邦喝完了酒，就留在后面。吕公说：“我从年轻的时候就喜欢给人相面，经我给相面的人多了，没有谁能比得上你的面相，希望你好自珍爱。我有一女愿意许给你做洒扫的妻妾。”酒宴散了，吕媪对吕公大为恼火，说：“你当初总是想让这个女儿出人头地，把她许配给贵人。沛令跟你要好，想娶这个女儿