度过21世纪初的互联网严冬，马云又有了新的想法。这想法在孙正义的支持下得到了实施，由于阿里巴巴的B2B网站属于批发类型，中国民间的普通买家与卖家还不能在这上面交易。同时，2003年一场极为恐惧的传染性疾病横扫亚洲，很多人躲在家里，包括阿里巴巴的员工都尽量在办公室里操作，减少了去公共场所的频率。
为此，建设一个民间可以使用、个人可以交易的网站成了马云的首选。也就是在这种情况下，淘宝网诞生了。
化名为“小宝”的柴栋至今还记得，2003年4月10日，阿里巴巴的战略总经理跑过来让他留下，说有要事同他聊。结果他一进办公室，就发现马云和其他高管也在里面。马云对他说：公司要准备做一个项目，但现在不能告诉你，你只有答应做了，才能告诉你做什么。
柴栋没有犹豫就接下这个神秘的项目，他与另外9个人同公司签订了“保密”协议。几天后，他们被带到杭州文一西路176号的湖畔社区，这里的风荷院16栋1号202房，曾是马云的房子，后来创办阿里巴巴时，又成了公司的办公室。
带上行李，从公司搬来了电脑和办公桌，马云花了几千美金从美国买了一套C2C交易系统，就这样淘宝网开始运营了。“看看这些投入，你就知道那时淘宝还是试验品。”柴栋回忆说。
没有任何经验，柴栋和同事，就成天泡在易趣和eBay上购物，仔细研究从商品发布到用户收货的每一个细节。“eBay上的用户，多数来自于欧美，最初是拍卖用过的家具，虽说是置换，但很多还是古董，拍卖一件商品价格并不低，利润可以高达200%到300%，所以eBay收费完全没问题。”柴栋说，经过对比，他们发现中国没有这样的基础。
他把自己的意见反馈给马云，马云也大胆采用了阿里巴巴的惯例，用免费来招揽卖家。“淘宝网3年内不许盈利。”这是马云最初对淘宝网下的死命令，事实上这也就是个宣传噱头，因为创建之初的淘宝，根本也不可能盈利。
但是，马云这一决策无疑是正确的，它给淘宝的生存和发展带来的影响无论怎样评估都不为高。
张林 (化名)就是被感召的早期卖家，他的淘宝小店，最早卖的产品是一种骷髅头围巾，每条能赚两块钱，这样一点一点卖起来。“15块钱的东西，有些人还会要你包邮。有个朋友卖5毛钱的头绳，每条赚1毛钱，有个新疆的买家还问包邮吗——邮费就要20块!”
他形容这个时期的淘宝为“蛮荒时代”，“全靠卖家自身能力和对产品的感觉去卖东西，没有任何可以利用的工具”。
从2006年开始，淘宝的运营部门开始筛选一些优质卖家，做一些针对活动，比如单款打七折包邮，或者搭配其他商品减价等。这也是淘宝开始尝试将流量转换成交易额的开始。当年，淘宝推出“招财进宝”，这个产品让卖家通过付费，获得更靠前的搜索结果排名，而卖家则根据成交额跟淘宝协议支付费用，但推出没几天，就遭到4600名卖家罢市反对，最终只有取消。
“招财进宝”的设计，不难看出其中“中国供应商”的影子，都是用流量来换取收益的产品思路，只是前者被没有多少财力的卖家认为不公平，导致淘宝第一次盈利探索以失败告终。其后，淘宝小心翼翼地推出“淘宝直通车”、旺铺等广告和增值服务收费。
张林说，这时期淘宝进入了“铁器时代”，营销工具开始丰富起来，一些刚毕业的大学生纷纷选择到淘宝创业，到2007年、2008年，淘宝销售额狂飙突进，到淘宝购物一度成为城市小白领和大学生们的生活方式。
此时的淘宝在C2C领域成为王者，但外面却兴起了B2C热潮，当当、京东、红孩子、凡客诚品一个接一个吸引人们的眼球，很多人买书会选择去当当，买家电到京东，买衬衫到凡客，而这些网站如今都发展成为综合商城，有的还已上市，在美国，B2C的标杆企业亚马逊市值也早已压过C2C的标杆企业eBay。
于是，2007年，B2C的淘宝商城开始出现在淘宝页面上；2008年4月，淘宝成立商城事业部，由淘宝前副总裁黄若带队，淘宝商城首次“独立”；4个月后，商城事业部解散，“商城”再次并入淘宝;到2009年8月，商城事业部恢复，由淘宝CFO张勇兼任“商城”总经理，再次尝试独立运营。
这一次到2010年11月1日，淘宝商城启用新域名，成为独立站点。如今淘宝分拆后，张勇成为新公司总裁。
淘宝商城起起伏伏，一波三折，但重要性日益突出，各种活动和规则也都明显往商城方向发展。从2008年开始，张林注意到，很多淘宝卖家，已经越来越多采用企业化运作方式来经营自己的店铺。他认识的一个卖家，不仅自己设计品牌，自己找加工厂代工生产，还聘请专职客服，甚至雇用专业的数据分析师，及时对网购市场的变化做出反应。
这个时期的淘宝给他的印象，是一个讲究精雕细琢营销的“木匠时代”,秒杀、淘品牌、淘宝天下、聚划算、一淘促销……淘宝上的营销工具和营销活动多达几十个，以前做淘宝，张林总觉得最重要的是货源，第二是摄影，广告也不去打。结果是常常感到不知所措：“每次淘宝规则一变，我的生意就又差了一点，我从来都不善于分析这些规则。”
然而，成立之初压根就没考虑赚钱的淘宝，尽管开发出多达几十个不同的收费项目，却依然没有一个主力营收项目。而淘宝分拆后，淘宝网被认为将以广告和服务费模式赚钱，淘宝商城目前是佣金和入驻费用，“一淘”网则可以采用竞价排名。
事实上，淘宝网的广告收费增长空间有限，“一淘”是否采用竞价排名尚未明确，淘宝商城自然被认为在“大阿里”战略中背负重任。淘宝商城资深总监马学军就正在进行一些尝试，他主导的线下家装体验馆“淘宝商城爱蜂潮店”刚刚在北京开业。这个爱蜂潮店的商品全都来自淘宝商城家装市场近300家厂商，已涵括了众多OEM厂商、网货品牌，也包括曲美、全友等家具企业，马学军的设想是让用户到线下2.5万平米的实体店体验家具，然后再到网上交易。
“我们有一款价值2.6万的沉船木家具，这种家具一般都用于别墅，当时我们还在想，会有顾客来淘宝光顾这样的商品吗?谁知第一天就卖出了。”马学军对此始料未及，但他总结在爱蜂潮店，贵的家具往往十分畅销，“富人们居然也喜欢到淘宝购物”。
很明显，淘宝商城将触角伸进了奢侈品市场。这也正是淘宝商城为何一年前交易额还排在京东之后，而在一年后却排名第一，并比其余29家B2C网站交易额总和还要高的原因。当京东商城董事长刘强东还在强调向所有暴利行业开战时，淘宝商城早已向高价商品敞开了胸怀。
张林说，他们很多小卖家私底下将这个时期称为淘宝网的“黄金时代”。
在马云的宏伟蓝图里，支付宝是连接所有环节的通道。但在现行的金融政策下，这条通道却并不好走。支付宝从一诞生，就面临着种种政策限制。支付宝银行服务部副总经理袁雷鸣回忆，2005年，马云亲自拜访时任中国银联总裁万建华，他希望与银联合作，让中国境内所有银行发行的银联卡，不用开通网银就能在网上支付。
当时网银不仅申请步骤麻烦，有的银行还需要到柜台绑定U盾，同时每一家银行，支付宝还需要单独谈判才能支持接入。
马云的这个想法来自PayPal。因为有VISA和Master等卡组织支持，只要是两个卡组织的信用卡或银行卡，都可以通过 PayPal进行支付，而不需要用户再额外向银行签约。
但万建华还是对他摇了头。跟欧美不同，中国的银行卡只能给其他银行卡汇款转账，而如果其他银行或组织要从银行卡里扣款，就绝对行不通。原因是中国没有健全的银行卡赔付体系，比如在美国，即使持卡人被盗刷、盗现再多金额，个人最多也只需承担50美金。中国的商业银行都不愿意为此承担风险，所以就算央行也不可能从任何一家银行卡里扣款。被拒绝的马云，也只得回到现实，让支付宝慢慢地同各个商业银行谈判，直至今日，使用支付宝，最后的支付页面都来自于各家银行系统。
在这个漫长过程中，2008年1月，马云让原淘宝网副总裁邵晓锋出任支付宝执行总裁。邵晓锋曾经任职杭州重案队长，拥有多年刑侦经验，为人稳重，也许当时马云是想凭借邵晓锋的经历，让中国的商业银行觉得支付宝安全可靠。
邵晓锋就任后，极力推动了支付宝走向独立，他将业务发展部除负责淘宝外的同事全部抽调出，分别组建了航空旅游、B2C平台、公共事务缴费、保险、虚拟产品、教育考试、海外购物和数字娱乐等八个支付小组，每个小组都积极向外拓展外部商户。
到2010年，支付宝的外部商户达到46万家，支付宝的应用范围也越来越广，2009年底邵晓锋以黑礼帽、黑墨镜、黑披风以及一条红短裤的“佐罗”造型，通过“裸奔”方式来庆祝支付宝日交易量突破12亿元大关。
但马云对这样的成绩却并不满意，支付宝与银行关系仍然推进得太慢，邵晓锋任上，甚至发生民生银行信用卡停止支付宝交易的事情，在信用卡还款上，支付宝也不比财付通或者快钱有优势，支持支付宝还款的银行只有11家，而财付通及快钱则都有18家。
在2010年支付宝年会上，从来不轻易公开指责员工的马云，从头到尾都黑着脸，痛骂支付宝的固步自封，用户体验“烂、烂、烂，简直烂到了极点”。连续几个烂字，甚至把五大三粗的邵晓锋当场骂哭了。
实际上，支付宝内部人士评论说，邵确实对支付宝业务的复杂性与安全性考虑很充分，但他也对前方存在的安全风险和政策风险过于担忧。支付宝的支付方式一直都十分麻烦，唯一便捷的支付方式一卡通，还需要到银行签署协议，才能开通，而且支持卡通的银行一直都很少，信用卡更是没有。
正因为此，马云在痛骂过后，更作出了人事更换的决定，由集团首席人力资源官彭蕾接替邵晓锋，出任支付宝公司首席执行官。彭蕾是阿里创业元老，一直负责整个集团的价值观文化，并掌控集团高级干部培养与管理大权，被视为阿里巴巴团队中仅次于马云的“二号人物”。
不仅如此，马云还对支付宝的内部人事和组织结构进行了大调整，金融事业部、商户事业部和用户事业部三个部门负责人，全部在2010年7月更换。支付宝商户事业部高级经理程维，正是在这次更换中来到了支付宝。
“我们最紧要的任务，就是要确立属于支付宝的商业模式，这套商业模式的基础就是我们现在正在做的快捷支付。”程维说，他们这批中层来到岗位，用了半年时间思考公司未来方向，他们发现马云说的用户体验问题，主要就集中在使用网银实在太麻烦，支付宝支付成功率一直维持在60%左右这一点上。
成功率如此之低，支付宝在向外部商户合作时，自然就不可能收到较高的手续费。据支付宝内部人事透露，普通支付方式，支付宝向外部商户收取佣金只有千分之二，而使用新的快捷支付，支付宝可以收取到千分之五以上的佣金。
所谓快捷支付，就是只要有银行卡或信用卡，用户无须办理网银，直接输入支付宝支付密码即可完成付款，且所有开通程序只需在网上操作。“要让银行合作，我们只有提高付给的手续费，而且还得拿出部分资金作为保证金。”淘宝新业务部总经理袁雷鸣说。
终于，支付宝宣布包括工行在内的10家银行信用卡支持支付宝快捷支付，马云还让支付宝成为内资公司。后来，央行终于发放首批第三方支付牌照，支付宝是所有27家公司中获得业务许可最多的公司。