My studying notes for Java,Ruby,Ajax and other any interesting things.

星期一, 三月 02, 2009

[fwd]豆瓣的"指环王文化"

豆瓣技术团队的指环王文化

from:http://blog.douban.com/douban/2007/12/17/105/
hongqn 12-17-2007

douban" 在豆瓣世界的史前时代,即第一纪(the First Age),那是一个没有历史记载的年代,我们只能通过真假难辨的传说来略微揣测一下当时的史实。传说那时只有一个人类,名叫阿北。有一天,他有了一台服务器,他把它命名为"佛罗多"(Frodo)。他为佛罗多开发了一个程序,起名叫"夏尔"(Shire),不过后来更广为人知的是它的大名――"豆瓣"。后来,很多人从虚无中迁移到夏尔这片土地上,读书,看电影,听音乐,交流信息。人数有百万人之多。"

从阿北开始,豆瓣的技术人员很多都是《指环王》小说电影的fans。06年阿北给我们秀他新买的MacBook Pro,就是在周五的Happy Hour用投影播放《双塔奇兵》。大家在给自己的作品起名时,按照惯例往往采用指环王里的人名和地名,久而久之,就形成了豆瓣技术团队的指环王文化。

豆瓣所有的服务器都以指环王里的人物为名,大家各司其职:佛罗多早已从前台退役,现在作为开发和测试用机;梅里(Merry)和山姆(Sam)这两个霍比特人挑起了大梁,承担起所有用户的请求,向豆友们展现丰富多彩的页面;四个神仙级的精灵:双胞胎爱隆(Elrond)和爱洛斯(Elros),森林女王凯兰崔尔(Galadriel)和灰港之主瑟丹(Círdan)用他们伟大的智慧和不死的生命保护着用户的所有数据;爱隆之女,美丽的亚玟公主 (Arwen)帮助用户迅速搜索到想要的信息;另一个霍比特人皮聘(Pippin)和英俊的精灵王子勒苟拉斯(Legolas)执行着一些后台任务;人皇阿拉贡(Aragorn)和刚铎摄政王的儿子波罗莫(Boromir),这两个强壮的人类和矮人金雳(Gimli)一起,承担着数据挖掘的重担;而波罗莫的弟弟法拉墨(Faramir)则逐步接管起图片的显示。运行着英文版豆瓣和豆瓣blog的服务器在美国,由于它离我们比较远,因此我们用中土世界跑得最快的马命名它――甘道夫的坐骑影疾(Shadowfax)。

豆瓣的各个软件项目是用指环王里的地名命名。霍比特人的家园夏尔(Shire)是豆瓣主站项目,希望豆瓣能够成为豆友们开心生活的乐土;数据挖掘项目建立在精灵城堡瑞文戴尔(Rivendell)之上;蜘蛛横行的幽暗森林(Mirkwood)是我们的爬虫项目;而九点依赖的RSS抓取项目,由于博客文章的增长速度惊人,就像被批量制造的兽人(Orcs)一样,我们用最后决战时兽人涌出的地点――黑门(Black Gate)――作为项目名。猜猜RSS抓取主程序的名字叫什么?对,就叫makeorcs.py :) 另外,我们正在开发中的高性能分布式计算平台,当然得拥有一个power到令人害怕的名字: 魔多(Mordor) :p

在开发上,开发团队采用了敏捷开发方法,每周一次迭代,以迅速响应不断变化的需求。每周的进展都会有一个code name,我们跟随着佛罗多的脚步,从霍比屯(Hobbiton)出发,每周前进一段距离,到达的地点作为下周的code name。比如,下面这段就是我们某周开发工作周报的开头部分:

Milestone: Sprint #8 (Green Hill)
往东南方走了一阵之后,他们来到了绿丘乡(Green Hill Country)。Frodo在山坡上向远方Hobbiton的灯火挥手道别。"不知道我以后还有没有机会再看到这个景象。"他低声说。
上周开发团队关闭了13个ticket,完成了Sprin#8。

一路艰辛跋涉,到现在已经36周过去了,我们成功的躲过了黑骑士的追杀,走上了销毁魔戒的漫漫征途,目前正来到了矮人的地下都市摩瑞亚的墙外(Wall of Moria)。前方还会有很多艰险,但我们将继续坚定的走下去。

在豆瓣,每周都会有一次技术交流会议,每个人轮流主讲,分享自己近期关注的技术点,每次讲完后都会引发热烈的讨论。就像精灵王爱隆召开会议讨论组建魔戒远征军一样。我们用会议的召开地――瑞文戴尔的烈火之厅(Hall of Fire)――命名我们的技术论坛。

豆瓣的指环王文化给相对枯燥的开发工作注入了乐趣,当我们在用frodo等名字称呼我们的服务器时,真的就感觉到那是一个个有个性的可爱的生灵。豆瓣的开发团队也像魔戒远征军一样,虽然路途遥远困难重重,但大家各尽所长,团结一心,最终终将胜利!

P.S. 最近豆瓣的条目图片所使用的虚拟服务器也用几个霍比特人来命名了,有人发现了吗?

[fwd]解读-豆瓣的“指环王架构”

解读豆瓣的"指环王架构"
 
from:http://bigqiangbigqiang.spaces.live.com/blog/cns!64A5E0FB4DFCD63F!697.entry
 
豆瓣的官方博客前几天发表了"豆瓣技术团队的指环王文化",文中笔调谐趣地道出《指环王》渗透入豆瓣的方方面面的场景,不经意间也透露出些许网站的"指环王架构"信息。我稍微做了一下整理,对有些信息做一些适当推测。
 
两台Web服务器承担。一台可能负责读书、电影、小组等;另一台负责9点。这两台服务器应该不是在前端的,豆瓣的网址应该都经过反向代理Rewrite过的,因此放在前端的可能还有几台硬盘缓存服务器(Squid?)做静态文件缓存,数目不详。
原文:梅里(Merry)和山姆(Sam)这两个霍比特人挑起了大梁,承担起所有用户的请求,向豆友们展现丰富多彩的页面。
 
应该还有几台Web服务器运行豆瓣的英文版及官方博客。不过从注册用户分离上看豆瓣英文版架构与中文版架构间关联度不大。
原文:运行着英文版豆瓣和豆瓣blog的服务器在美国,由于它离我们比较远,因此我们用中土世界跑得最快的马命名它――甘道夫的坐骑影疾(Shadowfax)。)
 
四台数据库服务器。这四台服务器的职能如何切分的还不清楚。如果这四台服务器是采用主从的架构,难道双胞胎爱隆和爱洛斯这两台是Slave服务器,森林女王凯兰崔尔(Galadriel)和灰港之主瑟丹(Círdan)是Master服务器?呵呵,瞎猜。
原文:四个神仙级的精灵:双胞胎爱隆(Elrond)和爱洛斯(Elros),森林女王凯兰崔尔(Galadriel)和灰港之主瑟丹(Círdan)用他们伟大的智慧和不死的生命保护着用户的所有数据。
 
一台服务器做整站的全文检索
原文:爱隆之女,美丽的亚玟公主(Arwen)帮助用户迅速搜索到想要的信息。
 
两台服务器做后台服务。可能是RSS抓取及爬虫搜索的服务。
原文:另一个霍比特人皮聘(Pippin)和英俊的精灵王子勒苟拉斯(Legolas)执行着一些后台任务。
 
三台数据挖掘服务器
原文:人皇阿拉贡(Aragorn)和刚铎摄政王的儿子波罗莫(Boromir),这两个强壮的人类和矮人金雳(Gimli)一起,承担着数据挖掘的重担。
 
一台图片文件服务器。以后豆瓣用户的头像、图书、电影等的图片都会由这台服务器来存储维护。从更广的方面讲,可能所有的css、js角本这样的静态文本都会被存储在这台服务器上。
原文:而波罗莫的弟弟法拉墨(Faramir)则逐步接管起图片的显示。
 
以上豆瓣的服务器架构的分配,实际上从这个服务器架构上还很难了解到到豆瓣如何处理负载均衡的。这里仅做初步认识好了。下面是豆瓣团队的软件开发项目。
 
豆瓣现有的软件项目:
豆瓣主站、数据挖掘、搜索爬虫、RSS抓取(9点)、高性能分布式计算平台。
 
开发:
开发团队采用了SCRUM敏捷模型的开发方法,Sprint的周期7天(周一迭代),以迅速响应不断变化的需求。每周的进展都会有一个code name。
 
看看以后豆瓣官方能否透露出更多的"指环王架构"细节。比如那个高性能分布式计算平台(这个名字很邪恶,叫魔多),或者一些没有提到的功能超级无敌的项目(似乎豆瓣的命名规则是越邪恶功能越强大,因此这个项目可能是未知的"索伦之眼":-D)等等

[fwd]当当和豆瓣网的分析对比

第三次作业-豆瓣网与当当网 (2008-10-20 22:13:53)
 
from:http://blog.sina.com.cn/s/blog_5bf58f810100bgfl.html 

豆瓣网与当当网的比较研究

内容摘要:当当网是全球最大的中文网上商城,面向全世界网上购物人群提供近百万种商品的在线销售,包括图书、音像、家居、化妆品、数码、饰品等数十精品门类; 豆瓣是一家Web2.0网站,主要通过用户点击及购买电子商务网站的相关产品,来获得收入。在豆瓣上,你可以自由发表有关书籍、电影、音乐的评论,可以搜索别人的推荐,所有的内容、分类、筛选、排序都由用户产生和决定,甚至在豆瓣主页出现的内容上也取决你的选择。那么在核心数据、用户群体等方面,这两个网站又有什么差别呢?

关键词:网站、数据、用户、界面、差异

 

进入21世纪后,世界正式进入了网络信息时代。大小网站层出不穷,为大众提供了各类网上服务、信息平台,豆瓣网和当当网便是其中的杰出代表。两个网站所涉及的似乎都与书籍、电影、音乐有关,但是当你点击进入两个站点之后,便会发现它们还是大有不同的。

 

一、核心数据

豆瓣网:

豆瓣的核心数据为注册用户上传的有关书籍、电影、音乐的评论,以及对于这些书籍等产品在各个网上商城的销售链接,比如当当、卓越。

当当网:

    当当的核心数据为其在站点所销售的各类产品的信息,包括价格、规格、已销售数量等等。这些数据可以通过直接浏览获得,也可以通过信息检索来搜寻。

二、数据来源

豆瓣网:

以注册用户为数据来源,其数据均为用户自主添加,注册用户之间可以分享数据。添加、查看或者发布数据用户都需要注册。是典型的C2C电子商业模式。

当当网:

以供应商目录为数据来源,其目录以可提供货物为依据发布。查看数据不需要注册,购买需要注册。是典型的B2C的电子商务模式。

 

三、界面差异

豆瓣网:

豆瓣简约素雅的界面风格,灵感确实来自于著名的图片网站flickr,学习的还包括它的分享概念。使用这种设计风格,与豆瓣网的产品思维相关,也与豆瓣建站宗旨服务读书人群,与该人群审美喜好吻合。

1、页面技术:采用div+css的页面技术,从《网站重构》一书翻译以来,此种布局方式已经开始深入人心,可说web2.0必备。

2、整体用色:通过色块底色来突出整块内容,重要颜色有浅粉、浅蓝,和白色底结合起来,非常清爽。

3、图片大小:douban.com的核心是书籍、音乐、电影和用户(小组),都采用缩略图,用户(小组)的缩略图小一些。前三者网上的图片一般都比较好看,也必须要大一些,后者因为可以上传,由网站压缩成统一尺寸,所以设计成更小的图,能使得图片显得好看。

4、图片数量:豆瓣网对图片的使用极其吝啬,几乎没有,连用户发评论、发帖都不可发图片。

这样好处是非常明显的,一方面能够使用户专注在文字上,而图片部分都和网站核心相关,不会产生无关的东西。这样的限制与网站用户群锁定喜好阅读人群,较容易接受以文字为主的页面呈现方式相关,对网站独特的用户氛围建立也有帮助。另一方面,这种做法使网站访问速度非常快。

5、网站布局:不管什么页面都是采用相同布局。布局采用上中下方式:最上面为导航;中间为2列方式,左边为页面核心内容,右面为辅助、相关功能及信息;下面是站务导航。所有导航同样没有一张图片。

6、按钮设置:button使用得很少。

7、页面长度:每个页面非常短,一般两屏,不超过三屏。

太长的页面会使用户失去耐心,事实上,3屏以下的页面,用户注意力到达率偏低。因此网站页面长度,2-3屏是最好的选择。长页面只不过是门户网站想多几个广告位置或片面求大求全的做法,并不是每个网站都需要这样。

8、广告设置:豆瓣不同于其他网站,不提供花哨的广告位,目前只有google文字广告和"读书"、"读者"的文字广告在站内一两个页面零星出现。

9、用户路径:只做页面跳转,不使用弹出窗口。

这是用户争议比较大的一个应用。豆瓣在这点的应用与西方网站习惯相同,但对习惯中国网站新开窗口方式的大多数中国用户来说,使用豆瓣都有个重新适应的过程。有用户会投诉,想回看之前看到的有兴趣的东西就必须使用浏览器上的"倒退",相当不方便;又或者只能不断地用鼠标右键新开窗口,对网络新人来说用户体验相当不友好。

当当网:

和大多数网站一样,当当网的网页最上层是分类区,包括店铺名称和专题查询等,方便用户根据自己的要求查询。在左面是商品分类:包括图书、影视、音乐、游戏、杂志等的分类条款。中间是主要的广告内容。在右边就是最近的一些新产品以及TOP排行榜。

栏目设计特点

1.分类搜索:将站内商品分门别类详细列出,用户可以选择自己需要的商品种类,再进行详细查询。

2.组合查找:用户也可以通过商品或图书名称,出版社或发行机构、出版日期等信息直接查找自己想购买的商品。

3.当日特价:列出当日的特价商品以供用户选择。为用户省去了不少的时间和精力。

4.新客特惠:当当网还专门为新客户列出一些特惠商品,让新客户既体验到了网上购物的乐趣又享受到了优惠,一举两得。

5.畅销区:在这里包括了最近最为畅销的商品,一幕了然,十分便捷。

6.特卖场:有些消费者希望购买一些打折商品,那么这里就是你们的天堂。因为在特卖场的商品通常都打了比较多的折扣,但绝对是保证质量的,可谓是物美价廉啊。

除了基本的分类之外,当当网还设置了"精品专题推荐"、本周畅销榜"、"新品快递"等能迅速引起用户注意的栏目。个性化的栏目设计,方便快捷的商品搜寻为当当网赢得了更多的新老客户。

 

四、用户群体

用户年龄

豆瓣网:

主体用户群是19-22岁和23-26岁。19-26岁,这个年龄段,就是读大学或大学刚毕业,属于典型的"月光族",同时,扎堆、相互影响性强。27岁-34岁,这个年龄段,是电子商务的顶级消费群体;收入稳定、消费力很强和时间观念较强等。

当当网:

当当网用户比例主要集中在25-35岁,这个年龄正是引领时尚主流,并最具消费能力的群体。另外在31岁到40岁这个年龄区域当当所占比重大大超过互联网用户的比例。

学历,知识水平

豆瓣网:主要是大专以上。豆瓣的定位是"精英"阶层,豆瓣网用户群多为素质稍高、富有传播能力的人群。豆瓣网最大的用户群是受过高等教育、在大城市生活的白领阶层,第二大用户群是在校大学生。

当当网:网购用户学历结构图(全国网民中大专及以上用户比例仅有36.2%,网购用户中大专及以上用户比例已高达85%。)

 

网购用户学历结构

初中及以下

3.6%

高中

11.5%

大专

25.4%

大学本科

50.3%

硕士及以上

9.2%

合计

100.0%

用户类型

豆瓣网:豆瓣曾经做过一次调查,其调查结果揭示出两点:

1.豆瓣80%的用户在26岁以下,90%的用户在30岁以下��这意味着豆瓣用户比中文互联网用户平均水平更年轻

2.豆瓣用户50%是学生,23%是公司职员,从中可以看出豆瓣的用户学历普遍水平,远远高于中文互联网用户平均水平

结论:年轻、高学历用户是豆瓣的主要用户。

当当网:当当网站的用户多数集中在IT、广告、商业、教育和金融业等高收入的行业中。

用户所在区域

当当网:用户主要分布在一级城市及沿海发达城市,从沿海向内地递减。

豆瓣网:豆瓣的用户是松散的,这种松散可以扩大面积更容易看到自己看不到的书或者听不到看不到的音乐、电影,得到更多的评论和体验。

用户性别
豆瓣网:通过两次的查看调查数据,豆瓣的用户性别比例都如此接近。再从上面年龄调查看来,这么多19岁-26岁的年轻人,按近乎1:1的比例混在豆瓣,其中确实有很多可以想象的地方。

当当网:当当网男性比例42.1%,女性比例57.9%。

用户访问频率

豆瓣网:

80%的用户,每周至少1、2次。如果整个网站的用户都是这种访问频率,豆瓣受用户的喜爱程度还是挺高的

 

当当网:

用户消费能力

豆瓣网:豆瓣网用户群多为公司职员、素质稍高、富有传播能力的人群

当当网:当当网用户比例主要集中在25-35岁,这个年龄正是引领时尚主流,并最具消费能力的群体。当当网大约有70%以上的用户收入在3000以上,而互联网的用户收入约75%都是3000元以下。

 

五、网站定位

 豆瓣是一家Web2.0网站,豆瓣主要通过用户点击及购买电子商务网站的相关产品,来获得收入。

豆瓣很注重web2.0的尾巴效应,利用大众的参与来丰富网站内容。在豆瓣上,你可以自由发表有关书籍、电影、音乐的评论,可以搜索别人的推荐,所有的内容、分类、筛选、排序都由用户产生和决定,甚至在豆瓣主页出现的内容上也取决你的选择。豆瓣实际上是一个大众分享信息、交友的网上平台。

作为全球最大的综合性中文网上购物商城,当当由一些出版机构,基金会,集团公司共同投资成立。在线销售的商品包括了家居百货、化妆品、数码、图书、音像等几十个大类,近百万种商品,在库图书超过40万种。

当当的主要经营模式是鼠标+水泥的运营模式。互联网提供了可以无限伸展的展示空间,可以容纳无限的商品或图样以及内容。在当当网,消费者无论是购物还是查询,都不受时间和地域的任何限制。当当网耗时9年修建 "水泥支持"――庞大的物流体系,仓库中心分布在北京、华东和华南,覆盖全国范围。

 

总结:

从大的模式来说,豆瓣希望帮助所有的人发现适合他们的东西,然后链接到现有的电子商务网站(豆瓣目前已经有十几家网站的"比价"),完成交易后,豆瓣从卖方那边得到分成。他们的另一个收入是广告,但目前并不很多,大概是为了保持页面的"干净"吧。豆瓣最核心的价值是帮助用户发现对他们有价值的产品、服务或者是人。很多豆瓣的老用户,往往会在他看一本书、选一张碟时,回豆瓣来看一下关于这本书或碟的相关评论,豆瓣已经成为他们生活中的一个工具。

当当网经营近百万种图书、音像、家居、化妆品、数码、饰品、箱包、户外休闲等商品,是中国经营商品种类最多的网上零售店。它参照国际先进经验独创的商品分类,智能查询、直观的网站导航和简洁的购物流程等,为消费者提供了愉悦的购物环境

互联网提供了可以无限伸展的展示空间,可以容纳无限的商品或图样以及内容。在当当网,消费者无论是购物还是查询,都不受时间和地域的任何限制。当当网耗时 7年多修建 "水泥支持" - 庞大的物流体系,近2万平方米的仓库分布在北京、华东和华南,员工使用当当网自行开发、基于网络架构和无线技术的物流、客户管理、财务等各种软件支持,每天把大量货物通过空运、铁路、公路等不同运输手段发往全国和世界各地。在全国180个城市里,大量本地快递公司为当当网的顾客提供"送货上门,当面收款" 的服务。当当这样的网络零售公司帮助推动了银行网上支付服务、邮政、速递等服务行业的迅速发展。

参考文献:

http://tech.sina.com.cn/i/2008-06-23/20142277655.shtml

http://tech.sina.com.cn/i/2008-06-23/20282277660.shtml

http://www.iwebchoice.com/html/Chart_24.shtml

http://www.chinarank.org.cn/reporter/hzzt_dd_contain.htm#03

http://it.sohu.com/20080121/n254778847.shtml

http://info.codepub.com/2008/01/info-17688.html

http://www.v4uu.com/blog/article.asp?id=387

http://it.hexun.com/2008-06-24/106921840.html

http://tech.sina.com.cn/i/2008-06-23/20282277659.shtml

http://www.0551zx.com/zhuoyueyaowen/200810/17-104.html

http://www.dangdang.com/zhuanti/yh_wxl050722.asp