主要步驟的部落格

生活中，可能所有人都間接用過他的作品，他是Lucene、Nutch 、Hadoop等項目的發起人。是他，把高深莫測的搜索技術形成產品，貢獻給普羅大眾；還是他，打造了目前在雲計算和大數據領域裏如日中天的Hadoop。他是某種意義上的盜火者，他就是Doug Cutting。

從實習生做起
1985年，Cutting畢業於美國斯坦福大學。他並不是一開始就決心投身IT行業的，在大學時代的頭兩年，Cutting學習了諸如物理、地理等常規課程。因為學費的壓力，Cutting開始意識到，自己必須學習一些更加實用、有趣的技能。這樣，一方面可以幫助自己還清貸款，另一方面，也是為自己未來的生活做打算。因為斯坦福大學座落在IT行業的“聖地”矽谷，所以學習軟件對年輕人來說是再自然不過的事情了。
Cutting的第一份工作是在Xerox做實習生，Xerox當時的激光掃描儀上運行著三個不同的操作系統，其中的一個操作系統還沒有屏幕保護程序。因此，Cutting就開始為這套系統開發屏幕保護程序。由於這套程序是基於系統底層開發的，所以 其他同事可以給這個程序添加不同的主題。這份工作給了Cutting一定的滿足感，也是他最早的“平臺”級的作品。
可以說，Xerox對 Cutting後來研究搜索技術起到了決定性的影響，除了短暫的在蘇格蘭工作的經歷外，Cutting事業的起步階段大部分都是在Xerox度過的，這段 時間讓他在搜索技術的知識上有了很大提高。他花了四年的時間搞研發，這四年中，他閱讀了大量的論文，同時，自己也發表了很多論文，用Cutting自己的 話說——“我的研究生是在Xerox讀的。”
盡管Xerox讓Cutting積累了不少技術知識，但他卻認為，自己當時搞的這些研究只是紙 上談兵，沒有人試驗過這些理論的可實踐性。於是，他決定勇敢地邁出這一步，讓搜索技術可以為更多人所用。1997年底，Cutting開始以每周兩天的時間投入，在家裏試著用Java把這個想法變成現實，不久之後，Lucene誕生了。作為第一個提供全文文本搜索的開源函數庫，Lucene的偉大自不必多言。
Hadoop的誕生
之後，Cutting再接再厲，在 Lucene的基礎上將開源的思想繼續深化。2004年，Cutting和同為程序員出身的Mike Cafarella決定開發一款可以代替當時的主流搜索產品的開源搜索引擎，這個項目被命名為Nutch。在此之前，Cutting所在的公司 Architext（其主要產品為Excite搜索引擎）因沒有頂住互聯網經濟泡沫的沖擊而破產，那時的Cutting正處在Freelancer的生涯 中，所以他希望自己的項目能通過一種低開銷的方式來構建網頁中的大量算法。幸運的是，Google這時正好發布了一項研究報告，報告中介紹了兩款 Google為支持自家的搜索引擎而開發的軟件平臺。這兩個平臺一個是GFS（Google File System），用於存儲不同設備所產生的海量數據；另一個是MapReduce，它運行在GFS之上，負責分布式大規模數據。基於這兩個平臺，Cutting最引人矚目的作品——Hadoop誕生了。談到Google對他們的“幫助”，Cutting說：“我們開始設想用4~5臺電腦來實現 這個項目，但在實際運行中牽涉了大量繁瑣的步驟需要靠人工來完成。Google的平臺讓這些步驟得以自動化，為我們實現整體框架打下了良好的基礎。”
說起Google，Cutting也是它成長的見證人之一，這裏有一段鮮為人知的故事。早在Cutting供職於Architext期間，有兩個年輕人曾去拜訪這家公司，並向他們兜售自己的搜索技術，但當時他們的Demo只檢索出幾百萬條網頁，Excite的工程師們覺得他們的技術太小兒科，於是就在心裏鄙 視一番，把他們給送走了。但故事並未到此結束，這兩個年輕人回去之後痛定思痛，決定自己創業。於是，他們開了一家自己的搜索公司，取名為Google。這兩個年輕人就是Larry Page和Sergey Brin。在Cutting看來，Google的成功主要取決於，反向排序之後再存儲的設計和對自己技術的自信。
讓“開源”影響世界
出於對時間成本的考慮，在從Architext離職四年後，Cutting決定結束這段Freelancer的生涯，找一家靠譜的公司，進一步完善 Hadoop的性能。他先後面試了幾家公司，其中也包括IBM，但IBM似乎對他的早期項目Lucene更感興趣，至於Hadoop則不置可否。就在此 時，Cutting接受了當時Yahoo!搜索項目負責人Raymie Stata的邀請，於2006年正式加入Yahoo!。在Yahoo!，有一支一百人的團隊幫助他完善Hadoop項目，這期間開發工作進行得卓有成效。 不久之後，Yahoo!就宣布，將其旗下的搜索業務的架構遷移到Hadoop上來。兩年後，Yahoo!便基於Hadoop啟動了第一個應用項目 “webmap”——一個用來計算網頁間鏈接關系的算法。Cutting的時任上司（後為Hortonworks CEO）Eric Baldeschwieler曾說：“在相同的硬件環境下，基於Hadoop的webmap的反應速度是之前系統的33倍。”
雖然 Hadoop的表現驚艷，但在當時並非所有公司都有條件使用，與此同時，用戶需求卻在日益增加。有些大公司（如銀行、電信公司、大型零售商等）只關註於產品，卻不想在技術工程和咨詢服務上過多投入，它們需要一個可以幫助其解決問題的平臺，這就是Cutting後來跳槽到Cloudera的初衷。從某種程度上說，Cloudera就是這麽一個為那些在咨詢和技術上有需求的公司提供服務的平臺。它的客戶大多來自於傳統行業，希望通過Hadoop來處理之前只能 被直接拋棄的大規模數據。現在，除了這些傳統行業之外，Yahoo!、Facebook、eBay、LinkedIn等公司都在使用Hadoop，用 Cutting的話說，他們的團隊被“無形之中擴大了”。
目前，Cutting的目標是把Hadoop發展成雲計算領域的RedHat。 “我從來沒有想過，除了搜索引擎，Hadoop的作用還能在其他方面有所發揮，它今天所受到的關註程度，已超過了我之前的所有想象”。談到成功，Cutting認為他的成功主要歸功於兩點，一是對自己工作的熱情（Cutting在大學時就開始做Infrastracture類的程序，還用 Lisp為Emacs貢獻過代碼，他非常喜歡自己的程序被千萬人使用的感覺）；二是目標不要定得過大，要踏踏實實，一步一個腳印。