Tags:
Node Thumbnail

มีข่าวใหญ่ที่หลุดรอดจอเรดาร์ไป คือ Yahoo! เริ่มใช้ Hadoop ซึ่งเป็นโปรแกรม MapReduce สำหรับทำ search engine แล้ว ในขณะนี้ Yahoo! ใช้งาน Hadoop ประมาณหมื่นเครื่อง

MapReduce เป็นการแบ่งงานออกเป็นส่วนเล็กๆ เพื่อกระจายกันไปทำในคอมพิวเตอร์ขนาดเล็กเป็นจำนวนมาก (map) แล้วนำผลกลับมารวมกันเพื่อหาผลลัพท์ที่ต้องการ (reduce) MapReduce ได้รับความสนใจในหมู่นักวิจัยหลังจากที่กูเกิลเปิดเผยว่าใช้ MapReduce ในการทำ search engine เมื่อสามปีก่อนในช่วงที่กูเกิลเริ่มเปิดตัว GFS (Google File System) ซึ่งใช้เชื่อมโยงคอมพิวเตอร์เล็กๆ หลายพันเครื่องเข้าด้วยกัน

Hadoop เป็น MapReduce เขียนด้วยจาวา เดิมเคยเป็นส่วนของ Nutch มาก่อน ในขณะนี้ได้แยกออกจาก Nutch มาเป็นโครงการใต้ Lucene โดยตรงเนื่องจากมีความซับซ้อนมากขึ้น ในปัจจุบันนอกจากจะมีส่วนของ MapReduce แล้ว ยังมี HDFS (Hadoop Distributed File System) อีกด้วย

ที่มา:

Get latest news from Blognone

Comments

By: pittaya
WriterAndroidUbuntuIn Love
on 5 August 2007 - 00:41 #28572
pittaya's picture

ช่วงหลังนี่ Yahoo! มาแรงนะ มีของใหม่ๆ ดีๆ ออกมาเยอะ ผิดกับ google ที่ตอนนี้ไม่ค่อยเปิดตัวอะไรเด็ดๆ เท่าไหร่ (หรือมัวแต่ไปกว้านซื้อบริษัทชาวบ้านอยู่)

---------- Don't think, Just read


pittaya.com

By: lew
FounderJusci's WriterMEconomicsAndroid
on 5 August 2007 - 01:27 #28573
lew's picture

ผมมองว่า MapReduce เป็นแค่เครื่องมือในการใช้พัฒนาระบบการจัดลำดับเว็บเท่านั้น ทุกวันนี้ประเด็นเรื่องความเร็วในการค้นหาเว็บยังไม่มีผลโดยตรงต่อส่วนแบ่งตลาดเท่าใหร่ จะมีผลก็ต่อต้นทุนการดำเนินงานมากว่า

ที่น่าสนใจสำหรับคนใช้อย่างผมคือการเปลี่ยนเทคโนโลยีเช่นนี้จะทำให้ Yahoo! ตอบผลลัพธ์ผมได้ดีกว่าตอนนี้หรือไม่

แต่อาจจะดีขึ้นได้เหมือนกัน ถ้าระบบของ Yahoo! สามารถ Scale ให้ใหญ่กว่าเดิมได้ และรองรับฐานข้อมูลใหญ่กว่าเดิมได้ ------ LewCPE


lewcpe.com, @wasonliw

By: bossalove
iPhone
on 5 August 2007 - 02:17 #28575

ผมว่าที่ google ซื้อๆมาเป็น killer app หลายตัว และตลาดใหญ่นะ (แต่ถ้าเรื่องทางเทคนิคก็คงไม่มีอะไร)

By: sugree
FounderWriterAndroidBlackberry
on 5 August 2007 - 17:57 #28586

เครื่องเยอะขนาดนี้จะทำให้สมรภูมิเปลี่ยนเป็นการแข่ง Interconnection Network แทน

Infiniband รวยแน่ หรือว่า Gigabit Ethernet ยังไหว?

By: Conductor
WriterAndroid
on 6 August 2007 - 03:39 #28601 Reply to:28586

IEEE 802.3ae 10Gb/s Ethernet (ไม่สนับสนุน Half-duplex ด้วย) -- IEEE เชื่อว่าต้นทุนเทียบกับ Gigabit Ethernet จะแพงขึ้นเป็น 3X ในขณะที่ความเร็วเป็น 10X

By: sugree
FounderWriterAndroidBlackberry
on 6 August 2007 - 15:39 #28622 Reply to:28601

ดูเหมือนว่า Infiniband จะต้นทุนต่ำกว่ารึเปล่าครับ

Infiniband - สวิตซ์แพง การ์ดถูก 802.3ae - สวิตซ์แพง การ์ดแพง

แปลกดี คนส่วนใหญ่เล็ง 802.3ae ที่จะมาในอนาคตมากกว่า Infiniband ที่มีในปัจจุบัน

By: lew
FounderJusci's WriterMEconomicsAndroid
on 6 August 2007 - 15:47 #28623 Reply to:28622
lew's picture

ผมว่าหลายๆ คนเชื่อว่า Ethernet never dies น่ะครับ ------ LewCPE


lewcpe.com, @wasonliw

By: Conductor
WriterAndroid
on 6 August 2007 - 15:47 #28624 Reply to:28622

ไม่รู้เหมือนกันครับ ตอนนี้ยังไม่คิดจะซื้อเลย

By: veer
Windows PhoneUbuntu
on 5 August 2007 - 21:21 #28592
veer's picture

sugree: map-reduce เขาเอามาใช้กับ grid computing กันบ้างหรือเปล่าครับ? หรือว่าใช้ใน computer cluster?

ลองๆ search ดูๆมีคนใช้ map-reduce กับ machine learning ด้วย น่าสนใจดี. อาจจะง่ายกว่าใช้ MPI (หรือเปล่าไม่รู้ เพราะผมก็ใช้ไม่เป็นทั้ง 2 อย่าง :-P).

ในที่สุดก็ reload ฝ่า timeout มาได้.

--- http://openil.wordpress.com/

By: sugree
FounderWriterAndroidBlackberry
on 6 August 2007 - 15:31 #28620 Reply to:28592

MapReduce เป็นหลักการพื้นฐานของการประมวลผลแบบขนานและแบบกระจาย ใน MPI เค้าใช้ Gather Scatter กันมานานมาก พวก IR ก็ใช้เทคนิคนี้สำหรับทำ Indexer/Search Engine มานานแล้ว อืมแต่อาจเป็นเพราะส่วนใหญ่จะเป็นงานวิจัยในสาขามากกว่าจะเป็นซอฟต์แวร์แจก คนทั่วไปเลยไม่เคยนึกถึง

งานด้านนี้ไม่มีทุนก็ทำได้แค่เล็กๆ คนส่วนใหญ่มองไม่เห็นความดี คนส่วนน้อยที่เห็นก็ไม่มีทุนเอาไปขยายผล ต้องรอแมวมอง

By: veer
Windows PhoneUbuntu
on 6 August 2007 - 19:36 #28638 Reply to:28620
veer's picture

ขอบคุณครับ. กลับไปสงสัยต้องลองเล่น MPI บ้างละ. จะได้มีฐานไว้บ้าง. --- http://openil.wordpress.com/

By: khajochi
WriteriPhoneIn Love
on 6 August 2007 - 11:28 #28610
khajochi's picture

ไม่ยอมแพ้จริงๆ Yahoo สู้ตายเลย

--- Khajochi


แฟนพันธุ์แท้สตีฟจ็อบส์ | MacThai.com

By: PaePae
WriteriPhoneAndroidWindows
on 6 August 2007 - 12:31 #28611
PaePae's picture

เพิ่งเคยได้ยินชื่อ MapReduce ^^! แต่ดูคุณสมบัติแล้วไม่รู้จะเอามาใช้อะไรดี ไม่มีข้อมูลให้ประมวลผลขนาดนั้น - -" ——————— คิดๆ ขีดๆ เขียนๆ


LinkedIn

By: demon69gt on 6 August 2007 - 14:59 #28618

กว่าจะพัฒนาอะไรใหม่ๆ คนเขาแห่ไปใช้ google ครึ่งค่อนโลก ถ้าไม่มีอะไรเด็ดจริงเป็นการยากมากที่จะดึงกลุ่มผู้ใช้คืนมา อย่างน้อยก็เรื่องความเร็ว อะไรที่มันเกะกะสายตา และเมล์ทำให้มันดีกว่านี้ กรองสแปมได้ดีกว่านี้