Page 33 @ Alan Tsai 的學習筆記｜A Microsoft MVP, MCT, Blogger, Youtuber and ASP .NET Developer Blog

[Data Science 到底是什麼從一個完全外行角度來看][06]建立Hadoop環境 -下篇

圖片來源：https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://pixabay.com/en/math-blackboard-education-classroom-1547018/

上一篇（[05]建立Hadoop環境 -上篇）透過VMWare Player把Ubuntu裝好並且一些相關環境設定到，等於把hadoop的基礎環境建立好了。

這篇將延續上篇的環境，把Hadoop建立上去，並且讓Hadoop跑一個hello world的範例。

環境準備
建立Hadoop測試環境

安裝和設定Hadoop
測試Hadoop

執行Hadoop的Hello World - WordCount
結語

看全文>>

2017-12-24 Sunday
hadoop 「data science 到底是什麼從一個完全外行角度來看」 data science

[Data Science 到底是什麼從一個完全外行角度來看][05]建立Hadoop環境 -上篇

上一篇（[04]Hadoop是什麼？）以一個非常高的overview看了Hadoop是什麼，在接下來將會把理論轉成實際操作，將建立一個Ubuntu 的 VM上面架設hadoop並且跑一個MapReduce的hello world程式，WordCount（算字數）。

等到跑完範例之後，將會在深入一點看hadoop的MapReduce和HDFS運作模式。

首先，從建立環境開始。

環境準備
建立Hadoop測試環境

安裝Ubuntu VM
設定Ubuntu環境

結語

看全文>>

2017-12-23 Saturday
hadoop 「data science 到底是什麼從一個完全外行角度來看」 data science

[Data Science 到底是什麼從一個完全外行角度來看][04]Hadoop是什麼？

在上一篇（[03]Big Data到底是有多Big？）了解到了Big Data的3個V，也就是量、增長速度和多元格式的挑戰，這篇來看看讓管理一切變得有可能的軟體：Hadoop。

這篇將介紹Hadoop的由來，為什麼這麼重要，不同版本之間的差異，和基本架構。

Hadoop的歷史
Hadoop的特色
Hadoop的版本

0.x 和 1.x 版本
2.x版本
3.x版本

結語

看全文>>

2017-12-22 Friday
hadoop 「data science 到底是什麼從一個完全外行角度來看」 data science

[Data Science 到底是什麼從一個完全外行角度來看][03]Big Data到底是有多Big？

在上一篇([02]Data Science 是什麼？)了解了整個Data Science包含的內容，這篇將會看看源頭，Data本身。

這篇先了解到什麼是Big Data？有什麼特性？到底是有多Big？

什麼是Big Data
3V 之 Volume - 量
3V 之 Velocity - 增長速度
3V 只 Variety - 資料的多元性
Big Data帶來的挑戰
結語

看全文>>

2017-12-21 Thursday
「data science 到底是什麼從一個完全外行角度來看」 data science

[Data Science 到底是什麼從一個完全外行角度來看][02]Data Science 是什麼？

如果說資料（data）和石油一樣是最有價值的資源，那麼Data Science就同等於從原油提煉出石油的技術。

上篇([01]開篇)了解了整個系列的內容之後，這篇來了解一下 Data Science 到底是什麼？需要什麼技能/技術？和到底怎麼把data提煉出來變成可以用來做使用的資訊（變成石油）。

Data為什麼可以變成和石油一樣有價值的資源？

以孫子兵法為例

Data Science 為什麼會夯起來？
推動Data Science的幾個技術？
Data Science 需要有哪方面的知識？
Data Scientist 的日常工作
結語

看全文>>

2017-12-20 Wednesday
「data science 到底是什麼從一個完全外行角度來看」 data science

[Data Science 到底是什麼從一個完全外行角度來看][01]開篇

又到了新的一屆鐵人賽，這次和之前不一樣的是，多了團隊模式。然後，不知不覺就組成了一個團隊.... 失敗的話應該會永遠被釘死吧。

所以，為了不被釘死，要好好努力來寫啦，已經被警告，別像去年那樣，待補，結果和卡債一樣，永遠翻不了生（雖然到目前為止還在努力的補當中）。

那今年的主題是什麼呢？不是新的程式環境（OS: .Net core哪去了？)，不是延伸去年內容打造更完整的建制環境（OS: 整合docker的DevOps哪去了？），而是一個完全不熟悉的領域，Data Science（資料科學）。（如果你是工程師，那麼別錯過 1/6 在台大的 Study4.TW Study4Love - 與大師對談）

今年的題目是：Data Science 到底是什麼 - 從一個完全外行角度來看

為什麼想寫這個主題？
這個系列的主要程度和內容？
需要準備什麼環境？
結語

同步發佈於第九屆 2018iT 邦幫忙鐵人賽：https://ithelp.ithome.com.tw/articles/10192297

看全文>>

2017-12-19 Tuesday
「data science 到底是什麼從一個完全外行角度來看」 data science

[從.Net工程師的角度來看DevOps 25]在Visual Studio Team Services執行Build Script和CI Server總結

圖片來源：https://pixabay.com/en/books-spine-colors-pastel-1099067/ 和 https://blog.xebialabs.com/2016/03/21/essential-devops-terms/

在上一篇（[從.Net工程師的角度來看DevOps 24]免費build私人Repo的CI Service - Visual Studio Team Service介紹）了解了如何用Visual Studio Team Services（VSTS）的內建Template來build範例專案；在設定的過程，其實沒辦法直接使用內建template，會需要調整一些參數。

這些調整的內容和AppVeyor要調整的非常不一樣，造成了如果要換CI Server會花一些時間在這些瑣碎的細節上面。

這篇將會看看，如果要把VSTS改成用build script來build專案，會需要做些什麼。