瀹為獙3-鐔熸倝甯哥敤鐨凥DFS鎿嶄綔-绛旀�� - 鐧惧害鏂囧簱

鏂板缓

涓婁紶

棣栭〉

鍔╂墜

鏈�杩?/div>

璧勬枡搴?/div>

宸ュ叿

瀹為獙

2 

鐔熸倝甯哥敤鐨?/p>

HDFS

鎿嶄綔瀹為獙鎵嬪唽

 

 

涓昏�叉暀甯堬細鍒樻�?/p>

 

 

 

 

 

 

 

 

 

 

 

 

 

 

绗?/p>

1

椤?/p>

 

瀹為獙

2

鐔熸倝甯哥敤鐨?/p>

HDFS

鎿嶄綔

 

 

1

 

 

瀹為獙鐩�鐨�

 

1. 

鐞嗚В

HDFS

鍦?/p>

Hadoop

浣撶郴缁撴瀯涓�鐨勮�掕壊锛?/p>

 

2. 

鐔熺粌浣跨敤

HDFS

鎿嶄綔甯哥敤鐨?/p>

Shell

鍛戒护锛?/p>

 

3. 

鐔熸倝

HDFS

鎿嶄綔甯哥敤鐨?/p>

Java API

銆?/p>

 

2

 

 

瀹為獙骞冲彴

 

鎿嶄綔绯荤粺锛?/p>

Linux 

Hadoop

鐗堟湰锛?/p>

2.6.0

鎴栦互涓婄増鏈?/p>

 

JDK

鐗堟湰锛?/p>

1.6

鎴栦互涓婄増鏈?/p>

 

Java IDE

锛?/p>

Eclipse 

3

 

 

瀹為獙鍐呭�瑰拰瑕佹�?/p>

 

 

1.

 

缂栫▼瀹炵幇浠ヤ笅鎸囧畾鍔熻兘锛屽苟鍒╃敤

Hadoop

鎻愪緵鐨?/p>

Shell

鍛戒护瀹屾垚鐩稿悓浠诲姟锛?/p>

 

鎻愮ず锛?/p>

 

1)

 

 

閮ㄥ垎

Shell

鍛戒护鐨勫弬鏁拌矾寰勫彧鑳芥槸鏈�鍦拌矾寰勬垨鑰?/p>

HDFS

璺�寰勩�?/p>

 

2)

 

 

鑻?/p>

Shell

鍛戒护鐨勫弬鏁版棦鍙�浠ユ槸鏈�鍦拌矾寰勶紝涔熷彲浠ユ槸

HDFS

璺�寰勬椂锛屽姟蹇呮敞鎰忓尯鍒嗐�備负淇?/p>

璇佹搷浣滄�ｇ‘锛屽彲鎸囧畾璺�寰勫墠缂�

 

hdfs:/// 

鎴栬�?/p>

 

file:/// 

3)

 

 

娉ㄦ剰鍖哄垎鐩稿�硅矾寰勪笌缁濆�硅矾寰?/p>

 

4)

 

 

鍏蜂綋鍛戒护鐨勮�存槑鍙�鍙傝�冩暀鏉愭垨

 

http://hadoop.apache.org/docs/stable/hadoop-project-dist/had

oop-common/FileSystemShell.html

 

 

锛?/p>

1

锛?/p>

 

鍚?/p>

HDFS

涓�涓婁紶浠绘剰鏂囨湰鏂囦欢锛屽�傛灉鎸囧畾鐨勬枃浠跺湪

HDFS

涓�宸茬粡瀛樺湪锛岀敱鐢ㄦ�?

鎸囧畾鏄�杩藉姞鍒板師鏈夋枃浠舵湯灏捐繕鏄�瑕嗙洊鍘熸湁鐨勬枃浠讹紱

 

Shell

鍛戒护

: 

妫�鏌ユ枃浠舵槸鍚﹀瓨鍦?/p>

: ./hdfs dfs -test -e text.txt(

鎵ц�屽畬杩欎竴鍙ヤ笉浼氳緭鍑虹粨鏋滐紝闇�瑕佺户缁�杈撳叆鍛戒�?/p>

 

" echo $?"

) 

杩藉姞鍛戒护

: ./hdfs dfs -appendToFile local.txt text.txt 

瑕嗙洊鍛戒护

1: ./hdfs dfs -copyFromLocal -f local.txt text.txt 

瑕嗙洊鍛戒护

2: ./hdfs dfs -cp -f file:///home/hadoop/local.txt text.txt 

 

涔熷彲浠ヤ娇鐢ㄥ�備笅鍛戒护瀹炵幇锛�

 

锛堝�備笅浠ｇ爜鍙�瑙嗕负涓�琛屼唬鐮侊紝鍦ㄧ粓绔�涓�杈撳叆绗�涓�琛屼唬鐮佸悗锛岀洿鍒拌緭鍏?/p>

 

fi 

鎵嶄細鐪熸�ｆ墽琛岋級锛�

 

if $(./hdfs dfs -test -e text.txt); 

then $(./hdfs dfs -appendToFile local.txt text.txt); 

else $(./hdfs dfs -copyFromLocal -f local.txt text.txt); 

fi 

Java

浠ｇ爜锛?/p>

 

 

import org.apache.hadoop.conf.Configuration;