怎么用sqoop把hive的數據導入mysql?
運行環境centos5.6hadoophive
Sqoop是clouder公司在hadoop技術支持下開發的工具,用于在關系數據庫和HDFS、Hive之間導入導出數據。
上海尚學堂hadoop大數據培訓群原創,hadoop大數據技術相關文章陸續呈現,敬請關注!
使用過程中可能遇到的問題:
Sqoop依賴于zookeeper,所以ZOOKEEPER_HOME必須配置到環境變量中。
Sqoop-1.2.0-CDH3B4依賴于hadoop-core-0.20.2-CDH3B4.jar,所以需要下載hadoop-0.20.2-CDH3B4.tar.gz,解壓后復制Hadoop-0.20.2-cdh3b4/Hadoop-Core-0.20.2-cdh3b4.jar到Sqoop。
1首先安裝sqoop,如果使用clouder發行版的話非常簡單。
#yum安裝sqoop
如果用官方版本的話。
#cd
#wget
#yum-y安裝sqoop
將安裝Sqoop。
2使用sqoop
首先,將MySQL-connector-Java-5.1.16-bin.jar文件復制到文件夾/usr/lib/sqoop/lib中。
3導入和導出數據庫
1)列出mysql數據庫中的所有數據庫命令。
#sqOOPlist-databases-connectJDBC:mysql://localhost:3306/-用戶名root-密碼123456
2)連接mysql,列出數據庫中的表命令。
#sqOOPlist-tables-connectJDBC:mysql://localhost:3306/test-usernameroot-password123456
命令中的Test是mysql數據庫中的測試數據庫名,usernamepassword分別是mysql數據庫的用戶密碼。
3)將關系數據的表結構復制到hive中
sqoop創建配置單元表-連接JDBC:mysql://localhost:3306/test-table用戶名-用戶名root-密碼123456-hive-table測試
其中-tableusername是mysql中數據庫測試的表-hive-tabletest是hive中新創建的表的名稱。
4)將文件從關系數據庫導入hive。
sqoopimport-connectJDBC:mysql://localhost:3306/test-usernameroot-passwordMySQL-password-tablet1-hive-import
5)將hive中的表格數據導入mysql。
。/sqoopexport-connectJDBC:mysql://localhost:3306/test-usernameroot-passwordadmin-tableuv_info-export-dir/user/hive/warehouse/uv/dt2011-08-03
如果您報告了一個錯誤,
11/08/0510:51:22信息運行job:job_201108051007_0010
11/08/0510:51:23信息地圖0%減少0%
11/08/0510:51:36信息任務Id:嘗試_201108051007_0010_m_000000_0,狀態:失敗
位于java.util.AbstractList$()
在uv_info。__loadFromFi
學習大數據難嗎?
在學習之前,首先要考慮的不是難度,而是如何學好。學習大數據的一些建議:
1.重點介紹大數據系統的架構和原理,比如分布式存儲和計算的思想。
2.大數據框架的系統,比如hadoop,spark等等。
多做實驗,多請教有經驗的人。
只要有信心,有堅持,一定能學好。
