柚子快報(bào)激活碼778899分享:大數(shù)據(jù) flink單機(jī)部署文檔
柚子快報(bào)激活碼778899分享:大數(shù)據(jù) flink單機(jī)部署文檔
1、下載安裝,不區(qū)分arm和x86的機(jī)器
# 下載地址: https://archive.apache.org/dist/flink/flink-1.17.0/
2、上傳安裝包到服務(wù)器的目錄
rz命令上傳就可以,新建一個(gè)目錄
mkdir -p?/home/aitpm/software
然后解壓
tar -xvf flink-1.17.0-bin-scala_2.12.tgz?
3、最后啟動(dòng),進(jìn)入到bin目錄下
./start-cluster.sh
4.1遇到的問題,如果端口號(hào)被占用,默認(rèn)是8081,可以在conf文件中修改
修改前先備份下,
cp flink-conf.yaml flink-conf.yaml.bak
修改默認(rèn)端口8081為8082? 然后把這行注釋放開,還有配置文件中的localhost都需要改為本機(jī)的ip地址
修改masters和workers文件,填寫主機(jī)名稱或者ip地址
4.2訪問flink頁面地址
http://IP:8081
如果需要停止,進(jìn)如bin目錄下執(zhí)行
./stop-cluster.sh
4.3
start-cluster.sh執(zhí)行報(bào)錯(cuò):Please specify JAVA_HOME. Either in Flink config ./conf/flink-conf.yaml or as system-wide JAVA_HOME. 原因未安裝java
yum install -y java-1.8.0-openjdk.x86_64 ?
4.4?http://IP:8081訪問不通,處理防火墻
firewall-cmd --add-port 8081/tcp --permanent
firewall-cmd --reload ?
4.5 如果需要配置jar所放的位置,可以單獨(dú)搞一個(gè)文件夾存放,把下面的代碼放入flink-conf.yaml配置文件中
# web頁面上提交的jar包存放位置
# 根據(jù)線上實(shí)際安裝位置調(diào)整目錄
web.upload.dir: /home/aitpm/software_danji/flink-1.17.0/data/temp
# 存放flinkjobmanager和taskmanager的進(jìn)程id
# 根據(jù)線上實(shí)際安裝位置調(diào)整目錄
env.pid.dir: /home/aitpm/software_danji/flink-1.17.0/tmp/pid
flink默認(rèn)存在臨時(shí)文件的目錄/tmp? 容易干滿內(nèi)存,需要修改目錄
4.6 如果沒有slots,執(zhí)行下面的命令
去對(duì)應(yīng)機(jī)器的這個(gè)目錄下/home/aitpm/software/flink-1.12.0/bin
啟動(dòng) ./taskmanager.sh start
flink配置詳解
flink配置文件說明_flink配置文件詳解-CSDN博客
柚子快報(bào)激活碼778899分享:大數(shù)據(jù) flink單機(jī)部署文檔
精彩內(nèi)容
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點(diǎn)和立場(chǎng)。
轉(zhuǎn)載請(qǐng)注明,如有侵權(quán),聯(lián)系刪除。