掘金 后端 ( ) • 2024-04-09 09:51

1.代码获取

关注公众号PiflowX,发送“源码”获取github地址。

2.后端本地开发

前提条件

  • Java1.8+
  • maven

项目编译

切换到dev-flow分支。

 mvn clean package -DskipTests

解压缩包

编译完成后,找到dist目录下压缩包,解压到指定目录。

cd ./dist
tar -zxvf apache-streampark-2.2.0-incubating-bin.tar.gz

启动后台服务

找到 streampark-console/streampark-console-service/src/main/java/org/apache/streampark/console/StreamParkConsoleBootstrap.java

修改启动配置

勾选Add VM options,填写参数-Dapp.home=$path$path是我们刚刚复制的路径

3.PiflowX后端启动

修改配置

修改项目下config.properties文件,根据自己环境配置

#spark
spark.master=yarn
spark.deploy.mode=cluster

#hdfs default file system
fs.defaultFS=hdfs://192.168.186.100:8082
#yarn resourcemanager hostname
yarn.resourcemanager.hostname=192.168.186.100:8088

#if you want to use hive, set hive metastore uris
hive.metastore.uris=thrift://192.168.186.100:9083

#show data in log, set 0 if you do not show the logs
data.show=10

#monitor the throughput of flow
monitor.throughput=true

#server port
server.port=8001

#h2db port
h2.port=50001
#flink
flink.jobmanager.rpc.address=192.168.186.100
flink.jobmanager.rpc.port=6123
flink.rest.port=8081

启动服务

找到 piflowx/piflow-server/src/main/scala/cn/piflow/api/HTTPServer.scala

运行main方法。

启动完成,会在项目下生成一个server.ip文件,文件内容为当前机器ip。

修改streampark-console-service服务application.yml配置:

重启streampark-console-service服务。

4.前端本地开发

前提条件

Note

如果你遇到依赖下载缓慢需要配置 npm 镜像源,方法为在用户文件夹下找到 .npmrc 将以下内容写入:

strict-peer-dependencies=false
save-workspace-protocol = rolling
registry = 'http://registry.npmmirror.com'

构建并运行

  1. 安装依赖:
cd ../streampark-console/streampark-console-webapp
pnpm install

如果运行失败,执行以下命令:

 pnpm install --ignore-scripts
  1. 运行:
pnpm serve

  1. 打包
pnpm build

浏览器支持

本地开发推荐使用Chrome 80+ 浏览器,支持现代浏览器, 不支持 IE。