• 首页
  • Qt文档
  • DTK文档
  • 玲珑文档
    • 首页   /  
    适配认证  /  
    认证技术问题

    apache samza部署

    简介

    官网：https://samza.apache.org/ 部署方式：https://samza.apache.org/learn/documentation/latest/deployment/deployment-model.html 以下部署手册按照"在YARN上运行samza">方式部署。

    部署

    1.下载samza代码

    $ sudo apt update
$ sudo apt install git -y
$ git clone https://github.com/apache/samza-hello-samza.git
$ cd samza-hello-samza

    2.安装

    Samza由三个组件组成：YARN，Kafka和ZooKeeper。hello-samza项目附带一个名为 “grid” 的脚本来自动安装设置这些组件。

    $ ./bin/grid bootstrap

    提示报错： 解决方法： 1.查看系统安装的jdk包名

    $ dpkg -l | grep jdk

    2.没有输出的话,安装一下jdk8,jdk11不行

    $ sudo apt install -y openjdk-8-jre openjdk-8-jdk

    3.查看包文件安装位置

    $ dpkg -L openjdk-8-jdk
```shell
4.可以发现都安装到了/usr/lib/jvm/java-8-openjdk-amd64,设置一下环境变量,也可以写到/etc/profile中
```shell
$ export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

    再次运行

    $ ./bin/grid bootstrp

    安装完后，会自动启动服务。 此时可以通过127.0.0.1:8088去访问。

    3.构建一个samza应用包

    $ ./bin/deploy.sh

    遇到报错： 解决方法：

    $ sudo apt install -y maven

    修改脚本，将这几行注释。

    $ vim bin/deploy.sh

    再次运行： 默认仓库地址是apache官方的，太慢了，换个阿里云的。

    $ sudo vim /etc/maven/settings.xml
#修改如下配置
<mirrors>
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>

    再次运行，报错 解决方案： 修改脚本，在mvn clean package 后加入-Dmaven.test.skip=true

    $ vim bin/deploy.sh

    再次运行，mvn执行完了，不过解压那还有点报错，通过查看脚本，是解压的包名对不上，打包的包名。 手动解压一下。

    $ tar zxvf target/hello-samza-1.6.0-dist.tar.gz -C deploy/samza/

    4.运行一个samza应用

    启动

    $ ./deploy/samza/bin/run-app.sh --config- path=$PWD/deploy/samza/config/wikipedia-application.properties
$ ./deploy/samza/bin/run-app.sh --config- path=$PWD/deploy/samza/config/wikipedia-parser.properties
$ ./deploy/samza/bin/run-app.sh --config- path=$PWD/deploy/samza/config/wikipedia-feed.properties
$ ./deploy/samza/bin/run-app.sh --config- path=$PWD/deploy/samza/config/wikipedia-stats.properties

    要关闭其中一个作业，请使用与额外的 '--operation=kill' 参数相同的脚本

    $ ./deploy/samza/bin/run-app.sh --config- path=$PWD/deploy/samza/config/wikipedia-stats.properties --operation=kill

    管理

    1. 配置文件

    软件 配置文件
    kafka samza-hello-samza/deploy/kafka/conf
    yarn samza-hello-samza/deploy/yarn/etc
    zookeeper samza-hello-samza/deploy/zookeeper
    samza samza-hello-samza/deploy/samza

    2. 服务管理

    启动

    $ ./bin/grid start all

    停止

    $ ./bin/grid stop all

    验证