目录

0. 相关文章链接

1. 安装包准备和上传

2. FE部署

3. BE部署

3.1. 示例一：

3.2. 示例二：

3.3. 其他事项

3.4. 启动BE

3.5. 查看BE状态

3.6. 配置命令

4. 启动和查看Doris

5. 使用Doris

5.1. 登录并加载BE

5.2. 建库建表并查询

5.3. 通过navicat远程工具访问

5.4. 通过web页面访问

6. Doris一键启动停止脚本

0. 相关文章链接

数据库 文章汇总

1. 安装包准备和上传

上传doris已经编译的安装包，关于doris编译参考 MPP数据库之Doris（1）：Doris编译 博文，在 doris0.15安装包 中有已经编译好的安装包，可以自行下载。

安装地址为：/opt/module/doris

2. FE部署

  • 配置文件为 conf/fe.conf。其中注意：meta_dir是元数据存放位置。默认值为 ${DORIS_HOME}/doris-meta。需手动创建该目录。
  • fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。

注意：生产环境强烈建议单独指定目录不要放在Doris安装目录下，最好是单独的磁盘（如果有SSD最好），测试开发环境可以使用默认配置


# 创建fe的元数据存储路径
mkdir /opt/module/doris/doris-meta
 
# 进入到doris的fe目录下，编辑 fe.conf 配置文件，设置元数据路径
vim /opt/module/doris/fe/conf/fe.conf
 
# 在 fe.conf 文件大概42行，修改meta_dir的值为上述配置的元数据路径
meta_dir = /opt/module/doris/doris-meta
 
# 将 fe.conf 文件分发到其他机器
xsync /opt/module/doris/fe/conf/fe.conf

3. BE部署

  • 拷贝 BE 部署文件到所有要部署 BE 的节点，将源码编译生成的 output 下的 be 文件夹拷贝到 BE 的节点的指定部署路径下。

  • 修改所有 BE 的配置

    修改 be/conf/be.conf。主要是配置 storage_root_path：数据存放目录。默认在be/storage下，需要手动创建该目录。多个路径之间使用英文状态的分号 ; 分隔（最后一个目录后不要加 ;）。可以通过路径区别存储目录的介质，HDD或SSD。可以添加容量限制在每个路径的末尾，通过英文状态逗号,隔开。

3.1. 示例一：

注意：如果是SSD磁盘要在目录后面加上.SSD,HDD磁盘在目录后面加.HDD

storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris

说明

  • /home/disk1/doris.HDD,50，表示存储限制为50GB，HDD;
  • /home/disk2/doris.SSD,10，存储限制为10GB，SSD；
  • /home/disk2/doris，存储限制为磁盘最大容量，默认为HDD

3.2. 示例二：

注意：不论HHD磁盘目录还是SSD磁盘目录，都无需添加后缀，storage_root_path参数里指定medium即可

storage_root_path=/home/disk1/doris,medium:hdd,capacity:50;/home/disk2/doris,medium:ssd,capacity:50

说明

  • /home/disk1/doris,medium:hdd,capacity:10，表示存储限制为10GB, HHD;
  • /home/disk2/doris,medium:ssd,capacity:50，表示存储限制为50GB, SSD;

3.3. 其他事项

1. BE webserver_port端口配置

如果 be 部署在 hadoop 集群中，注意调整 be.conf 中的 webserver_port = 8040 ,以免造成端口冲突。

2. 在 FE 中添加所有 BE 节点

BE 节点需要先在 FE 中添加，才可加入集群。可以使用 mysql-client(下载MySQL 5.7 (opens new window)) 连接到 FE：

./mysql-client -h host -P port -uroot

其中 host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。

登录后，执行以下命令来添加每一个 BE：

# 其中 host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port。

ALTER SYSTEM ADD BACKEND "host:port";

3.4. 启动BE

sh bin/start_be.sh --daemon

BE 进程将启动并进入后台执行。日志默认存放在 be/log/ 目录下。如启动失败，可以通过查看 be/log/be.log 或者 be/log/be.out 查看错误信息。

3.5. 查看BE状态

使用 mysql-client 连接到 FE，并执行 SHOW PROC '/backends'; 查看 BE 运行情况。如一切正常，isAlive 列应为 true。

3.6. 配置命令

# 创建be的用户数据存储路径（可以创建配置多个）
mkdir /opt/module/doris/doris_storage1
mkdir /opt/module/doris/doris_storage2

# 进入到doris的be目录下，编辑 be.conf 配置文件，设置存储数据路径
# storage_root_path配置存储目录，可以用;来指定多个目录，每个目录后可以跟逗号，指定大小默认GB
vim /opt/module/doris/be/conf/be.conf

# 在 be.conf 文件大概40行，修改storage_root_path的值为上述创建的数据存储路径
storage_root_path = /opt/module/doris/doris_storage1,10;/opt/module/doris/doris_storage2

# 将 be.conf 文件分发到其他机器
xsync /opt/module/doris/be/conf/be.conf

4. 启动和查看Doris

# 使用后台守护进程启动fe（所有机器）
sh /opt/module/doris/fe/bin/start_fe.sh --daemon

# 使用后台守护进程启动be（所有机器）
sh /opt/module/doris/be/bin/start_be.sh --daemon

# 使用 jps 查看fe是否已启动（所有机器）
jps

# 使用 ps -ef | grep be 查看 be 是否启动（所有机器）
ps -ef | grep be

# 可以去be的日志目录下查看be的启动日志（所有机器）
more /opt/module/doris/be/log/be.INFO.log.20220128-140700

1. 使用后台守护进行启动 fe 和 be

2. 查看fe和be是否启动

3. 查看be的启动日志，如果失败方便排查

5. 使用Doris

5.1. 登录并加载BE

# 使用mysql客户端进入Doris命令行页面（如果没有MySQL客户端请自行安装）
mysql -hbigdata1 -P 9030 -uroot

# 刚进入时不需要密码，修改root账号密码
set password = password('123456');

# 添加be节点,port为be上的heartbeat_service_port端口，默认9050
ALTER SYSTEM ADD BACKEND "bigdata1:9050";
ALTER SYSTEM ADD BACKEND "bigdata2:9050";
ALTER SYSTEM ADD BACKEND "bigdata3:9050";

# 通过mysql客户端，检测be节点状态,alive必须为true
mysql> SHOW PROC '/backends';
+-----------+-----------------+----------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------------+--------------------------------------------------------------------------------+
| BackendId | Cluster         | IP             | HostName | HeartbeatPort | BePort | HttpPort | BrpcPort | LastStartTime       | LastHeartbeat       | Alive | SystemDecommissioned | ClusterDecommissioned | TabletNum | DataUsedCapacity | AvailCapacity | TotalCapacity | UsedPct | MaxDiskUsedPct | Tag                      | ErrMsg | Version             | Status                                                                         |
+-----------+-----------------+----------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------------+--------------------------------------------------------------------------------+
| 11001     | default_cluster | 192.168.12.131 | bigdata1 | 9050          | 9060   | 8040     | 8060     | 2022-01-28 14:07:02 | 2022-01-28 14:19:48 | true  | false                | false                 | 0         | 0.000            | 59.965 GB     | 99.951 GB     | 40.01 % | 40.01 %        | {"location" : "default"} |        | 0.15.0-rc04-Unknown | {"lastSuccessReportTabletsTime":"2022-01-28 14:19:21","lastStreamLoadTime":-1} |
| 11002     | default_cluster | 192.168.12.132 | bigdata2 | 9050          | 9060   | 8040     | 8060     | 2022-01-28 14:07:03 | 2022-01-28 14:19:48 | true  | false                | false                 | 0         | 0.000            | 75.833 GB     | 99.951 GB     | 24.13 % | 24.13 %        | {"location" : "default"} |        | 0.15.0-rc04-Unknown | {"lastSuccessReportTabletsTime":"2022-01-28 14:19:20","lastStreamLoadTime":-1} |
| 11003     | default_cluster | 192.168.12.133 | bigdata3 | 9050          | 9060   | 8040     | 8060     | 2022-01-28 14:07:02 | 2022-01-28 14:19:48 | true  | false                | false                 | 0         | 0.000            | 75.819 GB     | 99.951 GB     | 24.14 % | 24.14 %        | {"location" : "default"} |        | 0.15.0-rc04-Unknown | {"lastSuccessReportTabletsTime":"2022-01-28 14:19:24","lastStreamLoadTime":-1} |
+-----------+-----------------+----------------+----------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------------+--------------------------------------------------------------------------------+
3 rows in set (0.02 sec)

5.2. 建库建表并查询


# 创建数据库
create database test;

# 切换数据库
use test;

# 创建表
CREATE TABLE student
(
    id INT,
    name VARCHAR(50),
    age INT,
    count  BIGINT SUM DEFAULT '0'
)
AGGREGATE KEY (id,name,age)
DISTRIBUTED BY HASH(id) buckets 10
PROPERTIES("replication_num" = "1");

# 插入数据
insert into student values(1, '张三', 10, 1),(2, '李四', 20, 2);

# 查询结果
mysql> select * from student;
+------+--------+------+-------+
| id   | name   | age  | count |
+------+--------+------+-------+
|    2 | 李四   |   20 |     2 |
|    1 | 张三   |   10 |     1 |
+------+--------+------+-------+
2 rows in set (0.07 sec)

5.3. 通过navicat远程工具访问

5.4. 通过web页面访问

访问url： http://bigdata1:8030/login

登录账号：root

登录密码：上述修改的root的密码（这里是123456）

6. Doris一键启动停止脚本

#!/bin/bash

if [ "$1" = "start" ] ;then
        sh /opt/module/doris/fe/bin/start_fe.sh --daemon
        sh /opt/module/doris/be/bin/start_be.sh --daemon 
        ssh bigdata2 "sh /opt/module/doris/fe/bin/start_fe.sh --daemon"
        ssh bigdata2 "sh /opt/module/doris/be/bin/start_be.sh --daemon"
        ssh bigdata3 "sh /opt/module/doris/fe/bin/start_fe.sh --daemon"
        ssh bigdata3 "sh /opt/module/doris/be/bin/start_be.sh --daemon"
fi

if [ "$1" = "stop" ] ;then
        sh /opt/module/doris/fe/bin/stop_fe.sh --daemon
        sh /opt/module/doris/be/bin/stop_be.sh --daemon 
        ssh bigdata2 "sh /opt/module/doris/fe/bin/stop_fe.sh"
        ssh bigdata2 "sh /opt/module/doris/be/bin/stop_be.sh --daemon"
        ssh bigdata3 "sh /opt/module/doris/fe/bin/stop_fe.sh --daemon"
        ssh bigdata3 "sh /opt/module/doris/be/bin/stop_be.sh --daemon"
fi

注：Doris系列博文为通过对Doris官网学习记录所写，其中有加入个人理解，如有不足，请各位读者谅解☺☺☺

注：其他相关文章链接由此进 ->   ​​​​​​​  数据库 文章汇总

# 数据库 # 大数据
Logo
华为云开发者联盟

为开发者提供学习成长、分享交流、生态实践、资源工具等服务，帮助开发者快速成长。

更多推荐

cover

小小开发板承载万千创新可能，小熊派的云上奇遇记

avatar 华为云开发者联盟
cover

如何快速入驻O3使能伙伴服务作业平台

avatar 华为云开发者联盟
cover

通用人工智能AGI到来前夕如何实现企业应用现代化

avatar 华为云开发者联盟