Apache Atlas介绍
Apache Atlas是托管于Apache旗下的一款元数据管理和治理的产品，Apache Atlas提供api和一系列插件可以方便将数据库元数据信息导入到atlas中进行分析，atlas也提供web界面对元数据进行管理，通过atlas，企业可以对数据库元数据建立资产目录，并对这些资产进行分类和治理，为数据分析，数据治理提供高质量的元数据信息。
什么是元数据
企业内部可能运行多种类型数据库，从大类上可以分，大数据平台，sql数据库，nosql数据库，图数据库等，从具体的数据库类型可能是mysql，oracle，mongodb等，不管是什么类型的数据库，终归都是一个目的，存储数据，对怎么管理数据每个数据库有每个数据库的方式，以oracle为例
- schema是一组数据库对象的集合
- table是存储数据的实体
- column列表示数据库的每个属性
- view视图表示虚拟表，表示一组查询的逻辑集合
- materialview物化视图则是对视图的实体化
- 同义词表示数据库对象的别名
- …等等
Read the rest of this entry
atlas
hadoop环境
hadoop版本为
hadoop version
Hadoop 2.10.1
Subversion https://github.com/apache/hadoop -r 1827467c9a56f133025f28557bfc2c562d78e816
Compiled by centos on 2020-09-14T13:17Z
Compiled with protoc 2.5.0
From source with checksum 3114edef868f1f3824e7d0f68be03650
客户端开发
Read the rest of this entry
hadoop
# hadoop集群环境安装
环境信息
主机名|ip|操作系统|hadoop版本
——–|——-|——-|—–
hadoop-master|172.16.23.153|CentOS Linux release 7.5.1804 (Core)|2.5.0
hadoop-slave1|172.16.23.154|CentOS Linux release 7.5.1804 (Core)|2.5.0
配置主机名
hadoop-master
[root]
hostnamectl set-hostname hadoop-master
su
hostname
cat <<EOF >> /etc/hosts
172.16.23.153 hadoop-master
172.16.23.154 hadoop-slave1
EOF
Read the rest of this entry
hadoop