本篇帖文主要介绍一下在使用社区版产品时出现错误如何快速进行故障排查，帮助您快速定位和解决问题。一些相关资源：
如果遇到Inceptor相关问题报错，可以根据报错代码在该《Inceptor错误代码与信息查询手册》手册中进行查询。
常见的运维指令
社区版Manager怎么启停？
- 停止：systemctl stop transwarp-manager
- 启动：systemctl start transwarp-manager
- 重启：systemctl restart transwarp-manager
社区版开发版 镜像&容器 相关指令：
- docker images 查镜像
- docker ps -a 查容器（容器是基于镜像创建）
- docker exec -it [容器id] bash 进入容器内
- docker start 启动容器
查看文件是否被损坏（md5判断）
1) md5文件里包括一个md5值，用于查看产品包是否被损坏。可以输入下方命令查看返回的md5值# md5sum TDH-CE-ImageFiles-2022-4-final.tar.gz
2) 与产品包中带的md5文件进行对比
一致，说明未被损坏
常用Docker与K8S命令链接：
常见的日志/系统查看命令
- 与manager有关的日志查看方法
/var/log/transwarp-manager/master/transwarp-manager.log
- 与容器日志相关
- 获取日志
kubectl get pod
- 进一步获取单个pod日志
kubectl logs <podid>
- 节点资源的被占用情况
kubectl describe no <对已经节点名>
- tos相关的容器状态
docker ps | grep tos
- 查看磁盘空间占用情况
df -h
- 查看 transwarp-manager-agent 状态
systemctl status transwarp-manager-agent
- HDFS基础操作以及修改配置文件命令
注意：
安装社区版之前一定要记得进行以下步骤，这样未来在使用产品的过程中可以减少大量的风险和阻碍
- 硬件检查
- 资源规划
- 磁盘分区
安装Manager向导时可能遇到的问题
- 安装Manager向导过程中显示安装失败服务链接不上
rpm -e transwarp-manager-common transwarp-manager
- 安装Manager失败后安装页面变为升级页面
yum remove transwarp-manager-common -y
- 安装Manager显示database service启动失败
- 安装Manager时界面报错，显示The directory /var/lib/docker is not on a separate partition
- Manager安装失败，显示ntp服务的报错
- 配置RPM库时显示失败 failed to mount ISO file /opt/centos-7-x86_64-dvd-2009.iso
- Manager安装向导显示提取文件失败，报错The package container-selinux conflicts with manager........
- Manager安装时，在安装向导第二步骤检查环境页面显示无法解析hostname
添加节点报错nodehostnotfound
https://community.transwarp.cn/question/detail?id=600
- 添加节点，报错error.nodeGetHostnameFail
https://community.transwarp.cn/question/detail?id=576
- 安装集群，启动TOS报错，重试后无法解决
https://community.transwarp.cn/question/detail?id=535
- 社区版安装Manager，向导提示failed to install MariaDB server
https://community.transwarp.cn/question/detail?id=656
安装组件/启动/配置时可能遇到的问题
- 一些启动TDH服务失败相关的常见问题以及如何快速定位问题
- Guardian开启安全时需要一键开启，不建议一个一个的开启组件安全。同时，TDH 有统一的认证管理 不要用开源查到的参数配置Krb5
注意：开启安全或关闭安全均需要重新下载TDH-Client才可以包含开启安全的配置
- 上传产品包失败
根因1：目录磁盘性能较差，上传超时如果超过20分钟，则会显示失败，解决方法：
a.解决磁盘io弱的问题；
b.或者联系工作人员单独出私包，将时间修改为60分钟；
根因2：根目录磁盘空间不足，解压失败
根因3：产品包并非标准格式，可能是传输错误，或者是上传了其他的zip包没有解压
根因4：集群registry（TOS的角色）异常
- 节点安装失败
节点安装的过程，可大致分为一下几个步骤
（1）根据配置的/etc/hosts，连接到节点上（2）安装JDK，以及Manager Agent，检查节点上的/var/lib/docker分区
因此安装节点失败，通常有以下一些可能
（1）/etc/resolv.conf配置错误，导致节点连接失败
（2）部分rpm包版本错误，导致Manger Agent/JDK安装失败
（3）节点没有创建 /var/lib/docker分区，或分区格式错误
- 添加节点时提示对应的主机名或IP不存在
根因1： 可能是用户hostname命名有问题，详见复盘：https://community.transwarp.cn/question?questionId=94
根因2： 用户的hosts和本机的hostname不一致，搞混了hostname和全域名（FQDN）的概念，详见复盘：https://community.transwarp.cn/question?questionId=177
- 安装服务报500错误
https://community.transwarp.cn/question?questionId=145
- TDH 社区版上传应用包失败
- Dashboard安装完成后状态显示不可用
- 安装quark配置出问题了
quark组件quark server/nucleon executor服务启动失败，去哪里看日志
https://community.transwarp.cn/question?questionId=437
-
quark服务状态异常
- 配置服务失败
配置服务的过程可以大致分为以下几个步骤
（1）Manager解析配置模版，将数据库中的配置项填入后生成配置文件
（2）Manager将配置文件，和后续执行的命令发给Agent
（3）Agent接受配置文件，并执行后续的命令
因此配置服务失败通常有以下几种可能：
（1）网络故障
（2）Manager Agent党机，可能是之前内存使用过度导致，重启Agent即可
（3）部分Bash命令执行失败，可能是磁盘故障导致，也可能是误操作修改了系统文件夹的权限
- 配置Quark时显示失败
- TDH客户端安装相关
问题1： 当前只是安装了某一个服务的客户端，但如果还需要其他的服务，应该如何操作
https://community.transwarp.cn/question?questionId=111
- TDH Manager登录不上，只会刷新验证码
- Waterdrop下载好，打开后报错The Waterdrop executable launcher was unable to locate its companion shared library.
安装gardian报错 /api/services/19:500 Internal Server Error
https://community.transwarp.cn/question?questionId=438
- 第二次安装Guardian时显示失败，error code 403
- kinit成hbase用户后报错显示AuthFailed for /hyperbase1/master
- 安装Inceptor时，配置Quark Metastore报错
https://community.transwarp.cn/question/detail?id=601
- 安装HDFS，初始化时报错host不合法
https://community.transwarp.cn/question/detail?id=586
- 开发版安装HDFS，初始化时报错——hostname未修改
https://community.transwarp.cn/question/detail?id=588
- TDH客户端安装，没有相关组件常规报错
https://community.transwarp.cn/question/detail?id=580
- 初始化HDFS，先安装Aquila后安装HDFS
https://community.transwarp.cn/question/detail?id=578
- 许可证页面打不开，上传产品包失败
https://community.transwarp.cn/question/detail?id=577
- 启动TOS Master失败，etcd-ca证书过期问题
https://community.transwarp.cn/question/detail?id=572
- 初始化Aqulia，通过TOS重启失败
https://community.transwarp.cn/question/detail?id=568
- 初始化Guardian，通过tos启动federation失败
https://community.transwarp.cn/question/detail?id=569
- 星环集群部署2个HDFS与Yarn，分别访问
https://community.transwarp.cn/question/detail?id=690
- 星环云无法注册，还能继续往下安装吗？（社区开发板）
https://community.transwarp.cn/question/detail?id=684
- 安装TDH社区版添加节点时，访问节点身份使用sudo用户，出现“需要密码报错”，如何解决？
https://community.transwarp.cn/question/detail?id=681
- 上传V2022-4版本产品包上传到manager的时候报错：Product installation failed!
https://community.transwarp.cn/question/detail?id=680
- 安装社区版无法进入管理页面
https://community.transwarp.cn/question/detail?id=660
- ubuntu安装TDH社区版，Quark1一直启动不起来
https://community.transwarp.cn/question/detail?id=652
- TDH9.2安装Compact Service从registry拉Compact Service Server镜像失败，手动拉取也失败。
https://community.transwarp.cn/question/detail?id=651
- TDH社区版安装，通过TOS启动prometheus报错
https://community.transwarp.cn/question/detail?id=650
- 现在最新的社区版只能下载单机版？
https://community.transwarp.cn/question/detail?id=647
- TDH安装HDFS初始化命令错误。那位大佬帮忙看看！是啥情况
https://community.transwarp.cn/question/detail?id=643
- TDH开发版安装过程中卡在了角色分配的部分，勾选不了需要分配的节点
https://community.transwarp.cn/question/detail?id=639
- 【问题分享】安装TDH社区版时，在添加服务的步骤初始化Aquila失败，显示通过TOS启动service失败
https://community.transwarp.cn/question/detail?id=631
- 社区版的可以在麒麟V10里安装吗？
https://community.transwarp.cn/question/detail?id=630
- 【问题分享】社区开发版安装过程中，初始化或启动Quark服务失败，排错思路及复盘记录
https://community.transwarp.cn/question/detail?id=624
- TDH集群中可以添加多个Quark吗？
https://community.transwarp.cn/question/detail?id=698
- 通过TOS启动kungate启动超时错误
https://community.transwarp.cn/question/detail?id=693
产品使用时可能遇到的问题
- 如何获取Keytab文件
- Compac常见故障诊断
https://community.transwarp.cn/thread?topicId=272
示例：compact机制不生效，无法提交对应的任务到执行引擎中
- 怎么查表空间和表大小MB？
- Spark 和 hive 如何使用外部jar包中自定义函数UDF、UDAF、UDTF
- 小文件相关的问题以及应该怎么处理
- 安装完的HDFS用户是什么，如何切换到hdfs的用户，上传文件
https://community.transwarp.cn/question?questionId=204
- 误操作不小心删除了manager中的mysql，怎么办
- 加载一个文件，一直说路径不存在
- 本地load csv 到星环表中报错
- guradian报错48000 unauthorized
- altertable怎么添加orc表的字段
- Inceptor怎么设置主键自动增长
- inceptor没有distinct on (字段)去重的语句，如何创建视图（取最新的）
- 分桶数量怎么分
- 外部表指定一个文件路径后，若当前路径下有多个文件，如何处理
https://community.transwarp.cn/question?questionId=180
- 如何查看执行查询的时候有没有走索引
- 星环大数据平台存储中文占据几个字节
-
怎么计算wordcount
https://community.transwarp.cn/thread?topicId=256
- root用户登录后可以正常查询hdfs上的目录文件，但是不能创建文件夹，提示mkdir: Permission denied:...
- 存储过程跑一个多小时后就自动停止了，报错 operation cancelled
- 怎么生成UUID
- keytab除Guardian页面直接下载外，还可在后台挂载目录下载。
https://community.transwarp.cn/question/detail?id=617
- Princpal名称，hive/<所属主机名>@TDH
https://community.transwarp.cn/question/detail?id=609
- 跑批出错，重试后正常。
https://community.transwarp.cn/question/detail?id=604
- JDBC驱动下载
https://community.transwarp.cn/question/detail?id=602
- TOS Regi stry 启动失败
https://community.transwarp.cn/question/detail?id=584
- Manaegr中TDH-Client下载失败，应如何排错并解决？
https://community.transwarp.cn/question/detail?id=725
Yarn相关问题
- 通过TOS启动yarn-nodemanager一个节点启动失败，pod无法启动
https://community.transwarp.cn/question/detail?id=736
- 报错显示Invalid resource request...
https://community.transwarp.cn/question/detail?id=703
- 启动yarn服务时日志显示failure to login:for principle 以及 cannot locate KDC的情况
https://community.transwarp.cn/question/detail?id=730
Hyperbase相关的问题
- Hyperbase API Demo编译错误
https://community.transwarp.cn/question/detail?id=585
- Hyperbase中文乱码问题——不支持
https://community.transwarp.cn/question/detail?id=536
- 开启安全后，Hyperbase如何通过JAVA api进行访问？
https://community.transwarp.cn/question/detail?id=729
- 基于JDBC对Hyperbase数据库进行数据开发时，相关配置文件如何获取？
https://community.transwarp.cn/question/detail?id=728
数据库操作及数据开发相关问题
- 用insert overview方法把一个orc表的数据导出生成数据文件，导出时没有分区，重新load进去时如何指定分区？
- 向分区表导入数据的时候，必须要添加partition(分区字段=？？)条件
- TORC表insert into生成了大量增量小文件，导致namenode内存不足
- Squirrel SQL 连接Inceptor，因为keytab问题导致连接失败
https://community.transwarp.cn/question/detail?id=610
- SQL语句的报错，Select后加别名
https://community.transwarp.cn/question/detail?id=560
- SQL中UDTF函数的输出相关问题
https://community.transwarp.cn/question/detail?id=562
- SQL 添加函数或存储过程，是否允许添加分号。
https://community.transwarp.cn/question/detail?id=561
- SQL游标相关
https://community.transwarp.cn/question/detail?id=557
- 如何获取某张表的数据条数
https://community.transwarp.cn/question/detail?id=558
- odbc执行生成函数，sql执行 !set plsqlUseSlash true无法处理
https://community.transwarp.cn/question/detail?id=552
- 函数编写时，是否允许存有分号。
https://community.transwarp.cn/question/detail?id=551
- UDTF函数输出量较大，优化方法
https://community.transwarp.cn/question/detail?id=549
- 如何获取数据库所有表的元数据
https://community.transwarp.cn/question/detail?id=548
- SQL字符类型自动补充空格
https://community.transwarp.cn/question/detail?id=543
- 将csv导入HDFS
https://community.transwarp.cn/question/detail?id=537
- 开启Kerberos，如何连接Inceptor数据库，Kinint hive密码如何获取？
https://community.transwarp.cn/question/detail?id=581
- SQL错误，lineLength is longer than buffersize
https://community.transwarp.cn/question/531
- 如何创建持久化函数？
https://community.transwarp.cn/question/detail?id=530
- 外部程序如何发获取星环大数据平台数据？
https://community.transwarp.cn/question/detail?id=529
- 元数据如何采集，获取Inceptor中表的结构？
https://community.transwarp.cn/question/detail?id=528
- 删除列，orc表删除列时，报错
https://community.transwarp.cn/question/detail?id=526
- Inceptor如何实现regexp_count（）函数
https://community.transwarp.cn/question/detail?id=522
- JDBC连接社区版，用什么驱动？
https://community.transwarp.cn/question/detail?id=520
- Parquet格式文件能否解析入库？
https://community.transwarp.cn/question/detail?id=519
- 函数问题regtexp_replace正则替换？
https://community.transwarp.cn/question/detail?id=518
- 函数TD_INT_TO_TIME返回值为NULL
https://community.transwarp.cn/question/detail?id=517
- load data报错，报错代码为20531
https://community.transwarp.cn/question/detail?id=512
- inceptor中自定义函数可以返回记录类型吗?
https://community.transwarp.cn/question/detail?id=514
- UDF自定义函数一次支持多少数据使用
- 在TDH社区版的Inceptor中，未指定格式创建表，使用Insert into插入单条数据失败
- 请问argodb或inceptor的物化视图日终刷新是怎样的？
- insert into批量插入数据，会有行数限制吗？
- 表有重复数据发生，能否使用rowkey来确保唯一？
- 函数CURRENT_DATABASE是否可以省略from system.dual？
- 并发执行插入sql的话会报移动文件错误
- 有间隔符的数据源，如何划分task是多少？
- JDBC驱动8.23.0兼容哪些版本的TDH？
- Argodb分页能否用limit？
- 如何统计inceptor中某一表的使用频率？
- 星环hive表的数据倾斜如何解决？
- JDBC开发时，会话还没有启动或准备好
- inceptor 查询数据报错
- TDH-insert overwrite local ...row format delimeted_fields terminated by '@'分隔符问题
- ArgoDB支持对字符串进行SM3加密吗，有支持的函数吗？
- 社区开发版insert into hive，orc表无法执行单条数据插入
- argodb函数和inceptor一样吗？inceptor对交易型业务的支持性能怎么样，比如数据查询之类的
- 请问星环产品中有SM3加密函数吗
- udf函数调用时报错
- argodb如果获得表的索引信息？
- 查询分区表某一分区的文件大小么
- Bucket和Partition有什么区别啊，看上去都是把数据拆分存储？
- Argodb中，取最新8位日期时，REPLACE和TO_CHAR的返回结果存在BUG，求解？
- ArgoDB 写入 HoloDesk 表报错，超过 2500 万之后数据无法写入
- 用日期分区,只能用范围分区吗?
- 有使用jdbc连接quark1的教程吗
- 怎么查看存储的表元数据信息？
- 【问题分享】同时开启Kerberos和LDAP认证模式，应如何连接Inceptor？
- 创建holodesk表报错
- Transwarp Inceptor ODBC 安装包哪位大佬有啊，一直找不到下载链接
Waterdrop相关的问题
- Waterdrop使用起来突然变卡顿
- Waterdrop报错 COMPILE FAILED:Semantic error: [Error 10011] Line 1:7 Invalid function. Error encountered near token ‘LICENSE’
- waterdrop可以设置行号吗
- waterdrop-inceptor：filter表恢复
- 数据库中表数据导出到本地
https://community.transwarp.cn/question/detail?id=559
- 开启Kerberos认证后，waterdrop连接Inceptor报错-驱动问题
https://community.transwarp.cn/question/detail?id=541
- 基于Waterdrop进行数据开发时，SQL Script如何存储以及导入新的SQL脚本？
https://community.transwarp.cn/question/detail?id=726
- 社区版waterdrop时，无法显示struct结构体数据
https://community.transwarp.cn/question/detail?id=724
- Waterdrop调用SYSDATE函数返回结果没有时分秒
https://community.transwarp.cn/question/detail?id=723
- waterdrop 查询数据报错：jdbc驱动内部错误
https://community.transwarp.cn/question/detail?id=685
- 【问题分享】Windows系统打开Waterdrop时出现无JRE/JDK报错，应如何解决？
https://community.transwarp.cn/question/detail?id=646
- 【问题分享】Waterdrop 1.2.x 在MacOS Ventura 13.x上无发正常运行https://community.transwarp.cn/question/detail?id=628
Guardian相关
- 使用Scala后报错Failed to send heartbeat to guardian server
https://community.transwarp.cn/question/detail?id=533
ArgoDB相关
- ArgoDB，创建好的存储过程的创建语句怎么查？
https://community.transwarp.cn/question/detail?id=532
WorkFlow相关
- WorkFlow页面加载不出来
https://community.transwarp.cn/question/detail?id=545
Quark 相关问题
- 开启安全后，Quark-Server启动报错——需执行kinit获取TGT
https://community.transwarp.cn/question/detail?id=611
- 安装Quark后，service和exec均启动失败
https://community.transwarp.cn/question/detail?id=534
- 开启Guardian和kerberos，如何连接Quark？
https://community.transwarp.cn/question/detail?id=523
- 【问题解决】重启Guardian时失败，步骤为“通过TOS停止server”,显示内容为”Guardian_server has no ready pod”
https://community.transwarp.cn/question/detail?id=682
- 【问题分享】如果忘记或需要重置Guardian中管理员密码，如何操作？
https://community.transwarp.cn/question/detail?id=627
DBAServer
- DBA产品页面上显示的stage倾斜值在什么范围比较正常
https://community.transwarp.cn/question/detail?id=648
TOS服务
- TOS证书问题，etcd证书过期
https://community.transwarp.cn/question/detail?id=539
- Transwarp6.2.2+manager9.1.0 按照TOS服务，启动TOS master失败
https://community.transwarp.cn/question/detail?id=513
- TOS服务启动失败 Kubectl命令报错 etcd集群服务停止
https://community.transwarp.cn/question/detail?id=539
- manager8.1.0+TDH7.0.1： 安装TOS服务，启动TOS master失败
https://community.transwarp.cn/question/detail?id=695
- 请问TOS Registry可以多活部署吗
https://community.transwarp.cn/question/detail?id=634
数据迁移
- 如何启停集群，做数据迁移？
https://community.transwarp.cn/question/detail?id=521
- oracle的程序迁到星环平台，数据排序的顺序是怎么样的？
https://community.transwarp.cn/question/detail?id=720
Sophon相关的问题
- sophon添加了quark数据集连接之后，会显示无状态请更新
StellarDB
- StellarDB v4.1版本，有详细的python Sdk 说明demo么？
https://community.transwarp.cn/question/detail?id=687
TDS
- TDS-agent服务在大数据平台起到的作用是什么，详细阐述一下
https://community.transwarp.cn/question/detail?id=694
- workflow 脚本组件能通过ssh执行远端Linux服务器上的shell脚本吗。如何实现
https://community.transwarp.cn/question/detail?id=640
- workflow内置时间参数有哪些？
https://community.transwarp.cn/question/detail?id=664
第三方
- TDH上有 kafka的管理界面吗？
https://community.transwarp.cn/question/detail?id=717
- 怎么用DATAX 抽取 impala数据库的数据
https://community.transwarp.cn/question/detail?id=700
- 星环哪个组件支持把 Kafka的数据直接落到argodb？
https://community.transwarp.cn/question/detail?id=667
- 星环是否提供Hive?
https://community.transwarp.cn/question/detail?id=666
其他运维
- 【TDH社区版】在使用kubectl命令时，没有打印出来pod实例
https://community.transwarp.cn/question/detail?id=727
- 如何让TDH客户端初始化失效？
https://community.transwarp.cn/question/detail?id=718
- 请问星环TDH如何更改节点ip地址呢？
https://community.transwarp.cn/question/detail?id=712
- 内存不够用经常溢出，日志有个名为executor_heapDump.hprof文件很大，可以删除吗
https://community.transwarp.cn/question/detail?id=699
- 如果数据源都是通过API接口方式获取，星环平台有什么工具将接口数据存到inceptor吗
https://community.transwarp.cn/question/detail?id=642
- 端口冲突被占用，怎么看被占用的情况？
https://community.transwarp.cn/question/detail?id=638
- TDH社区版中服务经常变为异常
https://community.transwarp.cn/question/detail?id=637
- 数据采集问题
https://community.transwarp.cn/question/detail?id=636
- 【问题分享】Windows系统在配置本地hosts时失败，应如何解决？
https://community.transwarp.cn/question/detail?id=635
- k8s集群的bearer_token路径在哪里 ，一直找不到
https://community.transwarp.cn/question/detail?id=691
- 共识跟一致性是同一个概念吗？星环的一致性协议采用的是哪个协议？
https://community.transwarp.cn/question/detail?id=686
- 使用beeline命令连接Inceptor时，报错“-bash: beeline: command not found”
https://community.transwarp.cn/question/detail?id=677
- 通过Beeline命令行连接Inceptor出现报错“GSS initiate failed”
https://community.transwarp.cn/question/detail?id=676
- 请问argodb和inceptor有什么区别？
https://community.transwarp.cn/question/detail?id=673
- 开启了kerberos后无法采用beeline的方式无法连接数据库，这是为什么？
https://community.transwarp.cn/question/detail?id=629
- 【问题分享】社区开发版，因有误操作导致容器停止运行，如何恢复
https://community.transwarp.cn/question/detail?id=626
- 社区开发版跟社区版可不可以一起装
https://community.transwarp.cn/question/detail?id=623
- 启动TOS Master失败
https://community.transwarp.cn/question/detail?id=621
升级时可能遇到的问题
- Aquila Insight进行升级时显示通过TOS启动state-metrics失败（9.0升级9.1）
- 怎么更新产品包
- 使用TDH社区版，怎么查看已安装服务的版本？以及是否有可更新版本？
https://community.transwarp.cn/question/detail?id=714
- 更新产品包教程
https://community.transwarp.cn/question/detail?id=58
其他通用的排查思路
1. 上传产品包失败排查攻略
可能的原因：
a. 磁盘空间不足
b. 产品包md5不对导致产品包无法解压
c. 上传超时
d. 5000端口占用
a. 磁盘空间不足
默认会使用/var/lib/transwarp-manager/tmp目录来存储解压的产品包，必须保证这个目录所在的磁盘空间足够
PS： 这个目录是在/etc/transwarp-manager/master/application.conf的 tmp-dir参数配置的
b. 产品包md5不对
产品包中有附带了md5文件，但是由于用户环境的不同可能会对拷贝介质等做各种限制，从而损坏了产品包，您可以验证下产品包的的md5值是否变化。
b(1). 产品包无法解压
如果没有变化的话可以尝试手动解压产品包，看看是否会失败。
tar -xvzf <install-pkg>
2. 问题：Metastore不健康、无法启动、自动宕机。如何查看metastore的kucectl log和服务的日志进行问题定位c. 上传超时
上传超时错误在页面上会有提示，仔细观察下就能发现
机器磁盘性能较差时，可以修改manager的 application.conf 文件下的 node.install.timeout把超时时间调长，改完需要重启manager
d. 5000端口占用
上传产品包需要用到5000端口，如果这个端口被registry之外的其他进程占用了，会导致失败
解决思路：
查看metastore日志以及kubctl logs 容器本身的启动日志进行问题定位
如何查看（示例）：
然后可以到部署了metastore的节点上，查看/var/log/quark1/下面的quark-metastore.log，日志中的报错原因有明确显示。
3. 8180端口无法访问问题排查流程
问题描述
使用浏览器无法打开Manager的8180页面，显示无法访问或拒绝连接。
故障排查整体思路
Manager服务启停
登录Manager节点，执行以下命令：
ps -ef | grep ManagerMaster
如果进程不存在，执行以下命令启动服务：
systemctl restart transwarp-manager
服务启动后再尝试访问8180页面，如果无法访问可以用下面步骤排查
排查步骤
a. 检查下磁盘空间是否足够
如果日志没刷新，很可能是磁盘满了
b. 网络连接不畅
检查网络、防火墙（网络是否正常）
在浏览器所在机器执行以下命令：
ping <manager节点IP>
如果不通请先检查网络连接，包括防火墙
c. 浏览器不支持
检查浏览器版本
查看安装手册，确认支持的浏览器，如果使用的浏览器不在支持列表中，请更换为支持的浏览器。
d. 浏览器缓存问题
清空浏览器缓存之后再尝试重新访问8180页面。
e. 检查HTTPS是否打开
如果https配置未打开，无法使用https访问8180
/etc/transwarp-manager/master/application.properties里面
server.ssl.enabled=false|true
f. 检查rpm包的完整性
在manager节点上，执行 rpm -qa | grep transwarp-manager命令，查看rpm包是否完整：
rpm包如何获取：https://community.transwarp.cn/question?questionId=73
如果不完整则需要重新安装，使用rpm -i命令安装即可。
g. 检查manager主进程是否存在
/etc/init.d/transwarp-manager status 与 jps命令都可以查询到manager主进程号
主进程不存在时候，可以尝试启动manager ，命令： /etc/init.d/transwarp-manager start
如果启动成功可以重新打开8180页面尝试登录，如果失败检查是否因为DB启动失败导致
h. 检查是否因为DB启动失败导致
manager启动失败，最常见的错误是db启动失败导致的，所以首先排查db的问题，参考第4个排查问题：transwarp-manager-db启动失败排查思路
db正常之后，manager还是启动不了，就需要检查启动日志 /var/log/transwarp-manager/master/transwarp-manager.out 查找原因了
i. 检查端口监听
注意： 开始这个步骤之前，要保证manager主进程已经在运行了manager默认使用8180端口，使用如下命令查看是否更改过：
cat /etc/transwarp-manager/master/application.properties | grep -i server.port
PS： 以下默认使用8180端口登录Manager节点，检查8180端口监听状况，执行以下命令：
netstat -lnp | grep 8180
或者
ss -nap | grep 8180
如果有进程在监听，要确定是manager的进程号；如果没有进程在监听，尝试重启Manager服务；如果有其他进程在监听8180端口，关闭此进程并重启Manager服务，验证是否能成功。
j. 验证Manager是否在提供服务
当确定8180端口被正确监听了之后，可以在Manager节点上执行下curl -v http://managerip:8180/来验证是否在正常服务，以下是正常集群：
如果得不到上面的结果，此时基本可以确定是manager本身出问题了，启动日志中一定会有报错，根据错误来寻找原因；
如果得到了上面的正确结果，还是无法访问8180页面，那么99%可能性是集群的网络、防火墙等有问题
k. 集群压力导致的manager进程启动失败
k(1). 内存不足
服务器的内存空间被耗尽有可能导致manager进程启动失败，可以用下面这个命令查看机器的内存情况
free -g
如果manager频繁的OOM，可以考虑增大进程的内存，
修改地址：
/usr/lib/systemd/system/transwarp-manager.service
修改代码：
LANG=en_US.UTF-8 nohup $JAVA_HOME/bin/java $AGENT \
-Xms1024m -Xmx1536m \
必须同时更改这Xms和Xmx两个参数，并且Xmx要比Xms大，通常Xms要小于Xmx*70%
k(2). 磁盘IO
可以用iostat命令来检查磁盘的IO情况，比如：
iostat -mx 2
PS： 安装命令是 yum install -y sysstat
结果类似：
尤其需要关注系统盘的使用率
%util： 在统计时间内所有处理IO时间，除以总共统计时间。例如，如果统计间隔1秒，该设备有0.8秒在处理IO，而0.2秒闲置，那么该设备的%util = 0.8/1 = 80%，所以该参数暗示了设备的繁忙程度。一般地，如果该参数是100%表示设备已经接近满负荷运行了
可以用pidstat命令来查看占用IO最高的进程：
pidstat -dl -T ALL 3
PS： 安装命令是 yum install -y sysstat
可以根据结果来确定哪些进程在消耗磁盘的IO
4. transwarp-manager-db启动失败排查思路
a. 检查rpm包是否完整
rpm -qa | grep -i mariadb
b. 查看mysql用户是否存在
manager在安装db的过程中，会在操作系统中建立一个mysql用户，并且修改对应配置文件的所属，mysql用户缺失会导致db启动失败
c. 尝试后台启动db
根据/etc/init.d/transwarp-manager-db脚本中的内容，手动执行命令：
/usr/bin/mysqld_safe --defaults-file=/etc/transwarp-manager/master/my.cnf
或者是
/bin/sh /usr/bin/mysqld_safe --defaults-file=/etc/transwarp-manager/master/my.cnf
如果能执行成功，那么db应该已经可以启动了，可以用/etc/init.d/transwarp-manager-db start去启动db
如果执行失败，那么根据错误提示去查看日志，一般是在 /var/log/transwarp-manager/master/mysql/transwarp-manager-db.log，不排除有提示查看其他日志
如果报错发现日志报错
[ERROR] Fatal error: Can't open and lock privilege tables: Table 'mysql.host' doesn't exist
排查：
该问题基本是出现在新装 TDH 集群时。
首先确认执行 hostname 命令输出的主机名，和 /etc/hosts 里配置的保持一致
如果服务器配置了 DNS 域名解析，确认 /etc/resolv.conf 里配置的 DNS 服务器能正常解析域名
分别执行 ping localhost 和 ping $(hostname) 看 ip 信息对不对，网络是否正常
解决：
如果以上有信息不正确，请先解决相关的问题，如果以上信息都正确，请执行如下命令来初始化数据库和启动 manager。
$ /usr/bin/mysql_install_db --user=mysql --defaults-file=/etc/transwarp-manager/master/my.cnf --datadir=/var/lib/transwarp-manager/master/data/mysql --force
$ /etc/init.d/transwarp-manager restart
常见问题解决方法（持续更新中）
(1)日志目录权限不对
db启动失败，/usr/bin/mysqld_safe --defaults-file=/etc/transwarp-manager/master/my.cnf
命令报错：can't create/write to file ‘/var/log/transwarp-manager/master/mysql/transwarp-manager-db.log’ (Errcode: 13)
这个错误跟日志的权限有关，日志权限正确就检查整个路径的文件夹权限
或者 su - mysql -s /bin/bash切换到mysql用户，然后验证是否能读写日志
(2)日志中提示表不存在
(3)日志中提示表不存在日志报错：
090517 13:34:15 [ERROR] Can't open the mysql.plugin table. Please run mysql_upgrade to create it.
090517 13:34:15 [ERROR] Fatal error: Can't open and lock privilege tables: Table 'mysql.host' doesn't exist
类似的错误 ，在TDH集群中应该是/usr/bin/mysql_install_db --user=mysql --datadir=“/var/lib/transwarp-manager/master/data/mysql” 执行之后再去启动db
但是上一步中的命令执行不了错误信息：
Neither host ‘host4’ nor ‘localhost’ could be looked up with ‘/usr/libexec/resolveip’
解决方法：
需要建一个软连接从/usr/bin/resolveip到/usr/libexec/resolveip
ln -s /usr/bin/resolveip /usr/libexec/resolveip
(4)缺少mysql用户
Manager安装过程中会创建mysql用户来启动数据库，如果这个用户创建失败，也会导致db启动失败
5.启动故障
(1)Datanode起不来
修复磁盘重新挂载hdfs后，启动时datanode起不来，datanode挂了
报错1：
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 3, volumes configured: 5, volumes failed: 2, volume failures tolerated: 0
报错2：
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /vdir/mnt/disk5/hadoop/data is in an inconsistent state: Root /vdir/mnt/disk5/hadoop/data: DatanodeUuid=138c130a-c8ea-4eff-8c03-1b4c8fdba1b6, does not match 691f7ac4-a901-46a4-9cac-6fc2904f1585 from other StorageDirectory.
rootcase：真正的问题原因在报错2中，可以看出是因为datanode的uuid发生了改变导致的datanode起不来
解决方法：
举例如上述报错中可将xxx/data/current/VERSION 文件中的DatanodeUuid=138c130a-c8ea-4eff-8c03-1b4c8fdba1b6改为DatanodeUuid=691f7ac4-a901-46a4-9cac-6fc2904f1585 然后配置服务重启hdfs即可
报错3：
org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid volume failure config value: 3
rootcase：datanode只配置了三个数据目录，并且hdfs-site.xml的dfs.datanode.failed.volumes.tolerated设置成了3
解决方法：
将参数dfs.datanode.failed.volumes.tolerated的值设置成0，配置服务重启hdfs即可
(2)Namenode起不来
基本原理：
一般namenode起不来，大部分原因是因为元数据文件缺失、损坏、权限不对、挂载信息错误等导致nn启动加载的时候识别报错；
① editlog问题，缺失等；
一般在启动的时候，FSEditLogLoader类会去加载nn目录下面的editlog文件；首先editlog这个文件是存在于ann、snn、jn中的；首先查看各个jn中的editlog是不是连续的，中间有没有缺失，有没有不正常的edits_inprogress文件；
首先ann生成editlog文件，并同步上传给jn，snn会去jn上拉取editlog用于合并fsimage，然后将最新的fsimage传输给ann。
ann和snn在启动的时候会去检查editlog是否完整；
② fsimage文件损坏；
使用sh fixfsimage.sh check {fsimage文件}查看文件是否损坏；
6. Inceptor 事务并发加锁时间过长的可能情况
解决思路：
如果inceptor的并发事务执行慢，可以检查一下mysql的master节点挂载的磁盘的压力情况以及网络延时情况。
7.管理界面添加节点失败
现象：
在查找添加节点的界面上，输入节点IP、用户名和密码之后，报错无法连接到对应机器。
具体的报错信息
Could not create directory '/home/transwarp/.ssh'.
解决办法：
(1)将解压出来的/home/transwarp更名，以创建/home/transwarp目录并chown为transwarp:transwarp
(2)将transwarp用户的$HOME默认改为/var/lib/transwarp
8. 如何进行Inceptor server GC日志分析
Inceptor server 没有单独的GC日志文件，GC的信息混在hive-server2.log里面。
GC的信息是通过leviathan输出的，每分钟一次。
1) 如果间隔超过了1分钟，中间肯定发生了比较严重的GC。
2) gcTime计算：gcTime是累积的时间，两个相减就是期间的GC总时间。
9. Inceptor server GC问题分析2018-11-30 14:09:16,255 INFO leviathan.TimedEventTracker: (Logging.scala:logInfo(59)) [Leviathan Monitor Timer()] - [Leviathan][2100931]JVM Process Time: recent {u:200, s:91}; history {u:5772494, s:990672}; Executor thread number: 377; opened fd: 3049; JVM offheap status: used 88677591 byte, capa 88677589 byte, max 32883343360 byte; JVM heap gc status: count 2028, gcTime 3111809 ms; JVM Heap: init = 2147483648(2097152K) used = 13232454000(12922318K) committed = 32883343360(32112640K) max = 32883343360(32112640K), Non-Heap: init = 2555904(2496K) used = 303465696(296353K) committed = 310972416(303684K) max = -1(-1K); Get these information costs: 18.89 ms
...
2018-11-30 14:10:16,256 INFO leviathan.TimedEventTracker: (Logging.scala:logInfo(59)) [Leviathan Monitor Timer()] - [Leviathan][2100933]JVM Process Time: recent {u:126, s:73}; history {u:5772620, s:990745}; Executor thread number: 375; opened fd: 3048; JVM offheap status: used 88685783 byte, capa 88685781 byte, max 32883343360 byte; JVM heap gc status: count 2028, gcTime 3111809 ms; JVM Heap: init = 2147483648(2097152K) used = 13259790112(12949013K) committed = 32883343360(32112640K) max = 32883343360(32112640K), Non-Heap: init = 2555904(2496K) used = 303465696(296353K) committed = 310972416(303684K) max = -1(-1K); Get these information costs: 19.55 m
可能会引起GC的原因：
① CTC 表太大（垃圾太多）
HiveConf中会包含CTC表的信息，如果记录数目太多，占用内存会比较多．
在mysql/txsql里面查询：
SELECT count(*) FROM hive_metastore.COMPLETED_TXN_COMPONENTS
② PL/SQL死循环profile信息积累,jmap如下
解决方法：plsql.runtime.profile设置为false.
③ ORC column统计信息太多
解决方法： 调小hive.orc.cache.stripe.details.size
这个开关会影响orc footer cache的大小。 在inceptor的log里面搜， FooterCacheHitRatio， 如果绝大部分ration是0，可以考虑把hive.orc.cache.stripe.details.size设成0。
④ HiveConf太多
设置 -Dspark.cleaner.ttl.BROADCAST_FAST=1800应该可以缓解 （默认是1800，如果还是积累比较严重，可以把这个值设小）
“该参数影响范围内容：
当Inceptor以Cluster模式“高并发”连续执行批处理作业时（一般是平均1分钟执行20个SQL以上）连续执行数小时，会导致Executor严重FullGC，并且无法自然缓解
该参数无副作用
该参数的工作原理及问题出现原因：
这个参数只是用来清理Executor和Inceptor Server“内存”中的Broadcast的，
并不清理被保存在磁盘上的Broadcast文件，如果后续任务还需要这个Broadcast那么从磁盘中拿到那个Broadcast文件就可以
Broadcast的文件清理间隔还会4个半小时，这个参数设置在15分钟左右是不会有任何副作用的
开发这套新的机制的起因是邮政项目在跑高并发的时候发现HiveConf过大导致Executor/server FullGC"
一般出现在并发量比较大的情况，jmap如下所示：
这里占内存最多的 [C, 可能是 第二节 提到的CTC表问题。
并发跑时，HiveConf可能会积累到5/6千个，这个基本正常，跟SQL的复杂度和积压情况相关。 暂时还没有好办法，可以先调大inceptor server内存workaround.
目前正在持续更新中，有问题大家多多留言~
悬赏：
0
分享
举报
登录后可回答问题
.jpg)
.jpg)
