CVMやPrism Centralのhomeディレクトリ配下の容量を減らしたいとき - えっくすじゃ〜に〜「Nutanixはじめました」

こちらは、Nutanix Advent Calendar 2021において、私が担当した12/4分の記事となります。

今回のテーマ

Nutanixを長いこと運用しているといつかは（わりと早々に？）ぶつかる、CVMやPrism Centralのhomeディレクトリの容量問題について、今回も自分なりのメモ書きをまとめました。

※こちらを参考にご対応いただく際は自己責任でお願いします。

※本番環境の場合、メーカーサポートの指示を受けることをおすすめします。

homeディレクトリの容量問題とは

CVMやPrism CentralといったNutanixのコンポーネントは、Linux CentOS（最近はCentOS 7.9）をベースに提供されており、homeディレクトリ配下には設定情報やハードウェアの構成情報、ログ情報、バージョンのアップグレードに使用する際に格納したバイナリファイルなどが保存されています。

Nutanixを運用していくと、このhomeディレクトリ配下にファイルが蓄積され、NCCによるアラート通知で以下のようなhomeディレクトリの使用率が75%を超過したメッセージがPrism UIに出力されます。

WARN: Prism Central VM x.x.x.x home partition disk usage exceeds warning limit 75 %.

75%くらいならまぁいいだろうと放っておいてもすぐに枯渇することはないのですが、LCMのアップグレード作業なんかに影響します。

アップグレード実行前のプリチェックでこの辺をしっかり監視していまして、75%未満でないとアップグレード処理が中断してしまいます。

そこで今回は、CVM（AOS）とPrism Centralにおける不要ファイルの削除方法について調べました。

CVM（AOS）の不要ファイル削除方法について

こちらのKBで案内されています。

[AOS Only] What to do when /home partition or /home/nutanix directory on a Controller VM (CVM) is full

https://portal.nutanix.com/kb/1540

ざっくり要約すると、Nutanixサポートサイトからダウンロードしたスクリプト「KB-1540_clean_v9.sh」によって展開される「nutanix_home_clean.py」を実行することで不要なファイルを安全に削除してくれます。

これまでは以下ディレクトリ配下に格納されたファイルを手作業で削除していましたが、スクリプトを用いることで容易に空き容量の確保が可能となります。

▼KB情報：CVMの削除可能なファイルの格納先

/home/nutanix/data/cores/
/home/nutanix/data/binary_logs/
/home/nutanix/data/ncc/installer/
/home/nutanix/data/log_collector/
/home/nutanix/prism/webapps/console/downloads/NCC-logs-*

Prism Centralの不要ファイル削除方法について

先に述べたように、CVMではスクリプトが用意されていましたが、このスクリプトはPrism Central非対応とのことですので、Prism Centralには別の手法を用いる必要があります。

Prism Centralに関しては以下のKBに案内があります。

NCC Health Check: pcvm_disk_usage_check

https://portal.nutanix.com/kb/5228

しかし、このKBの中でもスクリプトのようなツールは用意されておらず、以下のディレクトリ配下のファイルを手作業で削除する程度の案内でした。

▼KB情報：Prism Centralの削除可能なファイルの格納先

/home/nutanix/software_downloads/
/home/nutanix/software_uncompressed/
/home/nutanix/data/cores
/home/nutanix/data/log_collector/
/home/nutanix/foundation/isos/
/home/nutanix/foundation/tmp/

私も実際やってみましたが、これらのファイルを削除しただけでは75%未満まで容量を確保するまでには至りませんでした。

他にどのようなファイルが占領してしまっているのか調べたところ、Prism Centralのログ関連のファイルが大きくなっている様です。

本番環境であればNutanix Supportの指示を受けて行う作業となりますが、検証環境でしたので自己判断で以下のディレクトリ配下のログファイルを精査の上、手作業で削除することで空き容量を開放することができました。

▼Prism Central ログファイル格納先

/home/nutanix/data/logs

/home/log

WinSCPで/home/nutanix/data/logs内を見ると、ログ関連のファイルが多くあり、中には100MBを超えるファイルも散見されます。
ログファイルは一定のファイルサイズになると次の新しいファイルを作成してローテーションしており、基本的には古いファイルは消されず残るか、圧縮されていました。

f:id:hmlab:20211203213915p:plain