对于低于每秒100w个数据点的摄取率，建议使用单节点版本而不是集群版本，单节点版本可以根据CPU内核，RAM和可用存储空间的数量进行扩展，单节点版本比集群版更容易配置和操作，所以在使用集群版本之前要考虑清楚，上面我们用了单节点版本做存储，也用了它替换Prometheus，那么接下来我们就来看看集群版该如何使用集群版主要特点： 1：支持单节点版本所有功能 2：性能和容量支持水平扩展 3：支持时间序列数据的多个独立命名空间（多租户） 4：支持多副本组件服务在前面我们已经了解了VM的基础架构了，对于集群模式下主要包含以下几个服务： 1：vmstorage：存储原始数据，并返回指定标签过滤器在给定时间范围内的查询数据，当 `-storageDataPath` 指向的目录包含的可用空间少于`-storage.minFreeDiskSpaceBytes`时，`vmstorage`会切换到只读模式，`vminset`节点也会停止向此类节点发送数据并开始将数据重新路由到剩余的`vmstorage` 2：vminset：接受摄取的数据并根据指标名称及其所有标签的一致性哈希将其分散存储到`vmstorage`节点 3：vmselect：通过所有配置的`vmstorage`节点获取所需数据来执行查询对于每个服务都可以独立扩展，`vmstorage`节点之间互不了解，互补通信，并且不共享任何数据，这样可以增加集群的可用性，并且简化了集群的维护和扩展最小集群必须以下节点 1：带有`-retentionPeriod`和`-storageDataPath`参数的单`vmstorage`节点 2：带有`-storageNode=`的单`vminsert`节点 3：带有`-storageNode=`的单`vmselect`节点但其实如果我们生产上使用的话还是建议每个服务运行至少两个节点实现高可用，然后利用K8S的亲和性等功能实现，当一个节点处于崩溃状态时，我们不至于集群都垮掉，如果集群规模比较大的话，那么可以运行多个小型的vmstorage节点，因为这样可以在某些vmstorage节点暂时不可用时减少剩余vmstorage节点上工作负载增加各个服务除了可以通过flags进行配置之外，也可以通过环境变量的方式配置： 1：-envflag.enable：这个标志必须设置 2：每个标志中的 . 必须替换为_，例如 `-insert.maxQueueDuration ` 可以转换为 `-insert_maxQueueDuration=` 3：对于重复的标志，可以使用另一种语法，通过使用,作为分隔符将不同的值连成一个，例如 `-storageNode -storageNode ` 将转换为 `-storageNode=,` 4：可以使用-envflag.prefix为环境变量设置前缀，例如设置了-envflag.prefix=VM*，则环境变量参数必须为VM*开头多租户此外VM集群也支持多个独立的租户（也叫命名空间），租户由`accountID`或`accountID:projectID`来标识，它们被放在请求的URL中 1：每个accountID和projectID都由一个[0 .. 2^32]范围内的任意32位整数标识，如果缺少projectID，则自动将其分配为0，有关多租户的其他信息，例如身份验证令牌，租户名称，限额，计费等，将存储在一个单独的关系型数据库内，此数据库必须由位于VictoriaMetrics集群前面的单独服务管理，例如：vmauth或者vmgateway、 2：当一个数据点写入指定租户时，租户被自动创建 3：所有租户的数据均匀分布在可用的vmstorage节点中，当不同的租户有不同的数据量和不同的查询负载时，这保证了vmstorage节点之间的均匀均衡 4：数据库性能和资源使用不依赖于租户的配置，它主要取决于所有租户中活跃时间序列的总数，如果一个时间序列在过去一小时内至少收到一个样本，或者在过去一小时内被查询，则认为时间序列是活跃的。 5：VictoriaMetrics不支持在单个请求中查询多个租户集群大小调整和可扩展性 VM集群的性能和容量可以通过两种方式进行扩展： 1：通过向集群中的现有节点添加资源（CPU，RAM，IO，磁盘，磁盘空间，网络带宽），这也叫垂直可扩展性 2：通过向集群中添加更多的节点，这叫水平可扩展性对于集群扩展有一些比较通用的建议： 1：向所有vmselect节点添加更多的CPU和内存，可以提高复杂查询的性能，这些查询可以处理大量的时间序列和大量的原始样本 2：添加更多vmstorage节点可以增加集群可处理的活跃时间序列的数量，这样也提高了对高流失率（churn rate）的时间序列的查询性能，集群稳定性也会随着vmstorage的节点数量的增高而增高，当一些vmstorage节点不可用时，活跃的vmstorage节点需要处理较低的额外工作负载。 3：向现有vmstorage节点添加更多的CPU和内存，可以添加集群可处理的活跃时间序列的数量。与向现有vmstorage节点添加vmstorage节点添加更多的CPI和内存相比，最好添加更多的vmstorage节点，因为更多的vmstorage节点可以提高集群的稳定性，并提高对高流失率的时间序列的查询性能。 4：添加更多的vmselect节点会提高数据摄取的最大速度，因为摄取的数据可以在更多的vminsert节点之间进行拆分。集群可用性： 1：HTTP负载均衡器需要停止将请求路由到不可用的vminsert和vmselect 2：如果至少存在一个vmstorage节点，则集群仍然可用： 1：vminsert将传入数据从不可用的vmstorage节点重新路由到健康的vmstorage节点 2：如果至少有一个vmstorage节点可用，则vmselect会继续提供部分响应，如果优先考虑可用性的一致性，则将 `-search.denyPartialResponse`标志传递给vmselect或请求中的`deny_partial_response=1`查询参数传递给vmselect 重复数据删除如果`-dedup.minScrapeInterval`命令行标志设置为大于0的时间，VictoriaMetrics会去除重复数据点，例如 `-dedup.minScrapeInterval=60s`将对同一时间序列上的数据点进行重复数据删除，如果它们位于同一个离散的60秒存储桶内，最早的数据点将被保留，在时间戳相等的情况下，将保留任意数据点。 `--dedup.minScrapeInterval`推荐值等于Prometheus配置中的scrape_interval的值，建议在所有抓取目标中使用一个scrape_interval配置。如果HA中多个相同配置的vmagent或者Prometheus实例将数据写入同一个VictoriaMetrics实例，则重复数据删除会减少磁盘空间使用，这些vmagent或prometheus实例在配置中必须具有相同的external_labels部分，因为它们将数据写入相同的时间序列。容量规划根据案例研究u，与竞争解决方案（Prometheus，Thanos，Cortex，TimescaleDB，InfluxDB，QuestDB，M3DB）相比，VictoriaMetrics在生产工作负载上使用的CPU，内存和存储空间更少每种节点类型 - vminsert，vmselect和vmstorage都可以在最适合的硬件上运行，集群容量随着可用资源的增加而线性扩展，每个节点类型所需的CPU和内存数量很大程度上取决于工作负载 - 活跃时间序列的数量，序列流失率，查询类型，查询QPS等，建议为每个生产的工作负载部署一个测试的VictoriaMetrics集群，并反复调整每个节点的资源和每个节点类型的节点数量，直到集群变化稳定，同样也建议为集群设置集群监控，有助于确定集群设置中的瓶颈问题。指定保留所需的存储空间（可以通过vmstorage中的`-retentionPeriod`的命令标识来设置）可以从测试运行中的磁盘空间使用情况推断出来，例如，如果生产工作负载上运行一天后的存储空间使用量设置为10GB，那么对于`-retentionPeriod=100d`(100天的保留)来说，它至少需要10GB*100=1TB的磁盘空间，可以使用VictoriaMetrics集群的官方Grafana仪表盘监控存储空间的使用情况。建议留出以下数量的备用资源： 1：所有节点类型中50%的空闲内存，以减少工作负载临时激增因为OOM崩溃的可能性 2：所有节点类型中50%空闲的CPU，以减少工作负载临时高峰期间的慢速概率 3：vmstorage节点上`-storageDataPath`命令标志指向的目录中至少有30%的可用存储空间 VictoriaMetrics集群的一些容量规划技巧 1：副本集将集群所需的资源最多增加N倍，其中N是复制因子 2：可以通过添加更多vmstorage节点和/或通过增加每个vmstorage节点的内存和CPU资源来增加活跃时间序列的集群容量。 3：可以通过增加vmstorage节点的数量和/或通过增加每个vmselect节点的内存和CPU资源来减少查询延迟 4：所有vminsert节点所需的CPU内核总数可以通过摄取率计算：CPUs = ingestion_rate / 100K。 5：vminsert节点上的`-rpc.disableCompression`标志可以增加摄取容量，但代价是vminsert和vmstorage之间的网络带宽使用率会增高复制和数据安全默认情况下，VM的数据复制依赖 `-storageDataPath`指向的底层存储来完成。但我们可以手动通过将`-replicationFactor=N`参数传递给vminsert来启用复制，这保证了多达N-1个vmstorage节点不可用，所有数据仍可以用于查询，集群必须至少包含2*N-1个vmstorage节点，其中N是复制因子，以便在N-1个存储节点丢失时为新摄取的数据维持指定的复制因子，例如，当`-replicationFactor=3`传递给vminsert时，它将所有摄取的数据复制到3个不同的vmstorage节点，因此最多丢失2个vmstorage节点而不丢失数据，vmstorage节点的最小数应该等于2*3-1=5，因此当2个vmstorage节点丢失时，剩余3个vmstorage节点可以为新摄取的数据提供服务。启用复制后必须将`-dedup.minScrapeInterval=1ms`参数传递给vmselect节点，当多达n-1个vmstorage节点响应缓慢和/或暂不可用时，可以将可选的`-replicationFactor=N`参数传给vmselect以提高查询性能，因为vmselect不等待来自多达N-1个vmstorage节点的响应，有时，vmselect节点上的`-replicationFactor`可能会导致部分响应。`-dedup.minScrapeInterval=1ms`在查询期间对复制的数据进行重复数据删除，如果重复数据从配置相同的vmagent实例或者Prometheus实例推送到VM，则必须根据重复数据删除文档将 `-dedup.minScrapeInterval`设置为最大的值，请注意，复制不会从灾难中保存，因此建议执行定期备份，另外，复制会增加资源使用率， CPU，内存，磁盘空间，网络带宽最多 `-replicationFactor`倍，所以可以将复制转移`-storageDataPath`指向的底层存储来做保证，例如Google Compute Engine永久磁盘，该磁盘可以防止数据丢失和数据损坏，它还提供始终如一的高性能，并且可以在不停机的情况下调整大小，对于大多数用例来说，基于HDD的永久性磁盘应该足够了。备份建议从即时快照执行定期备份，防止意外数据删除等错误，必须为每个vmstorage节点执行以下步骤来创建备份通过导航到/snapshot/create HTTP handler 来创建一个即时快照，它将创建快照并返回其名称。 1：可以通过访问/snapshot/create这个HTTP Handler来创建即时快照，它将创建快照并返回其名称 2：使用vmbackup组件从`<-storageDataPath>/snapshots/`文件夹归档创建的快照，归档过程不会干扰vmstorage工作，因此可以在任何的时间执行 3：通过/snapshot/delete?snapshot=或者/snapshot/delete_all删除未使用的快照，以释放占用的存储空间 4：无需在所有vmstorage节点之间同步备份。从备份恢复 1：使用kill -INT 停止vmstorage节点 2：使用vmrestore组件将备份中的数据还原到`-storageDataPath`目录 3：启动vmstorage节点在了解了VM集群的一些配置细节后，接下来就是部署VM集群了

Gitlayzer