新型IT运维管理,基础设施和数据两手都要硬
AI大模型时代,数据赋予IT人“新使命”
目前,IT人员在企业中扮演着运营支撑的角色。说到运维管理,相信大家都有过一段艰难的经历。他们每天负责繁琐、高负荷、高风险的运维工作,但在业务规划和职业发展方面却变得“透明”。业内有句戏谑的说法:“只会花钱的人没有发言权”。
随着人工智能大模型应用的普及,数据已成为企业的关键资产和核心竞争力。近年来,企业的数据规模从PB级呈指数级增长到数百PB级,数据类型也从基于数据库的结构化数据发展到基于文件、日志、视频的半结构化和非结构化数据等化数据。业务部门希望数据能够像图书馆一样分类存放,随时可以使用。同时也希望数据存储更加安全可靠。
IT人员不再只是负责构建和管理IT资源、确保设备稳定性的被动参与者。
IT人的新使命已经演变为提供高质量的数据服务,让数据变得好用,帮助业务部门用好数据!
新型IT运维管理,基础设施和数据两手都要硬__新型IT运维管理,基础设施和数据两手都要硬“基础设施”和“数据”很接近,但“管理”却相距甚远
在基础设施管理方面,业界普遍的做法是利用AIOps技术,将繁琐的人工日常运维变成利用工具自动化执行。通过专家系统、知识图谱等智能化能力,可以主动发现系统隐患、自动修复故障等。生成式AI技术普及后,近期出现了智能客服、交互式运维等新应用。
对于数据管理,业界有以IBM、IBM等为代表的专业软件厂商,支持数据集成、数据标签、数据分析、数据优化、数据市场等能力,为数据分析师、BI分析师、数据分析师提供服务。科学家和其他企业。团队提供服务。
笔者研究发现,目前大多数企业的基础设施运维管理和数据管理是分离的,由不同的团队负责,工具平台之间也没有有效的协作。业务数据存储在存储等IT基础设施中,应该进行集成。然而,两者的实际管理却相差甚远,甚至两个团队之间的语言也不一致。这通常会带来几个缺点:
1)数据来源不同:由于属于不同的团队,使用的工具不同,业务团队通常通过ETL等方法将原始数据复制到数据管理平台进行分析处理。这不仅造成存储空间的浪费,还会造成数据不一致、数据更新不及时等问题,影响数据分析的准确性。
2)跨区域协作困难:现在企业数据中心分布在多个城市。数据跨地域传输时,目前主要是通过软件在主机层进行复制。这种数据传输方式不仅效率低下,而且传输过程中还涉及安全问题。合规和隐私等严重风险。
3)系统优化不足:目前的优化通常是基于基础设施资源的利用。由于无法感知数据布局以实现全局优化,因此数据存储的成本仍然很高。预算的有限增长与数据规模的指数级增长相结合。企业之间的矛盾已经成为制约企业数据资产积累的关键矛盾。
IT人,打通“基础设施”和“数据”两条通道,启动数字智能飞轮
笔者认为,IT团队要把“基础设施”和“数据”作为一个有机整体进行管理和优化,实现数据起源、全局优化、安全流通,发挥数据资产管理者的重要作用。
首先,实现全局文件的统一视图。利用全局文件系统、统一元数据管理等技术,形成不同地域、不同数据中心、不同类型设备的数据统一的全局视图。在此基础上,可以根据热、温、冷、重复、过期等维度制定全局优化策略,并发送给存储设备执行。这种方法可以实现全局优化。基于存储层复制的压缩、加密等技术通常可以实现数十倍的数据移动速度,并且效率和安全性都能得到保证。
其次,海量非结构化数据自动生成数据目录。通过元数据、增强元数据等自动生成数据目录服务,对数据进行分类高效管理。基于目录,业务团队可以自动提取符合条件的数据进行分析处理,而不需要像大海捞针一样手动寻找数据。笔者研究发现,通过AI识别算法进行数据标注的技术已经比较成熟。因此,可以利用开放框架集成不同场景的AI算法,自动分析文件内容形成多样化标签,作为增强元数据,提升数据管理能力。 。
同时,数据跨设备流动时,需要特别考虑数据主权、合规隐私等问题。存储设备中的数据应自动分类、隐私分级、去中心化、分域等。管理软件应统一管理数据的访问、使用、流转等策略,避免敏感信息和隐私数据泄露。未来,数据元交易场景将成为基础需求。例如,当数据流出存储设备时,必须首先确定合规性、个人隐私等,以确定是否符合政策要求,否则企业将面临严重的法律和监管风险。
参考架构如下:
新型IT运维管理,基础设施和数据两手都要硬__新型IT运维管理,基础设施和数据两手都要硬根据笔者的研究和咨询同行专家,发现业界如华为存储已经发布了存储与数据管理一体化的产品解决方案。相信未来会有更多的厂商支持。
设备、数据都要双手去抓,双手都要有力。 IT人可以在AI时代发挥更重要的作用。
鱼云专注于提供高性能云服务器和物理服务器租赁服务。我们致力于为企业提供安全、稳定、高效的解决方案,确保数据无忧、业务顺畅。