大数据分析面临的问题,简述大数据分析处理面临的挑战

大数据存储技术的爆发式增长面临困难随着大数据应用的爆发式增长，大数据衍生出了自己独特的架构，也直接推动了存储、网络和计算技术的发展。毕竟，处理大数据的特殊需求是一个新的挑战。硬件的发展最终是由软件需求驱动的。大数据本身意味着需要使用标准存储技术处理大量数据。大数据可能由TB级(甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等。)和非结构化数据(社交媒体帖子、传感器、多媒体数据)。

从目前的技术发展来看，大数据存储技术的发展面临以下问题:1 .容量。这里所说的“大容量”通常可以达到PB的数据规模，因此海量数据存储系统也必须具备相应的扩展能力。同时，存储系统的扩展必须简单，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。“大数据”应用不仅数据规模巨大，也意味着文件数量巨大。

1。分布式系统大数据解决方案将数据和操作分布在多个系统中，以实现更快的处理和分析。这种分布式系统可以平衡负载，避免单点故障。然而，这样的系统容易受到安全威胁，黑客只需攻击一个点就可以渗透整个网络。2.数据访问大数据系统需要访问控制来限制对敏感数据的访问，否则任何用户都可以访问机密数据，有些用户可能出于恶意使用。此外，网络犯罪分子可以入侵连接到大数据系统的系统，窃取敏感数据。

3.不正确的数据网络犯罪分子可以通过操纵存储的数据来影响大数据系统的准确性。因此，网络犯罪分子可以创建虚假数据，并将这些数据提供给大数据系统。例如，医疗机构可以利用大数据系统研究患者的病历，黑客可以修改这些数据，产生不正确的诊断结果。4.侵犯隐私大数据系统通常包含机密数据，这是很多人非常关心的问题。这样的大数据隐私威胁，全世界的专家都在讨论。

(1)大数据被异常流量攻击。大数据存储的数据非常庞大，而且往往是分布式存储。正是因为这种存储方式，存储的路径视图比较清晰，数据量过大，导致数据保护，比较简单。黑客很容易利用相关漏洞实施非法操作，造成安全问题。由于大数据环境下终端用户数量庞大，受众类型多样，客户身份的认证需要大量的处理能力。由于APT攻击针对性强，耗时长，一旦攻击成功，将获取big 数据分析平台最终输出的数据，很可能造成较大的信息安全风险。