四、大数据分析框架

大数据分析技术的发展需要在两个方面取得突破，一是对体量庞大的结构化和半结构化数据进行高效率的深度分析，挖掘隐性知识，如从自然语言构成的文本网页中理解和识别语义、情感、意图等。二是对非结构化数据进行分析，将海量复杂多源的语音、图像和视频数据转化为机器可识别的、具有明确语义的信息，进而从中提取有用的知识。目前的大数据分析主要有两条技术路线，一是凭借先验知识人工建立数学模型来分析数据。但未来深度学习要在大数据分析上广泛应用，还需解决模型的迁移适应能力、超大规模神经网络的工程实现等大量理论和工程问题。 ......