首页 > 歌单

10个tensorflow技巧 如何学习大数据处理？

实习编辑 • 2023-11-20 23:07:54 • 歌单 • 阅读 3

如何学习大数据处理？

随着当今社会的飞速发展。;的信息时代，已经从it时代走到了dt时代。其中，大数据起着至关重要的作用，所以越来越多的人接触和学习大数据。如何才能学会处理大数据？详情如下:

1.打牢基础。

高楼也是从地基开始建的。在学习大数据处理之前，掌握扎实的基本功非常重要，这将决定你未来的高度。基本功包括掌握python、java等支持大数据、linux操作系统、常用主流数据的编程语言。图书馆，以及高标准和英语水平。

10个tensorflow技巧 如何学习大数据处理？

2.了解大数据相关技术。

了解大数据处理的工作机制，hadoop、spark、strom等关于大数据的主流框架及相关算法软件。

3.制定合理的学习计划

有了计划，学习就有了明确的目标和具体的步骤，可以增强工作的主动性，减少盲目性。根据自己的基础和学习状态制定一套切实可行的学习计划，计划一定要分解细化。并按照规划好的方案一步步实施。

4.培养快速学习能力

对于未知的专业知识，可以通过网上搜索、访问学术网站或查阅学术文献来学习相关知识，从而快速进入并熟悉未知领域，丰富自己的能力。

5.积累了很多实践经验

知识储备再好，没有实战演练也是纸上谈兵。在实际项目中体验所学知识以获得相应的经验值，知识才会真正落地并自我提升。

6.养成总结的习惯

只有通过不断的归纳和及时的复习，才能把学到的知识变成自己能用的能力。对于不够扎实和遗忘的地方，需要在学习的过程中多思考和总结，以文件的形式记录下来，变成自己的东西。

tensorflow并行计算原理？

tensorflow是一个流行的开源库，设计用于数值计算(最常见的是训练神经网络)。在该框架中，计算过程采用数据流图设计，为改变运算结构和布局提供了极大的灵活性。tensorflow允许多个工作人员并行计算，这有利于必须通过处理大量训练数据来训练的神经网络。此外，如果模型足够大，这种并行化有时可能是必要的。

在多个计算节点之间分布神经网络训练时，通常采用两种策略:数据并行和模型并行。在前者中，在每个节点上分别创建模型的一个实例，并输入不同的训练样本。这种架构允许更高的训练吞吐量。相反，在模型并行中，模型是单一的实例分布在多个节点中，这允许训练更大的模型(不一定适合单节点内存)。如果有必要，这两种策略也可以结合起来，使一个给定的模型有多个实例，每个实例跨越多个节点。

使用tensorflow时，数据并行主要有两种形式:图内复制和图间复制。两种策略中最重要的区别在于流程图的结构及其结果。

图像内复制

在这两种方法中，图内复制通常被认为是更简单、更直接(但可扩展性较差)的方法。采用这种策略时，有必要创建一个流程图，其中包含分布式主机上所有工作设备的副本。可以想象，随着职工人数的增加。这样的流程图可能会大大扩展，从而对模型的性能产生不利影响。然而，对于小型系统(例如，双gpu桌面计算机)，由于其简单性，图片内复制可能是最佳的。

图形间复制

认识到图内复制在扩展中的局限性，图间复制的优势在于使用大量节点时保证模型性能。这是通过在每个工作者上创建计算图的副本来实现的，并且主机不需要在每个工作者上保存图的副本。十几年前sorflow技术来协调这些worker的图形——如果两个单独的节点在同一个tensorflow设备上分配了一个同名的变量，这些分配将被合并，这些变量将共享同一个后端存储，这样两个wos。rker将被合并。

但是，您必须确保设备的正确配置。如果两个工人在不同设备上分配变量，则不会发生合并。tensorflow提供了replica_device_setter的功能。只要每个工人r按照相同的顺序创建计算图，replica_device_setter提供了明确的变量分配方法，保证变量在同一个设备上。这将在下面的代码中演示。

因为图之间的复制在很大程度上重复了原始图，所以大多数相关的修改实际上都是在集群中节点的配置上。所以下面的代码片段只会改变这一点。值得注意的是，这个脚本通常在集群中的每台机器上执行，但是特定的命令行参数数字不一样。

运行分布式tensorflow的第一步是使用指定集群的架构。节点通常分为两个角色(或"工作"):参数服务器("ps")与变量和"工人"他做了很多计算。每个节点的ip地址如下所示。地址和端口。接下来，脚本必须确定它在网络中的作业类型和索引；这通常是通过向脚本传递命令行参数并解析它们来实现的。job_type指定节点运行ps还是worker任务，而task_idx。指定ps或worker列表中节点的索引。使用上述变量创建用于连接设备的tensorflow服务器。

接下来，如果节点是参数服务器，它只连接它们的线程并等待它们终止。虽然看起来没有具体的ps代码，但是图元素其实是worker推送给ps的。

相反，如果设备是一个工作者，我们使用replica_device_setter来构建我们的模型，以便在前面讨论的这些ps服务器上连续分配参数。这些副本将在很大程度上与单机的流程图相同。最后，我我们创建一个模型并训练它。

节点大数据图设备模型

原文标题：10个tensorflow技巧 如何学习大数据处理？，如若转载，请注明出处：https://www.lrccn.com/gedan/218.html
免责声明：此资讯系转载自合作媒体或互联网其它网站，「歌词网」登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考。

10个tensorflow技巧 如何学习大数据处理？ 10个tensorflow技巧 如何学习大数据处理？介绍
赞 ( )
打赏 微信扫一扫微信扫一扫
上一篇：jq 动态添加css文件 jquery CSS3实现3D拖拽相册效果？ 下一篇：iphone12屏幕不亮但是有声音 苹果12开不开机也不显示充电？

相关推荐