如何搭建自己的平台,如何自己开发一个平台
内容导航：怎样搭建平台物流信息平台怎么搭建怎么搭建大数据平台如何搭建网校平台一、怎样搭建平台亲身参与，作为主力完成了一个信息大数据分析平台。中间经历了很多问题，算是有些经验，因而作答。整体而言，大数据平台从平台部署和数据分析过程可分为如下几步：1、linux系统安装一般使用开源版的redhat系统centos作为底层平台。为了提供稳定的硬件基础，在给硬盘做raid和挂载数据存储节点的时，需要按情况配置。例如，可以选择给hdfs的namenode做raid2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。2、分布式计算平台/组件安装目前国内外的分布式系统的大多使用的是hadoop系列开源系统。hadoop的核心是hdfs，一个分布式的文件系统。在其基础上常用的组件有yarn、zookeeper、hive、hbase、sqoop、impala、elasticsearch、spark等。先说下使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）。2）开源组件一般免费，学习和维护相对方便。3）开源组件一般会持续更新，提供必要的更新服务『当然还需要手动做更新操作』。4）因为代码开源，若出bug可自由对源码作修改维护。再简略讲讲各组件的功能。分布式集群的资源管理器一般用yarn，『全名是yet
anotherresource
negotiator』。常用的分布式数据数据『仓』库有hive、hbase。hive可以用sql查询『但效率略低』，hbase可以快速『近实时』读取行。外部数据库导入导出需要用到sqoop。sqoop将数据从oracle、mysql等传统数据库导入hive或hbase。zookeeper是提供数据同步服务，yarn和hbase需要它的支持。impala是对hive的一个补充，可以实现高效的sql查询。elasticsearch是一个分布式的搜索引擎。针对分析，目前最火的是spark『此处忽略其他，如基础的mapreduce
和flink』。spark在core上面有mllib，sparkstreaming、spark
ql和graphx等库，可以满足几乎所有常见数据分析需求。值得一提的是，上面提到的组件，如何将其有机结合起来，完成某个任务，不是一个简单的工作，可能会非常耗时。3、数据导入前面提到，数据导入的工具是sqoop。用它可以将数据从文件或者传统数据库导入到分布式平台『一般主要导入到hive，也可将数据导入到hbase』。4、数据分析数据分析一般包括两个阶段：数据预处理和数据建模分析。数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到hive
sql，spark
ql和impala。数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、tfidf、协同过滤等，都已经在ml
lib里面，调用比较方便。5、结果可视化及输出api可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。在这里，要基于大数据平台做展示，会需要用到elasticsearch和hbase。hbase提供快速『ms级别』的行查找。
elasticsearch可以实现列索引，提供快速列查找。平台搭建主要问题：1、稳定性
stability理论上来说，稳定性是分布式系统最大的优势，因为它可以通过多台机器做数据及程序运行备份以确保系统稳定。但也由于大数据平台部署于多台机器上，配置不合适，也可能成为最大的问题。
曾经遇到的一个问题是hbase经常挂掉，主要原因是采购的硬盘质量较差。硬盘损坏有时会到导致hbase同步出现问题，因而导致hbase服务停止。由于硬盘质量较差，隔三差五会出现服务停止现象，耗费大量时间。结论：大数据平台相对于超算确实廉价，但是配置还是必须高于家用电脑的。2、可扩展性
scalability如何快速扩展已有大数据平台，在其基础上扩充新的机器是云计算等领域应用的关键问题。在实际2b的应用中，有时需要增减机器来满足新的需求。如何在保留原有功能的情况下，快速扩充平台是实际应用中的常见问题。上述是自己项目实践的总结。整个平台搭建过程耗时耗力，非一两个人可以完成。一个小团队要真正做到这些也需要耗费很长时间。目前国内和国际上已有多家公司提供大数据平台搭建服务，国外有名的公司有cloudera，hortonworks，mapr等，国内也有华为、明略数据、星环等。另外有些公司如明略数据等还提供一体化的解决方案，寻求这些公司合作对
于入门级的大数据企业或没有大数据分析能力的企业来说是最好的解决途径。对于一些本身体量较小或者目前数据量积累较少的公司，个人认为没有必要搭建这一套系统，暂时先租用aws和阿里云就够了。对于数据量大，但数据分析需求较简单的公司，可以直接买tableau，splunk，hp
vertica，或者ibmdb2等软件或服务即可。以上是我从事大数据以来的一些认识。管见所及，可能有所疏漏，欢迎补充。
个人意见是:搭建物流信息平台首先需要众多的物流企业，如果没有物流企业就像超市没有货物一样，那如何让这些物流企业产生兴趣就成了搭建平台前首要考虑的问题了，可以找一些物流企业调研下，看看他们最需要的是什么，这样才能搭建出符合市场需求的平台来。。。。。
三、怎么搭建大数据平台答：像什么hadoop、ibm、微软、华为、阿里等都提供大数据技术服务，具体你想要什么，还是得找个厂商沟通一下想法和需求，才能针对性地提出建设方案。
四、如何搭建网校平台.jpg)
答：搭建网校就选择我们吧，我们是长沙万学网教育科技的，我们的网校平台是全免费的。功能还特别齐全。点播教学，直播教学。在线题库，购物车付款系统。特别是还有教务管理系统。学生管理系统。其实这些都不是重点，重点是我们的整套软件全免费，只需要机构自己提供服务器。和备案域名。我们把程序发给你。如果机构会搭建，就自己搭建，如果不会我们还全程协助搭建好。这样就是一个完全独立品牌的网校。最最重要的是，我们系统里面有海量的课件资源。直接可以选择出来。如果机构有自己的课件，也可以只选择用自己的课件，不用里面的资源课件。是培训机构首选的产品、我们还提供软件更新迭代，紧跟培训机构步伐，做培训机构背后的技术服务者。这样的产品还有什么理由让你不用呢？
