DreamOne
DreamOne · 共 8 篇文章
试读《大型分布式网站架构设计与实践》
谈到大型分布式网站架构设计,想起了前几年12306网站出现的问题。一个好的网站构架对于网站的稳定运行至关重要,虽然我们在网站建设初期希望能够设计一个很好的架构,但随着用户量的增加,网站业务功能的扩展,旧的构架将不能适应新的业务需求,必须对架构进行设计优化。也就是说网站架构将会随着需求的不断改进而逐步完善和演化的。网站架构的设计优化从硬件与软件两个方面来进行。 网站最初架构设计时,可以将应用程序、数据库、文件都部署在一台服务器上。随着业务的不断扩展,一台服务器已经不能满足性能要求,此时可以把应用程序、数据库、文件各自部署在独立的服务器上,并且根据服务器的用途配置不同的硬件,达到最佳的性能效果。…
2014-10-15 12:59 · 评论(0)
hadoop 多用户权限(转)
http://blog.sina.com.cn/s/blog_605f5b4f0101897z.html 之前都是用root运行的,但是现在必须要解决这个问题。 hdfs的权限判断十分简单,就是拿发出指令的user name和文件的user name 做比较 private void check(INode inode, FsAction access ) throws AccessControlException { if (inode == null) { return; } FsPermission mode = inode.getFsPermission(); if (user.eq…
2014-09-03 14:54 · 评论(0)
Mysql group by top N
Mysql group by top N的问题(转) 在日常工作中,经常要查询分组的前几名.oracle中可以通过row_num来支持查询, mysql 暂时不支持row_num.那么如何来完成这个需求呢? 例如: 表中的数据: ? 1 2 3 4 5 6 7 8 9 10 +--------+-------+-----+ | Person | Group | Age | +--------+-------+-----+ | Bob | 1 | 32 | | Jill | 1 | 34 | | Shawn | 1 | 42 | | Jake | 2 | 29 | | Paul | 2 | 3…
2014-09-03 13:58 · 评论(0)
试读《Netty 权威指南》
Java领域中比较有挑战性的技术应当是网络I/O和多线程并发编程,它们是构建高可用高性能分布式系统必备技术。Java在1.4版本中发布了NIO,提供了非常优秀的面向对象解决方案,方便编写高性能的网络应用程序。而Netty是一个异步NIO通信的框架,越来越广泛应用于互联网、大数据处理等领域。许多著名的开源框架如Hadoop、Storm以及著名IT公司Facebook、Twitter、阿里巴巴等都在使用Netty技术。 《Netty 权威指南》内容包括基础与高级功能介绍、系统架构与源码分析以及行业方面的应用等。书中提供的Netty NIO开发、Netty编解码开发、Netty多协议扩展开发等方面…
2014-08-25 09:30 · 评论(0)
(转) Reactor与Proactor
在高性能的I/O设计中,有两个比较著名的模式Reactor和Proactor模式,其中Reactor模式用于同步I/O,而Proactor运用于异步I/O操作。 同步和异步 同步和异步是针对应用程序和内核的交互而言的,同步指的是用户进程触发IO操作并等待或者轮询的去查看IO操作是否就绪,而异步是指用户进程触发IO操作以后便开始做自己的事情,而当IO操作已经完成的时候会得到IO完成的通知。 阻塞和非阻塞 阻塞方式下读取或者写入函数将一直等待,而非阻塞方式下,读取或者写入函数会立即返回一个状态值。 I/O模型可以分为:同步阻塞,同步非阻塞,异步阻塞,异步非阻塞IO 1.同步阻塞 用户进程在发起一…
2014-08-20 08:57 · 评论(0)
试读《Hadoop基础教程》
大数据处理技术领域比较复杂,变化节奏很快,如何学习运用这些技术变得不知从何处下手。Hadoop是一种开源大数据处理技术框架,已经成为业界大数据处理技术的事实标准。对于想从事大数据处理工作的人来说,是绕不过Hadoop的。《Hadoop基础教程》是一本学习Hadoop入门的图书,进入大数据处理绝好途径之一。这本书可以帮助读者理解什么是Hadoop、Hadoop是如何工作的、以及我们如何通过Hadoop从海量的数据中获取有价值的数据信息。 这次试读是本书的第一章和第四章。第一章详细介绍了Hadoop的产生历史背景,Hadoop是什么,业界使用Hadoop的情况。Hadoop的作者Doug Cut…
2014-07-28 14:59 · 评论(0)
试读《深入浅出Node.js》
知道Node.js是好几年前的事情,但没有过多关注。正好趁ITeye的试读活动了解一下。《深入浅出Node.js》的试读样章是第1章与第5章。第1章主要介绍了Node.js诞生历程、命名原因、特点以及适用场景。第5章主要介绍了V8的内存控制,详细讲述了V8的内存垃圾回收机制与内存控制,如何高效使用内存、如何防止和排查内存泄露等。 Node.js采用的语言是Javascript,JavaScript是一种基于对象和事件驱动并具有相对安全性的客户端脚本语言。作为一个客户端开发语言,为啥能够运行在服务端呢?在本书第一章中能找到理由。Node.js设计为高性能非阻塞异步I/O、事件驱动、跨平台的构建…
2014-07-23 10:06 · 评论(0)
UDP 端口映射
On the host machine that runs the emulator, open a terminal window and telnet to the emulator instance: telnet localhost 5554 This will take you into the ADB emulator console. Then setup packet forwarding on the port you are sending udp packets to: redir add udp: : example: redir add udp:4444:4444 …
2010-12-01 09:48 · 评论(0)