在工作中遇到的一些问题和经验，仅给自己总结

1. 在weibo 选取contenthead length时，需要对长度进行一下测试。

   如果长度很短，查出的条数可能会非常多，造成过多的网络开销

   统计时使用的脚本：

   （1） 选取一天的md5加密的字段出来

mysql -ustock -p 91z -e"SELECT id,pub_date, md5contenthead FROM weibo  WHERE DATE_FORMAT(pub_date,'%Y-%m-%d')='2012-06-14' AND site = 4" > out.file --disable-column-names

   （2）进行mysql 语句的整合

awk '{print "SELECT COUNT(*) FROM weibo WHERE md5contenthead = '''" $4 "''';"}' out.file > out2.file

   （3）查询

mysql -ustock -p 91z < out2.file > out3.file --disable-column-names

2. 

vim行首添加#、tab等字符

按键操作：
注释：ctrl+v 进入列编辑模式,向下或向上移动光标,把需要注释的行的开头标记起来,然后按大写的I,再插入注释符,比如"#",按住shift键，同时按下向下移动光标两次，再按Esc,就会全部注释了。

删除：按ctrl+v 进入列编辑模式,向下或向上移动光标,选中注释部分,然后按d, 就会删除注释符号（#）。

3.Linux下python中文编码的问题。

同样的程序在WIN下跑正常，在Linux下跑读取个别文件会提示“UnicodeDecodeError: 'gbk' codec can't decode bytes in position 30664-30665: illegal multibyte sequence”
这是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中，全角空格往往有多种不同的实现方式，比如xa3xa0，或者xa4x57，这些字符，看起来都是全角空格，但它们并不是“合法”的全角空格（真正的全角空格是xa1xa1），因此在转码的过程中出现了异常。
按网上的方法是这样解决：
s.decode('gbk', 'ignore').encode('utf-8')
因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；
如果设置为ignore，则会忽略非法字符；
如果设置为replace，则会用?取代非法字符；
如果设置为xmlcharrefreplace，则使用XML的字符引用。

我的解决方法是直接忽略非法字符：
s.decode('gbk', 'ignore')