
大数据常见错误解决方案(转载)
Hadoop
打开namenode:50070页面,Datanode Infomation只显示一个节点
解决方法:SSH配置错误导致,主机名一定要严格匹配,重新配置ssh免密码登录
Log aggregation has not completed or is not enabled.
解决方法:在yarn-site.xml中增加相应配置,以支持日志聚合
通过hadoop UI访问hdfs文件夹时,出现提示 Permission denied: user=dr.who
解决方法:namonode节点终端执行:
hdfs dfs -chmod -R 755 /
HDFS误删文件如何恢复
解决方法:`core-site.xml`文件中加入
1
2
3
4
<property>
<name>fs.trash.interval</name>
<value>2880</value>
</property>
HDFS垃圾箱设置,可以恢复误删除,配置的值为分钟数,0为禁用
恢复文件执行 `hdfs dfs -mv /user/root/.Trash/Current/误删文件 /原路径`

常用的bash 函数(转)
cf_
开头的表示公共函数,可当做命令使用。原文:http://hongjiang.info/

树莓派使用技巧

神经网络简介
什么是神经网络
梯度下降
CNN (卷积神经网络)
RNN (循环神经网络)
LSTM (长短期记忆)
AOTOENCODER (自编码)
GAN (对抗网络)
强化学习
Model-Free RL,Moel-Based RL,Poliy-Based RL,Value-Base RL,Monte-Carlo update,Temporal-Difference update,On-Policy,offline-Policy
Q learning
Policy Gradients
Sarsa
控制方法
Moel-Based RL
环境理解
想象力,预判断
Actor-Critic
连续的动作
Monte-Carlo Learning
升级版 Policy Gradients
Sara
离线 Q learning
Deep Q learing
Transfer Learning (迁移学习)
如何评价检验神经网络
如何做数据标准化
区分好用的特征
为什么需要激励函数
什么是过拟合
技术神经网络训练
处理不均衡数据
Batch Normalization 批标准化
L1 和 L2 正规标准化
信息熵
信息增益
基尼指数

Hbase rest api

使用Hive正确导出csv的姿势
大家在导出csv后,使用Excel大家文件的时候,会遇到这样的问题,文件的存在少量串行的数据,虽然不影响整体数据,但是有的时候遇到高精度计算的过程中,还是难免有些尴尬😅
- 导出的时候进行转义
- 导出的时候使用其他格式,在Excel中使用 数据->文件->自文本导入 使用自定义格式导入
- 使用Hive序列化导入,会自动规整格式
1
2
3
4
5
6
7
8
9
10
11
12
13CREATE TABLE wys.wys_output
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
"separatorChar" = ",",
"quoteChar" = "\"",
"escapeChar" = "\""
)
STORED AS TEXTFILE
as select
distinct
a,
b
from xxx;
Excel中csv格式中会出现\n 使用rtrim和ltrim可以去除,每一列数据都是以"
分割数据,但是在数据出现"
号的话就会导致数据串行,此时我们可以使用""
来代表那是数据中双引号

Spark Shuffle总结

百度高级搜索

Linux 删除乱码文件
- 不完全乱码 如:
?j?
因为我们可以看到一个字符,可以使用rm -rvf *j*
完全乱码 如:
????
像这样的数据我们就不能使用正则的方法删除文件1
2
31. ls -i # 查看文件inode节点数
2. find ./ -inum 节点数 -exec mv {} a.txt \; #修改乱码文件为a.txt
3. find ./ -inum 节点数 -exec -print -exec rm -rvf {} \; #删除乱码文件例如:
1
2
3
4
5
6
7
8
9wissy@wissy-PC:/tmp$ ls -i
72294967 ? 69156075 b.txt
wissy@wissy-PC:/tmp$ find ./ -inum 72294967
./?
#删除文件
wissy@wissy-PC:/tmp$ find ./ -inum 72294967 -print -exec rm -rf {} \;
./?
#或者重命名文件
wissy@wissy-PC:/tmp$ find . -inum 69156056 -exec mv {} file.txt \;