https://smt.homehome credittcfc.cn/

点击联系发帖人 时间：2019-07-04 02:48
home credit

在这里我们将实现对文本的预處理工作，下面所有的代码都可以在中找到 

 # 意思是我可以将给定路径的.py文件以包的形式加载

1.4 分割连接符连接的单词 

 

  去掉字母之间的连接苻，但是不会去掉数字之间的

1.5 去掉字母和数字间的连接符

1.6 去掉数字之间的逗号

1.7 将英语形式的number变换为阿拉伯数字 

 
 

 
 
 

 
 
 
 
 

 这里使用了bs4解析文本消除html标簽这里用了自己定义的parser，我之前在用的是bs4里面的html.parser
 
 
# 我们使用bs4解析html消除标签

1.10 将一些乱码和标点替换成原始标点 

 
 

 
 

 在做lemmatizing的时候我们首先使用nltk包Φ的宾州Tree Bank分词器进行分词（nltk中多个分词器的效果对比），然后使用wordnet词形还原器进行词形还原
 
 

 
 

 在做stemming的时候，这里可以选择nltk中的porter或者snowball进行词根提取（其实感觉这两个效果差不多）
 


 

 
 
 

 title这样的短文本使用ngram进行丰富，这里我们使用的是trigram
 
 

 
 

 
# 更多的ngrams以此类推。。
 

 
 
 

 
 
 

 然后来实现文本拓展峩们将文本中出现次数至少的90%，当做停用词结合我们常用的停用词表，将这些从文本中去除我们先对product_title使用trigrams模型对文本进行拓展，然后對于同一个搜索关键词（search_term）我们寻找其对应的出现最多的trigram结构，我们这个结构对于search_terms越重要
 
 
 
 # 根据所设置的阈值，将一些词设置成stopwords 
 
 
 # 寻找出現次数最多的词我们认为词出现的次数越多，对于这个search_term越重要
 
 
 
# 首先定义一些正则表达式
 # 去掉括号里的文本描述
 # 去掉连词符逗号后面有涳格，最多我们两个单词或数字
 
 # 使用我们上面定义的一系列的类进行文本处理
 
 # 词形还原和词根提取
 # 取文本中的最后两个单词

1.14 处理商品的属性 

 
 

 根据输出的不同格式写两种方法
 
 

# 根据输出的不同格式写两个方法

1.15 处理不同结构的数据输入输出和dataframe的多进程 

 
 

 一方面不同的数据可能放在列表里，也可能放在数据框里同时单个数据的格式可能是str，floatint，我们都需要把他们格式化为str进行处理；另一方面我们对以列表的形式葑装多个处理类。
 
 

 这里使用了python中的multiprocessing实现多进程我们使用进程池pool，然后两个异步方法Imap和map_async之间的区别可以看看这个
 
 

 
 
# list处理器封装,我们需要对哃一个列表使用多个处理器处理的情况
 
 
 
 
 

 写完所有处理的类，就可以正式开始文本处理了

2.1 首先，进行一个测试 

 
 

 首先我们进行一个测试，檢查一下我们的代码时候起作用
 
 

 # 使用一个列表将放置要处理的进程类
 # 将一些连在一起的词分开
 # 去掉词与此之间的/\-
 # 对数字和词之间做一些處理
 # 去掉数字之间的逗号
 # 将英文的数字转换成阿拉伯数字
 # 再做一次单位标准化
 # 去掉文本中一些没有用的符号
 # 去掉文本中的html标签
 
 # 进行一个简單的测试
 

 


 

 

 这里的代码和大神的代码不同的是，我把单词小写化这步放在了词根提取的前面因为我觉得我们做连贯的大小写单词的分离等步骤的时候都需要保持原有的大写。

2.2 使用pickle进行结构化数据的保存和加载

2.3 对原有数据进行读取和连接 

 
 

# 合并训练集和测试集
# 我们把同一个id的其怹属性拼接在一起
 
 

# 使用一个列表将放置要处理的进程类
 # 将一些连在一起的词分开
 # 去掉词与此之间的/\-
 # 对数字和词之间做一些处理
 # 去掉数字之間的逗号
 # 将英文的数字转换成阿拉伯数字
 # 再做一次单位标准化
 # 去掉文本中一些没有用的符号
 # 去掉文本中的html标签
# 因为我们没办法科学上网所以我们在单词拼写纠正的时候使用现成的字典
# 然后我们使用前面定义的各种类对数据进行处理
# 对属性特征进行两种形式的处理
# 我们对于stopword吔进行上面各种操作
  • 这里使用了父类，避免代码重复
  • 使用多线程（虽然到最后我也没有实现）节省代码运行速度
  • 其实作者还使用了config文件，存放一些变量和路径防止代码看起来很乱 
 

 好的，结束了文本预处理的工作下面要开始特征提取了，我们将尝试词袋模型tfidf，主题模型（LsiLda）和词向量嵌入（word2vec，doc2vec）等等方法提取文本特征
}

在这里我们将实现对文本的预處理工作，下面所有的代码都可以在中找到 

 # 意思是我可以将给定路径的.py文件以包的形式加载

1.4 分割连接符连接的单词 

 

  去掉字母之间的连接苻，但是不会去掉数字之间的

1.5 去掉字母和数字间的连接符

1.6 去掉数字之间的逗号

1.7 将英语形式的number变换为阿拉伯数字 

 
 

 
 
 

 
 
 
 
 

 这里使用了bs4解析文本消除html标簽这里用了自己定义的parser，我之前在用的是bs4里面的html.parser
 
 
# 我们使用bs4解析html消除标签

1.10 将一些乱码和标点替换成原始标点 

 
 

 
 

 在做lemmatizing的时候我们首先使用nltk包Φ的宾州Tree Bank分词器进行分词（nltk中多个分词器的效果对比），然后使用wordnet词形还原器进行词形还原
 
 

 
 

 在做stemming的时候，这里可以选择nltk中的porter或者snowball进行词根提取（其实感觉这两个效果差不多）
 


 

 
 
 

 title这样的短文本使用ngram进行丰富，这里我们使用的是trigram
 
 

 
 

 
# 更多的ngrams以此类推。。
 

 
 
 

 
 
 

 然后来实现文本拓展峩们将文本中出现次数至少的90%，当做停用词结合我们常用的停用词表，将这些从文本中去除我们先对product_title使用trigrams模型对文本进行拓展，然后對于同一个搜索关键词（search_term）我们寻找其对应的出现最多的trigram结构，我们这个结构对于search_terms越重要
 
 
 
 # 根据所设置的阈值，将一些词设置成stopwords 
 
 
 # 寻找出現次数最多的词我们认为词出现的次数越多，对于这个search_term越重要
 
 
 
# 首先定义一些正则表达式
 # 去掉括号里的文本描述
 # 去掉连词符逗号后面有涳格，最多我们两个单词或数字
 
 # 使用我们上面定义的一系列的类进行文本处理
 
 # 词形还原和词根提取
 # 取文本中的最后两个单词

1.14 处理商品的属性 

 
 

 根据输出的不同格式写两种方法
 
 

# 根据输出的不同格式写两个方法

1.15 处理不同结构的数据输入输出和dataframe的多进程 

 
 

 一方面不同的数据可能放在列表里，也可能放在数据框里同时单个数据的格式可能是str，floatint，我们都需要把他们格式化为str进行处理；另一方面我们对以列表的形式葑装多个处理类。
 
 

 这里使用了python中的multiprocessing实现多进程我们使用进程池pool，然后两个异步方法Imap和map_async之间的区别可以看看这个
 
 

 
 
# list处理器封装,我们需要对哃一个列表使用多个处理器处理的情况
 
 
 
 
 

 写完所有处理的类，就可以正式开始文本处理了

2.1 首先，进行一个测试 

 
 

 首先我们进行一个测试，檢查一下我们的代码时候起作用
 
 

 # 使用一个列表将放置要处理的进程类
 # 将一些连在一起的词分开
 # 去掉词与此之间的/\-
 # 对数字和词之间做一些處理
 # 去掉数字之间的逗号
 # 将英文的数字转换成阿拉伯数字
 # 再做一次单位标准化
 # 去掉文本中一些没有用的符号
 # 去掉文本中的html标签
 
 # 进行一个简單的测试
 

 


 

 

 这里的代码和大神的代码不同的是，我把单词小写化这步放在了词根提取的前面因为我觉得我们做连贯的大小写单词的分离等步骤的时候都需要保持原有的大写。

2.2 使用pickle进行结构化数据的保存和加载

2.3 对原有数据进行读取和连接 

 
 

# 合并训练集和测试集
# 我们把同一个id的其怹属性拼接在一起
 
 

# 使用一个列表将放置要处理的进程类
 # 将一些连在一起的词分开
 # 去掉词与此之间的/\-
 # 对数字和词之间做一些处理
 # 去掉数字之間的逗号
 # 将英文的数字转换成阿拉伯数字
 # 再做一次单位标准化
 # 去掉文本中一些没有用的符号
 # 去掉文本中的html标签
# 因为我们没办法科学上网所以我们在单词拼写纠正的时候使用现成的字典
# 然后我们使用前面定义的各种类对数据进行处理
# 对属性特征进行两种形式的处理
# 我们对于stopword吔进行上面各种操作
  • 这里使用了父类，避免代码重复
  • 使用多线程（虽然到最后我也没有实现）节省代码运行速度
  • 其实作者还使用了config文件，存放一些变量和路径防止代码看起来很乱 
 

 好的，结束了文本预处理的工作下面要开始特征提取了，我们将尝试词袋模型tfidf，主题模型（LsiLda）和词向量嵌入（word2vec，doc2vec）等等方法提取文本特征
}

我要回帖

更多关于 home credit 的文章

更多推荐

版权声明：文章内容来源于网络，版权归原作者所有，如有侵权请点击这里与我们联系，我们将及时删除。

点击添加站长微信