python列表如何去除重复元素
时间：2016-09-25 08:00:42来源：网络
导读：python列表如何去除重复元素，python列表去重的二种方法，第二种方法无法保持原有顺序，python列表去重的简单例子。
python列表如何去除重复元素？
例子，python列表去重复。
复制代码代码示例:
#第一种
def delRepeat(liebiao):
for x in liebiao:
while liebiao.count(x)>1:
del liebiao[liebiao.index(x)]
return liebiao
#第二种 无法保持原有顺序
liebiao=set(liebiao)
python去除列表中的重复元素
比较容易记忆的是用内置的set
l1 = ['b','c','d','b','c','a','a']
l2 = list(set(l1))
print l2
还有一种据说速度更快的，没测试过两者的速度差别
l1 = ['b','c','d','b','c','a','a']
l2 = {}.fromkeys(l1).keys()
print l2
这两种都有个缺点，祛除重复元素后排序变了：
['a', 'c', 'b', 'd']
如果想要保持原来的排序：
用list类的sort方法
l1 = ['b','c','d','b','c','a','a']
l2 = list(set(l1))
l2.sort(key=l1.index)
print l2
也可以这样写
l1 = ['b','c','d','b','c','a','a']
l2 = sorted(set(l1),key=l1.index)
print l2
也可以用遍历
l1 = ['b','c','d','b','c','a','a']
l2 = []
for i in l1:
if not i in l2:
l2.append(i)
print l2
上面的代码也可以这样写
l1 = ['b','c','d','b','c','a','a']
l2 = []
[l2.append(i) for i in l1 if not i in l2]
print l2
这样就可以保证排序不变了：
['b', 'c', 'd', 'a']
python列表list去除重复元素的方法
python list去重的方法，需要用到 itertools.groupby 函数。
问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。
1，直观方法，也是最简单的方法
ids = [1,2,3,3,4,2,3,4,5,6,1]
news_ids = []
for id in ids:
if id not in news_ids:
news_ids.append(id)
print news_ids
这样也可行，但是看起来不够爽。
2，用set
另外一个解决方案就是用set：
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids = list(set(ids))
这样的结果是没有保持原来的顺序。
按照索引再次排序
最后通过这种方式解决：
ids = [1,4,3,3,4,2,3,4,5,6,1]
news_ids = list(set(ids))
news_ids.sort(ids.index)
3，使用itertools.grouby
文章一开始就提到itertools.grouby, 如果不考虑列表顺序的话可用这个：
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids.sort()
it = itertools.groupby(ids)
for k, g in it:
print k
关于itertools.groupby的原理可以看这里：http://docs.python.org/2/library/itertools.html#itertools.groupby
补充：用reduce
网友reatlk留言给了另外的解决方案：
In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]
In [6]: func = lambda x,y:x if y in x else x + [y]
In [7]: reduce(func, [[], ] + ids)
Out[7]: [1, 4, 3, 2, 5, 6]
以上是在ipython中运行的代码，其中的 lambda x,y:x if y in x else x + [y] 等价于 lambda x,y: y in x and x or x+[y] 。
先把ids变为[[], 1,4,3,......] ,然后利用reduce的特性。
reduce解释，参考链接：http://docs.python.org/2/library/functions.html#reduce
相关文章
python字典遍历的方法探讨python列表元素管理的入门实例python列表操作的入门例子python列表去除重复元素的实例代码python列表推导式实例与用法总结python列表推导式生成列表的方法python列表操作常用方法的简单例子python列表操作实例教程详解python列表操作实例 python列表与数组的转换python标准库教程 python字典元组与函数python列表join方法合并连接字符串python读取hosts文件中的ip地址列表
