Python处理Excel实战


一、实用包导入

time_show.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import datetime
import time


def start_time_show():
    start = time.asctime(time.localtime(time.time()))
    print("开始时间为：", start)
    start_time = datetime.datetime.now()
    return start_time


def end_time_show(start_time):
    end = time.asctime(time.localtime(time.time()))
    print("结束时间为：", end)
    end_time = datetime.datetime.now()
    return end_time

data_loading.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
import numpy as np
import xlrd
from time_show import *


def data_load(location="../dataset/760_data_1000.xls"):

    print("开始加载Excel表格...")
    start_time = start_time_show()
    wb = xlrd.open_workbook(location)
    end_time = end_time_show(start_time)
    print("加载Excel表格共用时：", (end_time-start_time).seconds, "秒")
    return wb


def data_write(wb, sheet_name='1'):
    # 选中目标表
    sheet1 = wb.sheet_by_name(sheet_name)

    # 获取总行数(频率数)
    nrows = sheet1.nrows

    # 获取总列数(水听器数)
    ncols = sheet1.ncols

    # 创建空数组
    X = np.zeros((nrows * ncols, 2))
    # nrows = 300, ncols = 30

    # (横坐标每30个 +1)
    i = 0
    for j in range(nrows):
        # 处理第一列(频率列)
        X[i : i+ncols :,0] = j+1
        # 处理第二列(水听器列)
        X[i : i+ncols :,1] = np.array(sheet1.row_values(j,0,ncols))

        i = i + ncols

    # 数据清洗：删除为0项
    # 创建空列表，把空值项加入空列表
    delcol = []
    for i in range(nrows * ncols):
        if X[i, 1] == 0:
            delcol.append(i)

    # 删除空值项
    X = np.delete(X, delcol, axis=0)
    print("表名为 <",sheet_name,"> 的表格已写入")
    
    return X

二、实战（jupyter）

三、.py

data_loading.py 上面有

time_show.py 上面有

data_simulation.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
from time_show import *
from data_loading import *
import numpy as np
import random
import os
import matplotlib.pyplot as plt

NUM_SHEET = 1000    # 需要加载的sheet个数


def data_load():
    if os.path.exists('X.npy'):
        X = np.load('X.npy')
        print(X.shape)
    else:
        # 加载Excel文件
        wb = data_load(location="E:/PythonWork/dataset/760_data_1000.xls")

        # 加载表格
        start_time = start_time_show()
        X = data_write(wb, sheet_name="1")
        for i in range(2, NUM_SHEET + 1):
            sheet = data_write(wb, sheet_name=str(i))
            X = np.vstack((X, sheet))
            if i == NUM_SHEET:
                print("< %d >个sheet写入完成!"%i)

        end_time = end_time_show(start_time)
        print("加载Sheet表格共用时：", (end_time - start_time).seconds, "秒")
        np.save('X.npy', X)

    return X


def print_random(X):
    x_value = np.unique(X[:, 0])   # 找到所有横坐标
    plt.figure(figsize=(12, 8))
    # 打印表
    for i in x_value:  # 按列打印，共15列
        # 找到对应的y值
        a = np.where(X[:, 0] == i)[0]  # 找到x对应的索引
        l = []
        for k in a:
            l.append(X[k, 1])
        arr = np.array(l)  # 对应的y值
        # print(arr.shape)

        # 生成11个相同的x
        count = 11  # 每一列的个数
        x_fake_value = []  # 模拟x值
        for j in range(count):
            x_fake_value.append(i)
        x_fake_value = np.array(x_fake_value)

        # 生成y：均值上下浮动
        y_fake_value = []
        low_limit = arr.max() - np.mean(arr)
        up_limit = arr.min() - np.mean(arr)

        for t in range(count):
            y_fake_value.append(np.mean(arr) + random.uniform(low_limit, up_limit))

        y_fake_value = np.array(y_fake_value)  # 转换成array
        plt.scatter(x_fake_value, y_fake_value)

    plt.title("Simulation data( random error )", size=15)
    plt.xlabel("Frequency / Hz", size=15)
    plt.ylabel("Location / m", size=15)
    #plt.savefig("./images/模拟数据_每列11个点_按照均值上下浮动", dpi=300)
    plt.show()


def print_gauss(X):
    x_value = np.unique(X[:, 0])  # 找到所有横坐标
    plt.figure(figsize=(12, 8))
    for i in x_value:  # 按列打印，共15列
        # 找到对应的y值
        a = np.where(X[:, 0] == i)[0]  # 找到x对应的索引
        l = []
        for k in a:
            l.append(X[k, 1])
        arr = np.array(l)  # 对应的y值
        # print(arr.shape)

        # 生成11个相同的x
        count = 11  # 每一列的个数
        x_fake_value = []  # 模拟x值
        for j in range(count):
            x_fake_value.append(i)
        x_fake_value = np.array(x_fake_value)

        # 生成y：均值上下浮动
        y_fake_value = []
        loc = np.mean(arr)  # 均值
        scale = np.std(arr)  # 标准差

        for t in range(count):
            y_fake_value.append(np.random.normal(loc, scale))

        y_fake_value = np.array(y_fake_value)  # 转换成array

        plt.scatter(x_fake_value, y_fake_value)

    plt.title("Simulation data( Gaussian error )", size=15)
    plt.xlabel("Frequency / Hz", size=15)
    plt.ylabel("Location / m", size=15)
    #plt.savefig("./images/模拟数据_每列11个点_高斯误差", dpi=300)
    plt.show()


if __name__ == "__main__":
    X = data_load()

    # 执行随机模拟
    print_random(X)

    # 执行正态随机值
    print_gauss(X)

四、总结

4.1 主函数入口

1
2
if __name__ == "__main__":
    pass

4.2 保存 numpy 数组的方法

1
2
3
4
if os.path.exists('X.npy'):
    X = np.load('X.npy')
else:
    np.save('X.npy', X)

4.2 numpy 操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
# numpy 取平均值
np.mean()

# 标准差
np.std(arr)

# numpy 取最小、大值
arr.min()
arr.max()

# 正态随机值
np.random.normal(loc, scale) # loc 均值， scale 标准差

# 找到所有不同的值
a = [1,1,1,
     2,2,2,
     3,3,3]
print(np.unique(a))
# [1,2,3]

# 找到索引
a = np.array(a) # 注意：必须是array数组才能使用下面的函数
index = np.where(a == 2)
print(index)
# (array([3, 4, 5], dtype=int64),)

index = np.where(a == 2)[0]
print(index)
# [3 4 5]

# python 输出百分号%
print('%s%%'%(5))     #这样就能输出‘5%'

# 输出文件名
import os
file_name = os.path.basename("E:/PythonWork/dataset/1000excel/位置表%d.xls"%i)

# 这两行代码解决 plt 中文显示的问题
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# python导出excel文件

4.3 python导出excel文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import xlwt

# 内容都在 paint_ls与paint_array中
wb = xlwt.Workbook(encoding='utf-8')
# 添加一个表
ws = wb.add_sheet('test')

# 3个参数分别为行号，列号，和内容
# 需要注意的是行号和列号都是从0开始的
ws.write(0, 0, '频率')
ws.write(0, 1, '次数')
ws.write(0, 2, '概率')

# 每一次遍历代表每一行
for i in range(1,len(paint_ls)+1):
    ws.write(i,0,paint_ls[i-1][0])
    ws.write(i,1,paint_ls[i-1][1])
    ws.write(i,2,paint_ls[i-1][2])
    
# 保存excel文件
wb.save('./output/频率 %d 出现时其余频率出现的概率统计.xls'%fqc_judge)
赏

谢谢你请我吃糖果

扫一扫，分享到微信

微信分享二维码
晋ICP备20006783号-1

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

象牙塔中人，偶做前堂客<br>漫谈经阁半卷书，坐井说天阔<br>有志要功名，海斗量福祸<br>待到山花烂漫时，无谓是非过