Bridge Memo

2022/1/11

d2d_sysstat - コピー.ipynbd2d_sysstat

11/26

■ReadMe-ミニマム要件:
Ubuntu 16.0.4
Python 3.4 CUDA 9.0
Tensorflow 1.7(we provide customized Tensorflow in oss/packages)

■NGCカタログ
https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tensorflow/tags
開けてみないとわからない?★

★メール返信

9/23

新技術検討_2019Sep

9/17

銀行データ(申請から取得できるデータ)

9/3

銀行業務マップ

9/2

銀行業務マップ
銀行業務マップ
銀行業務マップ

7/20

仮-新技術

7/13

clients
loans
payments

2021/7/8

Dim cell
Set cell = Selection
ActiveSheet.DrawingObjects.Select
Selection.Placement = xlMoveAndSize
Application.CommandBars("Format Object").Visible = False
cell.Select

featuretools

2021/7/1

5 Trends That Will Drive Technology Innovation | Gartner
ガートナー、「日本における未来志向型インフラ・テクノロジのハイプ・サイクル:2020年」を発表
s新技術調査2021
s新技術調査2021

2021/6/18

pac

2021/4/27

まとめTenforFlow時系列気象予測

2014/4/15

enc

2021/4/13]

bert-jp-tokenizer
tf_2.3.1
tf_2.1.0
tensorflow-2.0.0b1# 2021/4/12
tensorflow.tar

2021/4/9

YE_2_BERT_livedoor_news_on_Google_Colaboratory.ipynb&tok
Tensorflow2.0でLSTM+Attentionで分類モデル
text-20210408T220717Z-001

2021・4・8

bert-jp-model
YE_2_BERT_livedoor_news_on_Google_Colaboratory.ipynb&tok

mecab-python3-0.996.5.tar

  • tokenizer保存
    tokenizer.save_pretrained('./bert-jp')
  • toknizer読込
    tokenizer = BertJapaneseTokenizer.from_pretrained('/content/drive/MyDrive/ColabNotebooks/GPU-test/bert-jp/')
  • model保存
    model.save_pretrained("./bert-jp-model")

Tensorflow2.0でLSTM+Attentionで分類モデルを作る - Qiita

-- library
import os
import tensorflow as tf
import tensorflow_datasets as tfds
import fugashi
import numpy as np

日本語BERTでlivedoorニュースを教師あり学習で分類

library_用DL

transformers==2.9.0
torchtext
bert_livedoor_20210405

library

import os
import random
import numpy as np
import torch
import tarfile
import glob
import pandas as pd
import torchtext # torchtextを使用
from transformers.modeling_bert import BertModel
from transformers.tokenization_bert_japanese import BertJapaneseTokenizer
from transformers.modeling_bert import BertModel
from torch import nn
import torch.optim as optim
import time
from tqdm import tqdm

MeCabとtransformersの用意

!apt install aptitude swig
!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y

!pip install mecab-python3

!pip install mecab-python3==0.996.5
!pip install transformers==2.9.0

pip-colab

absl-py==0.10.0
alabaster==0.7.12
albumentations==0.1.12
altair==4.1.0
appdirs==1.4.4
argon2-cffi==20.1.0
asgiref==3.3.1
astor==0.8.1
astropy==4.2
astunparse==1.6.3
async-generator==1.10
atari-py==0.2.6
atomicwrites==1.4.0
attrs==20.3.0
audioread==2.1.9
autograd==1.3
Babel==2.9.0
backcall==0.2.0
beautifulsoup4==4.6.3
bleach==3.3.0
blis==0.4.1
bokeh==2.1.1
Bottleneck==1.3.2
branca==0.4.2
bs4==0.0.1
CacheControl==0.12.6
cachetools==4.2.1
catalogue==1.0.0
certifi==2020.12.5
cffi==1.14.5
chainer==7.4.0
chardet==3.0.4
click==7.1.2
cloudpickle==1.3.0
cmake==3.12.0
cmdstanpy==0.9.5
colorlover==0.3.0
community==1.0.0b1
contextlib2==0.5.5
convertdate==2.3.1
coverage==3.7.1
coveralls==0.5
crcmod==1.7
cufflinks==0.17.3
cupy-cuda101==7.4.0
cvxopt==1.2.6
cvxpy==1.0.31
cycler==0.10.0
cymem==2.0.5
Cython==0.29.22
daft==0.0.4
dask==2.12.0
datascience==0.10.6
debugpy==1.0.0
decorator==4.4.2
defusedxml==0.7.1
descartes==1.1.0
dill==0.3.3
distributed==1.25.3
Django==3.1.7
dlib==19.18.0
dm-tree==0.1.5
docopt==0.6.2
docutils==0.16
dopamine-rl==1.0.5
earthengine-api==0.1.255
easydict==1.9
ecos==2.0.7.post1
editdistance==0.5.3
en-core-web-sm==2.2.5
entrypoints==0.3
ephem==3.7.7.1
et-xmlfile==1.0.1
fa2==0.3.5
fancyimpute==0.4.3
fastai==1.0.61
fastdtw==0.3.4
fastprogress==1.0.0
fastrlock==0.5
fbprophet==0.7.1
feather-format==0.4.1
filelock==3.0.12
firebase-admin==4.4.0
fix-yahoo-finance==0.0.22
Flask==1.1.2
flatbuffers==1.12
folium==0.8.3
future==0.16.0
gast==0.3.3
GDAL==2.2.2
gdown==3.6.4
gensim==3.6.0
geographiclib==1.50
geopy==1.17.0
gin-config==0.4.0
glob2==0.7
google==2.0.3
google-api-core==1.26.1
google-api-python-client==1.12.8
google-auth==1.27.1
google-auth-httplib2==0.0.4
google-auth-oauthlib==0.4.3
google-cloud-bigquery==1.21.0
google-cloud-bigquery-storage==1.1.0
google-cloud-core==1.0.3
google-cloud-datastore==1.8.0
google-cloud-firestore==1.7.0
google-cloud-language==1.2.0
google-cloud-storage==1.18.1
google-cloud-translate==1.5.0
google-colab==1.0.0
google-pasta==0.2.0
google-resumable-media==0.4.1
googleapis-common-protos==1.53.0
googledrivedownloader==0.4
graphviz==0.10.1
grpcio==1.32.0
gspread==3.0.1
gspread-dataframe==3.0.8
gym==0.17.3
h5py==2.10.0
HeapDict==1.0.1
hijri-converter==2.1.1
holidays==0.10.5.2
holoviews==1.13.5
html5lib==1.0.1
httpimport==0.5.18
httplib2==0.17.4
httplib2shim==0.0.3
humanize==0.5.1
hyperopt==0.1.2
ideep4py==2.0.0.post3
idna==2.10
image==1.5.33
imageio==2.4.1
imagesize==1.2.0
imbalanced-learn==0.4.3
imblearn==0.0
imgaug==0.2.9
importlib-metadata==3.7.2
importlib-resources==5.1.2
imutils==0.5.4
inflect==2.1.0
iniconfig==1.1.1
intel-openmp==2021.1.2
intervaltree==2.1.0
ipykernel==4.10.1
ipython==5.5.0
ipython-genutils==0.2.0
ipython-sql==0.3.9
ipywidgets==7.6.3
itsdangerous==1.1.0
jax==0.2.10
jaxlib==0.1.62+cuda110
jdcal==1.4.1
jedi==0.18.0
jieba==0.42.1
Jinja2==2.11.3
joblib==1.0.1
jpeg4py==0.1.4
jsonschema==2.6.0
jupyter==1.0.0
jupyter-client==5.3.5
jupyter-console==5.2.0
jupyter-core==4.7.1
jupyterlab-pygments==0.1.2
jupyterlab-widgets==1.0.0
kaggle==1.5.10
kapre==0.1.3.1
Keras==2.4.3
Keras-Preprocessing==1.1.2
keras-vis==0.4.1
kiwisolver==1.3.1
knnimpute==0.1.0
korean-lunar-calendar==0.2.1
librosa==0.8.0
lightgbm==2.2.3
llvmlite==0.34.0
lmdb==0.99
lucid==0.3.8
LunarCalendar==0.0.9
lxml==4.2.6
Markdown==3.3.4
MarkupSafe==1.1.1
matplotlib==3.2.2
matplotlib-venn==0.11.6
missingno==0.4.2
mistune==0.8.4
mizani==0.6.0
mkl==2019.0
mlxtend==0.14.0
more-itertools==8.7.0
moviepy==0.2.3.5
mpmath==1.2.1
msgpack==1.0.2
multiprocess==0.70.11.1
multitasking==0.0.9
murmurhash==1.0.5
music21==5.5.0
natsort==5.5.0
nbclient==0.5.3
nbconvert==5.6.1
nbformat==5.1.2
nest-asyncio==1.5.1
networkx==2.5
nibabel==3.0.2
nltk==3.2.5
notebook==5.3.1
np-utils==0.5.12.1
numba==0.51.2
numexpr==2.7.3
numpy==1.19.5
nvidia-ml-py3==7.352.0
oauth2client==4.1.3
oauthlib==3.1.0
okgrade==0.4.3
opencv-contrib-python==4.1.2.30
opencv-python==4.1.2.30
openpyxl==2.5.9
opt-einsum==3.3.0
osqp==0.6.2.post0
packaging==20.9
palettable==3.3.0
pandas==1.1.5
pandas-datareader==0.9.0
pandas-gbq==0.13.3
pandas-profiling==1.4.1
pandocfilters==1.4.3
panel==0.9.7
param==1.10.1
parso==0.8.1
pathlib==1.0.1
patsy==0.5.1
pexpect==4.8.0
pickleshare==0.7.5
Pillow==7.0.0
pip-tools==4.5.1
plac==1.1.3
plotly==4.4.1
plotnine==0.6.0
pluggy==0.7.1
pooch==1.3.0
portpicker==1.3.1
prefetch-generator==1.0.1
preshed==3.0.5
prettytable==2.1.0
progressbar2==3.38.0
prometheus-client==0.9.0
promise==2.3
prompt-toolkit==1.0.18
protobuf==3.12.4
psutil==5.4.8
psycopg2==2.7.6.1
ptyprocess==0.7.0
py==1.10.0
pyarrow==3.0.0
pyasn1==0.4.8
pyasn1-modules==0.2.8
pycocotools==2.0.2
pycparser==2.20
pyct==0.4.8
pydata-google-auth==1.1.0
pydot==1.3.0
pydot-ng==2.0.0
pydotplus==2.0.2
PyDrive==1.3.1
pyemd==0.5.1
pyerfa==1.7.2
pyglet==1.5.0
Pygments==2.6.1
pygobject==3.26.1
pymc3==3.7
PyMeeus==0.5.9
pymongo==3.11.3
pymystem3==0.2.0
pynndescent==0.5.2
PyOpenGL==3.1.5
pyparsing==2.4.7
pyrsistent==0.17.3
pysndfile==1.3.8
PySocks==1.7.1
pystan==2.19.1.1
pytest==3.6.4
python-apt==0.0.0
python-chess==0.23.11
python-dateutil==2.8.1
python-louvain==0.15
python-slugify==4.0.1
python-utils==2.5.6
pytz==2018.9
pyviz-comms==2.0.1
PyWavelets==1.1.1
PyYAML==3.13
pyzmq==22.0.3
qdldl==0.1.5.post0
qtconsole==5.0.3
QtPy==1.9.0
regex==2019.12.20
requests==2.23.0
requests-oauthlib==1.3.0
resampy==0.2.2
retrying==1.3.3
rpy2==3.4.2
rsa==4.7.2
scikit-image==0.16.2
scikit-learn==0.22.2.post1
scipy==1.4.1
screen-resolution-extra==0.0.0
scs==2.1.2
seaborn==0.11.1
Send2Trash==1.5.0
setuptools-git==1.2
Shapely==1.7.1
simplegeneric==0.8.1
six==1.15.0
sklearn==0.0
sklearn-pandas==1.8.0
smart-open==4.2.0
snowballstemmer==2.1.0
sortedcontainers==2.3.0
SoundFile==0.10.3.post1
spacy==2.2.4
Sphinx==1.8.5
sphinxcontrib-serializinghtml==1.1.4
sphinxcontrib-websupport==1.2.4
SQLAlchemy==1.3.23
sqlparse==0.4.1
srsly==1.0.5
statsmodels==0.10.2
sympy==1.7.1
tables==3.4.4
tabulate==0.8.9
tblib==1.7.0
tensorboard==2.4.1
tensorboard-plugin-wit==1.8.0
tensorflow==2.4.1
tensorflow-datasets==4.0.1
tensorflow-estimator==2.4.0
tensorflow-gcs-config==2.4.0
tensorflow-hub==0.11.0
tensorflow-metadata==0.28.0
tensorflow-probability==0.12.1
termcolor==1.1.0
terminado==0.9.2
testpath==0.4.4
text-unidecode==1.3
textblob==0.15.3
textgenrnn==1.4.1
Theano==1.0.5
thinc==7.4.0
tifffile==2021.3.17
toml==0.10.2
toolz==0.11.1
torch==1.8.0+cu101
torchsummary==1.5.1
torchtext==0.9.0
torchvision==0.9.0+cu101
tornado==5.1.1
tqdm==4.41.1
traitlets==5.0.5
tweepy==3.10.0
typeguard==2.7.1
typing-extensions==3.7.4.3
tzlocal==1.5.1
umap-learn==0.5.1
uritemplate==3.0.1
urllib3==1.24.3
vega-datasets==0.9.0
wasabi==0.8.2
wcwidth==0.2.5
webencodings==0.5.1
Werkzeug==1.0.1
widgetsnbextension==3.5.1
wordcloud==1.5.0
wrapt==1.12.1
xarray==0.15.1
xgboost==0.90
xkit==0.0.0
xlrd==1.1.0
xlwt==1.3.0
yellowbrick==0.9.1
zict==2.0.0
zipp==3.4.1

2021/3/30

seaborn-0.9.1-py2.py3-none-any
pandas-0.24.2.tar
seaborn-0.9.1.tar

nvidia links


INFO: Finished 1-process extraction of 1259203 articles in 4371.8s (288.0 art/s)
INFO: total of page: 1808192, total of articl page: 1259203; total of used articl page: 1259203

2021/3/25

time_series(YE)

CPU_results

Results

tt_Linear: 88.81773710250854
tt_dense: 32.25523519515991
tt_multi_step_dense: 46.342594385147095
tt_conv_model: 73.57457971572876
tt_lstm_model: 269.97935485839844
tt_dense2: 137.66608476638794
tt_lstm_model2: 425.3626947402954
tt_residual_lstm: 128.46208119392395
tt_multi_linear_model: 57.96338868141174
tt_multi_dense_model: 130.69740653038025
tt_multi_conv_model: 114.23455500602722
tt_multi_lstm_model: 254.42475962638855
tt_feedback_model: 320.85738587379456

env

OS: ['NAME="Ubuntu"', 'VERSION="18.04.5 LTS (Bionic Beaver)"', 'ID=ubuntu', 'ID_LIKE=debian', 'PRETTY_NAME="Ubuntu 18.04.5 LTS"', 'VERSION_ID="18.04"', 'HOME_URL="https://www.ubuntu.com/"', 'SUPPORT_URL="https://help.ubuntu.com/"', 'BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"', 'PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"', 'VERSION_CODENAME=bionic', 'UBUNTU_CODENAME=bionic']
GPU: ["NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.", '']
CPU: ['processor\t: 0', 'vendor_id\t: AuthenticAMD', 'cpu family\t: 23', 'model\t\t: 49', 'model name\t: AMD EPYC 7B12', 'stepping\t: 0', 'microcode\t: 0x1000065', 'cpu MHz\t\t: 2249.998', 'cache size\t: 512 KB', 'physical id\t: 0', 'siblings\t: 4', 'core id\t\t: 0', 'cpu cores\t: 2', 'apicid\t\t: 0', 'initial apicid\t: 0', 'fpu\t\t: yes', 'fpu_exception\t: yes', 'cpuid level\t: 13', 'wp\t\t: yes', 'flags\t\t: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc cpuid extd_apicid tsc_known_freq pni pclmulqdq ssse3 fma cx16 sse4_1 sse4_2 movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw topoext ssbd ibrs ibpb stibp vmmcall fsgsbase tsc_adjust bmi1 avx2 smep bmi2 rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 clzero xsaveerptr arat npt nrip_save umip rdpid', 'bugs\t\t: sysret_ss_attrs spectre_v1 spectre_v2 spec_store_bypass', 'bogomips\t: 4499.99', 'TLB size\t: 3072 4K pages', 'clflush size\t: 64', 'cache_alignment\t: 64', 'address sizes\t: 48 bits physical, 48 bits virtual', 'power management:', '', 'processor\t: 1', 'vendor_id\t: AuthenticAMD', 'cpu family\t: 23', 'model\t\t: 49', 'model name\t: AMD EPYC 7B12', 'stepping\t: 0', 'microcode\t: 0x1000065', 'cpu MHz\t\t: 2249.998', 'cache size\t: 512 KB', 'physical id\t: 0', 'siblings\t: 4', 'core id\t\t: 1', 'cpu cores\t: 2', 'apicid\t\t: 2', 'initial apicid\t: 2', 'fpu\t\t: yes', 'fpu_exception\t: yes', 'cpuid level\t: 13', 'wp\t\t: yes', 'flags\t\t: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc cpuid extd_apicid tsc_known_freq pni pclmulqdq ssse3 fma cx16 sse4_1 sse4_2 movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw topoext ssbd ibrs ibpb stibp vmmcall fsgsbase tsc_adjust bmi1 avx2 smep bmi2 rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 clzero xsaveerptr arat npt nrip_save umip rdpid', 'bugs\t\t: sysret_ss_attrs spectre_v1 spectre_v2 spec_store_bypass', 'bogomips\t: 4499.99', 'TLB size\t: 3072 4K pages', 'clflush size\t: 64', 'cache_alignment\t: 64', 'address sizes\t: 48 bits physical, 48 bits virtual', 'power management:', '', 'processor\t: 2', 'vendor_id\t: AuthenticAMD', 'cpu family\t: 23', 'model\t\t: 49', 'model name\t: AMD EPYC 7B12', 'stepping\t: 0', 'microcode\t: 0x1000065', 'cpu MHz\t\t: 2249.998', 'cache size\t: 512 KB', 'physical id\t: 0', 'siblings\t: 4', 'core id\t\t: 0', 'cpu cores\t: 2', 'apicid\t\t: 1', 'initial apicid\t: 1', 'fpu\t\t: yes', 'fpu_exception\t: yes', 'cpuid level\t: 13', 'wp\t\t: yes', 'flags\t\t: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc cpuid extd_apicid tsc_known_freq pni pclmulqdq ssse3 fma cx16 sse4_1 sse4_2 movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw topoext ssbd ibrs ibpb stibp vmmcall fsgsbase tsc_adjust bmi1 avx2 smep bmi2 rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 clzero xsaveerptr arat npt nrip_save umip rdpid', 'bugs\t\t: sysret_ss_attrs spectre_v1 spectre_v2 spec_store_bypass', 'bogomips\t: 4499.99', 'TLB size\t: 3072 4K pages', 'clflush size\t: 64', 'cache_alignment\t: 64', 'address sizes\t: 48 bits physical, 48 bits virtual', 'power management:', '', 'processor\t: 3', 'vendor_id\t: AuthenticAMD', 'cpu family\t: 23', 'model\t\t: 49', 'model name\t: AMD EPYC 7B12', 'stepping\t: 0', 'microcode\t: 0x1000065', 'cpu MHz\t\t: 2249.998', 'cache size\t: 512 KB', 'physical id\t: 0', 'siblings\t: 4', 'core id\t\t: 1', 'cpu cores\t: 2', 'apicid\t\t: 3', 'initial apicid\t: 3', 'fpu\t\t: yes', 'fpu_exception\t: yes', 'cpuid level\t: 13', 'wp\t\t: yes', 'flags\t\t: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc cpuid extd_apicid tsc_known_freq pni pclmulqdq ssse3 fma cx16 sse4_1 sse4_2 movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm cmp_legacy cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw topoext ssbd ibrs ibpb stibp vmmcall fsgsbase tsc_adjust bmi1 avx2 smep bmi2 rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 clzero xsaveerptr arat npt nrip_save umip rdpid', 'bugs\t\t: sysret_ss_attrs spectre_v1 spectre_v2 spec_store_bypass', 'bogomips\t: 4499.99', 'TLB size\t: 3072 4K pages', 'clflush size\t: 64', 'cache_alignment\t: 64', 'address sizes\t: 48 bits physical, 48 bits virtual', 'power management:', '']
Python: ['Python 3.7.10']
['MemTotal: 26751704 kB', 'MemFree: 23214964 kB', 'MemAvailable: 25657740 kB', 'Buffers: 108800 kB', 'Cached: 2530836 kB', 'SwapCached: 0 kB', 'Active: 1158664 kB', 'Inactive: 2009336 kB', 'Active(anon): 486716 kB', 'Inactive(anon): 384 kB', 'Active(file): 671948 kB', 'Inactive(file): 2008952 kB', 'Unevictable: 0 kB', 'Mlocked: 0 kB', 'SwapTotal: 0 kB', 'SwapFree: 0 kB', 'Dirty: 1484 kB', 'Writeback: 0 kB', 'AnonPages: 528572 kB', 'Mapped: 343696 kB', 'Shmem: 984 kB', 'Slab: 231036 kB', 'SReclaimable: 168724 kB', 'SUnreclaim: 62312 kB', 'KernelStack: 4552 kB', 'PageTables: 6660 kB', 'NFS_Unstable: 0 kB', 'Bounce: 0 kB', 'WritebackTmp: 0 kB', 'CommitLimit: 13375852 kB', 'Committed_AS: 3607076 kB', 'VmallocTotal: 34359738367 kB', 'VmallocUsed: 0 kB', 'VmallocChunk: 0 kB', 'Percpu: 2048 kB', 'AnonHugePages: 0 kB', 'ShmemHugePages: 0 kB', 'ShmemPmdMapped: 0 kB', 'HugePages_Total: 0', 'HugePages_Free: 0', 'HugePages_Rsvd: 0', 'HugePages_Surp: 0', 'Hugepagesize: 2048 kB', 'Hugetlb: 0 kB', 'DirectMap4k: 95436 kB', 'DirectMap2M: 5146624 kB', 'DirectMap1G: 24117248 kB']
GPU is not used.

GPU(P100)_results

OS: Ubuntu 18.04.5 LTS (Bionic Beaver)OS: Ubuntu

reseults

完了時間: 2021-03-24 23:11:54.157761
tt_Linear: 54.24777889251709
tt_dense: 98.34756422042847
tt_multi_step_dense: 44.17024493217468
tt_conv_model: 77.81823348999023
tt_lstm_model: 95.72780323028564
tt_dense2: 80.03137922286987
tt_lstm_model2: 177.33246564865112
tt_residual_lstm: 65.53865694999695
tt_multi_linear_model: 54.982372522354126
tt_multi_dense_model: 77.49193739891052
tt_multi_conv_model: 93.98768448829651
tt_multi_lstm_model: 90.82269835472107
tt_feedback_model: 588.0850813388824

spec

Wed Mar 24 22:44:04 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.56 Driver Version: 460.32.03 CUDA Version: 11.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla P100-PCIE... Off | 00000000:00:04.0 Off | 0 |
| N/A 47C P0 29W / 250W | 0MiB / 16280MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
['GPU 0: Tesla P100-PCIE-16GB (UUID: GPU-76eaecda-e43a-a8cb-f383-fb342c419b28)']
['Python 3.7.10']
Reading package lists... Done
Building dependency tree
Reading state information... Done
lshw is already the newest version (02.18-0.1ubuntu6.18.04.2).
0 upgraded, 0 newly installed, 0 to remove and 30 not upgraded.
['', '', 'DMI', '', ' ', 'SMP', '', ' ', 'PA-RISC', '', ' ', 'device-tree', '', ' ', 'SPD', '', ' ', 'memory', '', ' ', '/proc/cpuinfo', '', ' ', 'CPUID', '', ' ', 'PCI (sysfs)', '', ' ', 'ISA PnP', '', ' ', 'PCMCIA', '', ' ', 'PCMCIA', '', ' ', 'Virtual I/O (VIRTIO) devices', '', ' ', 'kernel device tree (sysfs)', '', ' ', 'USB', '', ' ', 'IDE', '', ' ', 'SCSI', '', ' ', 'NVMe', '', ' ', 'Network interfaces', '', ' ', 'Framebuffer devices', '', ' ', 'Display', '', ' ', 'CPUFreq', '', ' ', 'ABI', '', ' ', '', '73d1c549e2a8', ' description: Computer', ' width: 64 bits', ' capabilities: smp vsyscall32', ' -core', ' description: Motherboard', ' physical id: 0', ' -memory', ' description: System memory', ' physical id: 0', ' size: 25GiB', ' -cpu', ' product: Intel(R) Xeon(R) CPU @ 2.20GHz', ' vendor: Intel Corp.', ' physical id: 1', ' bus info: cpu@0', ' width: 64 bits', ' capabilities: fpu fpu_exception wp vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp x86-64 constant_tsc rep_good nopl xtopology nonstop_tsc cpuid tsc_known_freq pni pclmulqdq ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch invpcid_single ssbd ibrs ibpb stibp fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm rdseed adx smap xsaveopt arat md_clear arch_capabilities', ' -pci', ' description: Host bridge', ' product: 440FX - 82441FX PMC [Natoma]', ' vendor: Intel Corporation', ' physical id: 100', ' bus info: pci@0000:00:00.0', ' version: 02', ' width: 32 bits', ' clock: 33MHz', ' -isa', ' description: ISA bridge', ' product: 82371AB/EB/MB PIIX4 ISA', ' vendor: Intel Corporation', ' physical id: 1', ' bus info: pci@0000:00:01.0', ' version: 03', ' width: 32 bits', ' clock: 33MHz', ' capabilities: isa bus_master', ' configuration: latency=0', ' -bridge UNCLAIMED', ' description: Bridge', ' product: 82371AB/EB/MB PIIX4 ACPI', ' vendor: Intel Corporation', ' physical id: 1.3', ' bus info: pci@0000:00:01.3', ' version: 03', ' width: 32 bits', ' clock: 33MHz', ' capabilities: bridge bus_master', ' configuration: latency=0', ' -generic:0', ' description: Non-VGA unclassified device', ' product: Virtio SCSI', ' vendor: Red Hat, Inc.', ' physical id: 3', ' bus info: pci@0000:00:03.0', ' version: 00', ' width: 32 bits', ' clock: 33MHz', ' capabilities: msix bus_master cap_list', ' configuration: driver=virtio-pci latency=0', ' resources: irq:11 ioport:c0c0(size=64) memory:c1001000-c100107f', ' -virtio0 UNCLAIMED', ' description: Virtual I/O device', ' physical id: 0', ' bus info: virtio@0', ' configuration: driver=virtio_scsi', ' -display', ' description: 3D controller', ' product: GP100GL [Tesla P100 PCIe 16GB]', ' vendor: NVIDIA Corporation', ' physical id: 4', ' bus info: pci@0000:00:04.0', ' version: a1', ' width: 64 bits', ' clock: 33MHz', ' capabilities: msi pm bus_master cap_list', ' configuration: driver=nvidia latency=0', ' resources: iomemory:80-7f iomemory:c0-bf irq:39 memory:c0000000-c0ffffff memory:800000000-bffffffff memory:c00000000-c01ffffff ioport:c000(size=128)', ' -network', ' description: Ethernet controller', ' product: Virtio network device', ' vendor: Red Hat, Inc.', ' physical id: 5', ' bus info: pci@0000:00:05.0', ' version: 00', ' width: 32 bits', ' clock: 33MHz', ' capabilities: msix bus_master cap_list', ' configuration: driver=virtio-pci latency=0', ' resources: irq:10 ioport:c080(size=64) memory:c1000000-c10000ff', ' -virtio1 UNCLAIMED', ' description: Virtual I/O device', ' physical id: 0', ' bus info: virtio@1', ' configuration: driver=virtio_net', ' -generic:1', ' description: Unclassified device', ' product: Virtio RNG', ' vendor: Red Hat, Inc.', ' physical id: 6', ' bus info: pci@0000:00:06.0', ' version: 00', ' width: 32 bits', ' clock: 33MHz', ' capabilities: msix bus_master cap_list', ' configuration: driver=virtio-pci latency=0', ' resources: irq:10 ioport:c100(size=32) memory:c1002000-c100203f', ' -virtio2 UNCLAIMED', ' description: Virtual I/O device', ' physical id: 0', ' bus info: virtio@2', ' configuration: driver=virtio_rng', ' -network', ' description: Ethernet interface', ' physical id: 1', ' logical name: eth0', ' serial: 02:42:ac:1c:00:02', ' size: 10Gbit/s', ' capabilities: ethernet physical', ' configuration: autonegotiation=off broadcast=yes driver=veth driverversion=1.0 duplex=full ip=172.28.0.2 link=yes multicast=yes port=twisted pair speed=10Gbit/s']
['Package Version ', '----------------------------- --------------', 'absl-py 0.10.0 ', 'alabaster 0.7.12 ', 'albumentations 0.1.12 ', 'altair 4.1.0 ', 'appdirs 1.4.4 ', 'argon2-cffi 20.1.0 ', 'asgiref 3.3.1 ', 'astor 0.8.1 ', 'astropy 4.2 ', 'astunparse 1.6.3 ', 'async-generator 1.10 ', 'atari-py 0.2.6 ', 'atomicwrites 1.4.0 ', 'attrs 20.3.0 ', 'audioread 2.1.9 ', 'autograd 1.3 ', 'Babel 2.9.0 ', 'backcall 0.2.0 ', 'beautifulsoup4 4.6.3 ', 'bleach 3.3.0 ', 'blis 0.4.1 ', 'bokeh 2.1.1 ', 'Bottleneck 1.3.2 ', 'branca 0.4.2 ', 'bs4 0.0.1 ', 'CacheControl 0.12.6 ', 'cachetools 4.2.1 ', 'catalogue 1.0.0 ', 'certifi 2020.12.5 ', 'cffi 1.14.5 ', 'chainer 7.4.0 ', 'chardet 3.0.4 ', 'click 7.1.2 ', 'cloudpickle 1.3.0 ', 'cmake 3.12.0 ', 'cmdstanpy 0.9.5 ', 'colorlover 0.3.0 ', 'community 1.0.0b1 ', 'contextlib2 0.5.5 ', 'convertdate 2.3.1 ', 'coverage 3.7.1 ', 'coveralls 0.5 ', 'crcmod 1.7 ', 'cufflinks 0.17.3 ', 'cupy-cuda101 7.4.0 ', 'cvxopt 1.2.6 ', 'cvxpy 1.0.31 ', 'cycler 0.10.0 ', 'cymem 2.0.5 ', 'Cython 0.29.22 ', 'daft 0.0.4 ', 'dask 2.12.0 ', 'datascience 0.10.6 ', 'debugpy 1.0.0 ', 'decorator 4.4.2 ', 'defusedxml 0.7.1 ', 'descartes 1.1.0 ', 'dill 0.3.3 ', 'distributed 1.25.3 ', 'Django 3.1.7 ', 'dlib 19.18.0 ', 'dm-tree 0.1.5 ', 'docopt 0.6.2 ', 'docutils 0.16 ', 'dopamine-rl 1.0.5 ', 'earthengine-api 0.1.255 ', 'easydict 1.9 ', 'ecos 2.0.7.post1 ', 'editdistance 0.5.3 ', 'en-core-web-sm 2.2.5 ', 'entrypoints 0.3 ', 'ephem 3.7.7.1 ', 'et-xmlfile 1.0.1 ', 'fa2 0.3.5 ', 'fancyimpute 0.4.3 ', 'fastai 1.0.61 ', 'fastdtw 0.3.4 ', 'fastprogress 1.0.0 ', 'fastrlock 0.5 ', 'fbprophet 0.7.1 ', 'feather-format 0.4.1 ', 'filelock 3.0.12 ', 'firebase-admin 4.4.0 ', 'fix-yahoo-finance 0.0.22 ', 'Flask 1.1.2 ', 'flatbuffers 1.12 ', 'folium 0.8.3 ', 'future 0.16.0 ', 'gast 0.3.3 ', 'GDAL 2.2.2 ', 'gdown 3.6.4 ', 'gensim 3.6.0 ', 'geographiclib 1.50 ', 'geopy 1.17.0 ', 'gin-config 0.4.0 ', 'glob2 0.7 ', 'google 2.0.3 ', 'google-api-core 1.26.1 ', 'google-api-python-client 1.12.8 ', 'google-auth 1.27.1 ', 'google-auth-httplib2 0.0.4 ', 'google-auth-oauthlib 0.4.3 ', 'google-cloud-bigquery 1.21.0 ', 'google-cloud-bigquery-storage 1.1.0 ', 'google-cloud-core 1.0.3 ', 'google-cloud-datastore 1.8.0 ', 'google-cloud-firestore 1.7.0 ', 'google-cloud-language 1.2.0 ', 'google-cloud-storage 1.18.1 ', 'google-cloud-translate 1.5.0 ', 'google-colab 1.0.0 ', 'google-pasta 0.2.0 ', 'google-resumable-media 0.4.1 ', 'googleapis-common-protos 1.53.0 ', 'googledrivedownloader 0.4 ', 'graphviz 0.10.1 ', 'grpcio 1.32.0 ', 'gspread 3.0.1 ', 'gspread-dataframe 3.0.8 ', 'gym 0.17.3 ', 'h5py 2.10.0 ', 'HeapDict 1.0.1 ', 'hijri-converter 2.1.1 ', 'holidays 0.10.5.2 ', 'holoviews 1.13.5 ', 'html5lib 1.0.1 ', 'httpimport 0.5.18 ', 'httplib2 0.17.4 ', 'httplib2shim 0.0.3 ', 'humanize 0.5.1 ', 'hyperopt 0.1.2 ', 'ideep4py 2.0.0.post3 ', 'idna 2.10 ', 'image 1.5.33 ', 'imageio 2.4.1 ', 'imagesize 1.2.0 ', 'imbalanced-learn 0.4.3 ', 'imblearn 0.0 ', 'imgaug 0.2.9 ', 'importlib-metadata 3.7.2 ', 'importlib-resources 5.1.2 ', 'imutils 0.5.4 ', 'inflect 2.1.0 ', 'iniconfig 1.1.1 ', 'intel-openmp 2021.1.2 ', 'intervaltree 2.1.0 ', 'ipykernel 4.10.1 ', 'ipython 5.5.0 ', 'ipython-genutils 0.2.0 ', 'ipython-sql 0.3.9 ', 'ipywidgets 7.6.3 ', 'itsdangerous 1.1.0 ', 'jax 0.2.10 ', 'jaxlib 0.1.62+cuda110', 'jdcal 1.4.1 ', 'jedi 0.18.0 ', 'jieba 0.42.1 ', 'Jinja2 2.11.3 ', 'joblib 1.0.1 ', 'jpeg4py 0.1.4 ', 'jsonschema 2.6.0 ', 'jupyter 1.0.0 ', 'jupyter-client 5.3.5 ', 'jupyter-console 5.2.0 ', 'jupyter-core 4.7.1 ', 'jupyterlab-pygments 0.1.2 ', 'jupyterlab-widgets 1.0.0 ', 'kaggle 1.5.10 ', 'kapre 0.1.3.1 ', 'Keras 2.4.3 ', 'Keras-Preprocessing 1.1.2 ', 'keras-vis 0.4.1 ', 'kiwisolver 1.3.1 ', 'knnimpute 0.1.0 ', 'korean-lunar-calendar 0.2.1 ', 'librosa 0.8.0 ', 'lightgbm 2.2.3 ', 'llvmlite 0.34.0 ', 'lmdb 0.99 ', 'lucid 0.3.8 ', 'LunarCalendar 0.0.9 ', 'lxml 4.2.6 ', 'Markdown 3.3.4 ', 'MarkupSafe 1.1.1 ', 'matplotlib 3.2.2 ', 'matplotlib-venn 0.11.6 ', 'missingno 0.4.2 ', 'mistune 0.8.4 ', 'mizani 0.6.0 ', 'mkl 2019.0 ', 'mlxtend 0.14.0 ', 'more-itertools 8.7.0 ', 'moviepy 0.2.3.5 ', 'mpmath 1.2.1 ', 'msgpack 1.0.2 ', 'multiprocess 0.70.11.1 ', 'multitasking 0.0.9 ', 'murmurhash 1.0.5 ', 'music21 5.5.0 ', 'natsort 5.5.0 ', 'nbclient 0.5.3 ', 'nbconvert 5.6.1 ', 'nbformat 5.1.2 ', 'nest-asyncio 1.5.1 ', 'networkx 2.5 ', 'nibabel 3.0.2 ', 'nltk 3.2.5 ', 'notebook 5.3.1 ', 'np-utils 0.5.12.1 ', 'numba 0.51.2 ', 'numexpr 2.7.3 ', 'numpy 1.19.5 ', 'nvidia-ml-py3 7.352.0 ', 'oauth2client 4.1.3 ', 'oauthlib 3.1.0 ', 'okgrade 0.4.3 ', 'opencv-contrib-python 4.1.2.30 ', 'opencv-python 4.1.2.30 ', 'openpyxl 2.5.9 ', 'opt-einsum 3.3.0 ', 'osqp 0.6.2.post0 ', 'packaging 20.9 ', 'palettable 3.3.0 ', 'pandas 1.1.5 ', 'pandas-datareader 0.9.0 ', 'pandas-gbq 0.13.3 ', 'pandas-profiling 1.4.1 ', 'pandocfilters 1.4.3 ', 'panel 0.9.7 ', 'param 1.10.1 ', 'parso 0.8.1 ', 'pathlib 1.0.1 ', 'patsy 0.5.1 ', 'pexpect 4.8.0 ', 'pickleshare 0.7.5 ', 'Pillow 7.0.0 ', 'pip 19.3.1 ', 'pip-tools 4.5.1 ', 'plac 1.1.3 ', 'plotly 4.4.1 ', 'plotnine 0.6.0 ', 'pluggy 0.7.1 ', 'pooch 1.3.0 ', 'portpicker 1.3.1 ', 'prefetch-generator 1.0.1 ', 'preshed 3.0.5 ', 'prettytable 2.1.0 ', 'progressbar2 3.38.0 ', 'prometheus-client 0.9.0 ', 'promise 2.3 ', 'prompt-toolkit 1.0.18 ', 'protobuf 3.12.4 ', 'psutil 5.4.8 ', 'psycopg2 2.7.6.1 ', 'ptyprocess 0.7.0 ', 'py 1.10.0 ', 'pyarrow 3.0.0 ', 'pyasn1 0.4.8 ', 'pyasn1-modules 0.2.8 ', 'pycocotools 2.0.2 ', 'pycparser 2.20 ', 'pyct 0.4.8 ', 'pydata-google-auth 1.1.0 ', 'pydot 1.3.0 ', 'pydot-ng 2.0.0 ', 'pydotplus 2.0.2 ', 'PyDrive 1.3.1 ', 'pyemd 0.5.1 ', 'pyerfa 1.7.2 ', 'pyglet 1.5.0 ', 'Pygments 2.6.1 ', 'pygobject 3.26.1 ', 'pymc3 3.7 ', 'PyMeeus 0.5.9 ', 'pymongo 3.11.3 ', 'pymystem3 0.2.0 ', 'pynndescent 0.5.2 ', 'PyOpenGL 3.1.5 ', 'pyparsing 2.4.7 ', 'pyrsistent 0.17.3 ', 'pysndfile 1.3.8 ', 'PySocks 1.7.1 ', 'pystan 2.19.1.1 ', 'pytest 3.6.4 ', 'python-apt 0.0.0 ', 'python-chess 0.23.11 ', 'python-dateutil 2.8.1 ', 'python-louvain 0.15 ', 'python-slugify 4.0.1 ', 'python-utils 2.5.6 ', 'pytz 2018.9 ', 'pyviz-comms 2.0.1 ', 'PyWavelets 1.1.1 ', 'PyYAML 3.13 ', 'pyzmq 22.0.3 ', 'qdldl 0.1.5.post0 ', 'qtconsole 5.0.3 ', 'QtPy 1.9.0 ', 'regex 2019.12.20 ', 'requests 2.23.0 ', 'requests-oauthlib 1.3.0 ', 'resampy 0.2.2 ', 'retrying 1.3.3 ', 'rpy2 3.4.2 ', 'rsa 4.7.2 ', 'scikit-image 0.16.2 ', 'scikit-learn 0.22.2.post1 ', 'scipy 1.4.1 ', 'screen-resolution-extra 0.0.0 ', 'scs 2.1.2 ', 'seaborn 0.11.1 ', 'Send2Trash 1.5.0 ', 'setuptools 54.1.2 ', 'setuptools-git 1.2 ', 'Shapely 1.7.1 ', 'simplegeneric 0.8.1 ', 'six 1.15.0 ', 'sklearn 0.0 ', 'sklearn-pandas 1.8.0 ', 'smart-open 4.2.0 ', 'snowballstemmer 2.1.0 ', 'sortedcontainers 2.3.0 ', 'SoundFile 0.10.3.post1 ', 'spacy 2.2.4 ', 'Sphinx 1.8.5 ', 'sphinxcontrib-serializinghtml 1.1.4 ', 'sphinxcontrib-websupport 1.2.4 ', 'SQLAlchemy 1.3.23 ', 'sqlparse 0.4.1 ', 'srsly 1.0.5 ', 'statsmodels 0.10.2 ', 'sympy 1.7.1 ', 'tables 3.4.4 ', 'tabulate 0.8.9 ', 'tblib 1.7.0 ', 'tensorboard 2.4.1 ', 'tensorboard-plugin-wit 1.8.0 ', 'tensorflow 2.4.1 ', 'tensorflow-datasets 4.0.1 ', 'tensorflow-estimator 2.4.0 ', 'tensorflow-gcs-config 2.4.0 ', 'tensorflow-hub 0.11.0 ', 'tensorflow-metadata 0.28.0 ', 'tensorflow-probability 0.12.1 ', 'termcolor 1.1.0 ', 'terminado 0.9.2 ', 'testpath 0.4.4 ', 'text-unidecode 1.3 ', 'textblob 0.15.3 ', 'textgenrnn 1.4.1 ', 'Theano 1.0.5 ', 'thinc 7.4.0 ', 'tifffile 2021.3.17 ', 'toml 0.10.2 ', 'toolz 0.11.1 ', 'torch 1.8.0+cu101 ', 'torchsummary 1.5.1 ', 'torchtext 0.9.0 ', 'torchvision 0.9.0+cu101 ', 'tornado 5.1.1 ', 'tqdm 4.41.1 ', 'traitlets 5.0.5 ', 'tweepy 3.10.0 ', 'typeguard 2.7.1 ', 'typing-extensions 3.7.4.3 ', 'tzlocal 1.5.1 ', 'umap-learn 0.5.1 ', 'uritemplate 3.0.1 ', 'urllib3 1.24.3 ', 'vega-datasets 0.9.0 ', 'wasabi 0.8.2 ', 'wcwidth 0.2.5 ', 'webencodings 0.5.1 ', 'Werkzeug 1.0.1 ', 'wheel 0.36.2 ', 'widgetsnbextension 3.5.1 ', 'wordcloud 1.5.0 ', 'wrapt 1.12.1 ', 'xarray 0.15.1 ', 'xgboost 0.90 ', 'xkit 0.0.0 ', 'xlrd 1.1.0 ', 'xlwt 1.3.0 ', 'yellowbrick 0.9.1 ', 'zict 2.0.0 ', 'zipp 3.4.1 ']

2021/3/24

results-keras time series with t4

  • 3/24 linear:
  • 3/24_t4_Dense:52.69864749908447
  • 3/24 multi_step_dense:58.14337396621704
  • 3/24 conv_model(CNN):23.230770111083984
  • 3/24 lstm_model(RNN):95.74242949485779
    ---Multi-output models---
  • dense:53.33690309524536
  • lstm_model(RNN):137.4436342716217
  • residual_lstm:55.42700433731079
    ---Single-shot models---
  • multi_linear_model:55.36919069290161
  • multi_dense_model:53.13344764709473
  • multi_conv_model:1616594309.476683

[Google Colab環境]
CUDA Version: 11.2
Python 3.7.10

[結果]
GPUはCPUより65倍高速であった
・GPU-Tesla P100-PCIE-16GB
0.12719225883483887

65倍

・CPU-Intel(R) Xeon(R) CPU @ 2.30GHz
7.810299873352051

行列積 (10000*2行列 x 10000行列)

%%timeit

import tensorflow as tf
import time
dim = 10000
a1 = tf.random.uniform([dim,dim])
a2 = tf.random.uniform([dim])
tmp = tf.tensordot(a1,a2,1)
start_time = time.time()
for i in range(200):
tmp = tf.tensordot(a1,tmp,1)
time_taken = time.time() - start_time
print(time_taken)

mm"python_noise_reduction"

python_noise_reduction

code 20210212

import csv data = [['一行目のデータ'],['二行目のデータ'],['三行目のデータ']]
with open("'ファイル名'.csv", "w", newline="") as f: #"\t"
w = csv.writer(f, delimiter=",")
for data_list in data:
w.writerow(data_list)

■TSV->TSV

import csv
with open('test.tsv', mode='r', newline='', encoding='utf-8') as f:
... tsv_reader = csv.reader(f, delimiter='\t')
... read_data = [row for row in tsv_reader]
...
read_data # 読みやすいように改行だけ整形しました
[
['# col1', 'col2', 'col3'],
['A1', 'B1', '-1'],
['A2', 'B2', '0'],
['A3', 'B3', '1.0']
]

with open('out.tsv', mode='w', newline='', encoding='utf-8') as fo:
... tsv_writer = csv.writer(fo, delimiter='\t')
... tsv_writer.writerows(read_data)

pandas df使用

PythonでCSVファイルの指定した行を削除する方法を現役エンジニアが解説【初心者向け】 | TechAcademyマガジン

  • 詳細

    • import pandas as pd #CSVファイルの読み込み df = pd.read_csv("pandas_test.csv") print(df) print(type(df))

    • df = df.drop(2, axis=0) print(df)
      再度Dataframeを出力すると、指定した行が削除できているのが確認できます。ちなみに、列を削除したいときは列名を指定して以下のようにコードを書きます。
      df = df.drop("数学", axis=1) print(df)

    • ...

    • csvをdfに読込処理

【Python】pandasデータクレンジング超基礎_その1|nonoka|note

  • 2/12ピン留め
    • 図解わかりやすい
    • エクセルやCSVのデータをpandasで処理するときは、dataframeに入れるのが一般的
    • Excelの読込説明
    • loc, iloc, at, iat
    • df.drop([2, 4, 8])が使えるか❔
  • 詳細
    • イメージ
      • dataframeのイメージ
        • ...
      • series
        • ...
      • list
        • ...

codecs

“Pythonにおけるcodecs()の利用方法を現役エンジニアが解説【初心者向け】” はロックされています。 Pythonにおけるcodecs()の利用方法を現役エンジニアが解説【初心者向け】 | TechAcademyマガジン

    • codecで文字コードを変える説明。あまり今回に関係ない
  • 詳細
    • ...
      • with open('utf8.csv', 'w', newline='', encoding='utf8') as f: writer = csv.writer(f) writer.writerow(['商品名','価格']) writer.writerow(['りんご','300']) writer.writerow(['みかん','200']) writer.writerow(['パイナップル','500']) with open('utf8.csv', encoding='utf8') as f_in: withopen('shiftjis.csv', 'w', encoding='shift_jis') as f_out: f_out.write(f_in.read())

「codecs」の使い方〜Pythonのファイル読み書きの基本と実装例〜 - みやびのどっとぴーわい

  • 2/12ピン留めしてる
  • ...
    • 説明丁寧
      • ★後でまとめる
    • ・「codecs」の使い方〜Pythonでのファイルの読み書き〜
      ・Python codecsでファイルに書き込む場合の実装例・実行例
      ・Python codecsでファイルから読み込む場合の実装例・実行例

open csv

【Python】CSVファイルの入力と出力を制御する方法 - みやびのどっとぴーわい

  • 2/12ピン留めしてる
  • ...
    • 説明丁寧
      • ★後でまとめる

PythonでTSVファイルの読み込みと書き出しをする — 某エンジニアのお仕事以外のメモ(分冊)

  • 詳細
    • import csv >>> with open('test.tsv', mode='r', newline='', encoding='utf-8') as f: ... tsv_reader = csv.reader(f, delimiter='\t') ... read_data = [row for row in tsv_reader] ... >>> read_data # 読みやすいように改行だけ整形しました [ ['# col1', 'col2', 'col3'], ['A1', 'B1', '-1'], ['A2', 'B2', '0'], ['A3', 'B3', '1.0'] ] >>> with open('out.tsv', mode='w', newline='', encoding='utf-8') as fo: ... tsv_writer = csv.writer(fo, delimiter='\t') ... tsv_writer.writerows(read_data)

misc

newline

  • 詳細
    • Python でcsv出力したら一行空く件 - Qiita
      • ...
    • import csv data = [['一行目のデータ'],['二行目のデータ'],['三行目のデータ']]
      with open("'ファイル名'.csv", "w", newline="") as f:
      w = csv.writer(f, delimiter=",")
      for data_list in data:
      w.writerow(data_list)

リスト操作

Pythonでリスト(配列)に要素を追加するappend, extend, insert | note.nkmk.me

  • ?
    • 詳細だが今回の役に立つか?
  • 詳細
    • ...

[小ネタ]Pythonのループ内でリストの要素を削除する時の注意点 | DevelopersIO

    • データを取り出したいだけであれば内包表記の方が速度的にも有利でバグも生まれにくい
    • data.remove(i)
    • 不具合:リスト内で要素を削除すると次の要素が飛ばされてしまうようです。 なので奇数が残った
  • 詳細
    • NG
      • ...
    • OK
      • ...
    • データを取り出したいだけであれば内包表記の方が速度的にも有利でバグも生まれにくいです。 同じオブジェクトを操作したいケースでなければ、内包表記か別のリストを作ってappendしましょう。

Yahoo finance(英語サイト)を使いこなそう!

Twitter
Facebook
はてブ
Pocket
LINE
コピー
2020.11.24 2013.03.30
米国の本家Yahoo financeのサイトの「Key Statistics」のページでは、日本のYahoo ファイナンスには無い多くの株式関連指標が掲載されています。
略語が多く使われていて最初はとっつきにくいですが、だんだん慣れてきます。以下にまとめてみました。
まず前提として、以下の5つの略語を理解することが必要です。

「mrq」Most Recent Quarter:直近四半期
「ttm」Trailing Twelve Months:直近12ヵ月
(ポイント!:直近月からではなく、直近の四半期末から4つの四半期分(12ヶ月分)という意味です。
「yoy」Year Over Year:前年比
「lfy」Last Fiscal Year:前事業年度
「fye」Fiscal Year Ending:事業年度末

keystatsample

それでは、本題に入ります。
Key Statistics 主要な指標
—————————————–
Valuation Measures 評価指標
Market Cap (intraday): 時価総額(ザラ場)
Enterprise Value (YYYY-MM-DD): 企業価値(※)(YYYY年MM月DD日時点)
Trailing P/E (ttm, intraday): 実績PER (直近12ヵ月、ザラ場)
Forward P/E (fye YYYY-MM-DD): 予想PER(会計年度末YYYY年MM月DD日)
PEG Ratio (5 yr expected): PEGレシオ(※)(5年予測)
Price/Sales (ttm): 株価売上高倍率(直近12ヵ月)
Price/Book (mrq): PBR(直近四半期)
Enterprise Value/Revenue (ttm): 企業価値/収益(直近12ヵ月)
Enterprise Value/EBITDA (ttm): 企業価値/EBITDA(※:金利・税金・償却前利益)比率(直近12ヵ月)

—————————————–
Financial Highlights 財務ハイライト
Fiscal Year 会計年度
Fiscal Year Ends: 会計年度末
Most Recent Quarter (mrq): 直近四半期

—————————————–
Profitability  収益性
Profit Margin (ttm): 売上高純利益率(直近12ヵ月)
Operating Margin (ttm): 売上高営業利益率(直近12ヵ月)

—————————————–
Management Effectiveness 経営の有効性
Return on Assets (ttm): ROA(直近12ヵ月)
Return on Equity (ttm): ROE(直近12ヵ月)

—————————————–
Income Statement 損益計算書
Revenue (ttm): 売上高、収益(直近12ヵ月)
Revenue Per Share (ttm): 一株当たり売上高(直近12ヵ月)
Qtrly Revenue Growth (yoy):四半期売上高成長率(前年比)
Gross Profit (ttm): 売上総利益(粗利)(直近12ヵ月)
EBITDA (ttm): EBITDA(金利・税金・償却前利益)(直近12ヵ月)
Net Income Avl to Common (ttm): 普通株の株主に帰属する純利益(直近12ヵ月)(Avl = Available)
Diluted EPS (ttm): 希薄化一株あたり利益(直近12ヵ月)
Qtrly Earnings Growth (yoy): 四半期利益成長率(前年比)

—————————————–
Balance Sheet 貸借対照表
Total Cash (mrq): 現預金計(直近四半期)
Total Cash Per Share (mrq): 一株当たり現預金(直近四半期)
Total Debt (mrq): 負債計(直近四半期)
Total Debt/Equity (mrq): 負債・資本比率(直近四半期)
Current Ratio (mrq): 流動比率(直近四半期)
Book Value Per Share (mrq): 一株当たり簿価(直近四半期)

—————————————–
Cash Flow Statement キャッシュ・フロー計算書
Operating Cash Flow (ttm): 営業活動によるキャッシュ・フロー(直近12ヵ月)
Levered Free Cash Flow (ttm): レバード・フリー・キャッシュ・フロー(*1)

—————————————–
Trading Information 株式取引情報
Stock Price History 株価履歴
Beta: ベータ(*2)
52-Week Change: 52週変動率
S&P500 52-Week Change: S&P500 52週変動率
52-Week High (YYYY-MM-DD): 52週高値(高値の日)
52-Week Low (YYYY-MM-DD): 52週安値(安値の日)
50-Day Moving Average: 50日移動平均
200-Day Moving Average: 200日移動平均

—————————————–
Share Statistics 株式指標
Avg Vol (3 month): 平均出来高(3ヶ月)
Avg Vol (10 day): 平均出来高(10日)
Shares Outstanding: 発行済株式数
Float: 浮動株式数
% Held by Insiders1: インサイダーの所有比率
% Held by Institutions1: 機関投資家の所有比率
Shares Short (as of YYYY-MM-DD): 空売り(YYYY年MM月DD日時点)
Short Ratio (as of YYYY-MM-DD): 空売り比率(YYYY年MM月DD日時点)
Short % of Float (as of YYYY-MM-DD): 空売り/浮動株式数(YYYY-MM-DD時点)
Shares Short (prior month): 空売り(前月)

—————————————–
Dividends & Splits 配当及び株式分割
Forward Annual Dividend Rate: 予想年間配当率
Forward Annual Dividend Yield: 予想年間配当利回り
Trailing Annual Dividend Yield: 実績年間配当利回り
5 Year Average Dividend Yield: 5年平均配当利回り
Payout Ratio: 配当性向
Dividend Date: 配当日
Ex-Dividend Date: 配当落ち日
Last Split Factor (new per old): 直近株式分割比率(新対旧)
Last Split Date: 直近株式分割日
—————————————–

(*1) levered free cash flow
負債に関する支払を控除した後の、(株主に対する)フリー・キャッシュ・フロー

(*2) beta
個別の株価と市場全体の連動性の度合い

金融用語_2020/12/28

マネリテ!「株式投資初心者の勉強 虎の巻」 | 株でダイナミックな経済を体感。
IPO 新規公開株
自己資本比率 貸借対照表における総資本の中で、自己資本(純資産)が占める比率 自己資本が多ければ多いほど、企業の体力があると見なされ、「倒産しにくい」と判断されます。 "・概ね40%を超えてくると、その企業は安定した財務状態であると言えます。
・日本の制度会計上では、「純資産」が自己資本"
ROE Return on Equity, 自己資本に対して、どれくらいのリターンがあげられているかを表す指標 「稼ぐ力」があるかがわかる ROE = 当期純利益 ÷ 自己資本 × 100]
ROA(総資産利益率) Return On Assets, 総資産に対して、どれくらいのリターンがあげられているかを表す指標 高ければ高いほど、資産を効率よく回して、利益を生み出せている 総資産には、負債も含まれる=> ROAが高いからといって、倒産のリスクが低いとは断言できません=> 必ず総資産に占める負債の比率も確認
流動比率 1年以内に現金化できる資産が、1年以内に支払う負債をどれだけ上回っているかを示す比率 "1年以内に現金化できる資産が、1年以内に支払う負債をどれだけ上回っているかを示す比率
"
流動負債 1年以内に支払う負債 100%を切ってくると、流動資産よりも流動負債の方が多くなるので、支払いが滞る可能性があります=>黒字倒産
PBR Price Book-value Ration(株価純資産倍率) 企業価値・財産に対して、1株の株価がいくらで取引されているか数値化 割安株を探す場合によく用いる指標
BPS Book-value Per Shareで、1株あたりの純資産(資産から負債を差し引いたもの) 高くなった場合は、業績が好調であると同時に株価も上昇している状態

PER Price Earnings Ratio(株価収益率) "・企業が得る利益に対して、株価が何倍で取引されているかを数値化
・PER15倍以下の銘柄は、割安株として候補
・アメリカ合衆国ではP/EないしPEと表記するのが一般的"
EPS Earnings Per Share "・1株あたりの利益
・[計算式]EPS = 当期純利益 ÷ 発行済株式数"

グラフAI# 2020/10/20

Learning Docker

https://www.evernote.com/l/ACvob9jbKE1KtJ7R4FN90t2RP0zfwodmLQA

2020/11/13

『タクソノミ要素リスト』と『勘定科目リスト』のエクセルファイルが、全科目のリストになります。

  • XBRL の数値データをどうやって比較可能な状態に持っていったかの話【勘定科目の集約と計算リンク】 | シラベルノート
    -結局、自前でタグ名と勘定科目の対応リストを作って、ほかの企業と比較できる状態に持っていきました。

    • たとえば、売上高うりあげだかのタグ名は NetSales でしたが、NetSales じゃない企業もたくさんあったんですよね。大企業とか建設業とか銀行業では、別の勘定科目を使用している場合がありました。
      1社の中であっても、勘定科目のタグ名が途中から変わっていたことがありました。企業の中で金額の意味合いが変わって変更になったケースもあれば、単純にタグ名のスペルミスで変わったと思われるケースもありました。
    • 1社の中であっても、勘定科目のタグ名が途中から変わっていたことがありました。企業の中で金額の意味合いが変わって変更になったケースもあれば、単純にタグ名のスペルミスで変わったと思われるケースもありました。
    • XBRL のメリットをアピールする資料などでは、投資家が決算書の比較を簡単にできるようになる!みたいなことが書かれていましたが、現実は厳しいですね。簡単じゃなかったです。XBRL を活用したサービスについても、1つの決算書に関するグラフは早々に登場していましたが、長期的な時系列グラフについては、なかなか登場しませんでした。

      2020/10/2

      株式分割
      文字通り株式を分割。
      1株が2株に分割されると1株の株価は半減される。メリットは:少ない金額で株を買いやすくなる
      株式分割で株価が上がるとは限らない!値動きパターンをチャートから読み解く | 株入門 ・やり方、始め方
      調整後終値
      分割実施前の終値を分割後の値に調整
      調整後終値とは

投稿フッター
  • このエントリーをはてなブックマークに追加
  • Evernoteに保存Evernoteに保存