Deutsch
Germany.ruФорумы → Архив Досок→ Программирование

​Читаем CSV...

742  1 2 все
Murr патриот17.06.19 10:39
Murr
NEW 17.06.19 10:39 
в ответ AlexNek 15.06.19 23:50

ну тогда нужно "бить" того кто договаривался.

-----

Ну это либо шеф, либо кто-то из менеджеров, либо кто-то из директоров.

Бум "бить"? Или просто потихоньку доработаю годик и sвалю?


Это слишком общее описание.

------

Мне этого достаточно. Проблема в том, что даже это требование не выполняется.



будешь постоянно править реадер

------

Ну так Я почти это и делаю. Вот пытаюсь пранализировать наиболее типичные ошибки

и скомпоновать один реадер для десятка клиентов - хоть чуть меньше кода надо будет

поддерживать.



Можно еще попытать узнать каким способом они получают присылаемый вам файл?

-----

Насколько Я знаю - у части клиентов есть какая-то внутреняя система заточенная под их задачи.

Из этой их системы и происходит экспорт.

По слухам - прогер у них не постоянный, а под задачу нанимают кого-то.

Ни и он, по его возможностям, изучает что-там-есть и как-его-пользовать и клепает

какой-то экспорт.



Может есть какой то "оригинальный" формат.

-----

Может.

Но если Я буду интересоваться этими деталями - придется влазить глубоко в их систему.

А оно мне надо? Денег то больше не станет...





#21 
evgher местный житель17.06.19 20:02
evgher
NEW 17.06.19 20:02 
в ответ Murr 17.06.19 10:27

Если нету конкретной спецификации и формат данных в "плавающем" режиме.

Тут ничего не поделаешь.


У нас поставщики данных поставляют данные в ЦСФ. Формат практически не меняется.

Когда добавляются изменения или совсем новые данные (т. е. новые ЦСФ) просто обновляется версия Schema.sql.


Через конфиг-файл вносится дескриптор изменённой таблицы или новой таблицы и вперёд.

Очень простой процесс. Всё реадер всегда знает что он читает - потому что владеет метаданными.


Но даже если опрераторы долго не задерживаеются - может вынести все "меняющиеся" части из программы (реадера)

в прикладной конфигураторный файл (xml). Чтобы ваш реадер не зависил от "незадерживающихся" операторов.


Т. е. все изменения нужны будут только в конфигурации.


#22 
AlexNek патриот17.06.19 22:21
AlexNek
NEW 17.06.19 22:21 
в ответ Murr 17.06.19 10:39
Бум "бить"? Или просто потихоньку доработаю годик и sвалю?

Обязательно, только скобки интерпретировать не так как думаешь. спок

Просто довести до сведения, что мало того что присылают в не договорном формате, так еще и спецификация документа не определена. Из за этого ты вместо того чтобы делать полезное для предприятия вынужден постоянно корректировать программу чтения данных и при этом еще не факт, что данные интерпретируются как нужно. В итоге может получится что предприятие произведет продукцию не соответствующую потребностям заказчика. Кто будет виноват? - производитель. Желательно еще и по майлу отправить, что бы в случае чего не нашли "крайнего".


Но что то сомнения меня берут что получится через годик свалить, тебе же года два нужно что то искать чтобы подошло смущ


Из этой их системы и происходит экспорт.По слухам - прогер у них не постоянный, а под задачу нанимают кого-то.

похоже это и есть источник всех проблем вкупе с отсутствием документации на формат файла. Каждый новый иф делает новый прогер по своему.


А оно мне надо?

Тут только ты сам можешь решить, но по мне так лучше один раз влезть и забыть, чем каждый раз править реадер.

#23 
Murr патриот18.06.19 10:12
Murr
NEW 18.06.19 10:12 
в ответ evgher 17.06.19 20:02
может вынести все "меняющиеся"

-----

Они и так лежат в плугинах. Т.е. подстежкой их в программу Я уже не занимаюсь - скомпилил, залил - работает...


Всё реадер всегда знает что он читает - потому что владеет метаданными.

-----

Не думаю, что это мой вариант - не прегдставляю как описать метаданными приведенный выше пример - машину состояний в метаданные запихать можно, но обрабатывающий данные на основании метаданных реадер будет... более сложным, чем имеющийся код. Нее, не хочу...


Т. е. все изменения нужны будут только в конфигурации.

-----

У меня даже в конфигурации изменений нет - есть плугин - работаем, нет - стучим прогеру (мне) по голове...



#24 
Murr патриот18.06.19 10:21
Murr
NEW 18.06.19 10:21 
в ответ AlexNek 15.06.19 23:50

Должен быть оговорен точный формат данных.

-----

Эээ... как бы это по-проще сказать... наверное так: обе договаривающиеся стороны не знают и не понимают термина "точный формат данных".

Максимум, что можно объяснить - два момента:

1. машиночитаемый файлик - т.е. файлик в одном из "отрытых" форматов (не пдф, хсл и т.п.)

2. какой бы ни был формат - он будет постоянным, т.е. вносить изменения можно только до определенного момента.


И то - проблемно.

Присылают файл - начинаю базовый анализ - т.е. смотрю можно ли хоть как-то извлечь нужные данные.

Читаю - "нужно красивое окно в сортир на третьем этаже". - Марка стекла? Толщина? Размеры? - Ну это мы ПОТОМ добавим, пока работайте так...

#25 
Murr патриот18.06.19 10:39
Murr
NEW 18.06.19 10:39 
в ответ AlexNek 17.06.19 22:21

В итоге может получится что предприятие произведет продукцию не соответствующую потребностям заказчика. Кто будет виноват?

-----

Абсолютно точноп - "девочка" на набивке данных.

У нее в функциях лежит сравнение подготовленной заявки и реального заказа отправляемого в производство.

И довольно часто, кстати, есть расхождения между спецификацией в ПДФке и ЦСВшкой...


Желательно еще и по майлу отправить, что бы в случае чего не нашли "крайнего".

-----

Так и делается. Только не мною. Прогер Я, а не контактер с клиентами...



тебе же года два нужно что то искать чтобы подошло

-----

Мне уже не надо ничего искать. Через 3 года, даже по последним, 1989 года, изменениям в советских законах, Я уже пенс...

так что только тем что интересно буду зниматься и то - когда здоровье позволит...



по мне так лучше один раз влезть и забыть

-----

Один раз влезешь - потом всю оставшуюся жизнь будешь дорабатывать... потому что "после того как поковырялся у нас не работает"... халяву они тут любят...

Так что ну его нафиг - лучше подрихтовать реадер у себя, чем разгребать накрученное у кого-то...



чем каждый раз править реадер.

-----

Вот потому Я и радуюсь, что у меня отдельный реадер для каждого клиента - даже если полностью меняется формат документа от клиента надо дорабатывать только ограниченное количество кода...

Но унификации на уровне ЦСВ все же хотелось бы...

#26 
AlexNek патриот18.06.19 23:54
AlexNek
NEW 18.06.19 23:54 
в ответ Murr 18.06.19 10:39
Абсолютно точноп - "девочка" на набивке данных.

Ну ты вроде не на набивке и не девочка уже спок

Тогда действительно можно не переживать.


изменениям в советских законах

Не понял. А при чем советские законы к англицкому проживанию?

Ну тогда только хорошего здоровья можно пожелать, год продержаться можно и на таком заводе.

#27 
Murr патриот19.06.19 10:58
Murr
NEW 19.06.19 10:58 
в ответ AlexNek 18.06.19 23:54

А при чем советские законы к англицкому проживанию?

-----

Да тут по случаю меня лишили латыSSацкого негровства, а в остатке - чистый Гражданин СССР.

Это по определению - негр - гражданин СССР, на момент оппукации латыSSами ЛССР, проживавший на территории ЛССР.

Следствие - через три года бедолагам придется обеспечивать выполнение закона СССР в области пенсионного обеспечения...

Ну по крайней мере - переслать заявку на пенсию в ближайший СОБЕС... смущ


Тогда действительно можно не переживать.

-----

Да Я и не переживаю - Я собираю возможные ошибки в ЦСВ-файлах...


#28 
koder патриот20.06.19 07:58
koder
NEW 20.06.19 07:58 
в ответ Murr 11.06.19 11:49
Что еще можно сделать неправильно в экспорте данных в CSV-формате?


На крупных фирмах отчёты делают в специальных прогах. И отчёты получаются красивые. С шапкой, постраничной выдачей, индивидуальным оформлением отдельных страниц, нумерацией и т.д. А потом не заморачиваться и все это экспортируют в CSV. Здесь проблема даже не в том, что формат файла не документирован, а в том, что начальнику завтра отступ в отчёте между шапкой и текстом не понравится и вы получите совсем другой CSV, не как в прошлом месяце.


Поэтому я бы не использовал готовые ридеры, а читал бы файл построчно, валидировпл бы каждую строку и только после этого сам рубил бы ее на данные

#29 
Murr патриот20.06.19 11:18
Murr
NEW 20.06.19 11:18 
в ответ koder 20.06.19 07:58

получите совсем другой CSV, не как в прошлом месяце.

-----

Одна из проблем. Достаточно регулярная. Не чинится.

Но тут все просто - будет сообщени об несовпадении текущего формата с ожидаемым и девочки будут запрашивать данные в оговоренном/принятом/староm формате.

К ошибкам в ЦСВ файлах, которые можно обработать на нашем конце, отношения не имеет.


#30 
AlexNek патриот21.06.19 21:46
AlexNek
NEW 21.06.19 21:46 
в ответ Murr 19.06.19 10:58
Следствие - через три года бедолагам придется обеспечивать выполнение закона СССР

У тебя есть официальное письмо или ты так лично думаешь?

По идее никто не будет выполнять старых законов да и еще СССР.


Я собираю возможные ошибки в ЦСВ-файлах...

КАМАЗ заказал для сбора? улыб

#31 
Murr патриот23.06.19 00:11
Murr
NEW 23.06.19 00:11 
в ответ AlexNek 21.06.19 21:46

У тебя есть официальное письмо или ты так лично думаешь?

------

У меня есть письмо об том, что меня признали нелегалом.

Нелегалом ныне нельзя признать только и исключительно на территории какой-то страны ЕС - только целиком. Тем самым - снят статус негражданина латиSSатника. Ну а гражданства меня никто никогда не лишал. Местные слегка офигели от своих действий Я с ними готов общаться только в присутствии представителя свой страны. Каждый раз очень стараются убедить в том что от этого надо отказаться и каждый раз не могут предоставить документ об лишении гражданства... :)

#32 
Murr патриот23.06.19 00:12
Murr
NEW 23.06.19 00:12 
в ответ AlexNek 21.06.19 21:46

КАМАЗ заказал для сбора? улыб

------

С двумя прицепами...

#33 
AlexNek патриот23.06.19 12:46
AlexNek
NEW 23.06.19 12:46 
в ответ Murr 23.06.19 00:11
У меня есть письмо об том, что меня признали нелегалом.

ну это уже плюс. Хотя и непонятный для меня. Обычно нелегалов выдворяют из страны...

Но всё равно, берут меня большие сомнения, что в Латвии тебе что то светит. Не пробовал просто запрос отправить типа: скажить пож. сколько у мну буде пенсии? Да и сомневаюсь что Латвийская пенсия будет больше англицкой.

#34 
Murr патриот23.06.19 14:24
Murr
NEW 23.06.19 14:24 
в ответ AlexNek 23.06.19 12:46

Обычно нелегалов выдворяют из страны...

-----

...в страну имеющегося гражданства.


Не пробовал просто запрос отправить типа: скажить пож. сколько у мну буде пенсии?

-----

Два вопроса - Куда? и В качестве кого?

В латиSSатник? Так у меня ЗАПРЕТ на проф.работу. И в качестве нелегала? Ну а почему тогда не в Германию? Там хоть есть резон - происхожу с оккупированной територии...


#35 
AlexNek патриот23.06.19 14:42
AlexNek
NEW 23.06.19 14:42 
в ответ Murr 23.06.19 14:24
...в страну имеющегося гражданства.

А кто возьмет? спок


Два вопроса - Куда? и В качестве кого?

ты меня совсем запутал, если нельзя письмо написать, так как пенсию требовать? С кого и в качестве кого? шок

Трудовая книжка еся?

#36 
Murr патриот23.06.19 15:48
Murr
NEW 23.06.19 15:48 
в ответ AlexNek 23.06.19 14:42

А кто возьмет?

-----

Хи-хи... сначала нужно деоккупировать территорию и восстановить действие конституции.

Так демократия говорит.


Трудовая книжка еся?

-----

Если не сперли из запертой квартиры - еся.

#37 
AlexNek патриот23.06.19 17:53
AlexNek
NEW 23.06.19 17:53 
в ответ Murr 23.06.19 15:48
сначала нужно деоккупировать территорию и восстановить действие конституции.

думаешь через для тебя это сделают?смущ


Если не сперли из запертой квартиры

А ты уверен что у тебя есть еще квартира хаха. Довольно часто просто подпаливают.

#38 
Murr патриот23.06.19 21:51
Murr
NEW 23.06.19 21:51 
в ответ AlexNek 23.06.19 17:53

Уверен, что нет. Но Я - Кот - Я в тапок обязательно насру...

#39 
AlexNek патриот23.06.19 22:12
AlexNek
NEW 23.06.19 22:12 
в ответ Murr 23.06.19 21:51

Ну тогда успехов glassglassglass

#40 
1 2 все