База данных

Здравствуйте умные люди.
Мне надо проверить 3000000 почтовых адресов, чтоб они не совпадали.
Может есть какаето прога чтоб сделать так чтоб они шили по алфавиту.
Задание очень благодарен!

ну предположим ты их отсортируешь... примерно так:
SELECT * FROM table ORDER BY adress
Ты хочешь 3 миллиона адресов сравнить вручную? Удачи... Напиши через пару лет, сколько схожих адресов нашел...

Я хочу чтоб прога сделала их по алфавиту и если будут одинаковые они будут один возле другого, и я их удалю.

Такое количество не удаляют руками.
DELETE FROM XXX T1 WHERE EXISTS
(SELECT * FROM XXX T2 WHERE
(T2.column1 = T1.column1 or (T2.column1 is null and T2.column1 is null)) AND
(T2.column2 = T1.column2 or (T2.column2 is null and T2.column2 is null)) AND
(.......) AND
(T2.ID > T1.ID))
Для поиска дубликатов обычно используется запрос, похожий на следующий:
SELECT * FROM TABLE T1
WHERE (SELECT COUNT(*)
FROM TABLE T2
WHERE T1.FIELD = T2.FIELD) > 1

А что посоветуете, как это сделать?
А если, например 10 тысяч или больше?
Посоветуйте хоть что-то пожалуйста а то завтра начинать а я сойду сума с этим

Хм, я же тебе запрос написал, как вычистить из базы. Ты же в названии топика написал "база данных"... У тебя где записи находятся? В таблице в базе данных или что ты имел в виду?

Они у меня в World
А я написал, База данных для того чтоб народа больше зашло и мне помогли

Может в Exel'e и есть формула, там до фига разных возможностей.
Но три миллиона... не знаю.

Экспортируй вс╦ в базу данных, например, в Access. После чего можно будет SQL запросом удалить лишнюю информацию.

Мне нет разницы, где если из 3 лимонов 1000 будит одинаковых нет проблем!
Я могу открыть и в EXCEL только скажите, как сделать, чтоб небело много одинаковых!
Кстати в EXCEL можно открыть 65536.

Как сделать базу данных?
Если можно поподробней.

Exel хорошая штука. Я одно время пользовался им, но вот уже два года, как ничего в нём не делаю, забыл даже то, что знал.
Насчёт него задай вопрос на компьютерном форуме. Многие из тех, кто сюда не заходит, туда заглядывают постоянно.
Но три миллиона ты, конечно, замахнулся...
Там, в Exel'e есть функция поиска. А вот так, чтобы показывало повтор, когда вносишь... не знаю.
Как говорила у нас на курсах учительница: наверное ни один человек не знает эту программу от начала и до конца. Я, правда, сразу подумал о тех, кто её лепил.
Но она это сказала к тому, что мол всё нам и не нужно знать.
voxel3d
Может не надо этих SQL? А то помнишь, как тут недавно это вспоминали по поводу взлома?

Для поиска дубликатов обычно используется
------
DISTINCT
и в новой таблице будут только однократные вхождения.

Как сделать базу данных?
------
Запускаешь Акксесс. При открытии он спрашивает - Чего изволите? - вот и скажи ему - Новую базу... Все.

Но три миллиона ты, конечно, замахнулся...
Там, в Exel'e есть функция поиска.
-------
Там, в Экселе, есть ограничение - 64К строк... Что бы ты не делал, от этого никуда не деться...
Страничку-другую смастрячить - нормально, но не заниматься обработкой 3М записей...

Я реально говору про 3 миллиона!
Мне должны скоро дать 6 миллионов, и я не знаю, что делать с ними я еще не справился с 3. А мне сказали, что я должен в пятницу додать уже 3 лим. готовых.
Так что делать?
Как их проверять?
Если не трудно объясните как делать базу. Стучитесь в яську если здесь нельзя здесь говорить про базу данных.
ICQ: 280-612-653
Очень буду благодарен

У меня нет ни экселя, ни эксесса, но там вс╦ просто. Тебе надо в конечном итоге экселевскую страницу загнать в эксесс, а возможно, эксесс понимает обыкновенный текстовый формат, чтобы из текстового файла засоссать вс╦ в таблицу. После чего в этом эксессе можно будет выполнить запрос.
Если народ, у кого офис есть, не поленицца, тебе более подробно oпишут процесс...
2Вагант:
Руки прочь! Мы сделаем настоящего хакера из Ярика.
Ты подумал, как он будет вручную 3 миллиона записей, или сколько там у него, лопатить? Так он до пенсии свой спам не успеет разослaть адресатам.

Чтобы давать советы по Exel или по Access в них надо хорошо разбираться. А я пас. Может кто-то другой подтянется.
Access как раз и создан для баз данных. Но мы на курсах его вскользь проходили, я даже не въехал в него.

Тоже верно. Внести вручную три миллиона адресов, это полжизни надо потратить без перерывов на обед и девочек.

Access как раз и создан для баз данных. Но мы на курсах его вскользь проходили, я даже не въехал в него.

Ты немногое потерял. Access создан для того, чтобы возненавидеть базы данных, а заодно и микрософт, всё, что надо знать об акцессе, это то, что существует в природе кастрированное, жутко неудобное убожество с таким названием.

Это поможет или нет
http://soft.mail.ru/program_page.php?grp=11613

Нет, это для того, чтобы переносить базу между Access и MySQL.

ставь mySQL, php, адреса сохрани в обычном текстовом файле и с помошью пхпскрипта на три строчки считывай записи из файлика и загоняй их в SQL используя привед╦нный выше скрипт. дело с установкой на пару часов а то и меньше

Готвся к вопросам что такое мыскул, пхп и как их ставить!
---
Скромность укрошает человека, но не приносит пользы. (2:465/107.15)

Народ, да вы че делаете, он же вас и заспамит потом, учите блин на свою голову. Его потом посадят в турму за рассылки, он же еще потом и с претензией заявится, типа че не сказали, что не можна спам рассылать.

ты думаешь он сообразит обратный адрес поменять?

В Word'e есть функция сортировки по алфавиту: Tabelle -->Sortieren.
Но 3 миллиона строчек даже просмотреть - запаришься.

Я спамом не занимаюсь, у меня друг занимается!
Он мне обещал сделать сайт прикольный, если я сделаю 3 лимона, а потом 6 лимонов!
Как базу делать и какие проги нужны?

Access для 3 000 000 Datensätze?! Забудьте. Никогда в жизни. Если данные в MS SQL, то лучше там в View, или из OLEDB.

Что-то мне это больше подготовку к рассылке спама напоминает, а не упорядочивание баз данных...

Ну и как прошла рассылка спама, успешно?

а я тут при ч╦м?!..
<------------

Ненадо...

сам признался ...мне это больше подготовку к рассылке спама напоминает...
Или ты готовился, готовился и так не решился?

Ну если спамом не занимаешься тогда ладно Хотя так я тебе и поверил. Короче делай так:
1. Открой свой документ с мылами, я так понял из твоего предыдущего скрина, каждый адрес стоит в отдельной строке.
2. Говоришь "Сохранить как..." и выбираешь "Только текст + Перенос строки"
3. Полученный текстовой файл импортируешь или присоединяешь в базу данных Access через пункт "Внешние данные"
4. Короче все делается в течении 5, нет вру 3х минут. Ну а уж потом при небольших знаниях SQL крути свои адреса как хочешь.

то лучше там в View
а что там с ними лучше?
счас вот в качестве эксперимента залил 3.5 млн email-адресов в таблицу mssql (1 поле с индексом). На моем не самом новом ноуте при 6 тыс. уникальных адресах их выборка длится ~4 сек, если уникальны все 3.5 млн - то ~40 сек.

Лучше чем в Access.
а в View можно выборку сделать. Например найти все, где Count(Trim(Имя1 & Имя2) & " ") больше единицы и потом только их обрабатывать.
Можно конечно и MySQL использовать, там в новой Бета версии тоже View есть. Но там форматы другие. Хотя язык SQL почти такой же.

в View можно выборку сделать.
хм... а из таблицы нельзя?
Можно конечно и MySQL использовать
ты невнимательно прочел. Я пользовался не mysql, а MS SQL Server'ом.

Проч╦л внимательно. Просто предложил альтернативу.
А View и делает выборку из таблицы. Сама таблица может только сортировать.

таблицы сами по себе никого не сортируют. вью в mssql тоже сортировать не могут (только если с TOP'ом трюкачить). Чес гря, не вижу тут вообще никакой необходимости вьюхи использовать.

Так я почти всегда и делаю вьюхи в SQL языке. Во вьюхах можно очень много делать. Если не помогает, беру свой VB.NET и програмирую там с OLEDB.

ну, не знаю... я вьюхи вообще практически не использую - только для репортинга. Все, что делается во вьюхах, точно так же делается обычными запросами и/или SP, которые к тому же гораздо мощнее.

Access для 3 000 000 Datensätze?! Забудьте. Никогда в жизни.
------
For a ONE TIME operation? And without restriction for responding time?..
Or you may teach someone how to do that with MSDE without
Connectivety Toolses?

а в View можно выборку сделать. Например найти все, где Count(Trim(Имя1 & Имя2) & " ") больше единицы и потом только их обрабатывать.
-----
Do you known somthing about Queries in Access?

Сама таблица может только сортировать.
-----
Brrrr... So long as I work in SD tables just store a data...
Make ordering in tables is somthing new for me... and for a people with wich I work...

Вы может и сможете на каком нибудь суперкомпе сделать, с кучей процессоров и огромным RAM ом, хотя Access ограничивает ещ╦ и размер Базы Данных.

Вы имеете в виду с VB.NET ? Вы найд╦те кучу примеров в инете и так же для веба. Например 101 пример от Microsoft.

Так я почти всегда и делаю вьюхи в SQL языке.
-----
You make a VERY BIG GE-MO-RO-Y for your self.
Во вьюхах можно очень много делать.
-----
Yes. But you can't implement all of buisnes logic in Views!..
Если не помогает, беру свой VB.NET и програмирую там с OLEDB.
-----
You just increased your VERY BIG GE-MO-RO-Y which you create for your self.
It's very simple to understand - you have a piece of buisnes logic in Views, piece of buisnes logic in .Net and, possibly, piece of buisnes logic in TSQL procedures. It's really VERY VERY BIG GE-MO-RO-Y...

Я имел ввиду в маске таблиц Access и Enterprise Manager.
Хотя сама таблица конечно ничего не сортирует.

Вы имеете в виду с VB.NET ?
------
No. Just Connectivety Tools from MS SQL Server - EM + QA + Profiler.
Possible, of course, use a .NET, but are you ready to teach Yaric15 how to do so? Remember - you have time by Friday.
с кучей процессоров и огромным RAM ом,
-----
It it works - it work. As I sad previously - there no restriction for responce time. 10 min - fine, 10 hour - fine too...
хотя Access ограничивает ещё и размер Базы Данных.
-----
The same as MS SQL.

Знаете что... Я не профи, это не моя работа, мо╦ дело сети. И если мне надо что то почистить, я пользуюсь простыми методами. А вот Вы, как "профи", ещ╦ ничего пока что не предложили коме того же DISTINCT в вьювере с записью в новую таблицу. Есть время только на называние всего "VERY BIG GE-MO-RO-Y"? Может я и делаю это себе, но делаю быстро и без боли, не умничая. Почистить небольшую таблицу с вьювером намного быстрей, чем сидеть и програмировать.
И было бы не плохо писать в Германке на русском или на немецком...
Как Вы это раньше делали....
И не надо только другим рассказывать, как Вы трансакционами пользуетесь. Здесь был вопрос нормальных пользователей, не профи...

А вот Вы, как "профи", ещё ничего пока что не предложили коме того же DISTINCT в вьювере с записью в новую таблицу. Есть время только на называние всего "VERY BIG GE-MO-RO-Y"?
-----
Yes. And that is a SOLUTION for this problem - one, 30 letters, line with SQL code - no Views, no TSQL, no .NET and FULL solution of the problem. With Access Query Builder this piece of job can be done within 30-60 sec.
Может я и делаю это себе, но делаю быстро и без боли, не умничая.
------
When you will work with code which maded by another people you will understand me better.
You will understand me much better if this code was writen by non-professional programmer...
Почистить небольшую таблицу с вьювером намного быстрей, чем сидеть и програмировать.
------
Hmmm... Looks the same as about ordring with table...
И было бы не плохо писать в Германке на русском или на немецком...
Как Вы это раньше делали....
------
...from home.

Хотя.... наверное Вы правы.... не надо одновременно писать в форуме, говорить по телефону и бегать между компьютерами.
Наверное сделал бы с DISTINCT, чистя одновременно с тримом поля (если одинаковые данные, значит или без ключа или где то спэйсы подвешали) и скорее всего сделав несколько вьюверов, что бы не работать сразу со всеми 3 000 000 данными. Не верю я, что даже мои сервера с 2 П4 и 1 гб РАМА это выдержали бы...
А репортинг я делаю с Crystal Report 10. там мне вьювчики на сервере не нужны. Данных только несколько сотен тысяч. И так справляется, если пометить, что вс╦ должно на сервере просчитываться.

и скорее всего сделав несколько вьюверов, что бы не работать сразу со всеми 3 000 000 данными.
а смысл???
Не верю я, что даже мои сервера с 2 П4 и 1 гб РАМА это выдержали бы...
??? 3 миллиона записей даже мой захудалый TravelMate осилил без особого напряга.

Попробуй. Ты имеешь в виду 3 000 000 Datensätzen в таблице с 3-4 колумнами или 3 000 000 знаков? Access таблица виснет на вьюве на обыкновенном компе уже при 100 000 Datensätzen и 3-4 колумнах. Если в листбокс писать - намного меньше. Попробуй и сообщи.
На нормальном компе и MS SQL с 3 000 000 не сравится.

млин... ты читал мои дневные постинги? повторяю: я в качестве теста закачал 3.5 млн (прописью: три с половиной миллиона) email-адресов в таблицу на sql server'е. Выборка DISTINCT из этих 3.5 млн при наличии 6 тыс. уникальных записей прошла за 4 сек., такая же DISTINCT-выборка в случае, когда все 3.5 млн записей уникальны, прошла за 40 секунд.

Вс╦, сдаюсь...
У меня минута... Скорее всего, потому что 1 колумн...
Но таблицы со 100 000 и 15-20 колумнами висли... Мы об этом ещ╦ в MS Office Forum и AWSW писали.... Там речь шла о Access. Через сеть - ещ╦ меньше...
ОК сдался, дурак просто...

Если в листбокс писать
-----
В этом случае GUI сдохнет много раньше, чем Аксесс...

Ты имеешь в виду 3 000 000 Datensätzen в таблице с 3-4 колумнами или 3 000 000 знаков?
------
Он имеет в виду, что если на дисках достаточно места, чтобы дважды построить результирующий набор, то "загибание" сервера с построением данного набора никак не связано. Вообще. От объема таблиц зависит только время получения ответа.

Мы об этом ещё в MS Office Forum и AWSW писали....
Там речь шла о Access. Через сеть - ещё меньше...
-----
А про тайм-ауты вам что-нибудь разъясняли? И про то, что Аксесс(по крайней мере Аксесс-2), по дефаулту, гонит на клиена таблицы и там их собирает?

с Access'ом, слава богу, миловаться особо не доводилось :)

в обсчем, ярик, слушай сюда: если есть лишний полтинник, то подгоняй свои 3 миллиона, я тебе удалю совпадающие

с Access'ом, слава богу, миловаться особо не доводилось :)
-----
Хи-хи... Если его использовать нормально, а не как учит дядя Билли, то не сильно отличается от MSDE... Тем более, что дядя Билли обещал иметь один движек на все случаи жизни...

гм... нагрузка на сеть, триггеры, ХП, многопользовательский режим, application roles, доступ ч/з инет... не, не хочу Access

Ну я же вроде как специально написал - если пользовать НОРМАЛЬНО, а не как учит дядя Билли...

нормально - это в качестве gui к сиквелу? :D

Либо, либо... но только не вместе...
У него же проблема не производительности, а в мешанине гуя, бизнес-логики и скуэла... Самое поганое - даже нормальному программеру _тяжело_ разделить код на составляющие...

Провокатор!